MAE: o‘rtacha absolyut xato

U nima uchun kerak

Model kvartira narxini, yetkazib berish vaqtini, mahsulotga talabni bashorat qiladi. Buyurtmachining birinchi savoli: «U qanchaga adashadi?» «O‘rtacha 4 daqiqaga» yoki «120 mingga» degan javob — aynan MAE (mean absolute error), o‘rtacha absolyut xato. Uni statistik ma’lumoti bo‘lmagan har qanday odam tushunadi, chunki u miqdorning o‘zi bilan bir xil birliklarda o‘lchanadi.

U qayerda uchraydi:

• regressiya sifati metrikasi — talab, yo‘l vaqti, narxlar, serverlar yuklamasini bashorat qilish; hisobotlarda uni RMSE yoniga qo‘yishadi;
• yo‘qotish funksiyasi — PyTorch’dagi L1Loss; ma’lumotlarda chetga chiquvchi qiymatlar bo‘lsa yoki o‘rtacha emas, mediana bashorati kerak bo‘lsa olinadi;
• kompyuter ko‘rishi — pix2pix’da va o‘ta ruxsat (super-resolution, EDSR) masalalarida piksellar bo‘yicha L1, DETR detektorida ramka koordinatalari bo‘yicha L1;
• gradiyent busting — scikit-learn’da loss="absolute_error", LightGBM’da objective="l1": barglardagi qiymatlar — qoldiqlar medianalari;
• robast statistika — eng kichik modullar regressiyasi (least absolute deviations, LAD), kvantil regressiya, «tipik» qiymat bahosi sifatida mediana.

Intuitsiya: adashishning o‘rtacha uzunligi

Haqiqiy $y_i$ qiymatlarni nuqtalar, bashoratlar $\hat y_i$ ni ko‘k markerlar, xatoni esa ular orasidagi vertikal kesma bilan chizamiz. MAE — to‘q sariq kesmalarning o‘rtacha uzunligi. Yo‘nalish muhim emas: bir xil masofaga kam yoki ortiq baholash bir xil turadi.

Quyida qo‘llanmaning umumiy misoli: $y=(3;\,5;\,8)$, $\hat y=(2{,}5;\,5;\,10)$. Ko‘k markerlarni torting. Pastki grafikda har bir xato $e_i=y_i-\hat y_i$ $|e|$ ning «V» shaklidagi grafigi ustida turadi; MAE — bu nuqtalarning o‘rtacha balandligi (feruza chiziq).

Formula mayda detallarigacha

Formulani to‘rtta amalga ajratamiz va har biri nima qilishini ko‘ramiz.

$y_i$

$i$-obyekt uchun haqiqiy qiymat (narx, vaqt, talab);

$\hat y_i$

xuddi shu obyekt uchun model bashorati;

$e_i=y_i-\hat y_i$

xato (qoldiq, residual): musbat — model kam baholagan, manfiy — ortiq baholagan;

$|e_i|$

modul ishorani olib tashlaydi, toki kam va ortiq baholashlar bir-birini yo‘qotmasin; $|e|=\sqrt{e^2}$ — son o‘qidagi masofa;

$\frac1n\sum$

o‘rtachalash metrikani tanlanma hajmiga bog‘liq bo‘lmagan qiladi: 100 va 10 000 obyektdagi MAE’ni solishtirish mumkin.

Nega modulsiz bo‘lmaydi? Modulsiz o‘rtacha xato $\frac1n\sum e_i$ bizning misolda $(0{,}5+0-2)/3=-0{,}5$ ga teng va uni istalgancha yomon model uchun ham nolga tenglashtirish mumkin: $+100$ va $-100$ xatolar o‘rtachada nol beradi. Bu kattalik siljish (bias) deyiladi — foydali, lekin boshqa metrika.

$e_i^2$ ustuni MSE bilan solishtirish uchun qo‘shilgan. Vektor ko‘rinishida MAE — xatolar vektorining $n$ ga bo‘lingan $L_1$ normasi:

Yo‘qotish funksiyasining ikkinchi nomi shundan — L1-yo‘qotish (L1 loss). $\|y-\hat y\|_1$ masofa Manxetten masofasi deyiladi: kvartallar to‘ri bo‘ylab taksi shunday yuradi — har bir o‘q bo‘yicha siljishlar yig‘indisi.

Xossalar va eng yaxshi o‘zgarmas

• Manfiy emaslik: $\mathrm{MAE}\ge0$, va $\mathrm{MAE}=0$ faqat barcha bashoratlar aniq bo‘lsa.
• Birliklar — $y$ niki bilan bir xil. Masshtab to‘g‘ridan-to‘g‘ri o‘tadi: so‘mni ming so‘mga o‘tkazsak, MAE roppa-rosa 1000 marta kamayadi.
• Xatolarning chiziqli hissasi: bitta xatoni ikki marta oshirish uning hissasini MSE’dagidek to‘rt emas, ikki marta oshiradi.
• Qavariqlik: modul qavariq, qavariq funksiyalar yig‘indisi qavariq, shuning uchun MAE’da «soxta» lokal minimumlar yo‘q — na bashoratlar, na chiziqli model parametrlari bo‘yicha. Lekin qavariqlik qat’iy emas: minimum yagona bo‘lmasligi mumkin.
• Bo‘lakli chiziqlilik: bashoratlar funksiyasi sifatida MAE biror xato nolga teng bo‘lgan sinishlar bo‘ylab yopishtirilgan chiziqli bo‘laklardan iborat. Sinishlarda hosila yo‘q.
• RMSE bilan bog‘liqlik: $\mathrm{MAE}\le\mathrm{RMSE}\le\sqrt n\,\mathrm{MAE}$. Misolda: $0{,}833\le1{,}190\le1{,}443$. RMSE/MAE nisbati qancha katta bo‘lsa, xatolarning «dumlari» shuncha «og‘ir».

Eng yaxshi o‘zgarmas — mediana

Model juda oddiy bo‘lsin: barcha obyektlar uchun u bitta $c$ son bilan javob beradi. MAE bo‘yicha qaysi $c$ eng yaxshi? $\mathrm{MAE}(c)=\frac1n\sum|y_i-c|$ funksiyasi — uchlari ma’lumot nuqtalarida bo‘lgan «V» shakllar yig‘indisi. Ma’lumotlar orasidagi istalgan nuqtada uning qiyaligi

$c$ dan chapda nuqtalarning yarmidan kami bo‘lsa, qiyalik manfiy va $c$ ni o‘ngga surish foydali; chapda yarmidan ko‘pi bo‘lsa — qiyalik musbat. Minimum nuqtalar teng ikkiga bo‘linadigan joyda, ya’ni medianada.

Hosila: xato ishorasi va subgradiyent

Modul hosilasi — ishora: $e\ne0$ da $|e|'=\operatorname{sign}(e)$. Nolda «V» sinadi va oddiy hosila yo‘q. Qavariq tahlil uning o‘rniga subgradiyentni taklif qiladi.

Qavariq $f$ funksiyaning $x$ nuqtadagi subgradiyenti — $f(x)+g\,(z-x)$ to‘g‘ri chiziq hech qayerda grafikdan yuqoriga chiqmaydigan har qanday $g$ son: barcha $z$ uchun $f(z)\ge f(x)+g\,(z-x)$. $|e|$ uchun nolda bular $|g|\le1$ bo‘lgan barcha $g$: koordinata boshidan o‘tuvchi qiyaligi $-1$ dan $1$ gacha bo‘lgan istalgan to‘g‘ri chiziqni «V» ostiga qo‘yish mumkin. Subgradiyentlar to‘plami subdifferensial deyiladi.

Chetga chiquvchi qiymatlarga bardoshlilik

Chetga chiquvchi qiymat (outlier) — anomal $y$ li obyekt: xato yozuv, datchik nosozligi, kamdan-kam hodisa. Yo‘qotish uchun bunday obyekt modelni qanday kuch bilan tortishi muhim. MSE’da kuch xatoga proporsional ($2e/n$), MAE’da u chegaralangan: nuqta qanchalik uzoqda yotmasin, $1/n$.

Ko‘k chiziqqa e’tibor bering: chetga chiquvchi nuqta undan pastda ekan, uni istalgancha pastga tortish mumkin — chiziq umuman siljimaydi. Uning xatosi ishorasi o‘zgarmaydi, MAE esa faqat ishoralarga javob beradi. MSE chizig‘i, aksincha, chetga chiquvchi nuqta ortidan cheksiz sudraladi.

Parametrlar fazosida MAE: ko‘pyoq

Model — $\hat y=wx+b$ to‘g‘ri chiziq, ma’lumotlar — $x=(-2;\,-1;\,0;\,1;\,2)$ va $y=(1{,}3;\,2;\,3{,}1;\,4{,}5;\,7)$ bo‘lgan beshta nuqta bo‘lsin. Har bir $(w;\,b)$ juftligiga o‘z to‘g‘ri chizig‘i va o‘z MAE’si mos keladi. Parametrlar tekisligi ustida sirt hosil bo‘ladi.

Har bir $|y_i-wx_i-b|$ qo‘shiluvchi — $i$-xato nolga teng bo‘lgan $b=y_i-wx_i$ to‘g‘ri chiziq bo‘ylab qirrali «ikki nishabli tom». Beshta tom yig‘indisi — ko‘pyoq: tekis yoqlar, o‘tkir qirralar, uchlar. Kamida bitta minimum har doim qirralar kesishadigan uchda yotadi, ya’ni optimal to‘g‘ri chiziqni kamida ikkita ma’lumot nuqtasidan o‘tadigan qilib tanlash mumkin.

Ikki sirt turli javob beradi: MAE chizig‘i $x=-1$ va $x=1$ nuqtalaridan o‘tadi va «turtib chiqqan» oxirgi $y=7$ nuqtani deyarli sezmaydi; MSE chizig‘i uning kvadratini kamaytirish uchun tikroq og‘gan. Har biri o‘z o‘lchovi bo‘yicha yaxshiroq: MSE chizig‘ida $\mathrm{MAE}=0{,}456>0{,}39$, MAE chizig‘ida $\mathrm{MSE}=0{,}378>0{,}229$.

O‘qitishda MAE: subgradiyent tushish

Gradiyent tushish gradiyentga qarshi qadam tashlaydi: $\theta\leftarrow\theta-\eta\,g$. MAE’da o‘ziga xoslik bor: minimum yonida gradiyent kamaymaydi. U $\pm1/n$ lardan tuzilgan vektorlar orasida sakraydi va o‘zgarmas $\eta$ qadamda parametrlar tub ustidan doimo sakrab o‘tadi.

Subgradiyenti chegaralangan qavariq funksiyalar uchun (MAE shunday) nazariya aniq retsept beradi: $\eta_t\propto1/\sqrt t$ qadamda topilgan eng yaxshi qiymat minimumga $O(\ln t/\sqrt t)$ tezlikda — deyarli $1/\sqrt t$ kabi — yaqinlashadi. O‘zgarmas qadamda faqat optimum atrofiga chiqish kafolatlanadi: $\mathrm{MAE}-\mathrm{MAE}^*$ ortiqcha $\eta$ tartibida qoladi. Shuning uchun amalda MAE qadam jadvali (learning rate schedule) bilan o‘qitiladi — u SGD’ga ham, Adam’ga ham kerak, chunki Adam’ning qadami ham tub yonida o‘z-o‘zidan kamaymaydi — yoki yo‘qotish silliq Xyuber funksiyasi bilan almashtiriladi.

Umumlashma: kvantillar va ehtimoliy ma’no

Mediana — $0{,}5$ darajali kvantil. Agar «V»ni o‘ng tarmog‘i chapidan tikroq qilib og‘dirsak, minimum boshqa kvantilga siljiydi. Pinbol yo‘qotish (pinball loss), ya’ni kvantil yo‘qotish hosil bo‘ladi:

$\tau=0{,}9$ da kam baholash ($e>0$) ortiq baholashdan to‘qqiz marta qattiqroq jazolanadi va optimal o‘zgarmas — $90\%$-kvantil. Bashorat intervallari shunday quriladi: $\tau=0{,}1$ uchun model va $\tau=0{,}9$ uchun model kuzatuvlarning taxminan $80\%$ i tushishi kerak bo‘lgan yo‘lakni beradi.

Optimal chiziq uchun undan pastdagi nuqtalar ulushi $\tau$ dan oshmaydi, pastdagi yoki ustidagi nuqtalar ulushi esa $\tau$ dan kam emas: $53/60\le0{,}9\le55/60$. Bu medianani bergan o‘sha $0\in\partial$ shartining bevosita natijasi.

MAE haqiqatga maksimal o‘xshashlik usuli sifatida

$y_i=\hat y_i+\varepsilon_i$ bo‘lsin, bu yerda $\varepsilon$ shovqin zichligi $p(\varepsilon)=\frac{1}{2s}e^{-|\varepsilon|/s}$ bo‘lgan Laplas taqsimotiga ega. U holda o‘xshashlikning manfiy logarifmi

Belgilangan $s$ da o‘xshashlikni maksimallashtirish MAE’ni minimallashtirish bilan bir xil, shovqin masshtabi bahosi esa MAE’ning o‘zi: $\hat s=\mathrm{MAE}$. MAE’ni tanlab, biz yashirincha gausnikiga nisbatan «og‘ir» dumli shovqinni faraz qilamiz. MSE uchun xuddi shu mantiq normal shovqinga olib keladi — MSE ga qarang.

Kodda

MAE bir qatorda hisoblanadi. Subgradiyent va o‘qitish qiziqroq. NumPy’da:

pythonimport numpy as np

y     = np.array([3.0, 5.0, 8.0])
y_hat = np.array([2.5, 5.0, 10.0])

def mae(y, y_hat):
    return np.mean(np.abs(y - y_hat))

def mae_grad(y, y_hat):
    # bashoratlar bo‘yicha subgradiyent: sign(ŷ − y) / n, nolda 0 olamiz
    return np.sign(y_hat - y) / y.size

print(mae(y, y_hat))        # 0.8333333333333334
print(mae_grad(y, y_hat))   # [-0.33333333  0.          0.33333333]

# MAE bo‘yicha eng yaxshi o‘zgarmas — o‘rtacha emas, mediana
data = np.array([2.0, 3.0, 5.0, 9.0, 16.0])
print(np.median(data), mae(data, np.median(data)))   # 5.0 4.0
print(data.mean(), mae(data, data.mean()))           # 7.0 4.4

PyTorch’da yo‘qotish L1Loss deb ataladi. Gradiyentga e’tibor bering: ikkinchi obyektning xatosi roppa-rosa nol va freymvork $0$ subgradiyentni oladi. Listingning ikkinchi qismi 5–6-rasmlardagi to‘g‘ri chiziqni kamayuvchi qadam bilan o‘qitadi:

pythonimport torch
import torch.nn as nn

y     = torch.tensor([3.0, 5.0, 8.0])
y_hat = torch.tensor([2.5, 5.0, 10.0], requires_grad=True)

loss = nn.L1Loss()(y_hat, y)     # (y_hat - y).abs().mean() bilan bir xil
loss.backward()
print(loss.item())               # 0.8333333134651184
print(y_hat.grad)                # tensor([-0.3333,  0.0000,  0.3333])

# MAE bo‘yicha chiziqli model: qadam 1/√t kabi kamayadi
x = torch.tensor([-2.0, -1.0, 0.0, 1.0, 2.0])
t = torch.tensor([1.3, 2.0, 3.1, 4.5, 7.0])
w = torch.zeros(1, requires_grad=True)
b = torch.zeros(1, requires_grad=True)
opt = torch.optim.SGD([w, b], lr=0.5)
sched = torch.optim.lr_scheduler.LambdaLR(opt, lambda k: 1 / (k + 1) ** 0.5)
for step in range(3000):
    opt.zero_grad()
    nn.functional.l1_loss(w * x + b, t).backward()
    opt.step(); sched.step()
print(round(w.item(), 2), round(b.item(), 2))   # 1.25 3.25 — 2 nuqtadan o‘tuvchi to‘g‘ri chiziq

scikit-learn’da metrika, MAE bo‘yicha aniq chiziqli regressiya (chiziqli dastur orqali) va MAE bilan busting bor:

pythonimport numpy as np
from sklearn.metrics import mean_absolute_error
from sklearn.linear_model import QuantileRegressor
from sklearn.ensemble import HistGradientBoostingRegressor

print(mean_absolute_error([3, 5, 8], [2.5, 5, 10]))   # 0.8333333333333334

# MAE bo‘yicha chiziqli regressiya — τ = 0,5 bo‘lgan kvantil regressiya
X = np.array([[-2.0], [-1.0], [0.0], [1.0], [2.0]])
y = np.array([1.3, 2.0, 3.1, 4.5, 7.0])
lad = QuantileRegressor(quantile=0.5, alpha=0.0).fit(X, y)   # alpha=0 — L1-jarimasiz (standart qiymat 1.0)
print(lad.coef_, lad.intercept_)                             # [1.25] 3.25

# MAE’dagi busting: barglardagi qiymatlar — qoldiqlar medianalari
gbr = HistGradientBoostingRegressor(loss="absolute_error")

Ko‘p uchraydigan xatolar

1. Modulni unutish: np.mean(y - y_hat) — bu MAE emas, siljish. Turli ishorali xatolar bir-birini yo‘qotadi va yomon model nol olishi mumkin.
2. Turli masalalarning MAE’sini solishtirish. Minglardagi narxlar uchun va graduslardagi harorat uchun MAE $=5$ — solishtirib bo‘lmaydigan sonlar. Masshtablar orasida solishtirish uchun MAPE yoki oddiy bazaviy model MAE’siga bo‘lingan MAE bor.
3. MSE’da o‘qitib, MAE bilan hisobot berish (yoki aksincha). MSE modelni shartli o‘rtachaga, MAE — medianaga olib boradi. Qiyshiq ma’lumotlarda (narxlar, daromadlar, kutish vaqti) bular turli sonlar va bir metrika bo‘yicha eng yaxshi model odatda ikkinchisida yutqazadi.
4. MAE-yo‘qotish bilan o‘zgarmas qadam. Parametrlar minimum yonida $\eta$ tartibidagi amplituda bilan titraydi. Qadam jadvali yoki silliqlangan yo‘qotish kerak.
5. Yagona yechim kutish. MAE minimumi butun kesma (nuqtalar soni juft bo‘lsa) yoki ko‘pyoq qirrasi bo‘lishi mumkin. Turli yechuvchilar turli, lekin bir xil yaxshi javoblar qaytaradi.
6. Dumga qaramay MAE’ni «tipik xato» deb hisoblash. MAE $=1$ kamdan-kam 50 ga adashishlarni yashirishi mumkin. MAE yonida xatolar taqsimotiga, kvantillarga va RMSE’ga qarang.

Boshqa formulalar bilan bog‘liqlik

• MSE: modul o‘rniga kvadrat — silliqlik va mediana o‘rniga o‘rtacha, lekin chetga chiquvchilarga sezgirlik.
• RMSE: $\mathrm{RMSE}\ge\mathrm{MAE}$. Normal xatolar uchun $\mathrm{RMSE}/\mathrm{MAE}=\sqrt{\pi/2}\approx1{,}253$, Laplas xatolari uchun $\sqrt2\approx1{,}414$; umumiy misolda $1{,}428$.
• Xyuber funksiyasi: nol yonida kvadrat, uzoqda modul — bir vaqtda silliq minimum va chetga chiquvchilarga bardoshlilik.
• MAPE: o‘sha MAE, lekin nisbiy xatolar $|e_i|/|y_i|$ dan.
• SGD va Adam: MAE bilan kamayuvchi qadam kerak bo‘ladigan optimizatorlar.

Xulosa

O‘zingizni tekshiring