MSE: o‘rtacha kvadratik xato

U nima uchun kerak

Agar model son bashorat qilsa, deyarli aniq uni MSE (mean squared error) — xatoning o‘rtacha kvadratini kamaytirib o‘qitishgan. Bu regressiya uchun «standart» yo‘qotish: chiziqli modellar uchun uning aniq yechimi, neyron tarmoqlar uchun silliq gradiyenti va aniq statistik ma’nosi bor. Lejandr 1805 yilda e’lon qilgan, Gauss esa 1809 yilda xatolarning normal qonuni bilan bog‘lagan eng kichik kvadratlar usuli — aynan MSE’ni minimallashtirishdir.

U qayerda uchraydi:

• chiziqli regressiya — bitta formulali yechimga ega eng kichik kvadratlar usuli (EKK, ordinary least squares);
• regressiya uchun neyron tarmoqlar — PyTorch’da MSELoss, Keras’da "mse"; kirishni tiklaydigan avtoenkoderlar;
• diffuziya modellari — tarmoq qo‘shilgan shovqinni bashorat qilishni o‘rganadi va yo‘qotish — haqiqiy va bashorat qilingan shovqin orasidagi MSE;
• mustahkamlab o‘qitish — qiymat funksiyasi ko‘pincha TD-xato kvadratida o‘qitiladi;
• gradiyent busting — loss="squared_error": MSE antigradiyenti qoldiqqa teng, shuning uchun har bir daraxt qoldiqlarga moslashtiriladi;
• signal va tasvirlarga ishlov berish — PSNR MSE orqali hisoblanadi, Kalman filtri xato kvadratining kutilmasini minimallashtiradi.

Intuitsiya: kvadratlar yuzi

Bu yerda «kvadrat» so‘zini tom ma’noda tushunish mumkin. Har bir xato ustiga tomoni $|e_i|$ bo‘lgan kvadrat chizamiz. Uning yuzi — $e_i^2$, MSE esa — kvadratlarning o‘rtacha yuzi. Kesmalar uzunligi o‘rtachalanadigan MAE bilan solishtiring: yuz tomonning kvadrati kabi o‘sadi, shuning uchun katta xatolar nomutanosib ko‘p joy egallaydi.

Quyida qo‘llanmaning umumiy misoli: $y=(3;\,5;\,8)$, $\hat y=(2{,}5;\,5;\,10)$. Ko‘k bashoratlarni torting. Pastki grafikda xatolar $e^2$ parabolasi ustida turadi; MSE — bu nuqtalarning o‘rtacha balandligi.

Formula mayda detallarigacha

MAE’dagi o‘sha to‘rtta amal, faqat modul o‘rniga — kvadrat.

$y_i$

$i$-obyekt uchun haqiqiy qiymat;

$\hat y_i$

model bashorati;

$e_i=y_i-\hat y_i$

xato (qoldiq); kvadratga oshirilgandan keyin uning ishorasi yo‘qoladi;

$e_i^2$

kvadrat: manfiy emas, silliq va xato qancha katta bo‘lsa, shuncha tez o‘sadi;

$\sum e_i^2$

qoldiqlar kvadratlari yig‘indisi — SSE (sum of squared errors) yoki RSS (residual sum of squares);

$\frac1n$

o‘rtachalash: MSE tanlanma hajmiga bog‘liq emas.

Nega modul emas, kvadrat? Uchta sabab bor. Silliqlik: $e^2$ ning $2e$ hosilasi hamma joyda, jumladan nolda ham bor. Algebra: kvadratlar yig‘indisi — kvadratik forma, uning minimumi chiziqli sistemani (normal tenglamalarni) yechib topiladi. Geometriya: $\sum e_i^2$ — Yevklid masofasining kvadrati, eng yaxshi bashorat esa Pifagor teoremasidagidek ortogonal proyeksiya.

Vektor ko‘rinishida MSE — xatolar vektori Yevklid normasining $n$ ga bo‘lingan kvadrati:

Ikkinchi nomi shundan — L2-yo‘qotish. MSE birliklari — $y$ birliklarining kvadrati: so‘m², daqiqa². Dastlabki birliklarga qaytish uchun ildiz olinadi va RMSE hosil bo‘ladi; misolda $\sqrt{1{,}417}\approx1{,}190$.

Xossalar va eng yaxshi o‘zgarmas

• Manfiy emaslik: $\mathrm{MSE}\ge0$, tenglik — faqat aniq bashoratlarda.
• Kvadratik masshtab: $y$ va $\hat y$ ni $k$ ga ko‘paytirsak, MSE $k^2$ ga ko‘payadi. So‘mni ming so‘mga o‘tkazish MSE’ni million marta kamaytiradi.
• Silliqlik va qavariqlik: MSE — bashoratlarning kvadratik funksiyasi; chiziqli model uchun — parametrlarning kvadratik funksiyasi. Belgilar matritsasining ustunlari (siljish uchun birlar ustuni bilan birga) chiziqli erkli bo‘lsa, u qat’iy qavariq va minimum yagona.
• Xatolar yoyilmasi: $\mathrm{MSE}=\bar e^{\,2}+\operatorname{Var}(e)$ — o‘rtacha siljish kvadrati plyus xatolar tarqoqligi. Misolda $\bar e=-0{,}5$: $1{,}417=0{,}25+1{,}167$.
• MAE bilan solishtirish: $\mathrm{MSE}\ge\mathrm{MAE}^2$ (kvadratlar o‘rtachasi o‘rtachaning kvadratidan kam emas). Misolda: $1{,}417\ge0{,}833^2\approx0{,}694$.

Eng yaxshi o‘zgarmas — o‘rtacha

Agar model bitta $c$ son bilan javob bersa, $c$ ning funksiyasi sifatida MSE — parabola. $\bar y$ o‘rtachani qo‘shib va ayirib qavslarni ochamiz:

Birinchi qo‘shiluvchi $c$ ga bog‘liq emas, ikkinchisi manfiy emas va faqat $c=\bar y$ da nolga aylanadi. Demak, MSE minimumi yagona va o‘rtachada erishiladi, uning qiymati esa — ma’lumotlar dispersiyasi. $2(c-\bar y)$ hosila — o‘rtachagacha bo‘lgan masofaga proporsional to‘g‘ri chiziq.

Hosila: xatoga proporsional kuch

Kvadratning hosilasi — $2e$. Bashorat haqiqatdan qancha uzoq bo‘lsa, gradiyent uni shuncha kuchli orqaga tortadi, minimumning o‘zida esa kuch silliq yo‘qoladi. Aynan shu MSE’ni gradiyent tushish uchun shunchalik qulay qiladi.

Bitta xato uchun gradiyent tushishni ko‘raylik. $\hat y\leftarrow\hat y-\eta\,\partial e^2/\partial\hat y=\hat y+2\eta e$ qadami xatoni $e\leftarrow(1-2\eta)\,e$ ga aylantiradi. Har bir qadam xatoni bir xil songa ko‘paytiradi — geometrik progressiya hosil bo‘ladi.

Parametrlar ustidagi kosa: EKK va gradiyent tushish

$\hat y=wx+b$ to‘g‘ri chiziqni va beshta nuqtani olamiz: $x=(1;\,2;\,3;\,4;\,5)$, $y=(1{,}3;\,2;\,3{,}1;\,4{,}5;\,7)$. $(w;\,b)$ funksiyasi sifatida MSE — kvadratik forma, uning grafigi — yagona tubli elliptik kosa (paraboloid).

Aniq yechim: normal tenglamalar

Gradiyentni nolga tenglab, chiziqli sistema — normal tenglamalar — va eng kichik kvadratlar usuli yechimini olamiz:

Bizning nuqtalar uchun $w^*=1{,}39$, $b^*=-0{,}59$, $\mathrm{MSE}^*=0{,}2294$. Amalda teskari matritsa hisoblanmaydi: QR yoki SVD yoyilmasi (np.linalg.lstsq), katta ma’lumotlarda esa gradiyent tushish ishlatiladi.

Gradiyent tushish va kosa shakli

Tushish tezligini kosa shakli — $H=\frac2nX^\top X$ gessianning xos sonlari belgilaydi. Tik yo‘nalish ($\lambda_{\max}$) bo‘ylab juda katta qadam tub ustidan oshirib yuboradi, yotiq yo‘nalish ($\lambda_{\min}$) bo‘ylab tushish sudraladi. Bizning ma’lumotlar uchun $\lambda_{\max}=23{,}66$, $\lambda_{\min}=0{,}338$, ularning nisbati — shartlanganlik soni — taxminan $70$: kosa tor jarlikka cho‘zilgan va $\eta_{\text{krit}}=2/\lambda_{\max}\approx0{,}0845$ dan katta qadam uzoqlashishga olib keladi.

Siljish va tarqoqlik

Yangi ma’lumotlardagi MSE uch qismdan iborat va bu, ehtimol, ortiqcha moslashish (overfitting) haqidagi eng muhim formula. $y=f(x)+\varepsilon$ bo‘lsin, shovqinning o‘rtachasi $0$ va dispersiyasi $\sigma^2$, $\hat f$ model esa tasodifiy tanlanmada o‘qitilgan. U holda $x$ nuqtadagi kutilgan xato:

$\mathbb E\hat f(x)$

barcha mumkin bo‘lgan o‘qitish tanlanmalari bo‘yicha o‘rtacha bashorat;

$\text{siljish}^2$

o‘rtacha model haqiqatdan qanchalik adashadi — juda oddiy model uchun to‘lov;

$\text{tarqoqlik}$

model tanlanmadan tanlanmaga qanchalik o‘zgaradi — juda moslashuvchan model uchun to‘lov;

$\sigma^2$

yo‘qotib bo‘lmaydigan shovqin: uni hech qanday model olib tashlamaydi.

Ehtimoliy ma’no: normal shovqin

Nega aynan kvadrat? Klassik javobni Gauss (1809) bergan. $y_i=\hat y_i+\varepsilon_i$ bo‘lsin, bu yerda $\varepsilon_i$ shovqin erkli va normal taqsimlangan, $N(0,\sigma^2)$. Bitta kuzatuv zichligi — bashorat atrofidagi qo‘ng‘iroq, tanlanma o‘xshashligi esa — ma’lumot nuqtalaridagi qo‘ng‘iroqlar balandliklarining ko‘paytmasi. O‘xshashlikning manfiy logarifmi:

Istalgan belgilangan $\sigma$ da bu MSE’ning o‘suvchi chiziqli funksiyasi. Demak, MSE’ni minimallashtirish — normal shovqindagi maksimal o‘xshashlik usuli. $\sigma$ bo‘yicha minimum yana bir bog‘liqlikni beradi: $\hat\sigma^2=\mathrm{MSE}$. Keyinroq (1821–1823) Gauss normallikni talab qilmaydigan ikkinchi asosni ham bergan: agar xatolar siljimagan, korrelyatsiyalanmagan va bir xil dispersiyali bo‘lsa, EKK bahosi barcha chiziqli siljimagan baholar orasida eng kichik dispersiyaga ega (Gauss — Markov teoremasi).

Xuddi shu faktning yana bir ifodasi: barcha $g(x)$ funksiyalar orasida $\mathbb E(y-g(x))^2$ kutilgan xato kvadrati $g(x)=\mathbb E[y\mid x]$ da minimal. MSE’da o‘qitilgan model shartli o‘rtachani baholaydi. Agar shovqin nosimmetrik yoki og‘ir dumli bo‘lsa, shartli o‘rtacha «tipik» natijani yomon tasvirlashi mumkin — u holda medianaga (MAE) yoki kvantillarga qarashadi.

Chetga chiquvchi qiymatlar: cheklanmagan ta’sir

Kvadratning teskari tomoni — anomal nuqtalarga sezgirlik. Obyektdan keladigan gradiyent uning xatosiga proporsional, shuning uchun uzoqdagi chetga chiquvchi nuqta qancha uzoq bo‘lsa, modelni shuncha kuchli tortadi. Robast statistikada EKK’ning ta’sir funksiyasi cheklanmagan va buzilish nuqtasi (breakdown point) nolga teng deyiladi: to‘g‘ri chiziqni istalgancha uzoqqa olib ketish uchun bitta nuqta yetarli.

MSE kerak bo‘lsa, chetga chiquvchi qiymatlar bilan nima qilish kerak:

• yo‘qotishni Xyuber bilan almashtirish: kichik xatolar uchun kvadrat va kattalar uchun modul — MSE silliqligi va MAE’ning cheklangan ta’siri;
• maqsadli o‘zgaruvchini o‘zgartirish (narxlar va daromadlar uchun $\log y$) — lekin u holda model $y$ ning emas, logarifmning o‘rtachasini baholaydi;
• chetga chiquvchilarni qoldiqlar bo‘yicha topish va tekshirish: juda katta $e_i^2$ li nuqtalar darhol ko‘rinadi;
• ma’lumotlar qism-to‘plamlarida o‘qitiladigan robast moslashtirish algoritmlaridan (RANSAC, Theil–Sen) foydalanish.

Kodda

NumPy’da MSE va uning gradiyenti, EKK’ning aniq yechimi va eng yaxshi o‘zgarmas o‘rtacha ekanini tekshirish:

pythonimport numpy as np

y     = np.array([3.0, 5.0, 8.0])
y_hat = np.array([2.5, 5.0, 10.0])

def mse(y, y_hat):
    return np.mean((y - y_hat) ** 2)

def mse_grad(y, y_hat):
    # bashoratlar bo‘yicha gradiyent: 2(ŷ − y) / n
    return 2 * (y_hat - y) / y.size

print(mse(y, y_hat))        # 1.4166666666666667
print(mse_grad(y, y_hat))   # [-0.33333333  0.          1.33333333]

# EKK to‘g‘ri chizig‘i: normal tenglamalarning aniq yechimi
x = np.array([1.0, 2.0, 3.0, 4.0, 5.0])
t = np.array([1.3, 2.0, 3.1, 4.5, 7.0])
A = np.column_stack([x, np.ones_like(x)])
w, b = np.linalg.lstsq(A, t, rcond=None)[0]
print(round(w, 4), round(b, 4), round(mse(t, A @ [w, b]), 4))   # 1.39 -0.59 0.2294

# MSE bo‘yicha eng yaxshi o‘zgarmas — o‘rtacha; MSE(c) = Var + (c − ȳ)²
data = np.array([2.0, 3.0, 5.0, 9.0, 16.0])
print(data.mean(), mse(data, data.mean()), mse(data, 12.0))   # 7.0 26.0 51.0

PyTorch’da — MSELoss. Bashoratlar bo‘yicha gradiyent — $2(\hat y-y)/n$; 4-rasmdagi xom belgi bo‘yicha $0{,}05$ qadamli tushish o‘sha EKK yechimiga keladi, lekin sekin: ikki xona aniqlikkacha taxminan 300 qadamda (listingda zaxira bilan 2000 qadam):

pythonimport torch
import torch.nn as nn

y     = torch.tensor([3.0, 5.0, 8.0])
y_hat = torch.tensor([2.5, 5.0, 10.0], requires_grad=True)

loss = nn.MSELoss()(y_hat, y)    # ((y_hat - y) ** 2).mean() bilan bir xil
loss.backward()
print(loss.item())               # 1.4166666269302368
print(y_hat.grad)                # tensor([-0.3333,  0.0000,  1.3333])

# to‘g‘ri chiziq uchun gradiyent tushish: η > 2/λ_max ≈ 0.0845 da u uzoqlashadi
x = torch.tensor([1.0, 2.0, 3.0, 4.0, 5.0])
t = torch.tensor([1.3, 2.0, 3.1, 4.5, 7.0])
w = torch.zeros(1, requires_grad=True)
b = torch.zeros(1, requires_grad=True)
opt = torch.optim.SGD([w, b], lr=0.05)
for step in range(2000):
    opt.zero_grad()
    nn.functional.mse_loss(w * x + b, t).backward()
    opt.step()
print(round(w.item(), 2), round(b.item(), 2))   # 1.39 -0.59

scikit-learn’da MSE va RMSE metrikalari bor (regressorlarning score metodi esa $R^2$ qaytaradi), LinearRegression MSE’ni aniq minimallashtiradi, busting esa undan standart yo‘qotish sifatida foydalanadi:

pythonimport numpy as np
from sklearn.metrics import mean_squared_error, root_mean_squared_error
from sklearn.linear_model import LinearRegression
from sklearn.ensemble import HistGradientBoostingRegressor

print(mean_squared_error([3, 5, 8], [2.5, 5, 10]))        # 1.4166666666666667
print(root_mean_squared_error([3, 5, 8], [2.5, 5, 10]))   # 1.1902380714238083

X = np.array([[1.0], [2.0], [3.0], [4.0], [5.0]])
y = np.array([1.3, 2.0, 3.1, 4.5, 7.0])
lr = LinearRegression().fit(X, y)                    # MSE’ni aniq minimallashtiradi
print(lr.coef_.round(4), round(lr.intercept_, 4))    # [1.39] -0.59

# MSE’dagi busting: har bir daraxt y − F(x) qoldiqlarga moslashtiriladi
gbr = HistGradientBoostingRegressor(loss="squared_error")

Ko‘p uchraydigan xatolar

1. MSE’ni «o‘rtacha xato» deb o‘qish. Misoldagi MSE $=1{,}417$ — kvadrat birliklarda; o‘rtacha xato $\sqrt{1{,}417}\approx1{,}19$ (RMSE) yoki $0{,}833$ (MAE) tartibida.
2. Chetga chiquvchilari bor ma’lumotlarda MSE. Bir nechta anomaliya modelni o‘zi bilan sudrab ketadi (7-rasm). Ma’lumotlarni tozalang, Xyuber yoki MAE’ni oling.
3. Masshtablanmagan belgilar. Cho‘zilgan kosa — sekin tushish va kichik joiz qadam (4-rasm). Belgilarni standartlashtiring.
4. Juda katta qadam. $\eta>2/\lambda_{\max}$ da yo‘qotish eksponensial o‘sadi va tezda inf va nan ga aylanadi.
5. Sigmoida ustidan klassifikatsiya uchun MSE. Model ishonch bilan adashganda ($y=1$ da $p\approx0$) $2(p-y)\,p(1-p)$ gradiyent so‘nadi. Ehtimolliklar uchun BCE yoki kross-entropiyadan foydalaning.
6. Modelni o‘qitishdagi MSE bo‘yicha baholash. O‘qitish ma’lumotlaridagi past MSE shovqinni yodlashni anglatishi mumkin (5-rasm, $d=10$). Validatsiyaga qarang.

Boshqa formulalar bilan bog‘liqlik

• MAE: kvadrat o‘rniga modul — o‘rtacha o‘rniga mediana, chetga chiquvchilarga bardoshlilik, lekin nolda sinish.
• RMSE: $\sqrt{\mathrm{MSE}}$ — o‘sha optimal model, lekin xato $y$ birliklarida.
• Xyuber funksiyasi: nol yonida MSE va dumlarda MAE.
• BCE: ehtimolliklar uchun MSE analogi — u ham maksimal o‘xshashlik usuli, lekin Bernulli taqsimoti uchun.
• SGD va Adam: MSE’da qadam va masalaning shartlanganligi yaqinlashishni qanday belgilashi yaxshi ko‘rinadi.

Xulosa

O‘zingizni tekshiring