MAPE: o‘rtacha absolyut foiz xatosi

U nima uchun kerak

Savdo bo‘limi so‘raydi: «bashorat qanchalik aniq?». «MAE 37 dona» degan javob kam narsa aytadi: non uchun bu a’lo, avtomobillar uchun esa falokat. «O‘rtacha 12% ga adashamiz» degan javob izohsiz tushunarli va non uchun ham, avtomobillar uchun ham bir xil o‘qiladi. Shuning uchun MAPE (mean absolute percentage error) talabni bashorat qilish, moliya va energetikadagi eng mashhur metrikalardan biri.

U qayerda uchraydi:

• talab va sotuvlarni bashorat qilish — chakana savdo, logistika, xaridlarni rejalashtirish; ko‘pincha bu bashorat bo‘limining asosiy KPI’i;
• moliya va iqtisodiyot — tushum, narxlar, makroko‘rsatkichlar bashoratlarining aniqligi;
• energetika — tarmoq yuklamasini bashorat qilish, bunda xato foizi to‘g‘ridan-to‘g‘ri zaxira narxiga aylanadi;
• turli masshtabdagi qatorlarni solishtirish — MAPE o‘lchamsiz, shuning uchun aniqlikni minglab tovarlar bo‘yicha o‘rtachalash mumkin;
• bashorat musobaqalari — Makridakisning M3 musobaqasida uning «simmetrik» varianti sMAPE asosiy metrikalardan biri bo‘lgan, M4 da esa usullar sMAPE va MASE bo‘yicha birgalikda reytinglangan.

Intuitsiya: haqiqiy qiymat ulushlaridagi xato

3 dona sotilganda 1 donaga adashish — uchdan birga xato qilish. 100 dona sotilganda xuddi shu bir donaga adashish — deyarli aniq tegish. MAPE har bir xatoni o‘z haqiqiy qiymatiga nisbatan o‘lchaydi va hosil bo‘lgan foizlarni o‘rtachalaydi.

Ko‘k nuqtalarni — bashoratlarni torting. O‘ngda — har bir obyektning foizdagi xatosi (APE, absolute percentage error) va ularning o‘rtachasi — MAPE.

Formula mayda detallarigacha

Formulani ichkaridan tashqariga qarab tahlil qilamiz.

$y_i$

haqiqiy qiymat; noldan farqli bo‘lishi shart;

$\hat y_i$

model bashorati;

$|y_i-\hat y_i|$

absolyut xato, MAEdagi kabi;

$\frac{|y_i-\hat y_i|}{|y_i|}$

nisbiy xato APE — haqiqiy qiymatning biz adashgan ulushi; o‘lchov birliklariga bog‘liq emas;

$\frac{100\%}{n}\sum_{i=1}^n$

obyektlar bo‘yicha o‘rtacha, foizlarga o‘tkazilgan.

Umumiy misol qadamma-qadam:

Ikkita teng kuchli yozuv metrikaning tuzilishini ochib beradi:

Birinchisi: MAPE — $w_i=1/|y_i|$ vaznli vaznli MAE; haqiqiy qiymati kichik obyektlar ulkan vazn oladi. Ikkinchisi: musbat haqiqiy qiymatlar uchun APE faqat $q_i=\hat y_i/y_i$ nisbatga bog‘liq, $\mathrm{APE}_i=|1-q_i|$. Shuning uchun barcha haqiqiy qiymatlar va bashoratlar bir xil songa ko‘paytirilsa, MAPE o‘zgarmaydi.

Xossalar va nosimmetriklik

• O‘lchamsizlik: istalgan $c\ne0$ da $\mathrm{MAPE}(c\,y,\,c\,\hat y)=\mathrm{MAPE}(y,\hat y)$. So‘mmi yoki ming so‘mmi — farqi yo‘q.
• Siljishga invariant emas: haqiqiy qiymatlar va bashoratlarga 1000 qo‘shing — absolyut xatolar o‘sha, MAPE esa bir necha marta tushib ketadi. Shuning uchun MAPE °C dagi harorat va shartli nolga ega boshqa shkalalar uchun ma’nosiz.
• $y_i=0$ da aniqlanmagan va $y_i\to0$ da cheksiz o‘sadi: haqiqiy qiymat $0{,}01$ bo‘lganda 1 bashorati — $9900\%$ xato.
• Nol bashorat roppa-rosa $100\%$ turadi: $\hat y_i=0$ da har bir $\mathrm{APE}_i=1$. «Doim nol» modeli istalgan nolmas ma’lumotlarda $\mathrm{MAPE}=100\%$ ga ega.
• Nosimmetriklik: musbat haqiqiy qiymat va manfiy bo‘lmagan bashorat uchun kam bashorat $\mathrm{APE}\le100\%$ beradi, ortiq bashorat esa chegaralanmagan.
• Qavariqlik: MAPE — bashoratlarning chiziqli funksiyalari modullari yig‘indisi, shuning uchun u bashoratlar bo‘yicha (va chiziqli model parametrlari bo‘yicha) qavariq; faqat ideal bashoratda nolga teng.

Donada simmetrik, marta bo‘yicha — yo‘q

Agar xatoni birliklarda hisoblasak, MAPE simmetrik: $y-d$ va $y+d$ bashoratlar bir xil, $d/y$ turadi. Lekin biznesda xatolar ko‘pincha marta bilan o‘lchanadi: «bir yarim baravar oshirib yubordik», «ikki baravar kam bashorat qildik». Bu yerda MAPE nosimmetrik: ikki baravar kam ($\hat y=y/2$) $50\%$ turadi, ikki baravar ko‘p ($\hat y=2y$) — $100\%$. Bir xil marta adashgan ikki bashoratdan MAPE doim kamrog‘ini afzal ko‘radi.

Hosila va eng yaxshi konstanta

Bitta obyekt uchun APE bashoratning chiziqli funksiyasi moduli, shuning uchun uning hosilasi — zinapoya:

Hosila moduli xato kattaligiga bog‘liq emas — MAEdagi kabi, — lekin $1/|y_i|$ ga ko‘paytirilgan: haqiqiy qiymati 1 bo‘lgan obyekt modelni haqiqiy qiymati 100 bo‘lgan obyektdan 100 marta kuchliroq tortadi. Umumiy misolda bashoratning har bir birligiga $\partial\,\mathrm{MAPE}/\partial\hat y=\tfrac{100\%}{3}\,\bigl(-\tfrac13;\;0;\;\tfrac18\bigr)\approx(-11{,}1\%;\;0;\;4{,}2\%)$: xatosi to‘rt baravar kichik birinchi obyekt uchinchisidan $2{,}7$ marta kuchliroq tortadi.

Eng yaxshi konstanta — pastga siljigan vaznli mediana

Barcha obyektlar uchun qaysi yagona $c$ bashorati MAPE’ni minimallashtiradi? $\mathrm{MAPE}(c)=\frac{100\%}{n}\sum_i|y_i-c|/y_i$ funksiyasi bo‘lakli-chiziqli va qavariq; qo‘shni ma’lumot nuqtalari orasida uning qiyaligi $\frac{100\%}{n}\bigl(\sum_{y_i<c}\tfrac1{y_i}-\sum_{y_i>c}\tfrac1{y_i}\bigr)$ ga teng. Minimum qiyalik ishorasini o‘zgartirgan joyda — chapdagi $1/y$ umumiy vazni o‘ngdagisi bilan tenglashgan joyda. Bu $1/y_i$ vaznli vaznli mediana:

Vaznlar $y$ o‘sishi bilan kamayadi, shuning uchun vaznli mediana oddiysidan katta emas: MAPE bashoratni sistematik ravishda pastga tortadi. Lognormal talab uchun buni aniq hisoblash mumkin: agar $\ln y\sim N(\mu,\sigma^2)$ bo‘lsa, $c^*=e^{\mu-\sigma^2}$ — $e^{-\sigma^2}$ ga ko‘paytirilgan $e^{\mu}$ mediana.

Xato xaritasi: (y, ŷ) tekisligi ustidagi APE

Bitta obyekt xatosiga ikki o‘zgaruvchining — haqiqiy qiymat $y$ va bashorat $\hat y$ ning funksiyasi sifatida qaraymiz. APE sath chiziqlari — koordinata boshidan chiqqan nurlar: $|y-\hat y|/y=a$ sharti $\hat y=(1\pm a)\,y$ ga teng kuchli. Absolyut xatoning sath chiziqlari esa, aksincha, parallel $\hat y=y\pm e$ to‘g‘ri chiziqlar. Nurlar nolda tutashadi, shuning uchun $y=0$ yaqinida istalgan qayd etilgan absolyut xato APE’ning barcha sathlarini kesib o‘tadi — «portlash» shundan.

$n$ ta obyekt uchun MAPE — shunday funksiyalarning o‘rtachasi. $(\hat y_1,\dots,\hat y_n)$ bashoratlar fazosida uning sath chiziqlari — markazi $y$ da, yarim o‘qlari $y_i$ ga proporsional bo‘lgan ko‘pyoqlar (2D’da romblar): kichik $y_i$ o‘qlari bo‘ylab katta jarimasiz uzoqqa ketib bo‘lmaydi.

MAPE’da o‘qitish: 1/y vaznlar va kam bashorat

MAPE — $1/|y_i|$ vaznli MAE bo‘lgani uchun, modelni MAPE’da obyekt vaznlari bilan MAE’ni minimallashtiradigan istalgan algoritm bilan o‘qitish mumkin: sample_weight=1/|y| ni bering. LightGBM’da tayyor objective="mape" maqsadi bor, PyTorch’da esa yo‘qotish bir qatorda yoziladi (kod bo‘limiga qarang).

Eng oddiy $\hat y=w\,x$ modelni $y=10\,x\cdot e^{0{,}35\,\varepsilon}$, $\varepsilon\sim N(0,1)$ bo‘lgan 40 ta obyektda o‘qitamiz: haqiqiy qiyalik 10 ga teng, shovqin multiplikativ — uning kattaligi haqiqiy sotuvlardagi kabi $y$ bilan birga o‘sadi.

Nega shunday: kichik $y$ li nuqtalar katta vazn oladi va to‘g‘ri chiziqni pastga tortadi. $q_i=y_i/x_i$ nisbatlar tilida $\mathrm{MAPE}(w)=\frac{100\%}{n}\sum_i|q_i-w|/q_i$, demak, optimum — $1/q_i$ vaznli $q_i$ larning vaznli medianasi. Lognormal shovqinda bu $e^{-\sigma^2}=e^{-0{,}1225}\approx0{,}885$ ga ko‘paytirilgan mediana, ya’ni katta tanlanmada 10 o‘rniga taxminan $8{,}85$ (quyidagi scikit-learn listingidagi 400 ta nuqtada $8{,}85$ chiqadi). 5-rasmdagi 40 ta nuqtada tasodifiy tebranish sezilarliroq, va optimum $9{,}10$ ga teng.

MAPE, sMAPE, WAPE va MASE

Sanab o‘tilgan muammolar tufayli MAPE’ning bir nechta mashhur qarindoshlari bor ($e_i=y_i-\hat y_i$):

Umumiy misolda $\mathrm{MAPE}\approx13{,}9\%$, $\mathrm{sMAPE}\approx13{,}5\%$, $\mathrm{WAPE}=2{,}5/16\approx15{,}6\%$, masshtabi $\tfrac12\bigl(|5-3|+|8-5|\bigr)=2{,}5$ bo‘lgan MASE esa $0{,}833/2{,}5\approx0{,}33$ ga teng (soddalik uchun masshtab o‘sha uchta nuqta bo‘yicha hisoblangan).

WAPE (uni MAD/Mean ratio deb ham atashadi) — o‘rtacha haqiqiy qiymatga bo‘lingan MAE: sotuvi katta obyektlar og‘irroq, umumiy natija esa talabi nolga yaqin bitta tovar tufayli buzilmaydi. MASE (Xayndman va Kyoler, 2006) model MAE’sini qatorning o‘qitish qismida hisoblangan «o‘tgan davrdagidek» sodda bashorat MAE’si bilan solishtiradi (mavsumiy qatorlarda — mavsumiy sodda bashorat bilan) va hatto nollari bor qatorlar uchun ham yaraydi. sMAPE’ning bir nechta varianti bor: bu yerda M4 dagi kabi $200\%$ bilan chegaralangan $2|e_i|/(|y_i|+|\hat y_i|)$ ishlatiladi; M3 da maxraj modullarsiz, $y_i+\hat y_i$ olingan, ikkisiz va $100\%$ bilan chegaralangan versiya ham uchraydi — sonlarni solishtirishdan oldin formulani aniqlang. Bir xil ma’lumotlarda WAPE va MASE faqat o‘zgarmas ko‘paytuvchi bilan farq qiladi, shuning uchun ularning optimumi bitta.

Biznes misoli: do‘kon assortimenti

Tarmoq oltita tovarning haftalik sotuvlarini bashorat qiladi. Ulardan beshtasi o‘nlab va yuzlab dona sotiladi va $7{,}5\%$ dan $16{,}7\%$ gacha xato bilan bashorat qilinadi. Oltinchisi, F, — kam sotiladigan tovar: bashorat 10 dona, sotilgani esa 4.

Amalda nima qilish kerak:

• WAPE bilan hisobot bering (yoki tushum bo‘yicha vaznlangan MAPE bilan), agar donada yoki pulda umumiy aniqlik muhim bo‘lsa;
• MAPE’ni guruhlar bo‘yicha hisoblang — tez va sekin sotiladigan tovarlarni alohida — yoki sotuvi chegaradan past pozitsiyalarni chegarani aniq ko‘rsatgan holda chiqarib tashlang;
• sekin sotiladigan tovarlar uchun MASE yoki uzilishli talab uchun maxsus metrikalardan foydalaning;
• xato ishorasini alohida kuzating: bashoratlar yig‘indisining siljishi (bias) — mustaqil KPI, MAPE uni ko‘rsatmaydi.

Kodda

NumPy’da MAPE — bitta qator; quyida sMAPE, WAPE va formulalarni umumiy misolda tekshirish ham bor.

pythonimport numpy as np

y     = np.array([3.0, 5.0, 8.0])
y_hat = np.array([2.5, 5.0, 10.0])

ape  = np.abs((y - y_hat) / y)      # [0.16666667 0.         0.25      ]
mape = 100 * ape.mean()             # 13.888888888888888

# Xuddi shu, 1/|y| vaznli MAE sifatida
w = 1 / np.abs(y)
print(100 * np.mean(w * np.abs(y - y_hat)))   # 13.888888888888888

def smape(y, f):
    return 100 * np.mean(2 * np.abs(f - y) / (np.abs(y) + np.abs(f)))

def wape(y, f):
    return 100 * np.sum(np.abs(y - f)) / np.sum(np.abs(y))

print(smape(y, y_hat), wape(y, y_hat))        # 13.468013468013467 15.625

scikit-learn ulush qaytaradi va mashina epsilonidan ($\approx2{,}2\cdot10^{-16}$) kichik maxrajlarni epsilon bilan almashtiradi — shuning uchun nolga bo‘lish xatosi o‘rniga ulkan son chiqadi. «MAPE bo‘yicha» o‘qitish uchun $1/y$ vaznli mediana regressiyasi mos keladi:

pythonimport numpy as np
from sklearn.metrics import mean_absolute_percentage_error
from sklearn.linear_model import LinearRegression, QuantileRegressor

# y, y_hat — yuqoridagi listingdan
print(mean_absolute_percentage_error(y, y_hat))            # 0.13888888888888887 — foiz emas, ulush!
print(mean_absolute_percentage_error([0.0, 5.0], [1.0, 5.0]))  # 2251799813685248.0: nol o‘rniga eps ga bo‘lish

# «MAPE bo‘yicha» o‘qitish: 1/y vaznli mediana regressiyasi (MAE)
rng = np.random.default_rng(0)
x = rng.uniform(1, 10, 400)
t = 10 * x * np.exp(0.35 * rng.standard_normal(400))
X = x[:, None]
ols = LinearRegression(fit_intercept=False).fit(X, t)
fit = QuantileRegressor(quantile=0.5, alpha=0, fit_intercept=False).fit(X, t, sample_weight=1 / t)
print(ols.coef_, fit.coef_)   # [10.57549043] [8.85148171] — MAPE bo‘yicha model yig‘indini 16% ga kamaytiradi

PyTorch’da yo‘qotish funksiyasi sifatida MAPE:

pythonimport torch

def mape_loss(pred, target, eps=1e-8):
    """Yo‘qotish funksiyasi sifatida MAPE (ulush). eps 0 ga bo‘lishdan saqlaydi, lekin nol atrofidagi ulkan vaznlardan emas."""
    return torch.mean(torch.abs(target - pred) / target.abs().clamp_min(eps))

y     = torch.tensor([3.0, 5.0, 8.0])
y_hat = torch.tensor([2.5, 5.0, 10.0], requires_grad=True)
loss = mape_loss(y_hat, y)
loss.backward()
print(loss.item(), y_hat.grad)   # 0.1388888955116272 tensor([-0.1111, -0.0000,  0.0417])

Ko‘p uchraydigan xatolar

1. Nollari bor ma’lumotlarda MAPE. Nolga bo‘lish cheksizlik yoki NaN beradi, $\varepsilon$ orqali «himoya» esa astronomik sonlar beradi: scikit-learn $2{,}25\cdot10^{15}$ qaytaradi. Nollarni aniq filtrlang va bu haqda xabar bering yoki WAPE va MASE’ni oling.
2. Shartli nolli shkalalar uchun MAPE — °C dagi harorat, indekslar, sanalar. 2° da ham, 30° da ham 1° xato bir xil, MAPE esa 15 marta farq qiladi.
3. Siljishni hisobga olmasdan MAPE’da o‘qitish. Model bashoratni sistematik ravishda kamaytiradi, chakana savdoda bu javonlardagi taqchillikka aylanadi.
4. Kichik qiymatlar ulushi har xil bo‘lgan to‘plamlar orasida MAPE’ni solishtirish. Bitta model tez sotiladigan tovarlarda 12%, sekin sotiladiganlarda 60% ko‘rsatadi — gap sifatda emas, ma’lumotlarda.
5. Ulush va foizni chalkashtirish: scikit-learn $13{,}9$ emas, $0{,}139$ qaytaradi.
6. «MAPE kichikroq — demak, reja aniqroq». MAPE xatolar ishorasini ko‘rmaydi: MAPE’si kichikroq bashorat 5-rasmdagi kabi talabni yig‘indida 16% ga kamaytirishi mumkin.

Boshqa formulalar bilan bog‘lanishlar

• MAE: MAPE — $1/|y_i|$ vaznli MAE; gradiyent moduli ham xato kattaligiga bog‘liq emas, lekin $1/|y_i|$ ga masshtablangan.
• MSE va RMSE: absolyut kvadratik xatolar; ularning nisbiy qarindoshi — RMSLE, logarifmik shkaladagi RMSE.
• Huber: noldagi sinishni silliqlaydi; xuddi shu g‘oyani nisbiy xatoga ham qo‘llash mumkin.
• SGD: MAPE’da o‘qitish — qadami kamaytirilishi kerak bo‘lgan subgradiyent tushish (5-rasmda — $1/\sqrt t$ kabi).

Xulosa

O‘zingizni tekshiring