Excel’da kross-entropiya: BCE va CE qadamma-qadam

Daftarda nima bor

Daftar istalgan klassifikator chiqishi ortida turgan bitta zanjirni o‘rgatadi: tarmoq logit beradi — $-\infty$ dan $+\infty$ gacha istalgan son, «tarjimon» (ikki sinf uchun sigmoid, $K$ sinf uchun softmax) uni ehtimollikka aylantiradi, va faqat ehtimollik yo‘qotish formulasiga tushadi. Har bir varaq bu zanjirni chapdan o‘ngga bosib o‘tadi va o‘rta qadam tashlab ketilsa nima bo‘lishini ko‘rsatadi.

Kataklar ranglari hamma joyda bir xil:

• sariq — kirish qiymatlari: $y$ belgilar va $z$ logitlar, ularni o‘zgartirish mumkin
• havorang — sigmoid yoki softmax «tarjimoni»: alohida qadam, yo‘qotish formulasining qismi emas
• qizil — yo‘qotish formulasining o‘zi; qanchalik och bo‘lsa, qavslar ichida shunchalik chuqur
• yashil va qizil zonalar 3-bloklarda — logarifmlar qayerda mavjud, qayerda yo‘q

BCE varag‘i: hisob qadamma-qadam

Varaqning 1-blokida binary masalaning beshta obyekti bor: $y=1$ («ha») yoki $y=0$ («yo‘q») belgi va tarmoq bergan $z$ logit. Hisob jadval ustunlari kabi uch qadamdan iborat: kirish → sigmoid → BCE formulasi.

$y_i$

$i$ obyekt uchun to‘g‘ri javob: 1 yoki 0

$z_i$

logit — tarmoqning «xom» chiqishi, istalgan son

$\hat y_i=\sigma(z_i)$

«ha» javobining bashorat qilingan ehtimolligi

$n$

obyektlar soni, bu yerda $n=5$

Barcha qatorlar yig‘indisi $\Sigma = -1{,}496$, obyektlar $n=5$ ta, shuning uchun $\mathrm{BCE}=-\Sigma/n = -(-1{,}496)/5 = 0{,}299$. Varaqning oxirgi kulrang qatori xuddi shuni boshqa yo‘l bilan — ikkala tarmoq bo‘yicha SUMPRODUCT orqali hisoblaydi va u ham $0{,}299$ beradi.

Sinab ko‘ring (varaq taklif qilganidek)

• 1-qator logiti: $2{,}2 \to 6$. U holda $\hat y_1 = 0{,}998$, qator jarimasi $0{,}002$ — deyarli nol, BCE esa $0{,}299$ dan $0{,}279$ gacha tushadi.
• 1-qator logiti: $y=1$ da $2{,}2 \to -3$. U holda $\hat y_1 = 0{,}047$, qator jarimasi $3{,}049$ — qolgan to‘rtta qatorning birgalikdagi jarimasidan ($1{,}391$) katta. BCE $0{,}888$ gacha o‘sadi: bitta ishonchli xato qolgan hammasidan og‘irroq.

Sigmoid’siz logitlar

2-blok o‘sha belgilar va logitlarni olib, logitlarni BCE formulasiga to‘g‘ridan-to‘g‘ri beradi — go‘yo $z$ allaqachon ehtimollik. BCE ning ikki tarmog‘i bor, $\ln z$ va $\ln(1-z)$, va hisobda ikkalasi ham mavjud bo‘lishi kerak — keyin nolga ko‘paytiriladigani ham.

Qatorlar bo‘yicha nima chiqdi:

• 1-qator, $z=2{,}2$: $\ln 2{,}2 \approx 0{,}788 > 0$ — teskari ishorali «jarima», $\ln(1-2{,}2)=\ln(-1{,}2)$ esa mavjud emas.
• 2- va 4-qatorlar, $z<0$: $\ln z$ mavjud emas; 5-qator, $z=1{,}4$: $\ln(1-z)$ mavjud emas.
• Faqat 3-qator ($z=0{,}4$) «tasodifan» $(0;1)$ ga tushdi va son berdi: $\ln 0{,}4\approx-0{,}916$. Lekin u ham ma’nosiz: $0{,}4$ — logit, ehtimollik emas; bu yerdagi haqiqiy ehtimollik $\sigma(0{,}4)=0{,}599$.

Bitta shunday qator yetarli: NaN li o‘rtacha — NaN, gradiyentlar — NaN, optimizator qadamidan keyin tarmoq vaznlari ham NaN. O‘qitish «yomon» emas, u o‘lik. Blok natijasi: sigmoid’siz BCE — NaN, sigmoid bilan BCE — 0,299.

Sigmoid ikkala muammoni birdan hal qiladi: $\hat y\in(0;1)$ va $1-\hat y\in(0;1)$, shuning uchun ikkala logarifm doim mavjud va ikkalasi $\le 0$ — demak, har bir jarima $\ge 0$.

Daftar brauzerda

Varaqdagi hisobning o‘zi: sariq kataklarni o‘zgartiring — qolgani qayta hisoblanadi.

Ikki tarmoq va ikki devor

3-blok nega shundayligini tushuntiradi: jadval BCE ning ikkala tarmog‘iga turli $x$ larni qo‘yadi — ehtimolliklarni ham, $(0;1)$ dan tashqaridagi «logit» qiymatlarni ham. Varaqdagi sariq $x$ larni o‘zgartirish mumkin, jadval ostidagi grafik (varaq uni $\hat y$ ning $0{,}02$ dan $0{,}98$ gacha qiymatlari uchun chizadi) ikkala tarmoqni to‘liq ko‘rsatadi.

BCE ning ikki «devori» bor. $y=1$ tarmog‘i — $-\ln x$ jarima — nol yonida cheksizlikka ketadi: to‘g‘ri javob «ha» bo‘lganda ishonchli «yo‘q». $y=0$ tarmog‘i — $-\ln(1-x)$ jarima — bir yonida cheksizlikka ketadi. Devorlar orasida, $x=0{,}5$ nuqtada, ikkala tarmoq bir xil jarima beradi: $\ln 2 \approx 0{,}693$ — to‘liq ishonchsizlik bahosi.

$(0;1)$ dan tashqarida hammasi buziladi: $x\le0$ da $\ln x$ yo‘q, $x\ge1$ da $\ln(1-x)$ yo‘q, $x>1$ da $y=1$ tarmog‘i manfiy jarima beradi ($x=10$ da u $-\ln 10\approx-2{,}303$ ga teng va tubsiz pasayishda davom etadi), $x<0$ da esa xuddi shunday $y=0$ tarmog‘i «buziladi»: $x=-1$ da uning jarimasi $-\ln 2\approx-0{,}693$. Manfiy loss’ga ruxsat berilgan tarmoq shunchaki logitni kattalashtiradi.

Sigmoid logitni qanday siqadi

4-blok «tarjimon»ning o‘zini ko‘rsatadi. Varaq ustunlari $\hat y = 1/(1+e^{-z})$ formulasining oraliq qadamlari: avval $e^{-z}$, keyin $\hat y$, keyin $1-\hat y$.

Nega natija doim $(0;1)$ da: istalgan $z$ da $e^{-z}>0$, demak maxraj $1+e^{-z}>1$ va $0<\hat y<1$. $z=0$ da aynan $\hat y=0{,}5$ — to‘liq ishonchsizlik; katta musbat $z$ lar ishonchli «ha», katta manfiylari — ishonchli «yo‘q» beradi. Jadval simmetrik: $\sigma(-z)=1-\sigma(z)$, shuning uchun $z$ va $-z$ qatorlarida $\hat y$ va $1-\hat y$ ustunlari o‘rin almashadi.

BCE varag‘i xulosasi

• BCE — bu ikki sinf uchun kross-entropiya, bitta $\hat y$ soni orqali yozilgan: «ha» ehtimolligi $\hat y$, «yo‘q» ehtimolligi — $1-\hat y$.
• Formula faqat $\hat y\in(0;1)$ ni biladi. Logitlar butun to‘g‘ri chiziqda yashaydi: to‘g‘ridan-to‘g‘ri berilsa, NaN yoki teskari ishorali jarima beradi.
• Sigmoid istalgan logitni $(0;1)$ ga siqadi. Ikki sinf uchun softmax aynan sigmoid beradi: $\mathrm{softmax}(z_1,z_2)_1=\sigma(z_1-z_2)$ — bu bitta g‘oya.
• $n$ ga bo‘lish faqat loss batch o‘lchamiga bog‘liq bo‘lmasligi uchun kerak; jarima shaklini $-\ln$ belgilaydi.
• Kodda: nn.BCEWithLogitsLoss logitlarni kutadi (sigmoid’ni o‘zi bajaradi, sonli jihatdan barqarorroq), nn.BCELoss — tayyor ehtimolliklarni.

Pythonimport numpy as np

# BCE varag‘idagi belgilar va logitlar
y = np.array([1, 0, 1, 0, 1])
z = np.array([2.2, -1.4, 0.4, -0.6, 1.4])

# 2-qadam: sigmoid; 3-qadam: BCE formulasi
p = 1 / (1 + np.exp(-z))
bce = -np.mean(y * np.log(p) + (1 - y) * np.log(1 - p))
print(round(bce, 3))       # 0.299

# xuddi shu logitlardan, barqaror (nn.BCEWithLogitsLoss kabi)
s = np.maximum(z, 0) - z * y + np.log1p(np.exp(-np.abs(z)))
print(round(s.mean(), 3))  # 0.299

# PyTorch:
# nn.BCEWithLogitsLoss() logitlarni kutadi
# nn.BCELoss() ehtimolliklarni kutadi

Categorical CE varag‘i: hisob qadamma-qadam

Ikkinchi varaq — $K=3$ sinf uchun o‘sha zanjir. Kirishda belgilar «bitta issiq» vektor ko‘rinishida (one-hot: $y_k=1$ faqat to‘g‘ri sinfda, bu yerda $k=2$) va uchta logit. Tarjimon — softmax: u logitlarni yig‘indisi 1 ga teng ehtimolliklarga aylantiradi.

$z_k$

$k$ sinf logiti

$\hat y_k=\dfrac{e^{z_k}}{\sum_j e^{z_j}}$

softmax: $k$ sinf ehtimolligi

$y_k$

to‘g‘ri sinfda 1, qolganlarida 0

$K$

sinflar soni, bu yerda $K=3$

Havorang ustun va $\ln\hat y$ ustuni sonlari qanday hosil bo‘ladi:

1. Logitlarning eksponentalari va ularning yig‘indisi:

2. Har bir eksponentani yig‘indiga bo‘lamiz — bu softmax. Varaqdagi $\Sigma\hat y = 1$ tekshiruvi istalgan logitlarda doim bajariladi:

3. Ehtimolliklar logarifmlari. $\ln\hat y_k = z_k - \ln\sum_j e^{z_j}$ ekanini va $\ln 11{,}756 = 2{,}464$ ni payqash qulay. Demak, uchala logarifm — logitlardan bitta va o‘sha sonni ayirish:

4. $y\ln\hat y$ ustunida bitta qo‘shiluvchi qoladi — $y=1$ bo‘lgani. Demak, CE — to‘g‘ri sinf ehtimolligining $-\ln$ i (varaqning kulrang qatori aynan shuni tekshiradi):

Sinab ko‘ring (varaq taklif qilganidek)

• 2-sinf logiti: $2 \to 5$. U holda $\hat y_2=0{,}971$ va $\mathrm{CE}=0{,}029$ — deyarli nol.
• 2-sinf logiti: $2 \to -2$. U holda $\hat y_2=0{,}030$ va $\mathrm{CE}=3{,}505$ — katta jarima. Ikkala holda ham $\hat y$ yig‘indisi 1 ga teng qoladi.

Softmax’siz logitlar

2-blok yana logitlarni to‘g‘ridan-to‘g‘ri beradi — endi $\mathrm{CE}=-\sum_k y_k\ln z_k$ ga. Bu yerda uchala logit musbat bo‘lib chiqdi, shuning uchun logarifmlar mavjud, lekin natija xatodan ham yomon: softmax’siz CE $= -\ln 2 \approx -0{,}693$ — manfiy loss, softmax bilan esa CE $= 0{,}464$.

• To‘g‘ri sinf logiti $\to 100$: softmax’siz loss $= -\ln 100 \approx -4{,}605$, $1000$ da — $-6{,}908$, va hokazo, tubi yo‘q. Tarmoq faqat shu logitni kattalashtirishni o‘rganadi. Softmax bilan loss pastdan 0 ga taqaladi.
• To‘g‘ri sinf logiti $\to -1$: softmax’siz — xato, manfiy sonning logarifmi yo‘q. Softmax bilan hammasi hisoblanadi, faqat loss katta.

Daftar brauzerda

Varaqdagi hisobning o‘zi: sariq kataklarni o‘zgartiring — qolgani qayta hisoblanadi.

Nega faqat $(0;\,1]$

Ikkinchi varaqning 3-bloki — BCE dagi o‘sha «xarita», lekin bitta $-\ln x$ tarmog‘i bilan: CE faqat to‘g‘ri sinf ehtimolligini jarimalaydi. Yashil zona — $(0;1]$: nol yonidagi juda katta jarimadan $x=1$ dagi nol jarimagacha. Qizil zonalar — logitlar: $x\le 0$ da logarifm yo‘q, $x>1$ da jarima manfiy va tubsiz pasayadi.

Categorical CE varag‘i xulosasi

• CE formulasi faqat ehtimolliklarni biladi: yig‘indisi 1 ga teng, 0 dan 1 gacha sonlar.
• Logitlar — $-\infty$ dan $+\infty$ gacha istalgan sonlar. CE ga to‘g‘ridan-to‘g‘ri berilsa, yo xato, yo tubsiz manfiy loss beradi.
• Softmax — tarjimon: istalgan logitlarni yig‘indisi 1 bo‘lgan $(0;1)$ ga siqadi. Shuning uchun CE va softmax doim juft bo‘lib yuradi.
• Kodda softmax’ni kim bajarishini qarang: nn.CrossEntropyLoss logitlarni kutadi (softmax ichida), nn.NLLLoss — tayyor log-ehtimolliklarni (log_softmax).

Pythonimport numpy as np

# Categorical CE varag‘idagi logitlar; to‘g‘ri sinf k = 2 (indeks 1)
z = np.array([1.0, 2.0, 0.5])
k = 1

lse = np.log(np.sum(np.exp(z)))   # ln Σ e^z
p = np.exp(z - lse)               # 2-qadam: softmax
print(np.round(p, 3), round(p.sum(), 3))
# [0.231 0.629 0.14 ] 1.0
print(round(-np.log(p[k]), 3))    # 0.464
print(round(lse - z[k], 3))       # 0.464: CE = ln Σ e^z − z_k

# PyTorch:
# nn.CrossEntropyLoss() logitlarni kutadi (softmax ichida)
# nn.NLLLoss() log-ehtimolliklarni kutadi (log_softmax)

O‘zini tekshiradigan mashq

«Mashq» varag‘ida kalkulyator uchun uchta topshiriq bor: javobni sariq katakka yozing — yonida ✓ yoki ✗ chiqadi. Ruxsat etilgan farq — $\pm 0{,}005$, logarifm natural. Quyida o‘sha topshiriqlar sahifaning o‘zida; sonlarni vergul yoki nuqta bilan yozish mumkin.

Ruxsat etilgan farqga sig‘ish uchun oraliq qiymatlarni verguldan keyin uch xonadan qo‘polroq yaxlitlamang. Qo‘shiluvchi javobi — manfiy son (ehtimollik logarifmi), BCE va CE esa musbat: oxirida minus turadi.

Ko‘p uchraydigan xatolar

• Ehtimollik kutayotgan formulaga logitlar. Tarmoqning «xom» chiqishi ustidan nn.BCELoss yoki nn.NLLLoss — bu ikkala varaqning 2-bloklari: NaN yoki manfiy loss.
• Ikki karra tarjimon. nn.BCEWithLogitsLoss oldidan sigmoid yoki nn.CrossEntropyLoss oldidan softmax: funksiya uni ikkinchi marta qo‘llaydi. Xato chiqmaydi, lekin ehtimolliklar o‘rtaga siqiladi, loss deyarli o‘zgarmay qoladi va o‘qitish to‘xtab qoladi.
• Boshqa logarifm. Formulalarda — natural $\ln$. Kalkulyatorda log tugmasi ko‘pincha $\log_{10}$ ni bildiradi: $\ln 0{,}8\approx-0{,}223$ o‘rniga $\log_{10}0{,}8\approx-0{,}097$.
• Yo‘qolgan minus. Ehtimollik logarifmi manfiy, shuning uchun «ikkalasining yig‘indisi» ustuni manfiy, BCE va CE esa musbat: $\mathrm{BCE}=-\Sigma/n$.
• Adashtirilgan tarmoq. $y=0$ da jarima $-\ln\hat y$ emas, $-\ln(1-\hat y)$: «yo‘q» javobining ehtimolligi jarimalanadi.
• Juda erta yaxlitlash. $e^{z}$ yoki $\hat y$ bir-ikki xonagacha yaxlitlansa, javob $\pm0{,}005$ farqdan chiqib ketadi.

Xulosa

• Logit → tarjimon → formula: yo‘qotish formulasi faqat ehtimolliklarni tushunadi.
• Obyekt jarimasi — doim to‘g‘ri javob ehtimolligining $-\ln$ i: ishonchli to‘g‘ri javobda $0$, to‘liq ishonchsizlikda $\ln 2\approx0{,}693$, ishonchli xatoda $+\infty$.
• Funksiyalarning o‘zi haqida batafsil — qo‘llanmada: BCE, kross-entropiya, sigmoid, softmax.

O‘zingizni tekshiring

← Materiallar