Pol va shift orasidagi yo‘l
Sigmoidani yo‘l deb tasavvur qilish eng oson. Pastda 0 balandlikdagi pol, tepada 1 balandlikdagi shift. Yo‘l chapdan o‘ngga boradi: avval deyarli polda yotadi, so‘ng silliq ko‘tarilib deyarli shift ostiga yotadi.
Bu yerda asosiy so‘z «deyarli». Yo‘l polga ham, shiftga ham istalgancha yaqinlashadi, lekin hech qachon ularga tegmaydi. Egri chiziq cheksiz yaqinlashadigan, ammo hech qachon yetib bormaydigan chiziq asimptota deb ataladi. Sigmoidada bunday chiziq ikkita, ikkalasi ham gorizontal: x → −∞ da y = 0 va x → +∞ da y = 1.
Bu oraliq qanchalik kichik bo‘lishi raqamlarda ko‘rinadi.
| x | σ(x) | 1 − σ(x) |
|---|---|---|
| 2 | 0.8808 | 0.12 |
| 5 | 0.9933 | 6.7 × 10−3 |
| 10 | 0.99995 | 4.5 × 10−5 |
| 20 | 0.999999998 | 2.1 × 10−9 |
| 100 | 1 − 3.7 × 10−44 | 3.7 × 10−44 |
x = 100 da birgacha verguldan keyin qirq uchta nol bo‘lgan son yetmaydi. Lekin bu hali ham nol emas va hech qanday x da nol bo‘lmaydi. Ana shu «hech qachon» — «asimptota» so‘zining mazmuni.
Eng tik joy
Endi yo‘l bo‘ylab piyoda yuramiz. Chapda u deyarli tekis. Keyin ko‘tarilish tobora tikroq bo‘lib boradi, aynan o‘rtada, x = 0 nuqtada 0.5 balandlikda maksimumga yetadi va yana tekislanadi.
«Tobora tikroq» «tobora yotiqroq»ga almashadigan joy burilish nuqtasi deb ataladi. Rasman u yerda ikkinchi hosilaning ishorasi o‘zgaradi: chapda egri chiziq pastga qavariq, o‘ngda yuqoriga qavariq. Sigmoidada bunday joy aynan bitta, shuning uchun butun egri chiziq zinapoyasiz va o‘rtada tekisliksiz bitta silliq S-harakatdan iborat.
Hosila
Bu yerda hosila hayratlanarli darajada qulay. U funksiyaning o‘zi orqali ifodalanadi: σ′ = σ(1 − σ). Demak, xatoni teskari tarqatishda eksponentani qayta hisoblash shart emas, tarmoq to‘g‘ri o‘tishda allaqachon hisoblagan qiymat kifoya.
O‘qitish uchun faqat σ(x) kerak, e−x ni qayta hisoblash shart emas. Hosila simmetrik, σ′(x) = σ′(−x), uning ostidagi yuza birga teng: bu logistik taqsimotning zichligi.
Bu neyron tarmoq uchun nimani anglatadi
Tarmoq ichida chiqishdagi neyron ixtiyoriy sonni oladi: −50, 3, 1000. Binar tasniflash uchun 0 dan 1 gacha ehtimollik ko‘rinishidagi javob kerak. Sigmoida istalgan sonni olib, uni pol va shift orasidagi yo‘lga joylaydi.
Asimptotalar chegaralanganlik beradi. Chiqish har doim qat’iy 0 va 1 orasida, shuning uchun uni ehtimollik sifatida o‘qish mumkin. Xuddi shu xususiyat asosiy kamchilik hamdir: tekis qismlarda katta kirishlar farqlanmay qoladi. σ(10) va σ(100) beshinchi raqamda farq qiladi, hosila u yerda deyarli nol. Aktivatsiyalar dumlarga ketsa, gradient ulardan o‘tmaydi va vaznlar o‘rganishni to‘xtatadi. Bu so‘nuvchi gradient — sigmoida chuqur tarmoqlarning yashirin qatlamlaridan ketganining sababi.
Burilish nuqtasi chegara beradi. x = 0 va σ = 0.5 — «yo‘q» va «ha» o‘rtasidagi o‘rta nuqta. Bu yerda hosila maksimal, demak tarmoq eng sezgir: kirishning kichik siljishi chiqishni sezilarli o‘zgartiradi. Logistik regressiyada w·x + b = 0 qaror chegarasi aynan shu nuqtaga tushadi. Shuning uchun 0.5 standart chegaraga aylandi.
Burilishning yagonaligi bitta o‘tish beradi. Egri chiziq monoton va oraliq tekisliklarsiz, shuning uchun «yo‘q» va «ha» orasida bir nechta emas, aynan bitta chegara bor.
Qisqacha
- Ikki gorizontal asimptota, 0 va 1: chiqishni har doim ehtimollik sifatida o‘qish mumkin, lekin dumlarda funksiya to‘yinadi va gradient so‘nadi.
- (0, 0.5) dagi bitta burilish nuqtasi: maksimal sezgirlik, tabiiy qaror chegarasi va sinflar orasidagi yagona chegara.
- Hosila funksiyaning o‘zi orqali ifodalanadi, σ′ = σ(1 − σ), bu teskari tarqatishni arzon qiladi.
- Taqqoslash uchun, tanh da xuddi shu xususiyatlar, lekin asimptotalar −1 va 1, burilish koordinata boshida va qiyalik 0.25 o‘rniga 1, shuning uchun yashirin qatlamlarda u tezroq o‘rganadi. Sigmoida aynan ehtimollik kerak bo‘lgan joyda qoldi: binar tasniflagich chiqishida.