Neyron tarmoq formulalari: qo‘llanma

Istalgan sonni $(0;\,1)$ oralig‘iga siqadi, shuning uchun natija ehtimollik sifatida o‘qiladi. Egri chiziq S-shaklida, $(0;\,0{,}5)$ nuqtaga nisbatan simmetrik; asimptotalari $y=0$ va $y=1$.

$\sigma(0)=0{,}5$, $\sigma(2)\approx0{,}881$, $\sigma(-2)\approx0{,}119$. Qiyalik nolda eng katta: $\sigma'(0)=0{,}25$, $\sigma'(2)\approx0{,}105$ esa allaqachon kichikroq.

def sigmoid(x):
    return 0.5 * (1 + np.tanh(0.5 * x))  # = 1 / (1 + e^-x), no overflow

def sigmoid_grad(x):
    s = sigmoid(x)
    return s * (1 - s)

Xuddi shu S-shakl, lekin markazi nolda va qiymatlar oralig‘i $(-1;\,1)$. Funksiya toq: $\tanh(-x)=-\tanh(x)$.

$\tanh(1)\approx0{,}762$, $\tanh'(0)=1$ — nolda sigmoidadan to‘rt marta tikroq, $\tanh'(1)\approx0{,}420$.

def tanh_grad(x):
    t = np.tanh(x)
    return 1 - t ** 2

Musbat qiymatni o‘zgarishsiz o‘tkazadi, manfiyni nolga aylantiradi. Hisoblash arzon, noldan o‘ngda gradiyent so‘nmaydi.

$\operatorname{ReLU}(-3)=0$, $\operatorname{ReLU}(2{,}5)=2{,}5$. $x=0$ nuqtada hosila yo‘q; kutubxonalar kelishuv bo‘yicha $0$ oladi.

def relu(x):
    return np.maximum(0, x)

def relu_grad(x):
    return (x > 0).astype(float)

ReLU kabi, lekin manfiy qism nolga aylanmaydi, kichik $\alpha$ ga ko‘paytiriladi ($0<\alpha<1$ da). «O‘layotgan ReLU»ni davolaydi.

$\alpha=0{,}01$ da: $\operatorname{LReLU}(-3)=-0{,}03$, $\operatorname{LReLU}(2)=2$.

def leaky_relu(x, alpha=0.01):
    return np.where(x > 0, x, alpha * x)

Logitlar (tarmoqning xom chiqishlari) vektorini ehtimolliklar taqsimotiga aylantiradi: barcha $s_i\in(0;\,1)$, yig‘indisi 1. Ko‘p sinfli klassifikatorning oxirida turadi.

Amalda barcha logitlardan maksimum ayiriladi: $\dfrac{e^{x_i-\max x}}{\sum_j e^{x_j-\max x}}$. Natija o‘sha, lekin eksponenta to‘lib ketmaydi.

$(2;\,1;\,0)$ logitlar $\approx(0{,}665;\,0{,}245;\,0{,}090)$ ehtimolliklarni beradi.

def softmax(x):
    e = np.exp(x - x.max())
    return e / e.sum()

Xatoning o‘rtacha moduli. Maqsadli o‘zgaruvchi bilan bir xil birliklarda o‘lchanadi va eng oson tushuniladi. Chetga chiquvchi qiymatlarga MSE’dan chidamliroq.

Umumiy misol: $y=(3;\,5;\,8)$, $\hat{y}=(2{,}5;\,5;\,10)$, xatolar $y-\hat{y}=(0{,}5;\,0;\,-2)$. $\mathrm{MAE}=(0{,}5+0+2)/3\approx0{,}833$.

mae = np.mean(np.abs(y - y_hat))

Xatoning o‘rtacha kvadrati. Kvadrat katta xatolarni qattiq jazolaydi. Birliklari — maqsadli o‘zgaruvchi birliklarining kvadrati.

Umumiy misol: $y=(3;\,5;\,8)$, $\hat{y}=(2{,}5;\,5;\,10)$, xatolar $y-\hat{y}=(0{,}5;\,0;\,-2)$. $\mathrm{MSE}=(0{,}25+0+4)/3\approx1{,}417$: bitta $-2$ xato yig‘indining 94% ini beradi.

mse = np.mean((y - y_hat) ** 2)

MSE’dan ildiz xatoni maqsadli o‘zgaruvchi birliklariga qaytaradi. MAE kabi tushunarli, lekin katta xatolarni baribir qattiqroq jazolaydi.

Umumiy misol: $y=(3;\,5;\,8)$, $\hat{y}=(2{,}5;\,5;\,10)$, xatolar $y-\hat{y}=(0{,}5;\,0;\,-2)$. $\mathrm{RMSE}=\sqrt{1{,}417}\approx1{,}190$, $\mathrm{MAE}\approx0{,}833$ ga qarshi.

rmse = np.sqrt(np.mean((y - y_hat) ** 2))

Haqiqiy qiymatga nisbatan foizdagi xato: «model o‘rtacha MAPE % ga adashadi». Mutlaq emas, nisbiy xato muhim bo‘lganda qulay.

Umumiy misol: $y=(3;\,5;\,8)$, $\hat{y}=(2{,}5;\,5;\,10)$, xatolar $y-\hat{y}=(0{,}5;\,0;\,-2)$. $\mathrm{MAPE}=\frac{100\%}{3}\bigl(\tfrac{0{,}5}{3}+0+\tfrac{2}{8}\bigr)\approx13{,}9\%$.

mape = 100 * np.mean(np.abs((y - y_hat) / y))

Nol atrofida MSE kabi kvadratik (aniq sozlash), katta xatolarda MAE kabi chiziqli (chetga chiquvchi qiymatlardan qo‘rqmaydi). Ikkala tarmoq va ularning hosilalari $|r|=\delta$ nuqtada tutashadi.

Umumiy misol: $y=(3;\,5;\,8)$, $\hat{y}=(2{,}5;\,5;\,10)$, xatolar $y-\hat{y}=(0{,}5;\,0;\,-2)$. $\delta=1$ da: yo‘qotishlar $0{,}125$, $0$ va $1\cdot(2-0{,}5)=1{,}5$; o‘rtachasi $\approx0{,}542$.

def huber(y, y_hat, delta=1.0):
    r = np.abs(y - y_hat)
    return np.mean(np.where(r <= delta, 0.5 * r ** 2,
                            delta * (r - 0.5 * delta)))

Ikki sinf uchun. $y\in\{0,1\}$ belgi kalit vazifasini bajaradi: ikki qo‘shiluvchidan bittasi qoladi — to‘g‘ri javob ehtimolligining $-\log$ i.

To‘g‘ri javob $y=1$. Model ishonchli va haq, $\hat{y}=0{,}9$: yo‘qotish $-\ln0{,}9\approx0{,}105$. Ishonchli, lekin xato, $\hat{y}=0{,}1$: $-\ln0{,}1\approx2{,}303$ — 22 marta ko‘p.

p = np.clip(y_hat, 1e-7, 1 - 1e-7)
bce = -np.mean(y * np.log(p)
               + (1 - y) * np.log(1 - p))

$K$ ta sinf uchun; $y$ — one-hot vektor (to‘g‘ri sinf o‘rnida bir). Yig‘indida bitta qo‘shiluvchi qoladi — to‘g‘ri sinf ehtimolligining $-\log$ i.

$(2;\,1;\,0)$ logitlar, to‘g‘ri sinf — birinchisi. $s\approx(0{,}665;\,0{,}245;\,0{,}090)$, $\mathrm{CE}=-\ln0{,}665\approx0{,}408$, gradiyent $s-y\approx(-0{,}335;\,0{,}245;\,0{,}090)$: to‘g‘ri logit yuqoriga, qolganlari pastga tortiladi.

def cross_entropy(logits, k):
    z = logits - logits.max()
    return np.log(np.exp(z).sum()) - z[k]

$\eta=0{,}001$ (o‘qitish tezligi, learning rate), $\beta_1=0{,}9$, $\beta_2=0{,}999$, $\epsilon=10^{-8}$. Barcha amallar elementma-element: har bir vaznning o‘z $m$ va $v$ i bor.

Birinchi qadam, $g_1=0{,}5$, $m_0=v_0=0$: $m_1=0{,}05$, $v_1=0{,}00025$. Tuzatishsiz qadam $3{,}16$ marta katta bo‘lardi: $0{,}05/\sqrt{0{,}00025}\approx3{,}16$, chunki $v$ $m$ ga qaraganda kuchliroq kamaygan; tuzatish bilan $\hat{m}_1=0{,}5$, $\hat{v}_1=0{,}25$ va $\hat{m}_1/\sqrt{\hat{v}_1}=1$. Birinchi qadamda vazn gradiyent masshtabidan qat’i nazar aynan $\eta$ ga siljiydi.

m = b1 * m + (1 - b1) * g
v = b2 * v + (1 - b2) * g ** 2
m_hat = m / (1 - b1 ** t)
v_hat = v / (1 - b2 ** t)
theta -= lr * m_hat / (np.sqrt(v_hat) + eps)

$\operatorname{SiLU}(1)\approx0{,}731$, $\operatorname{SiLU}(-1)\approx-0{,}269$: ReLU’dan farqli, kichik manfiy qiymatlar o‘tadi.

$\operatorname{GELU}(1)\approx0{,}841$, $\operatorname{GELU}(-1)\approx-0{,}159$.

Oraliq $m=0{,}2$. $d(a,p)=0{,}4$, $d(a,n)=1{,}1$: $L=0$, uchlik allaqachon ajratilgan. $d(a,p)=0{,}9$, $d(a,n)=1{,}0$: $L=0{,}1$ — «begona» juda yaqin.

$p_t$ — to‘g‘ri sinf ehtimolligi. $\gamma=2$ da $p_t=0{,}9$ bo‘lgan oson misol CE’dagidan 100 marta yengil ($0{,}001$ ga qarshi $0{,}105$), $p_t=0{,}3$ bo‘lgan qiyin misol esa atigi 2 marta ($0{,}590$ ga qarshi $1{,}204$).