ReLU: to‘g‘rilangan chiziqli funksiya

U nima uchun kerak

Nochiziqliliksiz neyron tarmoq foydasiz: chiziqli qatlamlar kompozitsiyasi qancha qatlam qo‘yilmasin, yana chiziqli funksiya. Chiziqlilikni «sindiradigan», lekin arzon hisoblanadigan va gradiyentni bo‘g‘maydigan funksiya kerak. ReLU (rectified linear unit, «to‘g‘rilangan chiziqli funksiya») eng kam narsani qiladi: musbatni o‘zgarishsiz o‘tkazadi, manfiyni nol bilan almashtiradi.

U qayerda uchraydi:

• o‘ramli tarmoqlar — AlexNet, VGG, ResNet: o‘ramlardan keyingi asosiy nochiziqlilik — ReLU;
• to‘liq bog‘langan tarmoqlar va jadval modellari — yashirin qatlamlar uchun standart tanlov;
• asl Transformer (2017) — FFN bloki: $\max(0,\,xW_1+b_1)W_2+b_2$; zamonaviy LLM’lar uning silliq qarindoshlari GELU va SiLU ga o‘tgan (ko‘pincha ventilli SwiGLU bloki tarkibida);
• mobil tarmoqlar — MobileNet’dagi ReLU6 $=\min(\max(0,x),\,6)$ past razryadli hisoblashlar uchun qulay;
• boshqa formulalar ichida — $\max(0,\cdot)$ bu SVM’ning hinge yo‘qotishi ham, triplet loss ham, sonning musbat qismi $x^+$ ham.

Intuitsiya: to‘g‘rilagich

Nom elektronikadan kelgan: to‘g‘rilagich diod tokni bir tomonga o‘tkazadi, ikkinchi tomonga o‘tkazmaydi. ReLU’li neyron — datchik: belgi chegaradan past bo‘lsa, u jim; chegaradan o‘tishi bilan qanchalik kuchli o‘tganiga mutanosib javob beradi.

Nuqtani torting. Noldan o‘ngda urinma funksiyaning o‘zi bilan ustma-ust tushadi (qiyalik 1), chapda o‘qda yotadi (qiyalik 0). Nolda yagona urinma yo‘q: qiyaligi 0 dan 1 gacha bo‘lgan har qanday to‘g‘ri chiziq grafikka pastdan tegadi — bular tayanch chiziqlar.

Formula mayda detallarigacha

Bir xil funksiyani turli yozuvlarda tanib olish foydali — har biri o‘z xossasini yoritadi:

$\max(0,x)$

nol bilan taqqoslash — eksponenta va bo‘lishsiz bitta amal;

$\frac{x+|x|}{2}$

$x>0$ da qo‘shiluvchilar teng va $x$ beradi, $x<0$ da bir-birini yo‘qotadi;

$x\cdot\mathbb 1[x>0]$

ventil: kirish ishorasiga qarab 0 ga yoki 1 ga ko‘paytiriladi. Har bir misol uchun ReLU tarmog‘i — neyronlarning bir qismi o‘chirilgan chiziqli tarmoq.

Sinishlardan — istalgan siniq chiziq

$v\cdot\operatorname{ReLU}(x-c)$ neyroni — «sharnir» (hinge): $c$ nuqtagacha nol, keyin qiyaligi $v$ bo‘lgan to‘g‘ri chiziq. Turli $c$ li sharnirlarni qo‘shib, siniq chiziq olamiz: har bir $c_k$ nuqtada qiyalik aynan $v_k$ ga o‘zgaradi. Masalan, $\operatorname{ReLU}(x+1)-2\operatorname{ReLU}(x)+\operatorname{ReLU}(x-1)$ — balandligi 1 bo‘lgan «qalpoqcha».

ReLU tarmoqlarining asosiy siri shu: to‘g‘ri chiziqdagi $m$ ta sinishli istalgan uzluksiz bo‘lakli-chiziqli funksiya — $a+bx$ va $m$ ta sharnir, ya’ni $m$ neyronli bitta yashirin qatlamli tarmoq (va chiqish siljishi $a$; $bx$ qo‘shiluvchini ham ikki neyron bilan ifodalash mumkin: $x=\operatorname{ReLU}(x)-\operatorname{ReLU}(-x)$). Siniq chiziqlar bilan esa kesmadagi istalgan uzluksiz funksiyani istalgancha aniq yaqinlashtirish mumkin.

Xossalar

• Qiymatlar sohasi — $[0;\,+\infty)$: sigmoida va tanh’dan farqli, yuqoridan chegaralanmagan.
• Bo‘lakli chiziqlilik: ikki chiziqli bo‘lak, nolda bitta sinish.
• Uzluksizlik va 1 konstantali Lipshits sharti: $|\operatorname{ReLU}(a)-\operatorname{ReLU}(b)|\le|a-b|$.
• Qavariqlik: grafik istalgan vatardan yuqori emas — ikki chiziqli funksiyaning maksimumi doim qavariq.
• Musbat bir jinslilik: $\alpha\ge0$ da $\operatorname{ReLU}(\alpha x)=\alpha\operatorname{ReLU}(x)$. Masshtabni qatlamlar orasida ko‘chirish mumkin: qatlam vaznlarini $\alpha>0$ ga, keyingisinikini $1/\alpha$ ga ko‘paytirsak, o‘sha tarmoq hosil bo‘ladi.
• Idempotentlik: $\operatorname{ReLU}(\operatorname{ReLU}(x))=\operatorname{ReLU}(x)$.
• Sonni yoyish: $x=\operatorname{ReLU}(x)-\operatorname{ReLU}(-x)$ va $|x|=\operatorname{ReLU}(x)+\operatorname{ReLU}(-x)$.
• Siyraklik (sparsity): neyronlar kirishlari nolga nisbatan simmetrik bo‘lsa, chiqishlarning taxminan yarmi aynan nol.

Hosila, subgradiyent va silliq qarindoshlar

Nega bu o‘qitishga deyarli xalaqit bermaydi: uzluksiz ma’lumotlarda neyron kirishi aynan nolga teng bo‘lish ehtimoli 0. Suzuvchi nuqtali arifmetikada aniq nollar baribir uchraydi, lekin shunchalik kamki, $[0;1]$ dan qaysi qiymat olinishi deyarli ahamiyatsiz (16 bitli arifmetikada nollar sezilarli darajada ko‘p uchraydi va $\operatorname{ReLU}'(0)$ tanlovi ba’zan o‘qitishga ta’sir qiladi). Kutubxonalar kelishuv bo‘yicha 0 oladi.

Ikkinchi hosila noldan boshqa hamma joyda nolga teng (umumlashgan funksiyalar ma’nosida $\operatorname{ReLU}''=\delta(x)$). Shuning uchun har bir chiziqli soha ichida ReLU tarmog‘i kirishning affin funksiyasi, uning kirish bo‘yicha gradiyenti esa bo‘lakli-o‘zgarmas.

Softplus: silliqlangan ReLU

Agar sinish xalaqit bersa (masalan, ikkinchi tartibli optimallashtirish yoki fizik model uchun silliq funksiya kerak bo‘lsa), uni yumaloqlash mumkin:

$\operatorname{softplus}_\beta(x)-\operatorname{ReLU}(x)=\frac1\beta\ln\bigl(1+e^{-\beta|x|}\bigr)$ ayirma nolda eng katta va $\frac{\ln2}{\beta}$ ga teng; $\beta\to\infty$ da softplus ReLU’ga, uning hosilasi — sigmoida esa zinaga intiladi. Nolda u doim $\sigma(0)=0{,}5$ ga teng — $[0;1]$ subdifferensialning o‘rtasi.

Fazodagi ReLU tarmog‘i: chiziqli sohalar

Ikki kirishli birinchi qatlam neyroni $w^\top x+b=0$ to‘g‘ri chiziqning bir tomonida o‘chiq, ikkinchi tomonida chiziqli. Har bir shunday to‘g‘ri chiziq — bukilish chizig‘i. $H$ ta neyron tekislikni sohalarga bo‘ladi va har bir sohada yoniq neyronlar to‘plami (aktivatsiya patterni) o‘zgarmas, demak, tarmoq u yerda oddiy affin funksiya. Chiqish sirti — yassi yoqlardan yopishtirilgan ko‘pyoq.

Umumiy holatdagi $H$ ta to‘g‘ri chiziq tekislikni ko‘pi bilan $1+H+\binom H2$ qismga bo‘ladi — bitta qatlam sohalari soni polinomial o‘sadi. Chuqurlik boshqacha ishlaydi: har bir keyingi qatlam allaqachon kesilgan fazoni «buklaydi» va sohalar soni qatlamlar soni bilan eksponensial o‘sishi mumkin (Montúfar va boshq., 2014). Bu nega chuqur tarmoqlar bir xil neyronlar sonida keng tarmoqlardan ifodaliroq ekanining tushuntirishlaridan biri.

O‘qitishda ReLU: tarmoq siniq chiziq chizadi

Bitta yashirin qatlam $\hat y(x)=\sum_{k=1}^{H}v_k\operatorname{ReLU}(w_kx+b_k)+c$ ni sinusoida nuqtalarida o‘qitamiz. Har bir neyron — sinishi $x=-b_k/w_k$ da bo‘lgan sharnir; gradiyent tushish sinishlarni egri chiziq egiladigan joyga suradi va qiyaliklarni tanlaydi.

Neyron parametrlari bo‘yicha gradiyent faqat neyron yoniq bo‘lgan nuqtalardan keladi. Bunday nuqtalar umuman bo‘lmasa, neyron o‘rganishni to‘xtatadi — «o‘lish» shu.

O‘layotgan ReLU

Agar barcha o‘quv misollarida $w^\top x+b\le0$ bo‘lsa, neyron «o‘lik». U holda uning chiqishi doim 0, $w$ va $b$ bo‘yicha gradiyentlar doim 0 (yuqoridagi formulaga qarang) va gradiyent qadamining o‘zi uni tiriltirmaydi. Kirishlari o‘zgarmas ma’lumotlar bo‘lgan birinchi qatlam neyroni uchun bu umrbod (oddiy SGD’da). Chuqurroq qatlamlarda neyron kirishi oldingi qatlamlar bilan birga o‘zgaradi, momentum va Adam inersiyasi esa parametrlarni yana bir muddat siljitadi, shuning uchun neyronlar ba’zan jonlanadi — lekin bunga umid qilib bo‘lmaydi.

Bu qanday sodir bo‘ladi: gradiyent tushishning bitta katta qadami $b$ siljishni keskin kamaytiradi yoki $w$ ni shunday buradiki, neyron gipertekisligi ma’lumotlar bulutidan tashqariga chiqib ketadi. O‘qitish tezligi qancha katta bo‘lsa, bu shuncha tez-tez yuz beradi.

Qanday davolash mumkin:

• mo‘tadil o‘qitish tezligi, qizdirish (warm-up) va gradiyentni kesish;
• normallashtirish va adaptiv optimizatorlar: aktivatsiyadan oldingi BatchNorm har bir neyron kirishini batch bo‘yicha markazlashtiradi, Adam esa har bir parametr qadamini taxminan $\eta$ bilan cheklaydi, shuning uchun bitta ulkan gradiyent siljishni uzoqqa olib ketmaydi (bu xavfni kamaytiradi, lekin yo‘qotmaydi);
• chapda qiyaligi noldan farqli aktivatsiyalar — Leaky ReLU, PReLU, ELU, GELU, SiLU: chapda gradiyent nolga teng emas va neyron qaytishi mumkin;
• ehtiyotkor initsializatsiya: siljishlar 0 (ba’zan kichik musbat), vaznlar He bo‘yicha. Kuchli manfiy siljishlar neyronlarni o‘qitishdan oldinoq o‘ldiradi.

He initsializatsiyasi: ikki qayerdan keladi

$z=\sum_{j=1}^{n}w_jh_j$ bo‘lsin, vaznlar mustaqil, $\mathbb Ew_j=0$, $\operatorname{Var}w_j=c/n$. U holda $\operatorname{Var}z=c\cdot q$, bu yerda $q=\mathbb E[h^2]$ — kirishlarning o‘rtacha kvadrati. Agar $z$ nolga nisbatan simmetrik bo‘lsa, ReLU uning taqsimotining aynan yarmini nolga aylantiradi va

$c=1$ da (tanh’dagi kabi) signal har qatlamda ikki marta zaiflashadi, $c=3$ da — bir yarim marta o‘sadi. Masshtabni faqat $c=2$ saqlaydi: bu He initsializatsiyasi (He va boshq., 2015), $\operatorname{Var}w=2/n_\text{in}$. Teskari o‘tish ham xuddi shunday ishlaydi ($n_\text{in}$ o‘rniga $n_\text{out}$ bilan; qatlamlar kengligi bir xil bo‘lsa, bu bir narsa), shuning uchun gradiyentlar ham so‘nmaydi va portlamaydi.

Kodda

ReLU to‘lib ketmaydi va aniqlikni yo‘qotmaydi: nol bilan taqqoslash istalgan arifmetikada aniq. E’tiborni boshqa narsaga qaratish kerak: noldagi kelishuvga, o‘lik neyronlarga va initsializatsiyaga.

pythonimport numpy as np

def relu(x):
    return np.maximum(0.0, x)

def relu_grad(x):
    # subgradiyent: 0 nuqtada PyTorch va TensorFlow kabi 0 olamiz
    return (x > 0).astype(float)

x = np.array([-3.0, 0.0, 2.5])
print(relu(x), relu_grad(x))     # [0.  0.  2.5] [0. 0. 1.]

# «O‘lik» neyronlar: butun ma’lumotlar to‘plamida birorta ham musbat kirish yo‘q
rng = np.random.default_rng(0)
X = rng.normal(size=(1000, 20))
W = rng.normal(size=(20, 64)) * np.sqrt(2 / 20)   # He initsializatsiyasi
for b0 in (0.0, -5.0):
    Z = X @ W + b0
    dead = np.mean((Z > 0).sum(axis=0) == 0)
    print(b0, f"{dead:.0%}")     # 0.0 0%  va  -5.0 66%

pythonimport torch
import torch.nn as nn

x = torch.tensor([-1.0, 0.0, 2.0], requires_grad=True)
torch.relu(x).sum().backward()
print(x.grad)                    # tensor([0., 0., 1.]) — nolda 0

# He initsializatsiyasi: Var w = 2 / fan_in
layer = nn.Linear(512, 512)
nn.init.kaiming_normal_(layer.weight, mode="fan_in", nonlinearity="relu")
nn.init.zeros_(layer.bias)

# Asl Transformer’ning FFN bloki: Linear → ReLU → Linear
ffn = nn.Sequential(nn.Linear(512, 2048), nn.ReLU(), nn.Linear(2048, 512))
# nn.ReLU(inplace=True) xotirani tejaydi, lekin kirish hali kerak bo‘lsa, uni buzadi

Ko‘p uchraydigan xatolar

1. Maqsad manfiy bo‘lishi mumkin bo‘lgan regressiya chiqishida ReLU. Tarmoq jismonan $y<0$ chiqara olmaydi. Regressiya chiqishida — chiziqli qatlam; chiqishdagi ReLU faqat tabiatan manfiy bo‘lmagan kattaliklar uchun o‘rinli (va u holda ham ko‘pincha softplus yaxshiroq: chiqishdagi ReLU manfiy kirishda nol gradiyent beradi).
2. tanh’dagi kabi initsializatsiya. $\operatorname{Var}w=1/n$ da chuqur ReLU tarmog‘ida signal $2^{-L}$ kabi so‘nadi: 30 qatlamdan keyin $2^{30}\approx10^9$ marta (7-rasm). He initsializatsiyasini oling.
3. Juda katta o‘qitish tezligi. Neyronlarni ommaviy o‘ldiradi va ularni tiklab bo‘lmaydi (6-rasm). Belgisi — yo‘qotish qotib qolgan, nol aktivatsiyalar ulushi esa 100% ga yaqin.
4. «ReLU’ning noldagi hosilasi 1/2 ga teng» yoki «aniqlanmagan — demak, xato». Matematik jihatdan nolda $[0;1]$ subdifferensial bor, undagi istalgan qiymat joiz; kutubxonalar 0 oladi. Amalda bu o‘qitishga deyarli ta’sir qilmaydi.
5. Kirish keyin kerak bo‘ladigan joyda inplace=True. Amal kirishni ustidan yozadi; agar u qoldiq bog‘lanishda yoki boshqa amalning teskari o‘tishida ishlatilsa, PyTorch xato beradi yoki natija noto‘g‘ri bo‘ladi.

Boshqa formulalar bilan bog‘lanish

• Leaky ReLU: $\max(\alpha x,x)$ — chapdagi noldan farqli $\alpha$ qiyalik o‘lishni davolaydi.
• GELU va SiLU: $x\Phi(x)$ va $x\sigma(x)$ — qattiq $x\cdot\mathbb 1[x>0]$ o‘rniga silliq «ventillar»; noldan uzoqda ReLU kabi ishlaydi.
• Sigmoida: softplus’ning hosilasi — bu $\sigma(\beta x)$; ReLU to‘yinish tufayli sigmoidani yashirin qatlamlardan siqib chiqardi.
• tanh: ikki tomondan to‘yinadi; tanh uchun — Ksavye initsializatsiyasi, ReLU uchun — He.
• Huber va Triplet loss: $\max(0,\cdot)$ kesish yo‘qotish funksiyalarida ham uchraydi.
• Adam va SGD: qancha neyron o‘lishi optimizator va qadam tanloviga bog‘liq.

Xulosalar

O‘zingizni tekshiring