Triplet Loss: o‘ziniki begonadan yaqinroq

U nima uchun kerak

Oddiy klassifikator sinflarning qat’iy ro‘yxatini biladi. Lekin yuzni tanish tizimi o‘quv to‘plamida bo‘lmagan odamlarni ham tanishi, qayta identifikatsiya (re-identification, Re-ID) tizimi esa o‘sha odamni boshqa kamera yozuvida, boshqa rakursda va boshqa yorug‘likda topishi kerak. Har bir yangi odam uchun tarmoqni qayta o‘qitib bo‘lmaydi.

Yechim — sinflarni emas, metrikani o‘rgatish (metric learning). $f$ tarmoq tasvirni $f(x)\in\mathbb R^d$ embedding vektoriga shunday aylantiradiki, bir odamning suratlari yonma-yon, turli odamlarniki esa uzoqda bo‘ladi. Shunda «bu kim?» savoli masofa bo‘yicha eng yaqin qo‘shnilarni qidirishga keltiriladi, yangi odam esa bazaga bitta embedding bilan qo‘shiladi.

Triplet Loss bu talabni to‘g‘ridan-to‘g‘ri qo‘yadi. Uchlik olamiz: langar $a$ (anchor), o‘ziniki $p$ (positive, o‘sha odam) va begona $n$ (negative, boshqa odam). O‘ziniki begonadan kamida $m$ oraliqqa (margin) yaqinroq bo‘lishini talab qilamiz.

• yuzni tanish — FaceNet (Google, 2015): 128 o‘lchovli embeddinglar, $0{,}2$ oraliq, LFW to‘plamida $99{,}63\%$ aniqlik;
• odamlarni kameralar orasida qayta identifikatsiya qilish — batch-hard triplet loss (Xermans va boshq., 2017); torchreid kutubxonasida uni shaxslar bo‘yicha kross-entropiya bilan birga o‘qitish mumkin (ImageTripletEngine);
• o‘xshash tasvirlar, tovarlar, ovozlarni qidirish va umuman savol «bu namunaga nima yaqinroq?» bo‘lgan har qanday ma’no bo‘yicha qidiruv.

Intuitsiya: o‘ziniki begonadan yaqinroq

Embeddinglarni tekislikda chizamiz. $a$ langar atrofida o‘ziniki $p$ orqali aylana o‘tkazamiz — uning radiusi $d(a,p)$. Ikkinchisini oraliq qadar kengroq qo‘shamiz: radiusi $d(a,p)+m$. Formula talabi oddiy: begona tashqi aylanadan tashqarida yotishi kerak. To‘q sariq halqaga yoki ichkariga tushsa — yo‘qotish musbat.

Formula mayda detallarigacha

Yo‘qotishni to‘liq yozamiz — tarmoq, masofalar va uchliklar bo‘yicha o‘rtachalash bilan:

$f(x)$

embedding: $x$ tasvir uchun tarmoq chiqishi, $\mathbb R^d$ dagi vektor (FaceNet’da $d=128$), ko‘pincha birlik uzunlikka normallashtirilgan;

$d(a,p)$

o‘zinikigacha masofa, $\|f(x_a)-f(x_p)\|$; uni kamaytirmoqchimiz;

$d(a,n)$

begonagacha masofa, $\|f(x_a)-f(x_n)\|$; uni oshirmoqchimiz;

$m>0$

oraliq: begona o‘zinikidan shunchaki emas, $m$ zaxira bilan uzoqroq bo‘lishi kerak;

$\max(0,\cdot)$

sharnir (hinge): bajarilgan talab jarimalanmaydi va gradiyent bermaydi;

$T$

o‘rtachalanadigan uchliklar to‘plami — odatda batch ichidagi uchliklar (mayning bo‘limiga qarang).

Bitta o‘zgaruvchi — masofalar ayirmasi $\Delta=d(a,p)-d(a,n)$ ni kiritish qulay. U holda $L=\max(0,\Delta+m)$: bu $m$ ga surilgan ReLU. Manfiy $\Delta$ o‘ziniki allaqachon yaqinroq ekanini bildiradi; lekin $\Delta>-m$ ekan, zaxira yetmaydi.

$m=0{,}2$ dagi misollar: $d(a,p)=0{,}4$, $d(a,n)=1{,}1$ $\Delta=-0{,}7$ va $L=\max(0;\,-0{,}5)=0$ beradi — uchlik allaqachon ajratilgan. $d(a,p)=0{,}9$, $d(a,n)=1{,}0$ $\Delta=-0{,}1$ va $L=0{,}1$ beradi: o‘ziniki yaqinroq, lekin oraliq kam.

Uch rejim: oson, yarim qiyin, qiyin

Har bir uchlik $d(a,p)$ va $d(a,n)$ ga qarab uch rejimdan biriga tushadi:

$(d(a,p),\,d(a,n))$ tekisligida rejimlar chegaralari — ikkita parallel to‘g‘ri chiziq: $d(a,n)=d(a,p)$ va $d(a,n)=d(a,p)+m$. $d(a,p)-d(a,n)+m$ yo‘qotish — sath chiziqlari shu to‘g‘ri chiziqlarga parallel bo‘lgan qiya tekislik; yuqoridagi chiziqdan tepada u nol bilan kesilgan.

Gradiyentlar: har bir nuqta qayerga tortiladi

Faol uchlik ($L>0$) uchun yo‘qotish $d(a,p)-d(a,n)+m$ ga teng va hammasi masofa gradiyentiga keltiriladi. Evklid normasi uchun $u\ne v$ da $\nabla_u\|u-v\|=\frac{u-v}{\|u-v\|}$ — $v$ dan $u$ ga yo‘nalgan birlik vektor ($u=v$ da norma differensiallanmaydi; uning subgradiyentlari — uzunligi 1 dan oshmaydigan barcha vektorlar, kodda odatda 0 olinadi).

Gradiyent tushish qadami gradiyentga qarshi yo‘naladi: o‘ziniki $p$ langarga qarab, begona $n$ langardan uzoqqa siljiydi, langar esa o‘zinikiga qarab va begonadan uzoqlashadi. Oddiy metrikada o‘ziniki va begonaning siljishlari istalgan masofada 1 uzunlikka ega (langarniki — 0 dan 2 gacha); kvadratli metrikada — $2\,d(a,p)$ va $2\,d(a,n)$, ya’ni masofalarga proporsional.

Buni 3D sirtda ko‘rish mumkin. Langarni koordinata boshida, o‘zinikini esa $0{,}6$ masofada mahkamlaymiz; yo‘qotish begonaning $n=(x,y)$ holatiga qanday bog‘liq? To‘ntarilgan konus hosil bo‘ladi: markazda $L=0{,}6+m$, radiusi $0{,}6+m$ bo‘lgan doira chetida — nol. Konus qiyaligi hamma joyda bir xil, $|\nabla L|=1$.

Mayning: qaysi uchliklarni olish kerak

$N$ ta tasvir to‘plamida $N^3$ tartibidagi uchlik bor — hammasini sanab chiqib bo‘lmaydi, ularning deyarli barchasi oson ham. Uchliklar batch ichida onlayn tanlanadi. Batch $P\times K$ sxemasida quriladi: $P$ kishi, har biridan $K$ surat. Bunday batch ichida

$P=4$, $K=4$ da bu 576 uchlik, $P=18$, $K=4$ da (Xermans va boshqalar shunday batchdan foydalangan) — allaqachon 14 688. Asosiy strategiyalar:

• batch-all — batchning barcha uchliklarini olamiz va osonlari signalni suyultirmasligi uchun yo‘qotishni faqat faollari ($L>0$) bo‘yicha o‘rtachalaymiz (Xermans va boshqalarda — BA$_{\ne0}$ varianti);
• batch-hard — har bir langar uchun bitta uchlik: eng uzoq o‘ziniki va eng yaqin begona; $PK$ ta eng informativ uchlik;
• semi-hard (FaceNet) — $(a,p)$ juftligi uchun o‘zinikidan uzoqroq, lekin oraliq ichidagi begona olinadi; shunda boshida o‘qitish yumshoqroq bo‘ladi.

O‘qitishda bu qanday ishlaydi

Hammasini birlashtiramiz. Har bir suratning ikki belgisi bo‘lsin: $x_1$ — bir odamning o‘zida kuchli o‘zgaradigan xalaqit (rakurs, yoritilish), $x_2$ esa — xalaqit ozgina egib yuborgan shaxs belgisi. Kirish fazosida bir odamning ikki surati turli odamlarning suratlaridan uzoqroq bo‘lishi mumkin: uchliklarning faqat $62{,}7\%$ i to‘g‘ri tartiblangan.

Kichik $f:\mathbb R^2\to\mathbb R^2$ tarmoq (12 ta tanh neyron) $m=0{,}5$ dagi batch-hard triplet loss va Adam optimizatori bilan o‘qitiladi. Unga qaysi odam qayerda bo‘lishi kerakligi aytilmaydi — faqat o‘zinikilar begonalardan yaqinroq bo‘lishi kerakligi.

Re-ID ham xuddi shunday ishlaydi: so‘rov (query) — bir kameradagi odam surati, galereya (gallery) — qolgan barcha kameralardagi suratlar. Galereya embeddinglari so‘rovgacha bo‘lgan masofa bo‘yicha saralanadi va birinchi to‘g‘ri javob nechanchi o‘rinda ekaniga qaraladi. Metrikalar — Rank-1 (to‘g‘ri javob birinchi o‘rinda) va mAP (barcha to‘g‘rilar bo‘yicha o‘rtacha aniqlik).

Sferada normallashtirish va oraliqni tanlash

Cheklovlarsiz tarmoq fazoni shunchaki cho‘zib, barcha masofalarni oshirishi mumkin: oddiy metrikada masshtab qat’iy bo‘lmasa, $m$ oraliq ma’nosini yo‘qotadi. Shuning uchun embeddinglar ko‘pincha normallashtiriladi: $\hat f=f/\|f\|$, barcha nuqtalar birlik sferada yotadi. Birlik vektorlar uchun

bunda $\theta$ — vektorlar orasidagi burchak. Masofa kvadrati 0 dan (ustma-ust) 4 gacha (qarama-qarshi) o‘zgaradi va FaceNet’dagi $m=0{,}2$ oraliq butun diapazonning $5\%$ i. $d^2(a,n)\ge d^2(a,p)+m$ talabi burchaklarga qo‘yilgan talabga aylanadi: $\cos\theta_{an}\le\cos\theta_{ap}-m/2$.

Kodda: batch ichida mayning va barqarorlik

Samaradorlik kaliti — batchdagi barcha juft masofalar matritsasi, undan mayning sikllarsiz, niqoblar bilan olinadi. Sonli nozik jihat: $\|u-v\|$ $u=v$ da differensiallanmaydi (ildizning noldagi hosilasi cheksiz), $\|u\|^2-2u^\top v+\|v\|^2$ formulasi esa yaxlitlash tufayli juda kichik manfiy son berishi mumkin. Shuning uchun ildiz ostiga $\max(\cdot,\varepsilon)$ qo‘yiladi, nn.TripletMarginLoss esa vektorlar ayirmasiga $\varepsilon=10^{-6}$ qo‘shadi. Unda swap=True parametri ham bor — «masofalarni almashtirish» (distance swap, Balntas va boshq., 2016): $d(a,n)$ o‘rniga $\min\bigl(d(a,n),\,d(p,n)\bigr)$ olinadi, ya’ni begona ikki «o‘ziniki» nuqtaning yaqinrog‘i bilan solishtiriladi.

pythonimport numpy as np

def pairwise_dist(E, eps=1e-12):
    """E (n × d) satrlari orasidagi Evklid masofalari matritsasi."""
    sq = (E * E).sum(1)
    d2 = sq[:, None] - 2.0 * E @ E.T + sq[None, :]
    return np.sqrt(np.maximum(d2, eps))     # max: −1e-16 dan va noldan ildiz olishdan himoya

def batch_hard_triplet(E, labels, margin=0.3):
    D = pairwise_dist(E)
    same = labels[:, None] == labels[None, :]
    hardest_pos = np.where(same, D, 0.0).max(1)       # eng uzoq o‘ziniki
    hardest_neg = np.where(same, np.inf, D).min(1)    # eng yaqin begona
    has_pos = same.sum(1) > 1                         # batchda o‘zinikisi yo‘q langarni o‘tkazib yuboramiz
    loss = np.maximum(hardest_pos - hardest_neg + margin, 0.0)
    return loss[has_pos].mean()

E = np.array([[0.0, 0.0], [0.9, 0.0], [0.6, 0.8]])   # langar, o‘ziniki, begona
labels = np.array([0, 0, 1])
print(batch_hard_triplet(E, labels, margin=0.2))      # ≈ 0.1728 = (0.1 + 0.2456) / 2: begonaning o‘zinikisi yo‘q

pythonimport torch
import torch.nn as nn
import torch.nn.functional as F

# 1) Uchliklar oldindan yig‘ilgan: tayyor yo‘qotish (standart: margin=1.0, p=2, swap=False)
loss_fn = nn.TripletMarginLoss(margin=0.2, p=2)
a = torch.tensor([[0.0, 0.0]], requires_grad=True)
p = torch.tensor([[0.9, 0.0]], requires_grad=True)
n = torch.tensor([[0.6, 0.8]], requires_grad=True)
loss = loss_fn(a, p, n)            # max(0, 0.9 − 1.0 + 0.2) ≈ 0.1
loss.backward()
print(p.grad, n.grad)              # ≈ [1, 0] va [−0.6, −0.8]: birlik vektorlar

# 2) P × K batch ichida mayning (batch-hard)
def batch_hard(emb, labels, margin=0.3, normalize=True):
    if normalize:
        emb = F.normalize(emb, dim=1)          # birlik sferadagi nuqtalar
    D = torch.cdist(emb, emb)                  # n × n Evklid masofalari
    same = labels[:, None] == labels[None, :]
    pos = (D * same).max(1).values             # eng uzoq o‘ziniki
    neg = D.masked_fill(same, float("inf")).min(1).values   # eng yaqin begona
    has_pos = same.sum(1) > 1                  # batchda o‘zinikisi yo‘q langarni o‘tkazib yuboramiz
    return F.relu(pos - neg + margin)[has_pos].mean()

Ko‘p uchraydigan xatolar

1. $P\times K$ o‘rniga tasodifiy batchlar. Tasodifiy batchda ko‘p langarlarning birorta ham o‘zinikisi yo‘q va uchliklar yig‘ilmaydi.
2. Faqat tasodifiy uchliklarda o‘qitish. Ularning deyarli hammasi oson, gradiyent nol va model yomon bo‘lsa ham yo‘qotish kichik qiymatda «qotib qoladi».
3. Birinchi qadamdan eng qiyin uchliklar normallashtirish va qizdirishsiz — barcha embeddinglarning bitta nuqtaga yopishib qolish xavfi.
4. Masshtabni hisobga olmagan oraliq. Normallashtirishsiz tarmoq fazoni cho‘zadi; sferada $m$ ni masofa maksimumiga ($d$ uchun 2, $d^2$ uchun 4) solishtirish kerak.
5. Noldan ildiz. Matritsa diagonalidagi nuqtaning o‘zigacha masofasi, agar $\varepsilon$ qo‘shilmasa yoki diagonal niqoblanmasa, gradiyentda NaN beradi.

Boshqa formulalar bilan bog‘lanish

Eng yaqin qarindoshi — kontrastiv yo‘qotish (contrastive loss): u nisbiy taqqoslash bilan emas, juftliklar va mutlaq chegaralar bilan ishlaydi. $y=1$ (o‘zinikilar) va $y=0$ (begonalar) belgili juftlik uchun:

• ReLU: $\max(0,\Delta+m)$ sharnir — masofalarning surilgan ayirmasidan olingan ReLU; uning hosilasi — zinapoya.
• Sigmoida: $\ln(1+e^\Delta)$ yumshoq oraliq hosilasi $\sigma(\Delta)$ ga teng.
• Softmax va kross-entropiya: N-pair loss va InfoNCE uchlikni o‘xshashliklar bo‘yicha softmax orqali bitta o‘ziniki va ko‘plab begonalarga umumlashtiradi; ArcFace oraliqni softmax ichidagi burchakka ko‘chiradi.
• MSE: Evklid masofasi kvadrati — ayirmalar kvadratlarining o‘sha yig‘indisi.
• Focal Loss: «qiyinlardan o‘rganish» g‘oyasining o‘zi, faqat uchliklarni tanlash orqali emas, misol vazni orqali.
• Adam: 6-rasmdagi simulyatsiya optimizatori.

Xulosa

O‘zingizni tekshiring