Перекрёстная энтропия в Excel: BCE и CE по шагам

Что в тетради

Тетрадь учит одной цепочке, которая стоит за выходом любого классификатора: сеть выдаёт логит — любое число от $-\infty$ до $+\infty$, «переводчик» (sigmoid для двух классов, softmax для $K$ классов) превращает его в вероятность, и только вероятность попадает в формулу потерь. Каждый лист проходит эту цепочку слева направо и показывает, что будет, если пропустить средний шаг.

Цвета ячеек везде одни и те же:

• жёлтые — входы: метки $y$ и логиты $z$, их можно менять
• голубые — «переводчик» sigmoid или softmax: отдельный шаг, не часть формулы потерь
• красные — сама формула потерь; чем светлее, тем глубже внутри скобок
• зелёные и красные зоны в блоках 3 — где логарифмы существуют, а где нет

Лист BCE: расчёт по шагам

Блок 1 листа — пять объектов бинарной задачи: метка $y=1$ («да») или $y=0$ («нет») и логит $z$, который выдала сеть. Расчёт идёт в три шага, как колонки таблицы: вход → sigmoid → формула BCE.

$y_i$

правильный ответ для объекта $i$: 1 или 0

$z_i$

логит — «сырой» выход сети, любое число

$\hat y_i=\sigma(z_i)$

предсказанная вероятность ответа «да»

$n$

число объектов, здесь $n=5$

Сумма по всем строкам $\Sigma = -1{,}496$, объектов $n=5$, поэтому $\mathrm{BCE}=-\Sigma/n = -(-1{,}496)/5 = 0{,}299$. Последняя серая строка листа считает то же другим путём — через СУММПРОИЗВ (SUMPRODUCT) обеих ветвей — и тоже даёт $0{,}299$.

Попробуйте (как предлагает лист)

• Логит строки 1: $2{,}2 \to 6$. Тогда $\hat y_1 = 0{,}998$, штраф строки $0{,}002$ — почти ноль, а BCE падает с $0{,}299$ до $0{,}279$.
• Логит строки 1: $2{,}2 \to -3$ при $y=1$. Тогда $\hat y_1 = 0{,}047$, штраф строки $3{,}049$ — больше, чем у четырёх остальных строк вместе ($1{,}391$). BCE вырастает до $0{,}888$: одна уверенная ошибка весит больше всего остального.

Логиты без sigmoid

Блок 2 берёт те же метки и логиты и подаёт логиты в формулу BCE напрямую — как будто $z$ уже вероятность. У BCE две ветви, $\ln z$ и $\ln(1-z)$, и в вычислении существовать должны обе, даже та, что потом умножится на ноль.

Что вышло по строкам:

• Строка 1, $z=2{,}2$: $\ln 2{,}2 \approx 0{,}788 > 0$ — «штраф» с обратным знаком, а $\ln(1-2{,}2)=\ln(-1{,}2)$ не существует.
• Строки 2 и 4, $z<0$: не существует $\ln z$; строка 5, $z=1{,}4$: не существует $\ln(1-z)$.
• Только строка 3 ($z=0{,}4$) «случайно» попала в $(0;1)$ и дала число $\ln 0{,}4\approx-0{,}916$. Но и оно бессмысленно: $0{,}4$ — логит, а не вероятность; настоящая вероятность здесь $\sigma(0{,}4)=0{,}599$.

Одной такой строки достаточно: среднее с NaN — NaN, градиенты — NaN, после шага оптимизатора веса сети тоже NaN. Обучение не «плохое», оно мёртвое. Итог блока: BCE без sigmoid — NaN, BCE с sigmoid — 0,299.

Sigmoid решает обе проблемы сразу: $\hat y\in(0;1)$ и $1-\hat y\in(0;1)$, поэтому оба логарифма всегда существуют и оба $\le 0$ — а значит, каждый штраф $\ge 0$.

Тетрадь в браузере

Тот же расчёт, что в листе: меняйте жёлтые ячейки — остальное пересчитается.

Две ветви и две стены

Блок 3 объясняет, почему так: таблица подставляет в обе ветви BCE разные $x$ — и вероятности, и «логитные» значения вне $(0;1)$. Жёлтые $x$ в листе можно менять, а график под таблицей (лист строит его по $\hat y$ от $0{,}02$ до $0{,}98$) показывает обе ветви целиком.

У BCE две «стены». Ветвь $y=1$ — штраф $-\ln x$ — уходит в бесконечность у нуля: уверенное «нет», когда правильный ответ «да». Ветвь $y=0$ — штраф $-\ln(1-x)$ — уходит в бесконечность у единицы. Между стенами, в точке $x=0{,}5$, обе ветви дают одинаковый штраф $\ln 2 \approx 0{,}693$ — цену полной неуверенности.

Вне $(0;1)$ всё ломается: при $x\le0$ нет $\ln x$, при $x\ge1$ нет $\ln(1-x)$, при $x>1$ ветвь $y=1$ даёт отрицательный штраф (при $x=10$ он равен $-\ln 10\approx-2{,}303$ и дальше падает без дна), а при $x<0$ так же «ломается» ветвь $y=0$: при $x=-1$ её штраф $-\ln 2\approx-0{,}693$. Сеть, которой разрешили отрицательный лосс, будет просто раздувать логит.

Как sigmoid сжимает логит

Блок 4 показывает сам «переводчик». Колонки листа — промежуточные шаги формулы $\hat y = 1/(1+e^{-z})$: сначала $e^{-z}$, потом $\hat y$, потом $1-\hat y$.

Почему результат всегда в $(0;1)$: $e^{-z}>0$ при любом $z$, значит знаменатель $1+e^{-z}>1$ и $0<\hat y<1$. При $z=0$ ровно $\hat y=0{,}5$ — полная неуверенность; большие положительные $z$ дают уверенное «да», большие отрицательные — уверенное «нет». Таблица симметрична: $\sigma(-z)=1-\sigma(z)$, поэтому строки $z$ и $-z$ меняются колонками $\hat y$ и $1-\hat y$.

Итог листа BCE

• BCE — это перекрёстная энтропия для двух классов, записанная через одно число $\hat y$: вероятность «да» равна $\hat y$, вероятность «нет» — $1-\hat y$.
• Формула знает только про $\hat y\in(0;1)$. Логиты живут на всей прямой: поданные напрямую, они дают NaN или штраф с обратным знаком.
• Sigmoid сжимает любой логит в $(0;1)$. Softmax для двух классов даёт ровно sigmoid: $\mathrm{softmax}(z_1,z_2)_1=\sigma(z_1-z_2)$ — это одна и та же идея.
• Деление на $n$ нужно только для того, чтобы лосс не зависел от размера батча; саму форму штрафа задаёт $-\ln$.
• В коде: nn.BCEWithLogitsLoss ждёт логиты (делает sigmoid сам и численно устойчивее), nn.BCELoss — уже вероятности.

Pythonimport numpy as np

# метки и логиты из листа BCE
y = np.array([1, 0, 1, 0, 1])
z = np.array([2.2, -1.4, 0.4, -0.6, 1.4])

# шаг 2: sigmoid; шаг 3: формула BCE
p = 1 / (1 + np.exp(-z))
bce = -np.mean(y * np.log(p) + (1 - y) * np.log(1 - p))
print(round(bce, 3))       # 0.299

# то же прямо из логитов, устойчиво (так считает nn.BCEWithLogitsLoss)
s = np.maximum(z, 0) - z * y + np.log1p(np.exp(-np.abs(z)))
print(round(s.mean(), 3))  # 0.299

# PyTorch:
# nn.BCEWithLogitsLoss() ждёт логиты
# nn.BCELoss() ждёт вероятности

Лист Categorical CE: расчёт по шагам

Второй лист — та же цепочка для $K=3$ классов. На входе метки в виде «одного горячего» вектора (one-hot: $y_k=1$ только у правильного класса, здесь $k=2$) и три логита. Переводчик — softmax: он превращает логиты в вероятности, которые в сумме дают 1.

$z_k$

логит класса $k$

$\hat y_k=\dfrac{e^{z_k}}{\sum_j e^{z_j}}$

softmax: вероятность класса $k$

$y_k$

1 у правильного класса, 0 у остальных

$K$

число классов, здесь $K=3$

Как получаются числа голубой колонки и колонки $\ln\hat y$:

1. Экспоненты логитов и их сумма:

2. Делим каждую экспоненту на сумму — это softmax. Проверка листа $\Sigma\hat y = 1$ выполняется всегда, при любых логитах:

3. Логарифмы вероятностей. Удобно заметить, что $\ln\hat y_k = z_k - \ln\sum_j e^{z_j}$, а $\ln 11{,}756 = 2{,}464$. Поэтому все три логарифма — это логиты минус одно и то же число:

4. В колонке $y\ln\hat y$ выживает одно слагаемое — то, где $y=1$. Значит, CE — это $-\ln$ вероятности правильного класса (это и проверяет серая строка листа):

Попробуйте (как предлагает лист)

• Логит класса 2: $2 \to 5$. Тогда $\hat y_2=0{,}971$ и $\mathrm{CE}=0{,}029$ — почти ноль.
• Логит класса 2: $2 \to -2$. Тогда $\hat y_2=0{,}030$ и $\mathrm{CE}=3{,}505$ — большой штраф. Сумма $\hat y$ в обоих случаях остаётся равной 1.

Логиты без softmax

Блок 2 снова подаёт логиты напрямую — теперь в $\mathrm{CE}=-\sum_k y_k\ln z_k$. Здесь все три логита оказались положительными, поэтому логарифмы существуют, но результат хуже ошибки: CE без softmax $= -\ln 2 \approx -0{,}693$ — отрицательный лосс, тогда как с softmax CE $= 0{,}464$.

• Логит правильного класса $\to 100$: без softmax лосс $= -\ln 100 \approx -4{,}605$, при $1000$ — $-6{,}908$, и дальше без дна. Сеть научится только раздувать этот логит. С softmax лосс упирается в 0 снизу.
• Логит правильного класса $\to -1$: без softmax — ошибка, логарифма отрицательного числа нет. С softmax всё считается, просто лосс большой.

Тетрадь в браузере

Тот же расчёт, что в листе: меняйте жёлтые ячейки — остальное пересчитается.

Почему только $(0;\,1]$

Блок 3 второго листа — та же «карта», что в BCE, но с одной ветвью $-\ln x$: у CE штрафуется только вероятность правильного класса. Зелёная зона — $(0;1]$: от огромного штрафа у нуля до нулевого при $x=1$. Красные зоны — логиты: при $x\le 0$ логарифма нет, при $x>1$ штраф отрицательный и падает без дна.

Итог листа Categorical CE

• Формула CE знает только про вероятности: числа от 0 до 1 с суммой 1.
• Логиты — любые числа от $-\infty$ до $+\infty$. Поданные в CE напрямую, они дают либо ошибку, либо отрицательный лосс без дна.
• Softmax — переводчик: сжимает любые логиты в $(0;1)$ с суммой 1. Поэтому CE и softmax всегда идут парой.
• В коде смотрите, кто делает softmax: nn.CrossEntropyLoss ждёт логиты (softmax внутри), nn.NLLLoss — уже лог-вероятности (log_softmax).

Pythonimport numpy as np

# логиты из листа Categorical CE; правильный класс k = 2 (индекс 1)
z = np.array([1.0, 2.0, 0.5])
k = 1

lse = np.log(np.sum(np.exp(z)))   # ln Σ e^z
p = np.exp(z - lse)               # шаг 2: softmax
print(np.round(p, 3), round(p.sum(), 3))
# [0.231 0.629 0.14 ] 1.0
print(round(-np.log(p[k]), 3))    # 0.464
print(round(lse - z[k], 3))       # 0.464: CE = ln Σ e^z − z_k

# PyTorch:
# nn.CrossEntropyLoss() ждёт логиты (softmax внутри)
# nn.NLLLoss() ждёт лог-вероятности (log_softmax)

Тренировка с самопроверкой

Лист «Тренировка» — три задания на калькулятор: впишите ответ в жёлтую ячейку, и рядом появится ✓ или ✗. Допуск — $\pm 0{,}005$, логарифм натуральный. Ниже — те же задания прямо на странице; числа можно писать через запятую или точку.

Чтобы уложиться в допуск, не округляйте промежуточные значения грубее трёх знаков после запятой. Ответ к слагаемому — отрицательное число (логарифм вероятности), а BCE и CE — положительные: в конце стоит минус.

Частые ошибки

• Логиты в формулу, которая ждёт вероятности. nn.BCELoss или nn.NLLLoss поверх «сырого» выхода сети — это блоки 2 обоих листов: NaN или отрицательный лосс.
• Двойной переводчик. Sigmoid перед nn.BCEWithLogitsLoss или softmax перед nn.CrossEntropyLoss: функция применит его второй раз. Ошибки не будет, но вероятности окажутся сжаты к середине, лосс почти перестанет меняться, и обучение забуксует.
• Не тот логарифм. В формулах — натуральный $\ln$. На калькуляторе клавиша log часто означает $\log_{10}$: $\log_{10}0{,}8\approx-0{,}097$ вместо $\ln 0{,}8\approx-0{,}223$.
• Потерянный минус. Логарифм вероятности отрицателен, поэтому сумма в колонке «сумма двух» отрицательна, а BCE и CE — положительны: $\mathrm{BCE}=-\Sigma/n$.
• Перепутанная ветвь. При $y=0$ штраф — $-\ln(1-\hat y)$, а не $-\ln\hat y$: штрафуется вероятность ответа «нет».
• Слишком раннее округление. Если округлить $e^{z}$ или $\hat y$ до одного-двух знаков, ответ выйдет за допуск $\pm0{,}005$.

Итоги

• Логит → переводчик → формула: формула потерь понимает только вероятности.
• Штраф объекта — всегда $-\ln$ вероятности правильного ответа: $0$ при уверенном верном ответе, $\ln 2\approx0{,}693$ при полной неуверенности, $+\infty$ при уверенной ошибке.
• Подробнее о самих функциях — в шпаргалке: BCE, перекрёстная энтропия, sigmoid, softmax.

Проверь себя

← Материалы