Основы глубокого обучения

Глубокое обучение — это не какая-то загадочная черная технология; по сути, это математический аппроксиматор функций — дайте ему большие объемы входных и выходных данных, и он автоматически найдет сложные взаимосвязи между ними.

Например: вы даете ему миллион изображений кошек, где каждому изображению соответствует метка "cat". Глубокое обучение автоматически определяет, какие комбинации пикселей выглядят как кошка.

Еще один пример: вы даете ему миллиард предложений человеческого языка, где целевым значением является следующее слово каждого предложения. Глубокое обучение автоматически учится по предшествующему контексту определять, какое слово, скорее всего, будет следующим.

Основное преимущество глубокого обучения заключается в том, что с увеличением объема данных его производительность продолжает улучшаться.Это то, чего не может сделать традиционное машинное обучение.

В этой главе мы начнем с нуля и шаг за шагом разберем каждый компонент глубокого обучения:

• Математические основы нейронных сетей
• Вычислительный процесс прямого распространения
• Роль функций активации
• Проектирование функции потерь
• Принцип обратного распространения
• Выбор оптимизатора
• Методы регуляризации
• Методы нормализации
• Планирование скорости обучения

Наконец, мы реализуем полный многослойный перцептрон (MLP) с помощью PyTorch, связывая все изученные темы воедино.

В этой главе есть немного математики, но не волнуйтесь — мы объясним каждую формулу интуитивно, а не попросим вас заучить её. Главное — понять, почему она устроена именно так, а не как её вычислять.

Математические основы нейронных сетей

Глубокое обучение строится на трёх разделах математики: линейной алгебре, математическом анализе и теории вероятностей.

Вам не нужно быть экспертом в математике, но необходимо понимать несколько ключевых концепций.

Линейная алгебра: умножение матриц

Самая базовая операция в нейронных сетях — это умножение матриц.

Почему используются матрицы? Потому что они позволяют кратко представить процесс «преобразования нескольких входов несколькими нейронами».

Сначала рассмотрим наглядный пример:

Геометрический смысл умножения матриц — это «линейное преобразование» — оно может поворачивать, растягивать и растягивать векторные пространства.

Но одних линейных преобразований недостаточно.

Если каждый слой — это умножение матриц, то, как бы глубока ни была сеть, вся сеть эквивалентна однослойной сети, потому что композиция нескольких линейных преобразований всё ещё является линейным преобразованием.

Вот почему нам нужны функции активации — чтобы внести нелинейность.

Математический анализ: производные и правило цепочки

Ядро обучения нейронных сетей — это «градиентный спуск» — поиск направления изменения параметров, которое минимизирует потери.

Градиент — это «производная функции многих переменных» — она показывает, насколько меняются потери при небольшом изменении каждого параметра.

Рассмотрим простой пример:

Для функций многих переменных нам нужно вычислить частную производную по каждой переменной, а затем объединить их в вектор — это и есть градиент.

Правило цепочки — математическая основа обратного распространения. Оно позволяет «разбирать слой за слоем» производные сложных функций.

Основная идея цепного правила:Разбейте сложную функцию на простые функции, продифференцируйте каждую, затем перемножьте их.。

Обратное распространение — это применение цепного правила в нейронных сетях: начиная с выхода, оно распространяет градиенты обратно слой за слоем.

Теория вероятностей: условная вероятность

В задачах классификации нейронные сети часто выдают «распределение вероятностей» — при заданном входе какова вероятность каждого класса.

Условная вероятность P(Y|X) представляет «вероятность наступления Y при условии, что X наступило».

:.2%}

:.2%}

Ключевые моменты трёх математических основ:

Прямое распространение

Прямое распространение — это вычислительный процесс, в котором входные данные «проходят через» нейронную сеть от входного слоя к скрытому слою и к выходному слою.

Граф вычислений

Представление нейронной сети в виде графа вычислений делает логику прямого и обратного распространения более ясной.

Граф вычислений состоит из узлов (операций) и рёбер (потоков данных).

Граф вычислений простой двухслойной нейронной сети:

Преимущество графа вычислений в том, что каждый шаг ясен, а во время обратного распространения вы просто вычисляете градиенты в обратном порядке.

Нейронные сети с точки зрения матричного умножения

С точки зрения матричного умножения нейронная сеть — это последовательность "линейных преобразований + нелинейных активаций".

Каждый слой можно абстрагировать так:

aᵢ = activation(Wᵢ · aᵢ₋₁ + bᵢ)

где a₀ — это вход x.

Эта формула лаконична, но при этом мощна — она может представлять почти все структуры нейронных сетей, от простой логистической регрессии до сложных Transformer.

Обратите внимание на согласование размерностей для матричного умножения: если входной вектор имеет размерность n, а в следующем слое m нейронов, то матрица весов W должна иметь форму m×n. Так, после W·x вы получаете m-мерный вектор.

Роль функций активации

Как упоминалось ранее: без функций активации глубокая сеть эквивалентна однослойной сети.

Используйте простой пример, чтобы доказать это:

Функции активации — ключевой компонент, который придаёт глубоким сетям смысл: они вносят нелинейность и позволяют сети изучать сложные закономерности.

Подробно о функциях активации

Функция активации определяет, как выход нейрона реагирует на его вход.

Хорошая функция активации должна удовлетворять нескольким условиям:

• Нелинейность: это обязательное условие
• Дифференцируемость: чтобы можно было вычислять градиенты
• Простота вычислений: прямое и обратное распространение должны быть быстрыми
• Отсутствие насыщения: градиенты не будут затухать или взрываться

Рассмотрим наиболее часто используемые функции активации.

Сигмоида: насыщение и исчезающие градиенты

Сигмоида — одна из самых первых функций активации. Она сжимает любое вещественное число до значений в интервале (0, 1).

Формула: σ(x) = 1 / (1 + e⁻ˣ)

Проблемы с Sigmoid очевидны:

• Когда |x| > 6, градиент почти 0, что приводит к исчезающим градиентам
• Выход не центрирован относительно 0, что влияет на оптимизацию
• Вычисление экспоненты относительно медленно

Из-за этих проблем Sigmoid редко используется в скрытых слоях в современном глубоком обучении.

ReLU и варианты

ReLU (Rectified Linear Unit) — наиболее часто используемая функция активации сегодня.

Формула: ReLU(x) = max(0, x)

Простая, но очень эффективная.

Сравнение нескольких распространённых функций активации:

Принципы выбора

Рекомендуемые варианты функций активации:

• Скрытый слой: предпочитайте ReLU — простой и эффективный
• Если вы столкнулись с мёртвым ReLU: попробуйте Leaky ReLU или GELU
• Transformer: GELU или SwiGLU — стандартный выбор
• Выходной слой бинарной классификации: Sigmoid (выдаёт вероятность)
• Выходной слой многоклассовой классификации: Softmax (выдаёт распределение вероятностей)
• Выходной слой регрессии: без активации (выдаёт любое действительное число)

Не переусложняйте выбор функции активации. Обычно ReLU вполне достаточно. Когда вы убедитесь, что ReLU — узкое место, переключиться на другие ещё не поздно.

Функции потерь

Функция потерь измеряет разрыв между "предсказанием модели" и "правильным ответом".

Цель обучения — сделать этот разрыв как можно меньше.

Кросс-энтропийная потеря (классификация)

Наиболее часто используемая функция потерь для задач классификации — это кросс-энтропийная потеря.

Её интуитивный смысл: "насколько распределение вероятностей, предсказанное моделью, отличается от истинного распределения."

Упрощённая версия кросс-энтропийной потери: когда метки — это индексы классов, а не one-hot-кодирование, можно использовать более эффективный метод вычисления:

loss = -log(probs[target_class])

Именно поэтому в PyTorch CrossEntropyLoss напрямую принимает индексы классов в качестве меток.

Потеря MSE (регрессия)

Для задач регрессии (предсказание непрерывных значений) наиболее часто используемой функцией потерь является среднеквадратичная ошибка (MSE).

Формула: MSE = mean((pred - target)²)

Функция потерь предсказания следующего слова для языковых моделей

Цель обучения больших языковых моделей (например, GPT) проста: по предшествующему контексту предсказать следующее слово.

По сути, это задача многоклассовой классификации — каждое слово в словаре является классом.

Сводка распространённых функций потерь:

Обратное распространение

Обратное распространение — это основной алгоритм обучения нейронных сетей.

Его цель — вычислить градиент функции потерь по каждому параметру, а затем использовать градиентный спуск для обновления параметров.

Вывод с помощью правила цепочки

Мы будем использовать простой пример, чтобы шаг за шагом вывести обратное распространение.

Хотя этот пример прост, он содержит все основные идеи обратного распространения:

1. Прямое распространение: вычислить все промежуточные переменные Прямое распространение: вычислить все промежуточные переменные
2. Обратное распространение: начиная с выхода, использовать правило цепочки для послойного вычисления градиентов Обратное распространение: начиная с выхода, использовать правило цепочки для послойного вычисления градиентов
3. Обновление параметров: использовать градиентный спуск для обновления параметров Обновление параметров: обновить параметры с помощью градиентного спуска

Поток градиента в вычислительных графах

Для многослойных нейронных сетей градиенты распространяются назад через вычислительный граф. Для многослойных нейронных сетей градиенты распространяются назад через вычислительный граф.

Градиент каждого слоя зависит от градиента, переданного из следующего слоя. Градиент каждого слоя зависит от градиента, переданного из следующего слоя.

Этот пример показывает полный процесс обратного распространения. Этот пример демонстрирует полный процесс обратного распространения.

Основное правило: Основные правила:

• для линейного слоя y = Wx + b: dL/dW = (dL/dy)·xᵀ, dL/db = dL/dy Для линейного слоя y = Wx + b: dL/dW = (dL/dy)·xᵀ, dL/db = dL/dy
• для функции активации y = f(z): dL/dz = dL/dy ⊙ f'(z) (⊙ — поэлементное умножение) Для функции активации y = f(z): dL/dz = dL/dy ⊙ f'(z) (⊙ — поэлементное умножение)
• Градиенты распространяются от конца к началу, каждый слой использует правило цепочки, чтобы "накапливать" градиенты. Градиенты распространяются от конца к началу, и каждый слой использует правило цепочки, чтобы "накапливать" градиенты.

Хорошая новость: современные фреймворки глубокого обучения (такие как PyTorch, TensorFlow) автоматически вычисляют обратное распространение за вас. Вам нужно только определить прямой проход, а фреймворк выполнит все вычисления градиентов с помощью автоматического дифференцирования (autograd). Хорошая новость: современные фреймворки глубокого обучения (такие как PyTorch, TensorFlow) автоматически вычисляют обратное распространение за вас. Вам нужно только определить прямой проход, а фреймворк обработает все вычисления градиентов с помощью автоматического дифференцирования (autograd).

Оптимизаторы градиентного спуска

После вычисления градиентов нам нужен оптимизатор, чтобы обновить параметры. После вычисления градиентов нам нужен оптимизатор, чтобы обновить параметры.

Простейший оптимизатор — стохастический градиентный спуск (SGD), но есть много более продвинутых оптимизаторов. Простейший оптимизатор — стохастический градиентный спуск (SGD), но есть много более продвинутых оптимизаторов.

SGD: Стохастический градиентный спуск

Формула: θ = θ - η·∇L(θ) Формула: θ = θ - η·∇L(θ)

где η — скорость обучения. где η — скорость обучения.

SGD прост, но есть недостатки: SGD прост, но есть недостатки:

• Использует одинаковую скорость обучения для всех параметров
• Сходимость может быть медленной
• Легко застревает в локальных оптимумах или седловых точках.
• Чувствителен к шуму

Моментум: ускорение с помощью моментума

Momentum вводит понятие "скорости" — придавая обновлениям градиента инерцию. Momentum вводит понятие "скорости" — придавая обновлениям градиента инерцию.

Формула: Формула:

v = β·v + (1-β)·∇L(θ)
θ = θ - η·v

β обычно устанавливается равным 0.9. β обычно устанавливается равным 0.9.

Adam: Адаптивная скорость обучения

Adam (Adaptive Moment Estimation) в настоящее время является одним из наиболее часто используемых оптимизаторов.

Он объединяет идеи Momentum (первый момент) и RMSProp (второй момент), чтобы поддерживать адаптивную скорость обучения для каждого параметра.

Формула:

m = β₁·m + (1-β₁)·∇L(θ)
v = β₂·v + (1-β₂)·(∇L(θ))²
m̂ = m / (1-β₁ᵗ)
v̂ = v / (1-β₂ᵗ)
θ = θ - η·m̂ / (√v̂ + ε)

Гиперпараметры по умолчанию: β₁=0.9, β₂=0.999, ε=1e-8, η=1e-3.

AdamW: коррекция затухания весов

AdamW — улучшенная версия Adam: он отделяет затухание весов от градиента.

Это полезно для регуляризации.

Сравнение оптимизаторов:

Рекомендация по выбору оптимизатора: сначала попробуйте Adam со скоростью обучения 1e-3 (3e-4 — более безопасный выбор). Если результаты неудовлетворительны, попробуйте настроить гиперпараметры или переключиться на другой оптимизатор.

Методы регуляризации

Цель регуляризации — предотвратить переобучение, помогая модели хорошо работать на данных, не встречавшихся при обучении.

L1/L2-регуляризация

L1- и L2-регуляризация — самые базовые методы регуляризации.

Они добавляют штраф на параметры в функцию потерь:

L_total = L + λ·L_reg

L1 регуляризация (Lasso) L_reg = |w|

L2 регуляризация (Ridge) L_reg = w²

Dropout

Dropout — это простая, но эффективная техника регуляризации: случайное "отключение" части нейронов во время обучения.

Это заставляет модель изучать более устойчивые признаки — она не может полагаться на какой-либо конкретный нейрон.

Аугментация данных

Аугментация данных — один из самых эффективных методов регуляризации: она создаёт больше обучающих примеров путём преобразования существующих данных.

Для изображений распространённые методы аугментации данных включают: отражение, поворот, масштабирование, обрезку, изменение цвета и т. д.

Для текста распространённые методы аугментации данных включают: замену синонимов, случайную вставку, случайное удаление, обратный перевод и т. д.

Сводка методов регуляризации:

Пакетная нормализация против послойной нормализации

Методы нормализации могут ускорить обучение и сделать оптимизацию более стабильной.

Внутренний сдвиг ковариат

При обучении глубоких сетей входное распределение каждого слоя меняется по мере изменения параметров предыдущего слоя. Это «внутренний сдвиг ковариат» (Internal Covariate Shift).

Это замедляет обучение, потому что каждому слою приходится постоянно адаптироваться к новым распределениям.

Цель методов нормализации — поддерживать входное распределение каждого слоя стабильным.

Пакетная нормализация

Пакетная нормализация (BatchNorm) нормализует вдоль размерности батча.

Формула:

μ = 1/N · sum(xᵢ)
σ² = 1/N · sum((xᵢ - μ)²)
x̂ᵢ = (xᵢ - μ) / √(σ² + ε)
yᵢ = γ·x̂ᵢ + β

где γ и β — обучаемые параметры.

Преимущества пакетной нормализации:

• Ускоряет обучение
• Позволяет использовать более высокие скорости обучения
• Снижает чувствительность к инициализации
• Оказывает небольшой регуляризующий эффект

Недостатки пакетной нормализации:

• Зависит от размера батча — плохо работает при слишком маленьких батчах
• Поведение различается между обучением и тестированием
• Не подходит для последовательностных моделей (например, RNN, Transformer)

Нормализация слоя

Нормализация слоя (LayerNorm) нормализует по размерности признаков, а не по размерности батча.

Это делает её независимой от размера батча и очень подходящей для последовательностных моделей.

Сравнение двух методов нормализации:

Для Transformer и больших языковых моделей LayerNorm — стандартный выбор. Он вычисляет статистику независимо в каждой позиции, не зависит от размера батча и не требует ведения бегущей статистики.

Планирование скорости обучения

Скорость обучения — один из самых важных гиперпараметров: слишком большая — и обучение не сойдётся, слишком маленькая — и сходимость слишком медленная.

Планирование скорости обучения — это динамическая корректировка скорости обучения во время обучения.

Разогрев

На ранней стадии обучения используйте небольшую скорость обучения для «разогрева», чтобы модель стабилизировалась, а затем увеличьте её до целевой скорости обучения.

Это особенно важно для Transformer.

Косинусное затухание

Косинусное затухание постепенно уменьшает скорость обучения в соответствии с формой функции косинуса.

Влияние скорости обучения на обучение

Влияние скорости обучения:

• Слишком большой: обучение нестабильно, может разойтись
• Слишком маленький: медленная сходимость, может застрять в локальных оптимумах
• Подходящий: быстрая и стабильная сходимость

Распространённая стратегия — «learning rate finder»: сначала обучите несколько шагов со скоростью обучения, увеличивающейся от маленькой к большой, и посмотрите, при какой скорости обучения потери уменьшаются быстрее всего.

Сводка методов планирования скорости обучения:

Практика: реализация MLP с нуля на PyTorch

Теперь давайте объединим все ранее изученные знания, с помощью PyTorch реализуем полный многослойный перцептрон (MLP) и обучим его на простой задаче классификации.

Этот пример содержит все стандартные компоненты обучения глубоких нейронных сетей:

• Обработка данных: Dataset, DataLoader
• Определение модели: MLP с LayerNorm и Dropout
• Функция потерь: CrossEntropyLoss
• Оптимизатор: AdamW
• Планировщик скорости обучения: Warmup + Cosine
• Цикл обучения: фаза обучения + фаза валидации
• Сохранение модели и инференс

Этот рабочий процесс можно напрямую расширить на более сложные задачи и модели.