Тенденции передовых исследований
Темпы прогресса в области ИИ часто поражают. Новая идея, увиденная сегодня в научной статье, может через шесть месяцев стать функцией продукта, которой пользуются все.
Закон масштабирования, MoE (смесь экспертов), методы длинного контекста, масштабирование вычислений во время инференса, мультимодальное объединение, ИИ-агент, обучение по нескольким примерам, ИИ для науки — эти направления, исследуемые в лаборатории, определят облик ИИ-продуктов на следующее десятилетие.
Этот модуль не ставит целью объяснить каждую техническую деталь, а скорее помочь вам составить панорамное представление о передовых исследованиях: узнать, какие важные направления существуют, какие задачи решает каждое направление, насколько оно продвинулось и куда может пойти в будущем.
Ценность понимания передовых исследований не в следовании трендам, а втом, чтобы увидеть нить технологической эволюции и найти неизменные законы среди перемен.。
Закон масштабирования (закон масштаба)
Закон масштабирования был основным руководящим принципом успеха больших моделей за последние несколько лет — более крупные модели, больше данных и более мощные вычисления дают лучшую производительность.
Что такое закон масштабирования
Проще говоря:В пределах определённого диапазона производительность модели предсказуемо улучшается по мере увеличения вычислений, данных и параметров.。
Это похоже на земледелие: в разумных пределах чем больше удобрений, воды и плодородной почвы, тем лучше урожай.
Закон масштабирования был впервые систематически сформулирован OpenAI в статье 2020 года «Законы масштабирования для нейронных языковых моделей».
Они обнаружили, что при увеличении параметров модели, данных и вычислений в N раз потери модели уменьшаются как log(N) — то есть, хотя предельная отдача снижается, пока вы продолжаете вкладывать средства, производительность будет продолжать улучшаться.
Закон оптимального обучения Chinchilla
В 2022 году статья DeepMind «Обучение больших языковых моделей, оптимальных по вычислениям» (статья Chinchilla) внесла важную поправку.
Ранее преобладающий подход состоял в том, чтобы делать модель как можно больше, а затем обучать её на относительно небольшом объёме данных.
В статье Chinchilla было отмечено:Предыдущие модели были слишком большими и имели слишком мало данных.。
Они предположили, что при определённом бюджете вычислений параметры модели и обучающие данные следует увеличивать совместно в определённом соотношении.
В частности: когда вычисления удваиваются, параметры модели следует увеличивать примерно в 1.4 раза, а обучающие данные также следует увеличивать примерно в 1.4 раза.
| Модель | Parameters | Размер обучающих данных | Дата выпуска | Характеристики |
|---|---|---|---|---|
| GPT-3 | 175B | 300B токенов | 2020 | Большая модель, относительно мало данных |
| Chinchilla | 70B | 1.4T токенов | 2022 | Немного меньшая модель, намного больше данных |
| LLaMA 2 | 70B | 2T токенов | 2023 | Следуя подходу Chinchilla |
Влияние Chinchilla было далеко идущим: последующие мейнстримные модели, от LLaMA до GPT-4, стали уделять больше внимания соотношению данных, а не слепо гнаться за сверхбольшим количеством параметров.
Ограничения и противоречия закона масштабирования
Закон масштабирования — не панацея. Его ограничения проявляются в нескольких аспектах:
Во-первых, этоубывающая предельная отдача— чтобы удвоить эффективность, могут потребоваться десятикратные или даже стократные вычислительные вложения.
Во-вторых, этонепредсказуемость эмерджентных способностей— некоторые способности (например, сложные рассуждения) вообще не появляются, когда модель мала, но внезапно возникают после достижения определённого масштаба. Однако никто не может точно предсказать, когда появится следующая способность или какой она будет.
Третье — этоузкое место данных— общий объём высококачественных текстовых данных ограничен. При текущих темпах потребления мы можем вскоре достичь потолка данных.
Ключевая идея закона масштабирования:масштаб — не всё, но без масштаба ничего невозможно. Сегодняшние модели по-прежнему выигрывают от большего масштаба, но исследователи также изучают новые пути, выходящие за рамки простого увеличения масштаба.
Смесь экспертов (MoE)
Смесь экспертов (MoE) — это архитектурное решение, которое делает модель больше без значительного увеличения затрат на инференс.
Плотная модель против разреженной модели
Традиционные большие модели являются «плотными» — каждый раз, когда на вход подаётся токен, используются все параметры модели.
MoE является «разреженной» моделью — каждый токен использует лишь небольшую часть параметров модели (т.е. несколько «экспертов»), в то время как остальные параметры остаются неактивными.
Это как пойти в больницу:
Плотная модель: когда вы обращаетесь к врачу, врачи из всех отделений приходят на консилиум — всесторонне, но слишком дорого.
Модель MoE: когда вы обращаетесь к врачу, пункт сортировки направляет вас в несколько подходящих отделений (например, терапия + кардиология), и только врачи из этих отделений диагностируют вас — обеспечивая профессионализм и контролируя затраты.
| Характеристика | Плотная модель | Разреженная модель MoE |
|---|---|---|
| Общее количество параметров | Обычно меньше | Может быть очень большим |
| Параметры, используемые для каждого токена | Все параметры | Небольшая часть экспертов |
| Стоимость инференса | Пропорционально количеству параметров | Относительно контролируемо |
| Сложность обучения | Относительно просто | Требует решения проблем балансировки нагрузки и других вопросов |
| Типичные модели | GPT-3、LLaMA | Switch Transformer、Mixtral、GPT-4 |
Механизм гейтинга (Gating)
Ядро MoE — этогейтирующая сеть— она решает, к каким экспертам следует направить каждый токен для обработки.
Вход гейтинговой сети — это признак текущего токена, а выход — вес каждого эксперта.
Обычный подход таков: выбирают Top-K экспертов с наибольшими весами (например, K=2 или K=8), отправляют токен только этим экспертам, а затем взвешенно суммируют их выходы.
Сама гейтинговая сеть обучаема — во время обучения она постепенно учится, «какой тип контента подходит какому эксперту».
Алгоритм маршрутизации экспертов
У MoE есть уникальная проблема:балансировка нагрузки。
Если гейтинговая сеть всегда назначает большинство токенов нескольким экспертам, остальные эксперты не получат достаточного обучения, и ёмкость модели будет потрачена зря.
Исследователи предложили различные алгоритмы маршрутизации для решения этой проблемы:
Один из подходов — добавить в функцию потерь гейтинговой сети «штраф за балансировку нагрузки», чтобы стимулировать равномерное использование каждого эксперта.
Другой — использовать более сложные стратегии маршрутизации, например «ограничения пропускной способности» — у каждого эксперта есть максимальная пропускная способность, и когда он заполнен, токены направляются к следующему наиболее подходящему эксперту.
Показательная модель: Mixtral
В конце 2023 года выпущенная Mistral AI модель Mixtral 8x7B по-настоящему вывела MoE в мейнстрим.
В Mixtral восемь экспертов по 7B параметров каждый, и для каждого токена выбираются Top-2 эксперта, поэтому каждый токен фактически использует около 14B параметров, но общее число параметров составляет 47B.
Результат: скорость инференса и стоимость Mixtral сравнимы с плотной моделью на 14B, но её производительность приближается к модели на 70B.
Эта характеристика «делать большие дела за небольшие деньги» сделала MoE центром внимания индустрии.
Проблемы обучения и инференса
Хотя MoE и привлекательна, она также вносит дополнительную сложность:
Обучение: требуется решать такие вопросы, как балансировка нагрузки экспертов, накладные расходы на коммуникацию (при многомашинном распределённом обучении) и dropout экспертов.
Инференс: хотя на каждый токен активируется лишь несколько экспертов, всю модель всё равно необходимо загрузить в память GPU — это предъявляет более высокие требования к объёму памяти.
Однако исследователи используют такие методы, как модельный параллелизм и динамическая выгрузка экспертов, чтобы смягчить эти проблемы.
Примеры
# Простая концептуальная демонстрация механизма гейтинга MoE
# Показать, как выбирать подходящих экспертов на основе входных данных
# ============================================
import random
from typing import List, Tuple
class Expert:
"""Простая модель эксперта (концептуальная демонстрация)"""
def __init__(self, expert_id: int, specialty: str):
self.expert_id = expert_id
self.specialty = specialty # Области экспертизы (например, "математика", "код", "литература")
# Имитируемые параметры эксперта (на практике это веса нейронной сети)
self.weights = [random.random() for _ in range(10)]
def forward(self, x: List[float]) -> float:
"""Эксперт обрабатывает входные данные и формирует выходные"""
# Простая имитация взвешенной суммы (на практике это вычисления нейронной сети)
return sum(x[i] * self.weights[i % 10] for i in range(len(x)))
class MoEGate:
"""Сеть гейтинга MoE: решает, каким экспертам назначается каждый вход"""
def __init__(self, num_experts: int, top_k: int = 2):
self.num_experts = num_experts
self.top_k = top_k
# Параметры самой сети гейтинга
self.gate_weights = [[random.random() for _ in range(10)]
for _ in range(num_experts)]
def compute_scores(self, x: List[float]) -> List[float]:
"""Вычислить оценку каждого эксперта для текущего входа"""
scores = []
for expert_weights in self.gate_weights:
score = sum(x[i] * expert_weights[i] for i in range(len(x)))
scores.append(score)
return scores
def select_experts(self, x: List[float]) -> List[Tuple[int, float]]:
"""Выбрать Top-K экспертов и вернуть список (индекс эксперта, вес)"""
scores = self.compute_scores(x)
# Сортировать по оценке по убыванию
scored_experts = [(i, score) for i, score in enumerate(scores)]
scored_experts.sort(key=lambda x: x[1], reverse=True)
# Выбрать Top-K
top_experts = scored_experts[:self.top_k]
# Выполнить softmax-нормализацию весов Top-K (упрощённая версия)
total = max(0.0001, sum(score for _, score in top_experts))
return [(idx, score / total) for idx, score in top_experts]
class SimpleMoE:
"""Упрощённая модель смеси экспертов"""
def __init__(self, num_experts: int = 8, top_k: int = 2):
# Создать несколько экспертов
specialties = ["Математика", "Код", "Литература", "История",
"Наука", "Искусство", "Спорт", "Философия"]
self.experts = [Expert(i, specialties[i % len(specialties)])
for i in range(num_experts)]
# Создать сеть гейтинга
self.gate = MoEGate(num_experts, top_k)
def forward(self, x: List[float]) -> float:
"""Прямое распространение MoE"""
# 1. Гейтирующая сеть выбирает экспертов
selected_experts = self.gate.select_experts(x)
print(f"Входные признаки: {[f'{v:.2f}' for v in x[:5]]}...")
print(f"Выбранные эксперты:")
for idx, weight in selected_experts:
print(f" - Эксперт {idx} ({self.experts[idx].specialty}), вес: {weight:.3f}")
# 2. Выбранные эксперты обрабатывают входные данные
expert_outputs = []
for idx, weight in selected_experts:
output = self.experts[idx].forward(x)
expert_outputs.append((output, weight))
# 3. Взвешенное объединение выходов экспертов
final_output = sum(output * weight for output, weight in expert_outputs)
return final_output
# ============================================
# Демонстрация рабочего процесса MoE
# ============================================
# Создать модель MoE с 8 экспертами, выбирая Top-2
moe = SimpleMoE(num_experts=8, top_k=2)
# Симулировать несколько различных типов входных данных (представленных случайными векторами)
print("=" * 50)
print("ПРИМЕР демонстрации концепции MoE")
print("=" * 50)
# Вход 1: Симулировать вход типа "Математика"
input1 = [0.9, 0.8, 0.1, 0.1, 0.2, 0.1, 0.1, 0.1, 0.1, 0.1]
output1 = moe.forward(input1)
print(f"Выход MoE: {output1:.4f}")
print()
# Вход 2: имитировать ввод типа "Код"
input2 = [0.1, 0.2, 0.9, 0.8, 0.1, 0.1, 0.1, 0.1, 0.1, 0.1]
output2 = moe.forward(input2)
print(f"Выход MoE: {output2:.4f}")
print()
# Вход 3: имитировать ввод типа "Литература"
input3 = [0.1, 0.1, 0.1, 0.1, 0.9, 0.8, 0.1, 0.1, 0.1, 0.1]
output3 = moe.forward(input3)
print(f"Выход MoE: {output3:.4f}")
print()
print("=" * 50)
print("Подсказка: В настоящем MoE гейтирующая сеть постепенно обучается в процессе тренировки")
print(" чтобы научиться определять, какие типы входных данных подходят каким экспертам.")
print("=" * 50)
Основная идея MoE:Не всем параметрам нужно работать одновременно. Пусть каждый эксперт сосредоточится на том, в чём он хорош, а гейтирующая сеть используется для маршрутизации: это позволяет увеличить общую ёмкость, контролируя затраты на инференс.
Технология длинного контекста
У раннего GPT-3 контекстное окно было всего 2K токенов (около 1500 китайских иероглифов); сегодня основные модели достигли 8K, 32K, 128K или даже 1M токенов.
Длинный контекст — это не просто «растягивание окна»; он требует решения целого ряда технических задач.
Основные вызовы длинного контекста
Самая непосредственная проблема — этовычислительная сложность。
Механизм самовнимания Transformer имеет сложность O(n²) — при удвоении длины контекста объём вычислений увеличивается в четыре раза.
Расширение окна с 2K до 128K увеличивает объём вычислений в 4096 раз — это вычислительно неосуществимо.
Вторая проблема — этопозиционное кодирование。
Синусоидальное позиционное кодирование или обучаемое позиционное кодирование, использовавшееся в исходном Transformer, плохо экстраполируется за пределы длины, наблюдавшейся при обучении, — это как человек, тренировавшийся только на 100-метровой дорожке, которого внезапно попросили пробежать 1000 метров: ему было бы очень некомфортно.
Третья проблема — этоэффект памяти。
Даже если модель технически способна обрабатывать длинные тексты, она может «прочитать и забыть» — содержимое в середине трудно эффективно использовать.
Методы экстраполяции RoPE (YaRN / LongRoPE)
Rotary Position Embedding (RoPE) — одна из самых популярных схем позиционного кодирования в настоящее время.
Основная идея RoPE заключается в следующем:кодирование информации о позиции в виде углов поворота。
Преимущество этого в том, что относительные позиционные связи естественным образом кодируются — если два токена отстоят друг от друга на k позиций, их углы поворота различаются на k единиц.
Однако эффект экстраполяции исходного RoPE всё ещё ухудшается за пределами длины обучения.
Исследователи предложили методы улучшения:
YaRN(Yet Another RoPE Scaling) — путём тонкой настройки масштабирующего коэффициента RoPE модель может сохранять хорошую производительность даже за пределами длины обучения.
LongRoPE— метод, предложенный Meta, который расширяет контекстное окно модели LLaMA 2 с 4K до 128K или даже 256K посредством постепенного расширения и дообучения.
Общая идея этих методов такова:без переобучения всей модели, только настраивая некоторые параметры позиционного кодирования,можно добиться значительного расширения контекстного окна.
Разреженное внимание (скользящее окно / Longformer)
Ещё один подход к решению сложности O(n²) состоит в следующем:не позволять каждому токену обращать внимание на все остальные токены。
Внимание со скользящим окном— каждый токен обращает внимание только на токены в пределах фиксированного окна перед ним и после него (например, 4096 токенов до и после).
Это похоже на чтение романа: вы помните только содержание последних нескольких страниц, а не вспоминаете всю книгу при каждом прочитанном слове.
Longformer— комбинируя скользящее окно и глобальное внимание, определённые специальные токены (такие как <[BOS_never_used_51bce0c785ca2f68081bfa7d91973934]> и маркеры суммаризации) могут обращать внимание на все токены, тогда как остальные токены обращают внимание только на локальную информацию.
Это позволяет обрабатывать длинные тексты, обеспечивая при этом, что глобальная информация не теряется.
Модель пространства состояний: Mamba
В конце 2023 года появление Mamba принесло совершенно новый подход.
Mamba относится к категориимоделей пространства состояний (SSM), её сложность — O(n): если длина контекста увеличивается вдвое, объём вычислений также увеличивается только вдвое.
Ключевая инновация Mamba — этоселективное пространство состояний— позволяющая модели динамически решать на основе входных данных, какую информацию запомнить, а какую игнорировать.
Это похоже на ведение заметок: вы не записываете каждое слово, а выборочно фиксируете ключевые моменты.
Преимущества Mamba:
1. Теоретически он может обрабатывать бесконечно длинные контексты
2. Высокая скорость инференса и низкое потребление памяти
3. Отличная производительность на задачах с длинными последовательностями
Однако у Mamba также есть ограничения: она всё ещё немного уступает зрелым Transformer-моделям на задачах с короткими текстами, а её экосистема относительно слабо развита.
| Технические решения | Сложность | Типичные модели | Применимые сценарии |
|---|---|---|---|
| Трансформер с полным вниманием | O(n²) | GPT-3、LLaMA | Текст короткой и средней длины |
| Экстраполяция RoPE | O(n²) | Claude、GPT-4 | Текст средней длины |
| Разрежённое внимание | O(n) или O(n log n) | Longformer、Mistral | Длинный текст уровня документа |
| Модель пространства состояний | O(n) | Mamba, Hyena | Сверхдлинные последовательности (код, геномы и т. д.) |
Направление эволюции технологии длинного контекста:поиск наилучшего баланса между производительностью, скоростью и памятью. Разные сценарии могут требовать разных технических решений.
Масштабирование вычислений во время инференса
Обучение и инференс традиционных больших моделей разделены — обучение потребляет большой объём вычислений, тогда как инференс использует фиксированные прямые вычисления.
Идея масштабирования вычислений во время инференса состоит в следующем:позволить модели «думать» больше шагов во время инференса, обменивая дополнительные вычисления на лучшие результаты.
Подход o1 / DeepSeek-R1
В 2024 году o1 от OpenAI и DeepSeek-R1 от DeepSeek стали важным прорывом в этом направлении.
Ядро этих моделей состоит в следующем:модель сначала выполняет «цепочку рассуждений», прежде чем дать окончательный ответ。
В частности:
1. Получив вопрос, модель не отвечает напрямую, а сначала генерирует серию «процессов мышления» (видимых или скрытых от пользователя)
2. В процессе размышления модель может пробовать разные подходы, исправлять собственные ошибки и разбивать сложные задачи на части
3. После достаточного размышления она затем выдаёт окончательный ответ
Это похоже на решение математической задачи: вы не пишете ответ сразу, а сначала выводите его шаг за шагом на черновике и оформляете ответ, убедившись, что он правильный.
Медленное мышление против быстрого мышления
Это направление перекликается с «теорией двух систем» психолога Канемана:
Система 1 (быстрое мышление)—Интуитивная, быстрая и не требующая усилий. Она соответствует одному прямому проходу в традиционных моделях.
Система 2 (медленное мышление)—Аналитическая, медленная и требующая усилий. Она соответствует многошаговому мышлению во время инференса.
Предыдущие большие модели в основном относились к «Системе 1», тогда как модели вроде o1 начали внедрять возможности «Системы 2».
Важно отметить:Медленное мышление требует больше времени и затрат—Запрос, на который уходит 10 секунд размышлений, может стоить в 10 раз дороже, чем мгновенный ответ.
Сэмплирование Best-of-N
Другой, более простой метод масштабирования на этапе инференса — это Best-of-N (также называемый Self-Consistency).
Подход прост:
1. Пусть модель сгенерирует N различных ответов на один и тот же вопрос
2. Используйте какой-либо метод, чтобы выбрать лучший вариант (например, голосование большинством, самооценка модели, внешняя проверка)
Это похоже на ответ на тестовый вопрос с несколькими вариантами: вы не просто угадываете один раз; вы пробуете несколько решений, а затем выбираете наиболее согласованный ответ.
Преимущество Best-of-N в том, что он прост, универсален и почти не требует дополнительного обучения, но недостаток — высокая стоимость (нужно генерировать N раз).
Поиск по дереву Монте-Карло в LLM
Ещё одно активное направление — перенести из обучения с подкреплениемпоиск по дереву Монте-Карло (MCTS)в большие модели.
AlphaGo использовал MCTS, чтобы достичь сверхчеловеческой результативности.
Идея MCTS состоит в следующем:
1. Рассматривайте задачу как "дерево поиска" — каждый узел — это состояние размышления, каждое ребро — шаг размышления.
2. Исследуйте различные пути размышления с помощью множества симуляций.
3. Выберите наиболее перспективный путь на основе результатов исследования.
Объединение MCTS с LLM — очень перспективное направление: оно может как использовать богатые знания LLM, так и раскрыть возможности MCTS по планированию.
| Метод | Основная идея | Преимущества | Недостатки |
|---|---|---|---|
| Цепочка рассуждений (CoT) | Заставьте модель думать шаг за шагом | Просто и эффективно | Увеличивает потребление токенов |
| Стиль o1 / R1 | Глубокая цепочка рассуждений + обучение с подкреплением | Сильные способности к рассуждению | Сложное обучение |
| Best-of-N | Выбрать один из многих | Простой и универсальный | Высокая стоимость |
| MCTS + LLM | Поиск оптимального пути рассуждений | Сильные способности к планированию | Сложная реализация |
Ключевой компромисс масштабирования вычислений на этапе инференса:Сколько времени и затрат вы готовы потратить, чтобы получить лучшие ответы?Разные сценарии (неформальный чат против математического доказательства) могут требовать разных настроек.
Новейшие достижения в области больших мультимодальных моделей
От GPT-4V до Gemini и GPT-4o мультимодальные возможности развиваются стремительно — современные модели умеют не только читать текст, но и видеть изображения, понимать видео, слышать аудио и даже генерировать мультимедийный контент.
GPT-4o / Gemini 1.5 Pro
У нового поколения мультимодальных моделей в 2024 году есть несколько заметных особенностей:
Более плавное взаимодействие—GPT-4o поддерживает голосовой разговор, может понимать изображения и видео в реальном времени, а опыт взаимодействия ближе к общению с реальным человеком.
Более сильное понимание видео—Gemini 1.5 Pro может обрабатывать видео длительностью до 1 часа и точно отвечать на вопросы о содержании видео.
Нативная мультимодальная генерация—Модели больше не работают по принципу «сначала посмотреть, потом ответить», а могут одновременно обрабатывать и генерировать контент в нескольких модальностях.
Возможности этих моделей часто поражают: дайте ей нарисованный от руки эскиз — и она поможет написать код для его реализации; дайте ей фотографию физической задачи — и она объяснит её шаг за шагом; дайте ей видео — и она проанализирует эмоции персонажей и развитие сюжета.
Нативное мультимодальное обучение
Ранние мультимодальные модели обычно «сшивались» — предобучали языковую модель, обучали визуальный энкодер и в итоге объединяли их.
Новое поколение моделей движется кнативному мультимодальному обучению—обработке текста, изображений, аудио и других модальностей одновременно с самого начала обучения.
Это даёт несколько преимуществ:
1. Более тесные кросс-модальные связи — модель может по-настоящему понять, что «это слово соответствует этой области на изображении»
2. Более естественное многоходовое взаимодействие — можно поочерёдно предъявлять текст и изображения, формируя связный диалог
3. Новые эмерджентные возможности — например, «рассказать историю по картинке» или «определять объекты по звуку»
Прорывы в понимании видео
Понимание видео — это направление, которое стремительно развивалось в течение последнего года.
Ранние подходы разбивали видео на независимые кадры и кодировали каждый кадр отдельно — это приводит к потере временной непрерывности.
Новые идеи включают:
Временное внимание—позволяет модели не только фокусироваться на пространственном содержании, но и отслеживать изменения во времени.
Равномерная выборка—равномерный отбор ключевых кадров из длинных видео, охватывающий всё видео при контроле вычислительных затрат.
Видеотокенизация—рассмотрение видео как своего рода «языка» и обработка его способом, подобным обработке текста.
Современные модели уже умеют: понимать сложные видеоуроки, анализировать ключевые моменты спортивных матчей и даже осваивать операционные навыки по видео.
| Модель | Фокус на возможностях | Время выпуска |
|---|---|---|
| GPT-4V | Понимание изображений | 2023 |
| Gemini 1.0 | Нативная мультимодальность | 2023 |
| Claude 3 | Визуальное рассуждение | 2024 |
| Gemini 1.5 Pro | Понимание длинных видео | 2024 |
| GPT-4o | Мультимодальное взаимодействие в реальном времени | 2024 |
Будущие направления мультимодальности:От «видеть и слышать» к «истинному пониманию». Задачи следующего этапа — физическое рассуждение, причинное понимание и абстрактное мышление в условиях мультимодальности.
Передовые рубежи исследований AI-агентов
Цель AI-агента (интеллектуального агента) — дать ИИ возможность "делать вещи" как люди: иметь цели, планировать, выполнять и рефлексировать.
Модель мира
Модель мира — ключевой компонент агента; это "мысленная модель" мира, которой обладает агент.
Проще говоря, модель мира позволяет агенту ответить:
"Если я сделаю это, что произойдёт дальше?"
Это как игра в шахматы: вы не делаете ход сразу, а сначала просчитываете несколько шагов в уме и предсказываете реакцию противника.
Направления исследований моделей мира включают:
Предобученные модели мира— предобучены на больших объёмах данных взаимодействия, давая агенту физические знания на уровне здравого смысла.
Планирование в воображении— позволяет агенту перепробовать несколько подходов в "воображении" и выбрать лучший.
Причинно-следственное понимание— позволяет агенту не только знать "что произошло", но и понимать "почему это произошло".
Воплощённый интеллект (Embodied AI)
Воплощённый ИИ фокусируется на:ИИ, обладающий "телом" в физическом или виртуальном мире。
Например:
— роботы, захватывающие объекты и ориентирующиеся в реальном мире
— ИИ, строящий сложные конструкции в Minecraft
— цифровые люди, взаимодействующие с окружающей средой в виртуальных условиях
Сложность воплощённого ИИ заключается в том, что физический мир непрерывен, непредсказуем и зашумлён — он сильно отличается от дискретного мира текста.
Но именно это "чувство реальности" делает воплощённый ИИ важным путём для усвоения здравого смысла.
Важность способности исполнять код
Ключевая способность современных агентов заключается в:умении писать код и исполнять код。
Код — это "универсальный инструмент" агента:
— когда нужны вычисления, напишите фрагмент кода на Python
— когда нужен анализ данных, напишите SQL или Pandas
— когда нужна автоматизация задач, напишите скрипты для вызова различных API
— когда требуется сложное рассуждение, пишите код для реализации алгоритмов
Способность исполнять код — это по сути форма «расширяемости»: она позволяет агенту создавать новые инструменты по мере необходимости, а не ограничиваться предустановленными возможностями.
Именно поэтому такие модели, как Claude и GPT-4, прилагают большие усилия для усиления своих способностей к программированию.
Основная задача ИИ-агентов:как преобразовать «знания» больших моделей в «действия» в реальном мире. Это требует способности к планированию, использованию инструментов и умению учиться методом проб и ошибок.
Обучение с малым числом примеров и без примеров
Традиционное машинное обучение требует большого объёма размеченных данных, чтобы хорошо освоить задачу.
Смена парадигмы, принесённая большими моделями, заключается в следующем:дайте несколько примеров или даже просто инструкции, и модель сможет освоить новые задачи。
Принцип обучения в контексте
In-Context Learning (обучение в контексте) — одна из самых удивительных возможностей больших моделей.
Проще говоря: не нужно изменять параметры модели; достаточно дать несколько примеров во входных данных, и модель сможет освоить новые задачи.
Например:
Вход:
яблоко → фрукт
морковь → овощ
банан → ?
Модель может автоматически понять закономерность и выдать "фрукт".
Но как на самом деле работает обучение в контексте?
Исследователи предложили несколько объяснений:
Неявный градиентный спуск— примеры в контексте эквивалентны выполнению своего рода "градиентного обновления", но оно действует только во время инференса.
Извлечение задач— модель извлекает похожие задачи из обучающих данных, а затем повторно использует решение для этой задачи.
Байесовский вывод— модель выполняет байесовские обновления по пространству возможных гипотез на основе примеров.
Пока нет полностью единого ответа, но одно несомненно:Модели учатся "как учиться" во время предварительного обучения。
Влияние настройки на инструкциях
Настройка на инструкциях — ключевая техника, позволяющая моделям лучше следовать человеческим инструкциям.
Подход прост: собрать большое количество пар "инструкция-задача" и использовать их для тонкой настройки модели.
Например:
Инструкция: Переведите следующее предложение на французский
Ввод: Hello, how are you?
Вывод: Bonjour, comment ça va?
После настройки инструкций модель становится более «послушной» — более склонной делать то, о чём просит инструкция, а не генерировать произвольно.
Что важнее, настройка инструкций приноситспособность к обобщению— модель хорошо справляется с уже виденными задачами, а также может хорошо справляться с совершенно новыми, не встречавшимися задачами.
Это похоже на хорошего студента: он не заучивает механически, а научился «тому, как понимать и выполнять инструкции».
| Парадигмы обучения | Необходимые данные | Репрезентативные методы | Применимые сценарии |
|---|---|---|---|
| Традиционное обучение с учителем | Большие объёмы размеченных данных | Тонкая настройка всей модели | Задачи с высокой ценностью и достаточным объёмом данных |
| Обучение с малым числом примеров | Несколько примеров | Обучение в контексте | Быстрая проверка для новых задач |
| Обучение без примеров | Только инструкции | Тонкая настройка на инструкциях | Простые задачи с низким риском |
| Цепочка рассуждений (CoT) | Примеры с шагами рассуждений | Пошаговый промптинг | Сложные задачи рассуждения |
Основная ценность обучения с несколькими примерами:Снижение барьера для применения ИИТеперь вам не нужно быть экспертом по машинному обучению или собирать большие объёмы данных — достаточно уметь писать промпты, чтобы ИИ помог вам справляться с делами.
ИИ и научные открытия
ИИ не только меняет нашу жизнь, но и меняет сами научные исследования — от структур белков до математических теорем, от разработки лекарств до проектирования материалов; ИИ становится мощным помощником учёных.
Значение AlphaFold
В 2020 году AlphaFold стал вехой: он решил "проблему сворачивания белков", которая озадачивала сообщество биологов 50 лет.
Проще говоря, белок — это цепь аминокислот, но она сворачивается в сложную 3D-структуру — и эта структура определяет его функцию.
Раньше определение структуры белка могло занимать годы и требовать большого объёма экспериментального финансирования.
Теперь AlphaFold может предсказать точную 3D-структуру за считанные минуты.
Влияние AlphaFold огромно:
— помощь в понимании механизмов заболеваний
— ускорение разработки лекарств
— проектирование совершенно новых белков
Что более важно, AlphaFold доказал, что:ИИ может вносить существенный вклад на границах человеческих знаний。
ИИ для математики
Математические исследования считаются вершиной человеческого интеллекта — но ИИ также начинает оставлять свой след в этой области.
К недавним достижениям относятся:
Ассистенты для доказательства теорем— Системы доказательства теорем, такие как Lean и Isabelle, в сочетании с большими моделями могут помогать математикам формализовать доказательства.
Открытие гипотез— ИИ может обнаруживать закономерности в математических объектах и предлагать новые гипотезы.
Символьные рассуждения— ИИ может выполнять символьные вычисления, упрощения и вывод.
Например, AlphaTensor от DeepMind обнаружил более эффективные алгоритмы умножения матриц; ИИ от Meta помог математикам сделать новые открытия в области топологии.
Современный ИИ пока не может самостоятельно проводить математические исследования, но он уже стал «партнёром по совместной работе» для математиков.
Поиск лекарств
Разработка лекарств — это длительный и дорогостоящий процесс, в среднем занимающий 10 лет и требующий $1 млрд.
ИИ меняет эту ситуацию:
Поиск мишеней—ИИ анализирует биологические данные для поиска белковых мишеней, связанных с заболеваниями.
Генерация молекул—ИИ генерирует новые молекулы-кандидаты и прогнозирует их свойства.
Прогнозирование ADMET—ИИ прогнозирует всасывание лекарств, метаболизм, токсичность и т. д.
Проектирование синтетических маршрутов—ИИ проектирует оптимальные маршруты для органического синтеза.
Несколько ИИ-фармацевтических компаний вышли на стадии клинических испытаний — хотя ни один препарат, открытый с помощью ИИ, ещё не выведен на рынок, потенциал этого направления огромен.
| Научная область | Применение ИИ | Показательные достижения |
|---|---|---|
| Структурная биология | Предсказание структуры белков | AlphaFold、RoseTTAFold |
| Математика | Доказательство теорем, открытие гипотез | AlphaTensor, Lean AI |
| Химия | Генерация молекул, предсказание реакций | AlphaFold для лигандов |
| Разработка лекарств | Поиск мишеней, проектирование кандидатов | Несколько компаний начинают клинические испытания |
| Материаловедение | Проектирование новых материалов | Материалы для аккумуляторов, катализаторы |
Другие расширенияКлючевые идеи научных открытий с помощью ИИ:Научные исследования по сути — это «поиск в огромном пространстве возможностей»— и то, в чём ИИ особенно силён, — это именно поиск закономерностей в массивных данных и многомерных пространствах.