Экосистема индустрии ИИ
Когда вы выбираете инструмент ИИ, вы на самом деле выбираете технологический путь.
Выбрать закрытый исходный код или открытый? Выбрать облачный сервис или локальное развёртывание? Выбрать американские компании или китайские компании? Эти решения повлияют на вашу эффективность работы, безопасность данных и долгосрочные расходы.
Что ещё важнее, если вы думаете о карьерном развитии, вам нужно знать, какие компании лидируют в технологиях и какие направления представляют будущее.
Эта статья не будет пичкать вас скучными новостями индустрии, а скорее поможет вам построить основу для понимания индустрии ИИ.
Понимание экосистемы индустрии нужно не для того, чтобы присоединиться к хайпу, а для того, чтобы быть уверенным при принятии решений.
Обзор основных компаний в сфере ИИ
Игроков в индустрии ИИ можно разделить на несколько категорий: ведущие американские компании, ведущие китайские компании и компании-единороги.
Каждая категория компаний имеет разные технологические пути и продуктовые стратегии.
Ведущие компании США
США занимают ведущее положение в области технологий больших моделей, при этом наиболее представительными являются четыре компании.
| Компания | Основная модель | Характеристики | Репрезентативные продукты |
|---|---|---|---|
| OpenAI | GPT-4、GPT-4o | Технологическое лидерство, зрелая коммерциализация | ChatGPT、GPTs |
| Anthropic | Claude 3、Claude 3.5 | Приоритет безопасности, сильные возможности работы с длинными текстами | Claude.ai |
| Google DeepMind | Gemini | Сильна в мультимодальности, прочная исследовательская база. | Gemini App |
| Meta AI | Серия Llama | Основная движущая сила открытого исходного кода, свободно доступна. | Llama 3、Llama 3.1 |
OpenAIЭто разработчик ChatGPT и ключевой драйвер массового распространения ИИ. Его отличают быстрое обновление технологий и хороший пользовательский опыт, но политика конфиденциальности данных и стратегии ценообразования часто вызывают споры.
AnthropicОснована бывшими сотрудниками OpenAI, делает акцент на «безопасном ИИ». Модель Claude отлично справляется с обработкой длинных документов (десятки тысяч символов) и имеет относительно мягкую модерацию контента.
Google DeepMindСоздатель AlphaGo, сейчас сосредоточена на серии моделей Gemini. Её преимущества — мультимодальные возможности (изображения, видео, аудио) и глубокий исследовательский задел.
Meta AIОна выбрала совершенно иной путь — открытый исходный код. Модели серии Llama бесплатны для использования разработчиками, и любой может скачать, изменить и развернуть их. Это даёт Meta огромное влияние в сообществе открытого исходного кода.
Ведущие китайские компании
Китайские компании в сфере ИИ тоже быстро догоняют, формируя собственную экосистему.
| Компания | Основная модель | Характеристики | Репрезентативные продукты |
|---|---|---|---|
| Baidu | Серия больших моделей Wenxin (ERNIE) | Самое раннее развертывание отечественной большой модели, глубоко вовлеченное в мультимодальность, поиск и корпоративные сервисы, с богатым опытом внедрения в государственных и корпоративных структурах | Wenxin Yiyan, Wenxin Qianfan, Wenxin Yige |
| Alibaba | Серия моделей Tongyi Qianwen (Qwen) | Ведущие инициативы в области открытого исходного кода, полный спектр легковесных моделей и моделей со сверхбольшим числом параметров, глубоко интегрированных с экосистемой электронной коммерции и облачных вычислений. | Tongyi Qianwen, Tongyi Wanxiang, Alibaba Cloud Bailian |
| Tencent | Большая модель Hunyuan | Опираясь на социальные сети, игры и видеобизнес, она преуспевает в генерации изображений и текста, видео, цифровых людей, а также в потребительских сценариях социальной интеграции. | Tencent Hunyuan Assistant, Hunyuan Painting, Tencent Zhiying |
| ByteDance | Большая модель Doubao | Выдающиеся преимущества в мультимодальной генерации контента и генерации коротких видео, охватывающие личные беседы, ИИ-творчество и офисную помощь. | Doubao AI, Dreamina, Coze (Kouzi) |
| Moonshot AI | Крупные модели серии Moonshot | Ориентированы на сверхдлинные окна контекста, поддерживают чтение текстов объёмом в миллионы знаков без потерь, с явными преимуществами в сценариях работы с документами и базами знаний. | Интеллектуальный ассистент Kimi |
| Zhipu AI | GLM (Zhipu Qingyan) | Сильная академическая база; охватывает сценарии общего диалога, программирования и научных исследований; есть зрелое корпоративное приватное развёртывание. | Zhipu Qingyan, Zhipu Code, корпоративная версия Zhipu Qingyan |
| MiniMax (Xiyu Technology) | Крупная модель 01 | Выдающиеся возможности в области голоса, цифровых людей и генерации видео, а также отлаженная схема зарубежной коммерциализации. | Hailuo AI, платформа для генерации видео с цифровыми людьми |
| DeepSeek | Крупная модель DeepSeek | Передовая производительность среди крупных моделей для кода, масштабное открытие исходного кода всей серии моделей, ориентация на разработчиков и исследователей. | DeepSeek Chat, DeepSeek Coder |
BaiduЭто одна из первых компаний в Китае, инвестировавших в большие модели. ERNIE Bot имеет преимущество в понимании китайского языка.
AlibabaСерия моделей Tongyi Qianwen (Qwen) очень активно выпускается с открытым исходным кодом, в диапазоне от 1.8 миллиарда до 72 миллиардов параметров, и широко используется в сообществе открытого исходного кода.
Dark Side of the Moon (Moonshot)Это стартап, специализирующийся на сверхдлинном контексте — его ассистент Kimi может обрабатывать документы объёмом более одного миллиона китайских иероглифов за раз, что очень полезно для работы с книгами и кодовыми базами.
Компании-единороги
Есть также стартапы, которые появились недавно, но имеют отличительные технологические особенности и высокие оценки.
| Компания | Основные модели | Характеристики | Штаб-квартира |
|---|---|---|---|
| Mistral AI | Серия Mistral | Технологические инновации, эффективность прежде всего | Франция |
| Cohere | Command R+ | Корпоративные сервисы, дополненные поиском | Канада |
| xAI | Grok | Основана Маском, в поиске истины | США |
Mistral AIЭто французская компания, известная своими компактными, но мощными моделями. Mistral 7B лидирует по производительности при том же масштабе параметров и представила архитектуру MoE (Mixture of Experts), которая отличается высокой эффективностью.
Выбор продукта той или иной компании в основном зависит от ваших потребностей: для максимальных возможностей выбирайте OpenAI или Anthropic; для бесплатного открытого исходного кода — DeepSeek, Zhipu и т. д.
Модели с открытым исходным кодом против моделей с закрытым исходным кодом
Это самый важный стратегический спор в индустрии ИИ.
С одной стороны — закрытый путь, представленный OpenAI и Anthropic: модели доступны только через API или веб-интерфейс, и вы не можете видеть веса модели.
С другой стороны — открытый путь, представленный DeepSeek и Alibaba: вы можете скачать полные модели и запускать их на своих устройствах.
Что такое модели с открытым исходным кодом?
В области программного обеспечения у открытого исходного кода есть чёткое определение, но в области ИИ ситуация несколько иная.
Настоящий открытый исходный код означает, что вы можете свободно:
- Скачивать веса модели
- Использовать в коммерческих целях
- Изменять архитектуру модели
- Публиковать производные версии
Но многие так называемые модели с открытым исходным кодом на самом деле являются open-weight — их можно скачать и использовать, но существуют ограничения на коммерческое использование.
Типичные модели с открытым исходным кодом
| Серия моделей | Разработчик | Лицензия | Характеристики |
|---|---|---|---|
| Llama 3/3.1 | Meta | Удобный для бизнеса | Самая полная экосистема, хорошая поддержка сообщества |
| Mistral | Mistral AI | Apache 2.0 | Высокая эффективность, много инноваций |
| Qwen | Alibaba | Apache 2.0 | Сильные возможности в китайском языке |
| Yi | 01.AI | Удобный для бизнеса | Сбалансированность китайского и английского |
Сравнение закрытого и открытого исходного кода
У каждого из двух путей есть сильные и слабые стороны; нет абсолютно хорошего или плохого — всё зависит от вашего сценария.
| Измерение | Закрытые модели | Открытые модели |
|---|---|---|
| Потолок возможностей | Обычно сильнее (GPT-4, Claude 3) | Догоняют, но разрыв сокращается |
| Конфиденциальность данных | Данные передаются третьим сторонам | Данные остаются локальными |
| Стоимость использования | Оплата за токен | Единовременные вложения в оборудование |
| Возможности кастомизации | Ограниченно (можно только тонко настраивать промпты) | Полностью контролируемо (тонкая настройка, квантование) |
| Сложность развертывания | Нулевое развёртывание (использовать API напрямую) | Требуются технические навыки для развёртывания |
| Скорость обновления | Поставщик постоянно обновляет | Нужно самостоятельно отслеживать новые версии |
Как выбрать
Выбирайте закрытый исходный код, когда:
- Вы хотите самые мощные возможности и не хотите разбираться с техническими деталями
- Ваши данные не являются конфиденциальными и могут быть отправлены третьим сторонам
- Ваше использование невелико, оплата за токен выгоднее
- Вам нужно быстро запуститься и не хочется тратить время на развёртывание
Выбирайте открытый исходный код, когда:
- Ваши данные крайне конфиденциальны и не могут покидать компанию
- Ваш объём использования велик, оплата за токен слишком дорога
- Вам нужна глубокая настройка поведения модели
- У вас есть техническая команда для развёртывания и поддержки
Рекомендуемая стратегия: используйте закрытые решения для небольшого использования и исследования (низкая стоимость, быстрый запуск), рассмотрите открытые решения для крупномасштабных и производственных сред (сильная управляемость, низкие долгосрочные затраты).
Облачный ИИ против локального ИИ
Это ещё один важный выбор: использовать облачные сервисы ИИ или запускать модели на своём компьютере?
Облачный ИИ: готов к использованию
Облачный ИИ означает вызов сервисов ИИ в облаке через веб-страницы или API.
Вам не нужно беспокоиться о том, где развёрнута модель, сколько GPU используется или как она обновляется — вы просто вводите содержимое и получаете результаты.
Типичные облачные ИИ-продукты:
| Продукт | Type | Способ оплаты |
|---|---|---|
| ChatGPT | Веб-чат | Подписка $20/месяц или оплата по мере использования |
| Claude.ai | Веб-чат | Подписка $20/месяц или оплата по мере использования |
| OpenAI API | API-интерфейс | Оплата по токенам |
| Anthropic API | API-интерфейс | Оплата по токенам |
Локальный ИИ: полностью контролируемый
Локальный ИИ запускает модели с открытым исходным кодом на вашем собственном компьютере или сервере.
Данные не покидают ваше устройство, и нет постоянной оплаты.
Но вам нужна хорошая видеокарта — обычно NVIDIA GPU; чем больше VRAM, тем лучше.
Популярные инструменты для локального ИИ:
| Инструмент | Особенности | Подходит для |
|---|---|---|
| Ollama | Запуск в один клик, работа из командной строки | Разработчики, технические пользователи |
| LM Studio | GUI, богатая библиотека моделей | Обычные пользователи, новички |
| vLLM | Высокопроизводительный сервис инференса | Развёртывание в производственной среде |
| Text Generation WebUI | Наиболее полнофункциональный, с возможностью тонкой настройки | Продвинутые пользователи |
Сравнение облачного и локального ИИ
| Измерение | Облачный ИИ | Локальный ИИ |
|---|---|---|
| Начальная стоимость | Ноль, оплата по мере использования | Высокая (нужно купить GPU) |
| Стоимость использования | Непрерывная оплата за использование | Стоимость электроэнергии + амортизация оборудования |
| Конфиденциальность данных | Данные передаются поставщику услуг | Данные полностью остаются локальными |
| Сложность развертывания | Отсутствует | Требуются некоторые технические навыки |
| Скорость отклика | Зависит от сети | Локальные вычисления, стабильная скорость |
| Потолок возможностей | Можно использовать самые большие модели | Ограничено объёмом видеопамяти GPU |
Гибридная стратегия: лучшее из обоих миров
Многие компании выбирают гибридную стратегию:
- Для конфиденциальных данных используются локальные модели
- Для обычных запросов используются облачные API
- Использовать облачные сервисы в дневные пики, а локальные — для ночной пакетной обработки
Это обеспечивает безопасность данных и позволяет контролировать расходы.
Совет для индивидуальных пользователей: сначала попробуйте облачный ИИ, а освоившись, рассмотрите локальное развёртывание, если у вас есть потребности в конфиденциальности или растёт объём использования.
Инфраструктура ИИ
ИИ — это не только модели: вычислительная мощность, чипы и облачные сервисы, лежащие в основе, формируют инфраструктуру всей отрасли.
Вычислительная мощность GPU: почему NVIDIA доминирует на рынке
Обучение больших моделей требует огромных вычислений, и GPU (графические процессоры) в настоящее время являются наиболее подходящим оборудованием.
NVIDIA занимает почти монопольное положение в этой области по трём причинам:
| Преимущество | Описание |
|---|---|
| Экосистема CUDA | CUDA — это среда программирования NVIDIA; почти все фреймворки ИИ в первую очередь обеспечивают её поддержку. |
| Объём памяти | Профессиональные карты, такие как H100 и A100, имеют 80GB или даже больше памяти. |
| Поддержка программного обеспечения | Оптимизированные библиотеки, компиляторы и инструментальные цепочки наиболее полны. |
Распространённое позиционирование GPU NVIDIA:
| Модель карты | Память | Позиционирование | Применимые сценарии |
|---|---|---|---|
| RTX 3090/4090 | 24GB | Потребительский уровень | Личное обучение, вывод малых моделей |
| A10G | 24GB | Профессиональный начального уровня | Лёгкий вывод, тонкая настройка |
| A100 | 80GB | Профессионального уровня | Обучение моделей, крупномасштабный вывод |
| H100 | 80GB | Флагманского уровня | Обучение больших моделей (70B+) |
Объём памяти — ключевой показатель.В целом:
- Модель 7B требует 8-16GB памяти
- Модель 13B требует 16-32GB памяти
- Модель 70B требует 60-80GB памяти
Провайдеры облачных вычислений: вычисления как услуга
Не каждый может позволить себе GPU стоимостью сотни тысяч — облачные провайдеры предлагают модель «почасовой аренды».
| Облачный провайдер | Особенности | Типичные инстансы |
|---|---|---|
| AWS | Наиболее полные типы инстансов | серии p4d, p5, g5 |
| Azure | Полный набор корпоративных сервисов | серии NC, ND, NV |
| GCP | Хорошая поддержка TPU | Серия A3, T4 |
| Alibaba Cloud | Быстрый доступ в Китае | Серия gn6, gn7 |
Отечественные альтернативы вычислительных мощностей
Из-за ограничений на экспорт чипов Китай активно развивает отечественные вычислительные мощности.
Основные игроки:
| Производитель | Чип | Особенности |
|---|---|---|
| Huawei Ascend | Ascend 910 | Экосистема относительно развита, поддерживает обучение больших моделей |
| Cambricon | Siyuan 590 | Сфокусирован на ускорении ИИ |
| Hygon | DCU | Совместим с экосистемой CUDA |
Локальные чипы всё ещё догоняют; главная проблема — программная экосистема: многие ИИ-фреймворки требуют специальной адаптации.
Индивидуальным разработчикам рекомендуется начинать с GPU потребительского класса NVIDIA (например, RTX 4090), так как экосистема наиболее зрелая и располагает наибольшим количеством ресурсов.
Бизнес-модели ИИ
Как ИИ-компании зарабатывают деньги? Сейчас существует три основные модели.
B2C: модель подписки
Ориентирована на индивидуальных пользователей, ежемесячная оплата.
| Продукт | Цены | Что включено |
|---|---|---|
| ChatGPT Plus | $20/месяц | Приоритетный доступ к GPT-4, более быстрые ответы |
| Claude Pro | $20/месяц | Приоритетный доступ к Claude 3, более длинный контекст |
| GitHub Copilot | $10/месяц | Автодополнение кода, объяснение кода |
Преимущество модели подписки — стабильный денежный поток и высокая лояльность пользователей. Однако она должна постоянно приносить ценность, иначе пользователи отменят подписку.
B2B: вызовы API
Оплата по мере использования — вы платите в зависимости от того, сколько раз вы вызываете API.
Единица тарификации — «токен», что можно понимать как «слово» или «символ».
Типичные цены (середина 2025 г.):
| Модель | Цена ввода | Цена вывода |
|---|---|---|
| GPT-4o | $5 за миллион токенов | $15 за миллион токенов |
| Claude 3.5 Sonnet | $3 за миллион токенов | $15 за миллион токенов |
| GPT-4 | $30 за миллион токенов | $60 за миллион токенов |
| Llama 3.1 405B (на собственном хостинге) | Стоимость оборудования + электроэнергия | |
Давайте посчитаем: предположим, у вас есть приложение, которое обрабатывает 100,000 запросов в день, при этом каждый запрос использует 1,000 токенов.
С GPT-4o дневная стоимость составляет $5 (ввод) + $15 (вывод) = $20, что составляет $600 в месяц.
Если использование растет, затраты быстро увеличиваются — поэтому многие компании в конечном итоге выбирают самостоятельный хостинг открытых моделей.
Монетизация экосистемы открытого исходного кода
Модели с открытым исходным кодом бесплатны, но компании могут зарабатывать на сопутствующих услугах:
- Хостинговые услуги: развертывание и поддержка для вас
- Корпоративная версия: дополнительные функции и поддержка
- Консалтинговые услуги: настройка и оптимизация для вас
- Услуги по обучению: тонкая настройка моделей на ваших данных
Mistral AI — представитель этой модели: модели имеют открытый исходный код, но предприятиям нужно платить за доступ к более крупным моделям и лучшим услугам.
Сравнение трех моделей
| Модель | Целевые пользователи | Стабильность доходов | Технические требования |
|---|---|---|---|
| Подписка | Индивидуальные пользователи | Средняя | Требуется превосходный пользовательский опыт |
| Вызовы API | Разработчики, предприятия | Высокая (зависит от использования) | Требуется стабильный сервис |
| Экосистема открытого исходного кода | Предприятия, разработчики | Медленнее (требуется построение экосистемы) | Требуется способность управлять сообществом |
Регулирование и политика в сфере ИИ
ИИ развивается так быстро, что каждая страна разрабатывает регуляторные политики. Понимание этих политик может помочь вам снизить риски.
Закон ЕС об ИИ
В ЕС самое строгое регулирование, основная концепция — «классификация на основе риска».
| Уровень риска | Определение | Нормативные требования |
|---|---|---|
| Недопустимый риск | Социальный рейтинг, распознавание лиц в реальном времени | Запрещено |
| Высокий риск | Медицинские изделия, судебные решения, найм персонала | Строгое соблюдение, высокая прозрачность |
| Средний риск | Чат-боты, генерация контента | Помечать контент, сгенерированный ИИ |
| Низкий риск | Игры, редактирование фотографий | Практически отсутствуют требования |
Закон ЕС об ИИ имеет глобальное влияние — если ваш продукт обслуживает пользователей из ЕС, вы должны соблюдать его.
Нормативная база Китая в области ИИ
Регуляторные политики Китая также постепенно совершенствуются; среди ключевых документов:
- "Временные меры по управлению сервисами генеративного ИИ"
- "Закон об искусственном интеллекте" (проект для общественного обсуждения)
Ключевые требования:
- Сгенерированный контент должен быть правдивым и точным и не должен содержать ложную информацию
- Механизмы проверки контента должны быть надёжными
- Источники данных должны быть законными
- Алгоритмы должны быть прозрачными и объяснимыми
Динамика политики США в области ИИ
Регулирование в США относительно мягкое, в основном через исполнительные указы и саморегулирование отрасли.
Ключевые направления:
- Национальная безопасность: не допускать использования ИИ в злонамеренных целях
- Справедливость: предотвращать алгоритмическую дискриминацию
- Прозрачность: контент, сгенерированный ИИ, должен быть маркирован
Для отдельных разработчиков наиболее важно учитывать следующее: контент, сгенерированный ИИ, должен быть чётко маркирован и не должен выдаваться за созданный человеком. Когда речь идёт о персональных данных, необходимо соблюдать правила защиты данных.
Прогноз тенденций развития ИИ-индустрии на 2025 год
По состоянию на середину 2026 года несколько тенденций стали вполне очевидными.
Тенденция 1: Возможности моделей продолжают улучшаться, но с убывающей предельной отдачей
GPT-5, Claude 5, Gemini 3.0, DeepSeek 4 и GLM 5 уже появились, но каждое обновление приносит всё меньше сюрпризов.
Дело не в том, что технология достигла узкого места, а в том, что уже существует множество вариантов использования, которые «достаточно хороши».
Тенденция 2: Открытые модели продолжают догонять, сокращая разрыв с закрытыми
Производительность Llama 3.1 405B уже близка к уровню GPT-4, и она доступна бесплатно.
В будущем к лагерю открытого исходного кода присоединится больше компаний, и экосистема открытых моделей будет становиться всё более зрелой.
Тенденция 3: Прикладной уровень начинает бурно развиваться, агенты становятся применимыми на практике
Последние несколько лет шла конкуренция на уровне моделей; теперь фокус смещается на прикладной уровень.
ИИ-агенты — ИИ, способный автономно выполнять сложные задачи, — перейдут из концепции в практическое применение.
Тенденция 4: Мультимодальность становится стандартом
Чисто текстовые модели будут становиться всё более редкими, а мультимодальные модели, способные одновременно обрабатывать текст, изображения, аудио и видео, станут стандартом.
Тренд 5: Регулирование становится нормой
Нормативные рамки в разных странах будут постепенно формироваться, переводя ИИ-индустрию из "безрассудного роста" в стадию "регулируемого развития".
| Тренды | Влияние на отдельных людей | Рекомендации |
|---|---|---|
| Улучшение возможностей моделей | Инструменты становятся всё более мощными | Следите за новыми функциями, но не гонитесь слепо за новизной |
| Модели с открытым исходным кодом догоняют | Локальное развёртывание становится всё более осуществимым | Изучите стек инструментов с открытым исходным кодом |
| Взрыв на прикладном уровне | Возможности находятся на уровне приложений | Объедините ИИ с вашей предметной областью |
| Мультимодальность как стандарт | Может делать больше вещей | Расширяйте идеи мультимодальных приложений |
| Нормализация регулирования | Требования комплаенса растут | Разбирайтесь в соответствующих нормативных актах |
Пример кода: вызов API модели с открытым исходным кодом
Давайте напишем простой пример на Python, чтобы продемонстрировать, как вызывать API модели с открытым исходным кодом.
Мы будем использовать Ollama в качестве локального сервиса инференса, который поддерживает несколько моделей с открытым исходным кодом, таких как Llama 3, Qwen и Mistral.
Ссылка на материалы по Ollama:https://www.example.com/ollama/ollama-tutorial.html。
Пример
# Пример вызова API модели с открытым исходным кодом
# Демонстрация: запуск модели Llama 3 локально с помощью Ollama
# ============================================
import requests
import json
def call_ollama_model(prompt: str, model: str = "llama3") -> str:
"""
Вызов API Ollama для получения ответа модели
Описания параметров:
prompt: ваш вопрос или входной текст
model: имя модели для использования (по умолчанию: llama3)
Необязательные значения: llama3, qwen2, mistral, yi и т. д.
Возвращаемое значение:
Текст ответа модели
"""
# Ollama по умолчанию работает на локальном порту 11434
url = "http://localhost:11434/api/generate"
# Собрать данные запроса
payload = {
"model": model, # Используемая модель
"prompt": prompt, # Пользовательский ввод
"stream": False, # Не использовать потоковый вывод (вернуть сразу)
"options": {
"temperature": 0.7, # Параметр температуры: выше — более случайно, ниже — более детерминированно
"top_p": 0.9, # Параметр сэмплирования: управляет разнообразием
"num_predict": 512, # Максимальное количество генерируемых токенов
}
}
try:
# Отправить POST-запрос
response = requests.post(url, json=payload, timeout=60)
response.raise_for_status() # Проверить, успешно ли выполнен запрос
# Разобрать возвращённый результат
result = response.json()
return result.get("response", "Ответ не получен")
except requests.exceptions.ConnectionError:
return "Ошибка: не удалось подключиться к сервису Ollama. Сначала запустите Ollama."
except requests.exceptions.Timeout:
return "Ошибка: время ожидания запроса истекло. Возможно, модель всё ещё загружается."
except Exception as e:
return f"Ошибка: {str(e)}"
def chat_with_example():
"""Пример многоходового диалога с демонстрационным ИИ-ассистентом"""
print("=" * 50)
print("🚀 Пример ИИ-ассистента (на основе открытой модели Llama 3)")
print("=" * 50)
print("Совет: введите 'quit' или 'exit', чтобы выйти из разговора")
print()
# История разговора (для непрерывности контекста)
conversation_history = []
while True:
# Получить ввод пользователя
user_input = input("Вы: ").strip()
# Проверить, нужно ли выходить
if user_input.lower() in ["quit", "exit", "Выход"]:
print("пример ИИ: До свидания! Возвращайтесь в любое время.")
break
if not user_input:
continue
# Построить подсказку с контекстом
full_prompt = "\n".join(conversation_history) + f"\nПользователь: {user_input}\nАссистент:"
# Вызвать модель
print("пример ИИ: ", end="", flush=True)
response = call_ollama_model(full_prompt)
print(response)
print()
# Обновить историю диалога
conversation_history.append(f"Пользователь: {user_input}")
conversation_history.append(f"Ассистент: {response}")
# Оставляем только последние 5 ходов диалога, чтобы избежать слишком длинного контекста
if len(conversation_history) > 10:
conversation_history = conversation_history[-10:]
# Пример 1: одиночный вызов
print("--- Пример 1: один вопрос ---")
question = "Пожалуйста, объясните в одном предложении, что такое большая языковая модель."
print(f"Вопрос: {question}")
answer = call_ollama_model(question)
print(f"Ответ: {answer}")
print()
# Пример 2: использование разных моделей
print("--- Пример 2: переключение между разными моделями ---")
for model_name in ["llama3", "qwen2", "mistral"]:
print(f"Использование модели {model_name}:")
answer = call_ollama_model("Здравствуйте, представьтесь, пожалуйста.", model=model_name)
print(f"Ответ: {answer[:100]}...") # Отображать только первые 100 символов
print()
# Пример 3: многоходовой диалог (раскомментируйте, чтобы запустить)
# print("--- Пример 3: многоходовой диалог ---")
# chat_with_example()
Перед запуском этого кода необходимо сначала установить Ollama:
- Перейдитеhttps://ollama.comСкачайте и установите Ollama
- Выполните в терминале:
ollama pull llama3Скачайте модель - Запустите:
ollama serveЗапустите службу (если она ещё не запущена) - Затем запустите приведённый выше код Python
Если у вас нет локального GPU, вы также можете использовать облачные API моделей с открытым исходным кодом, такие как Together.ai, Anyscale и т. д. Способ вызова аналогичен, отличаются только URL и метод аутентификации.
Другие расширенияПреимущество моделей с открытым исходным кодом в том, что вы можете сначала использовать небольшую модель (7B) локально для разработки и тестирования, а если она хорошо себя покажет, переключиться на более крупную модель (70B) или облачный сервис.