Развёртывание локальных моделей

Многие думают, что ИИ можно использовать только в облаке: при использовании ChatGPT данные отправляются на серверы OpenAI, а при использовании Claude запросы отправляются в дата-центры Anthropic.

На самом деле,модели ИИ могут работать полностью на вашем собственном компьютере。

Представьте: вы можете использовать ИИ без сети, конфиденциальные данные никогда не покидают ваш компьютер, не нужно платить за каждый вызов, и вы можете настраивать его как угодно.

В этом ценность локального развёртывания моделей.

Этот модуль проведёт вас от нуля до запуска вашей первой локальной модели ИИ на вашем собственном компьютере.

Зачем нужен локальный ИИ

Облачный ИИ удобен, но у локального ИИ есть незаменимые преимущества.

Защита конфиденциальности данных

Это главная причина, по которой многие выбирают локальное развёртывание.

Если вы работаете с договорами, медицинскими записями, финансовыми данными или внутренними документами, отправлять эти данные на сторонние серверы рискованно.

При локальном запуске,все данные обрабатываются на вашем собственном компьютере и никогда не покидают ваше устройство。

Использование в офлайн-среде

В самолётах, поездах или в местах с нестабильной сетью облачный ИИ недоступен.

После загрузки локальные модели доступны навсегда и не требуют подключения к сети.

Контроль затрат

Облачный ИИ взимает плату в зависимости от количества вызовов или токенов, и при интенсивном использовании это может стать значительными расходами.

Локальные модели загружаются один раз, после чего их можно свободно использовать без дополнительных затрат.

Возможности настройки

Вы не можете изменять облачные модели; можно использовать только предоставленные функции.

С локальными моделями вы можете выполнять тонкую настройку, квантование, изменять шаблоны промптов и полностью настраивать их под свои нужды.

Сравнение этих преимуществ:

Не то чтобы облачный ИИ плох, а скорееУ обоих есть свои подходящие сценарииДля повседневного общения используйте облако; для конфиденциальных данных — локальный вариант; для простых задач используйте облако; для особой настройки — локальный.

Оценка требований к оборудованию

Возможность запуска локальной модели и скорость её работы в основном зависят от конфигурации вашего оборудования.

Инференс на CPU против инференса на GPU

Существует два способа запуска моделей: инференс на CPU и инференс на GPU.

Инференс на CPU использует главный процессор компьютера для запуска моделей. Преимущество — хорошая совместимость; почти все компьютеры могут его запускать. Недостаток — низкая скорость; большие модели могут работать долго.

Инференс на GPU использует графические карты. Основное преимущество —мощная способность к параллельным вычислениям, благодаря которой модели работают в десятки раз быстрее。

Для видеокарт NVIDIA необходимо установить CUDA toolkit; для видеокарт AMD можно использовать ROCm; для видеокарт Intel можно использовать OpenVINO.

Связь между требованиями к VRAM и размером модели

VRAM определяет, насколько большую модель вы можете запустить.

Чем больше параметров у модели, тем больше VRAM ей требуется. Однако с помощью методов квантования можно запускать более крупные модели при меньшем объёме VRAM.

Преимущества серии Mac M

Apple Silicon (чипы серий M1, M2, M3) имеет уникальные преимущества в локальном ИИ.

Фреймворк Metal от Apple и архитектура унифицированной памяти делают компьютеры Mac очень эффективными при запуске локальных моделей.

Унифицированная память означает, чтоCPU и GPU совместно используют памятьи могут автоматически заимствовать память, когда VRAM недостаточно.

MacBook Pro с 16GB унифицированной памяти может без проблем запускать квантованные модели 7B и 13B.

Рекомендуемые варианты конфигурации

В зависимости от разных бюджетов и потребностей, вот несколько вариантов конфигурации:

Не пугайтесь термина «большая модель». Сегодняшняя технология квантования уже позволяет 7B-моделям работать без сбоев на обычных компьютерах, а возможностей 7B-моделей достаточно для большинства повседневных задач.

Ollama: самый простой локальный ИИ-инструмент

• Официальный сайт Ollama:https://ollama.com/
• Список поддерживаемых моделей Ollama:https://ollama.com/search
• Руководство по Ollama:https://www.example.com/ollama/ollama-tutorial.html

Ollama — сегодня самый популярный инструмент для локальных моделей. Если резюмировать одним предложением:Устанавливайте модели так же, как устанавливаете приложения, используйте ИИ так же, как командную строку。

Установка и настройка

Ollama поддерживает macOS, Linux и Windows, а процесс установки очень прост.

Ссылка для скачивания установщика:https://ollama.com/download

Установка одной командой:

curl -fsSL https://ollama.com/install.sh | sh

Пользователи macOS могут скачать установщик напрямую или установить с помощью Homebrew:

# macOS 使用 Homebrew 安装
brew install ollama

# 或者下载安装包：https://ollama.com/download

Пользователи Windows могут просто скачать установщик с официального сайта и запустить его.

После установки запустите сервис Ollama:

ollama serve

Как только вы увидите, что сервис успешно запущен, можно начинать им пользоваться.

Загрузка моделей

Библиотека моделей Ollama очень богата и включает такие популярные модели, как Llama, Qwen, Gemma и Mistral.

Для загрузки модели достаточно одной команды:

Вы также можете использоватьollama run + имя моделикоманду, которая автоматически загрузит указанную модель, если она ещё не установлена:

ollama run qwen

Запустите модель qwen, загрузив её, если она недоступна.

У каждой модели есть разные версии, например 8B, 70B или различные квантованные версии.

Вы можете использоватьollama listчтобы просмотреть уже загруженные модели:

ollama list

Вывод, похожий на:

NAME              ID              SIZE      MODIFIED
qwen3.5:latest    6488c96fa5fa    6.6 GB    3 months ago

Использование командной строки

После загрузки модели вы можете запустить её напрямую, чтобы начать разговор:

# 运行 Llama 3，没有会下载
ollama run llama3

# 运行 Qwen，没有会下载
ollama run qwen3.5

qwen3.5 более чем достаточно для обычных задач:

Затем вы можете напрямую общаться с моделью:

>>> 你好，请介绍一下你自己
你好！我是 Llama 3，由 Meta 开发的 AI 助手。我可以帮你回答问题、
写作、编程、分析数据等。有什么我可以帮你的吗？

>>> 用 Python 写一个 Hello World 程序
好的，这是一个简单的 Python Hello World 程序：

print("Hello, World!")

>>> /bye  # 输入 /bye 退出

Основные команды:

Вызовы интерфейса API

Ollama поставляется с HTTP API, поэтому её можно вызывать из кода, а не только из командной строки.

По умолчанию Ollama находится по адресуhttp://localhost:11434чтобы предоставлять API-сервис.

Вызов API Ollama с помощью Python:

Запустите этот скрипт:

Если вам нужна обёртка более высокого уровня, вы можете использовать официальную библиотеку Python от Ollama:

Интеграция с Open WebUI

Командная строка удобна, но графический интерфейс более дружелюбен.

Open WebUI — это очень красивый веб-интерфейс, который может подключаться к Ollama, позволяя использовать локальные модели так же, как ChatGPT.

Установка Open WebUI:

После установки откройте в браузереhttp://localhost:3000, и вы увидите интерфейс, очень похожий на ChatGPT.

Ollama + Open WebUI — это на сегодняшний день наиболее рекомендуемое сочетание для локального ИИ: простая установка, удобный интерфейс и высокая мощность; подходит для подавляющего большинства пользователей.

LM Studio: работа через графический интерфейс

Если вы не любите командную строку, LM Studio — отличный выбор.Полностью графический интерфейс: загрузка и запуск моделей выполняются прямо в окне.。

Установка LM Studio

LM Studio поддерживает Windows, macOS и Linux.

С официального сайтаhttps://lmstudio.aiСкачайте установочный пакет и просто установите его.

Загрузка и управление моделями

Откройте LM Studio, библиотека моделей находится слева.

Можно искать по названию модели, например, поискать "llama", "qwen", "mistral", найти нужную модель и нажать «Скачать».

LM Studio автоматически перечислит разные версии одной и той же модели:

Скачанные модели появятся в списке "Мои модели".

Локальный API-сервис

LM Studio также может предоставлять API-сервис, совместимый с форматом API OpenAI.

Это означает, что для кода OpenAI, который вы пишете, вам нужно только изменить адрес API и Key, чтобы использовать локальную модель.

Эта функция очень полезна — вы можете использовать один и тот же код для переключения между облачными и локальными моделями по мере необходимости.

Пользователям, которые только начинают работать с локальным ИИ, я рекомендую: сначала освоиться с LM Studio, чтобы понять основные концепции и операции; после ознакомления использовать Ollama для автоматизации и интеграции.

Начало работы с квантованием моделей

Квантование — ключевая технология, позволяющая запускать большие модели на обычных компьютерах —Запускайте более крупные модели с меньшим объёмом VRAM, сохраняя большинство возможностей。

Что такое квантование

Проще говоря, квантование — это снижение точности параметров модели.

Исходные модели обычно хранят каждый параметр, используя 16-битные числа с плавающей запятой (FP16) или 32-битные числа с плавающей запятой (FP32).

После квантования мы используем 8-битные целые числа (INT8) или даже 4-битные целые числа (INT4) для хранения.

Точность снижается, но размер и требования к VRAM значительно сокращаются.

Например:

Практическое правило: квантование Q8 имеет почти незаметную потерю качества, а квантования Q4 достаточно для большинства задач.

Объяснение формата GGUF

GGUF в настоящее время — самый популярный формат квантованных моделей.

Предшественником GGUF является GGML, разработанный проектом llama.cpp.

Преимущества этого формата:

• Во-первых,Хорошая кроссплатформенная совместимость—Работает в Windows, macOS и Linux; запускается как на CPU, так и на GPU.

• Во-вторых,Поддерживает несколько уровней квантования—От FP16 до Q3, выбирайте по необходимости.

• В-третьих,Высокая скорость инференса—Сильно оптимизирован для CPU и GPU.

Большинство локальных инструментов для моделей (Ollama, LM Studio, llama.cpp) теперь поддерживают формат GGUF.

Различия между квантованием Q4/Q8

Q4 и Q8 — два наиболее часто используемых уровня квантования.

• Квантование Q8 — это 8-битное квантование; каждый параметр хранится как 8-битное целое. Преимущество Q8 —минимальная потеря качества, почти идентично исходной модели; недостаток — размер всё ещё недостаточно мал.

• Квантование Q4 — это 4-битное квантование; каждый параметр хранится как 4-битное целое. Преимущество Q4 —малый размер и высокая скорость; недостаток — качество заметно падает на сложных задачах.

Как выбрать:

Схемы квантования AWQ/GPTQ

Помимо квантования GGUF, существуют две другие распространённые схемы квантования: AWQ и GPTQ.

AWQ (квантование весов с учётом активаций) характеризуется тем, чтосохраняет веса, которые сильно влияют на результаты, что приводит к меньшей потере качества после квантования.

GPTQ (квантование после обучения на основе градиентов) характеризуется тем, чтоиспользует информацию о градиентах для оптимизации квантования, подходит для сценариев с GPU.

Эти две схемы в основном применяются на GPU NVIDIA с поддержкой CUDA.

Простое сравнение:

Новичкам не стоит беспокоиться об этих технических деталях — просто используйте версию Q4_K_M, рекомендованную в Ollama или LM Studio. Это лучший баланс, проверенный обширным тестированием.

Руководство по выбору модели

Сейчас существуют сотни открытых моделей; важно выбрать ту, которая подходит вашим потребностям.

Сравнение моделей 7B/13B/70B

Количество параметров — важный показатель: 7B, 13B и 70B — наиболее распространённые спецификации.

Для большинства людей оптимальным вариантом является квантованная версия 13B Q4 — хорошие возможности при приемлемой скорости.

Рекомендуемые модели с хорошей поддержкой китайского языка

Многие иностранные модели имеют посредственные возможности в китайском. Вот несколько моделей с хорошей поддержкой китайского:

Для задач на китайском Qwen — первый выбор; его понимание и генерация китайского — лучшие среди моделей с открытым исходным кодом.

Выбор модели под конкретную задачу

У разных моделей разные сильные стороны; выбирайте в зависимости от вашей задачи:

Более крупная модель не всегда лучше, и более новая тоже —та, что подходит вашему оборудованию и вашей задаче,является лучшей. Начните с нескольких моделей 7B, чтобы почувствовать разницу, затем переходите на более мощные.

Практическое руководство: создание полностью офлайн локальной базы знаний

Один из самых практичных сценариев использования локальных моделей — создание собственной приватной базы знаний —загружайте локальные документы в модель и заставляйте её отвечать на вопросы по ним.。

Вся система работает полностью офлайн; данные никогда не покидают ваш компьютер.

Технический подход

Мы используем технологию RAG (Retrieval-Augmented Generation):

1. Разбить документы на фрагменты

2. Использовать модель эмбеддингов, чтобы преобразовать каждый фрагмент в вектор

3. Сохранять векторы в векторной базе данных

4. При запросе также преобразовать вопрос в вектор

5. Найти наиболее релевантные фрагменты документов в векторной базе данных

6. Отправить релевантные документы и вопрос вместе в локальную LLM

7. LLM отвечает на основе содержимого документа

Это звучит сложно, но с существующими инструментами всё просто.

Реализация с Ollama + LangChain

Мы будем использовать Python, чтобы реализовать простую версию:

Перед использованием этой системы необходимо скачать модель эмбеддингов:

Таким образом, у вас есть система приватной базы знаний, работающая полностью локально.

Вы можете добавлять собственные заметки, документы и электронные книги и позволить ИИ помогать вам искать и отвечать на вопросы.

Все данные в этой системе остаются на вашей локальной машине — документы на вашем жёстком диске, векторная база данных в вашем каталоге, модели на вашем компьютере — так что вам совсем не нужно беспокоиться об утечках данных.

Советы по оптимизации производительности

Локальная модель работает, но как сделать её быстрее? Вот несколько практических советов.

Выбор правильного уровня квантования

Это самая простая и самая эффективная оптимизация — чем ниже уровень квантования, тем выше скорость.

Если Q4 работает, не используйте Q8; если Q8 работает, не используйте FP16.

Настройка размера контекстного окна

Чем больше контекстное окно, тем больше вычислений требуется.

Если вам не нужен длинный контекст, вы можете задать его в Modelfile Ollama:

Уменьшение контекста с значения по умолчанию 8192 до 2048 сделает его заметно быстрее.

Использование GPU-ускорения

Если у вас есть NVIDIA GPU или Mac с Apple Silicon, убедитесь, что Ollama использует GPU, а не CPU.

Ollama автоматически обнаружит и будет использовать GPU, но иногда вам нужно это проверить.

В журналах запуска Ollama вы должны увидеть сообщения типа "Metal GPU activated" или "CUDA activated".

Использование более быстрых параметров сэмплирования

Некоторые параметры сэмплирования могут влиять на скорость:

Описания параметров:

Отключение ненужных функций

Если вы используете вызовы API и вам не нужен потоковый вывод, можно установить stream в false.

Хотя это не ускорит инференс, это может снизить накладные расходы на передачу данных по сети.

Оптимизация производительности — это искусство баланса: скорость, качество и память нельзя получить одновременно. Найдите точку баланса, подходящую именно вам.