Часто задаваемые вопросы по Ollama
В этой главе знания по устранению неполадок сжаты в удобное справочное руководство: начните с анализа логов, выполняйте сортировку по симптомам и охватите шесть основных категорий проблем — недостаток VRAM, сбои загрузки, конфликты портов, аномалии GPU, перегрузка и совместимость при обновлении.
Универсальный первый шаг: сначала проверьте логи
Сообщения об ошибках Ollama часто очень кратки; настоящая первопричина почти всегда записана в логах.
| Окружение | Просмотр команды / расположения |
|---|---|
| macOS | cat ~/.ollama/logs/server.log |
| Linux (systemd) | journalctl -u ollama --no-pager --follow --pager-end |
| Windows | %LOCALAPPDATA%\Ollama\server.log |
| Docker | docker logs <container_name> |
| Ручной запуск serve | Логи выводятся непосредственно в текущий терминал |
Если в логах по умолчанию недостаточно деталей, включите режим отладки и перезапустите службу, чтобы увидеть ключевые процессы, такие как обнаружение GPU и оценка VRAM:
# 调试模式启动 OLLAMA_DEBUG=1 ollama serve
При возникновении аномалии сначала проведите диагностику с помощью схемы навигации ниже, затем перейдите к соответствующему разделу:
Недостаточно VRAM / памяти (OOM)
Это наиболее распространённая проблема времени выполнения, обычно проявляющаяся как исчезновение процесса в середине генерации, зависание системы или ошибки выделения памяти в логах.
| Симптом | Причина | Контрмера |
|---|---|---|
| Процесс убит при загрузке большой модели | Недостаточно физической памяти | Переключитесь на меньший тег; или используйте create для квантования и уменьшения размера |
| Сбой во время генерации | Накопление контекста приводит к росту KV-кэша | Уменьшите num_ctx; включите Flash Attention и квантование KV-кэша |
| Коллективный сбой при нескольких запросах | NUM_PARALLEL слишком велик, потребление VRAM многократно возрастает | Верните его к 1, затем постепенно увеличивайте, наблюдая за ollama ps |
| Модель работает, но выгружается на CPU | VRAM немного меньше, чем требуется | Очистите фоновое потребление VRAM; уменьшите размер параметров на один уровень |
Триада диагностических команд: ollama ps для проверки занятости модели и коэффициента разделения, nvidia-smi (или rocm-smi) для проверки VRAM в реальном времени и free -h для проверки системной памяти.
Сбои загрузки модели и прерывания с возможностью возобновления
Проблемы с загрузкой почти всегда кроются в сетевом пути; хорошая новость в том, что Ollama поддерживает послойную докачку загрузок, что делает повторные попытки очень дешёвыми.
| Симптом | Причина | Контрмера |
|---|---|---|
| Загрузки неоднократно прерываются | Нестабильное подключение к исходному серверу | Повторно выполните ту же команду, чтобы продолжить; при необходимости настройте HTTPS_PROXY |
| По-прежнему не удаётся после настройки прокси | HTTP_PROXY был ошибочно установлен | Оставьте только HTTPS_PROXY, удалите HTTP_PROXY |
| Ошибка сертификата прокси | Самоподписанный сертификат не является доверенным | Установите сертификат CA как системный сертификат |
| Предупреждение о недостатке места на диске | Ёмкости целевого раздела недостаточно | Освободите место или используйте OLLAMA_MODELS, чтобы перенести путь хранения |
Конфликты портов и отказ в подключении
Когда клиент сообщает «connection refused», суть в том, что на порту 11434 не отвечает ни одна служба.
| Симптом | Причина | Контрмера |
|---|---|---|
| Локальное подключение curl отклонено | Служба Ollama не запущена | Откройте приложение в macOS / Windows; выполните sudo systemctl start ollama в Linux |
| В логах сообщается, что порт уже используется | 11434 занят другой программой | Остановите процесс, занимающий порт, или запустите на другом порту: OLLAMA_HOST=127.0.0.1:11435 |
| Удалённые машины не могут подключиться | Служба прослушивает только loopback-адрес | Задайте OLLAMA_HOST=0.0.0.0 на стороне сервера и разрешите подключения через брандмауэр |
| Ручная установка в Linux завершается сразу после запуска | /tmp смонтирован с noexec, библиотека инференса не может быть загружена | Установите OLLAMA_TMPDIR, указав каталог, доступный для выполнения |
GPU не используется / Сбой обнаружения
Симптом: ollama ps показывает 100% CPU, или в журналах отображается сбой обнаружения GPU. У NVIDIA и AMD разные пути устранения неполадок.
Особенности NVIDIA
Сначала проверьте драйвер и среду проброса, затем действуйте в соответствии с кодами ошибок в журнале:
| Пункт проверки | Метод |
|---|---|
| Версия драйвера | nvidia-smi выводит данные нормально; обновите до последней версии драйвера |
| Проброс в контейнер | Если docker run --gpus all ubuntu nvidia-smi завершается ошибкой, это проблема Container Toolkit |
| Аномалия модуля драйвера | Перезагрузите с помощью sudo rmmod nvidia_uvm && sudo modprobe nvidia_uvm и повторите попытку |
| Сбой после выхода из режима сна | После сна/пробуждения Linux перезагрузите модуль nvidia_uvm |
| После длительной работы Docker теряет GPU | Добавьте native.cgroupdriver=cgroupfs в /etc/docker/daemon.json и перезапустите Docker |
Коды ошибок CUDA в логах стоит запомнить: 3 означает не инициализировано, 46 означает устройство недоступно, 100 означает нет устройства, 999 означает неизвестная ошибка — большинство указывают на драйвер или конфигурацию проброса.
Особенности AMD
| Симптом | Причина | Контрмера |
|---|---|---|
| Полностью не обнаруживается в Linux | Пользователь не входит в группу video / render | Добавьте пользователя, запустившего процесс, в соответствующую группу и перезапустите службу |
| В логах виден тайм-аут обнаружения | Драйвер ROCm слишком старый (ниже v7) | Обновите ROCm v7 через amdgpu-install и перезапустите |
| Старые карты не поддерживаются | Архитектура отсутствует в официальном списке поддерживаемых | Попробуйте HSA_OVERRIDE_GFX_VERSION, чтобы указать похожую архитектуру |
| Некоторые старые карты не имеют ROCm в Windows | Ограничение стека драйверов | Используйте путь Vulkan по умолчанию; если есть отклонения, проверьте GGML_VK_VISIBLE_DEVICES |
Систематическая диагностика перегрузки 503 и медленного ответа
Свяжите методы из предыдущих глав в фиксированную процедуру; за шесть шагов вы сможете выявить подавляющее большинство проблем с производительностью:
Шаг первый: используйте ollama ps, чтобы убедиться, что PROCESSOR на 100% GPU; если появляется разделение, сначала вернитесь к оптимизации VRAM.
Шаг второй: проверьте логи на записи о постановке в очередь, выгрузке или сбоях обнаружения.
Шаг третий: получение 503 означает, что очередь заполнена; проверьте объём одновременных запросов и OLLAMA_MAX_QUEUE, а также оцените необходимость масштабирования.
Шаг четвёртый: в сценариях с несколькими пользователями проверьте мультипликативную зависимость между OLLAMA_NUM_PARALLEL и VRAM.
Шаг пятый: проверьте стратегию keep_alive: частая выгрузка и повторная загрузка приведут к резкому скачку задержки первого токена.
Шаг шестой: используйте поле usage API для расчёта токенов/с и сравните с историческим базовым уровнем, чтобы количественно оценить эффект каждой корректировки.
Проблемы совместимости после обновления и откат
Если после обновления поведение становится аномальным, три действия решают большинство случаев:
# 1. Linux 手动升级前先清理旧库，避免新旧混用 sudo rm -rf /usr/lib/ollama # 2. 回退到指定版本 curl -fsSL https://ollama.com/install.sh | OLLAMA_VERSION=0.5.7 sh # 3. AMD 显卡同步升级 ROCm v7 驱动后重启
Искажённые блоки, появляющиеся в терминале Windows, — это старая проблема со шрифтом терминала, не связанная с моделью; просто переключитесь на Windows Terminal.
Другие расширения