Ollama RAG: локальная приватная база знаний для вопросов и ответов

В этой главе мы объединяем изученные ранее возможности эмбеддинга, поиска и генерации в действительно полезное приложение: подайте свои документы локальной модели и позвольте ей отвечать на вопросы, основываясь только на ваших материалах, с указанием источников.

Полный код занимает менее 100 строк, не имеет внешних зависимостей от векторных баз данных и может быть запущен простым копированием.

Разбор требований и выбор технологий

Сначала уточним проблему: LLM не знает материалы на вашем жёстком диске, и если спросить его напрямую, он выдаст только выдуманные ответы. Идея RAG (Retrieval-Augmented Generation) — это «экзамен с открытой книгой»: сначала извлеките релевантные фрагменты из ваших материалов, вставьте их в промпт и позвольте модели ответить на их основе.

Выбор технологий следует принципу «минимальных зависимостей»:

Вам нужно загрузить две модели:

ollama pull embeddinggemma
ollama pull qwen3.5:4b

EmbeddingGemma — это легковесная многоязычная модель текстовых эмбеддингов с открытым исходным кодом от Google, специально предназначенная для преобразования текста в векторы. Она отлично подходит для офлайн-развёртывания на локальных устройствах. Ollama уже адаптировала и упаковала эту модель, поэтому её можно сразу загрузить и использовать.

Шаг 1: Разбор документа и разбиение на фрагменты

Контекст модели ограничен, и весь документ не помещается в него, поэтому его нужно разбивать на небольшие фрагменты. Стратегия разбиения использует самый базовый подход «фиксированная длина + перекрытие»: каждый фрагмент — 300 символов, соседние фрагменты перекрываются на 50 символов, чтобы не обрезать ключевые предложения.

Шаг 2: Векторизация и поиск

Преобразовать все фрагменты и вопрос пользователя в векторы и использовать косинусное сходство, чтобы найти top-k фрагментов, наиболее релевантных вопросу.

embeddinggemma выводит L2-нормализованные векторы; полная формула косинуса всё ещё приведена здесь, чтобы принцип был понятен с первого взгляда; замена её на скалярное произведение даёт тот же результат.

Шаг 3: Сборка промпта и генерация ответов с цитатами

Запишите извлечённые фрагменты вместе с номерами источников в промпт и явно потребуйте от модели «отвечать только на основе материалов» и помечать цитаты.

Полный запуск: точка входа в основную программу

Подготовьте материалы и запустите:

mkdir docs
cp EXAMPLE-python-notes.md docs/
python rag.py

Вывод:

$ python rag.py
正在索引 42 个片段...
索引完成。

问题（exit 退出）：Python 的切片是什么？
Python 切片是用 [start:stop:step] 从序列截取子序列的语法 [资料1]。
例如 s[1:4] 取索引 1 到 3 的字符 [资料2]。

参考来源：
  [资料1] EXAMPLE-python-notes.md（相似度 0.712）
  [资料2] EXAMPLE-python-notes.md（相似度 0.668）

Обратите внимание на ссылки на источники в конце ответа: каждое предложение можно отследить до конкретного файла в вашем каталоге docs. Это как раз основная ценность RAG по сравнению с "прямым запросом к модели."

Настройка производительности и типичные проблемы

Если производительность RAG низкая, проблема обычно на этапе поиска, а не на этапе генерации. Рычаги настройки, упорядоченные по влиянию:

Краткая справка по типичным проблемам:

Дорожная карта для продакшена: когда у вас десятки тысяч документов или нужен парсинг PDF, замените «списочное векторное хранилище» на профессиональную векторную базу данных, такую как Chroma (которая обеспечивает персистентность и эффективный поиск ближайших соседей), используйте pypdf для извлечения текста из PDF, а остальной каркас кода оставьте без изменений — именно в этом смысл разделения каждого этапа в этой статье.