Déploiement de modèles locaux

Beaucoup de gens pensent que l'IA ne peut être utilisée que dans le cloud : lorsqu'on utilise ChatGPT, les données sont envoyées aux serveurs d'OpenAI, et lorsqu'on utilise Claude, les requêtes sont envoyées aux centres de données d'Anthropic.

En fait,les modèles d'IA peuvent fonctionner entièrement sur votre propre ordinateur。

Imaginez : vous pouvez utiliser l'IA sans réseau, les données sensibles ne quittent jamais votre ordinateur, pas besoin de payer à chaque appel, et vous pouvez la personnaliser comme vous le souhaitez.

C'est la valeur du déploiement local de modèles.

Ce module vous fera passer de zéro à l'exécution de votre premier modèle d'IA local sur votre propre ordinateur.

Pourquoi l'IA locale est nécessaire

L'IA cloud est pratique, mais l'IA locale présente des avantages irremplaçables.

Protection de la confidentialité des données

C'est la raison principale pour laquelle beaucoup de personnes choisissent le déploiement local.

Si vous traitez des contrats, des dossiers médicaux, des données financières ou des documents internes, l'envoi de ces données à des serveurs tiers est risqué.

Lors d'une exécution locale,toutes les données sont traitées sur votre propre ordinateur et ne quittent jamais votre appareil。

Utilisation en environnement hors ligne

Dans les avions, les trains ou les endroits où le réseau est instable, l'IA cloud est inutilisable.

Une fois téléchargés, les modèles locaux sont disponibles pour toujours et ne nécessitent pas de connexion réseau.

Contrôle des coûts

L’IA cloud facture en fonction du nombre d’appels ou de tokens, et une utilisation intensive peut représenter une dépense importante.

Les modèles locaux sont téléchargés une fois et peuvent ensuite être utilisés librement, sans coûts supplémentaires.

Possibilités de personnalisation

Vous ne pouvez pas modifier les modèles cloud ; vous pouvez uniquement utiliser les fonctionnalités fournies.

Avec les modèles locaux, vous pouvez affiner, quantifier, modifier les modèles de prompt et les personnaliser entièrement selon vos propres besoins.

Comparaison de ces avantages :

Non pas que l'IA cloud soit mauvaise, mais plutôtLes deux ont leurs propres scénarios d'applicationPour les discussions quotidiennes, utilisez le cloud ; pour les données sensibles, utilisez le local ; pour les tâches simples, utilisez le cloud ; pour une personnalisation spécifique, utilisez le local.

Évaluation des besoins matériels

Le fait qu'un modèle local puisse fonctionner et la vitesse à laquelle il fonctionne dépendent principalement de votre configuration matérielle.

Inférence CPU vs Inférence GPU

Il existe deux façons d'exécuter des modèles : l'inférence CPU et l'inférence GPU.

L'inférence CPU utilise le processeur principal de l'ordinateur pour exécuter des modèles. L'avantage est une bonne compatibilité ; presque tous les ordinateurs peuvent l'exécuter. L'inconvénient est la lenteur ; les grands modèles peuvent prendre beaucoup de temps.

L'inférence GPU utilise les cartes graphiques. L'avantage principal estune puissante capacité de calcul parallèle, ce qui rend l'exécution des modèles des dizaines de fois plus rapide。

Pour les cartes graphiques NVIDIA, vous devez installer le kit de développement CUDA ; pour les cartes graphiques AMD, vous pouvez utiliser ROCm ; pour les cartes graphiques Intel, vous pouvez utiliser OpenVINO.

Relation entre les besoins en VRAM et la taille du modèle

La VRAM détermine la taille du modèle que vous pouvez exécuter.

Plus un modèle a de paramètres, plus il nécessite de VRAM. Cependant, avec les techniques de quantification, vous pouvez exécuter des modèles plus grands avec moins de VRAM.

Avantages de la série M des Mac

Apple Silicon (puces des séries M1, M2, M3) présente des avantages uniques en IA locale.

Le framework Metal d'Apple et l'architecture de mémoire unifiée rendent les Mac très efficaces pour exécuter des modèles locaux.

La mémoire unifiée signifieque le CPU et le GPU partagent la mémoireet peuvent emprunter automatiquement de la mémoire lorsque la VRAM est insuffisante.

Un MacBook Pro avec 16GB de mémoire unifiée peut exécuter en douceur des modèles quantifiés 7B et 13B.

Plans de configuration recommandés

En fonction des différents budgets et besoins, voici plusieurs options de configuration :

Ne soyez pas intimidé par le terme « grand modèle ». La technologie de quantification d'aujourd'hui permet déjà aux modèles 7B de fonctionner de manière fluide sur des ordinateurs ordinaires, et les capacités des modèles 7B suffisent à la plupart des tâches quotidiennes.

Ollama : l'outil d'IA local le plus simple

• Site officiel d'Ollama :https://ollama.com/
• Liste des modèles pris en charge par Ollama :https://ollama.com/search
• Tutoriel Ollama :https://www.example.com/ollama/ollama-tutorial.html

Ollama est actuellement l'outil de modèles locaux le plus populaire. Pour résumer en une phrase :Installez des modèles comme vous installez des applications, utilisez l'IA comme vous utiliseriez la ligne de commande。

Installation et configuration

Ollama prend en charge macOS, Linux et Windows, et le processus d'installation est très simple.

Lien de téléchargement de l'installateur :https://ollama.com/download

Installez avec une seule commande :

curl -fsSL https://ollama.com/install.sh | sh

Les utilisateurs de macOS peuvent télécharger directement l'installateur, ou l'installer avec Homebrew :

# macOS 使用 Homebrew 安装
brew install ollama

# 或者下载安装包：https://ollama.com/download

Les utilisateurs de Windows peuvent simplement télécharger l'installateur depuis le site officiel et l'exécuter.

Après l'installation, démarrez le service Ollama :

ollama serve

Une fois que vous voyez que le service a démarré avec succès, vous pouvez commencer à l'utiliser.

Téléchargement des modèles

La bibliothèque de modèles d'Ollama est très riche, incluant des modèles courants tels que Llama, Qwen, Gemma et Mistral.

Le téléchargement d'un modèle ne prend qu'une seule commande :

Vous pouvez également utiliserollama run + model namecommande, qui téléchargera automatiquement le modèle spécifié s'il n'est pas déjà présent :

ollama run qwen

Exécutez le modèle qwen, en le téléchargeant s'il n'est pas disponible.

Chaque modèle a différentes versions, telles que 8B, 70B, ou différentes versions quantifiées.

Vous pouvez utiliserollama listpour afficher les modèles déjà téléchargés :

ollama list

Sortie similaire à :

NAME              ID              SIZE      MODIFIED
qwen3.5:latest    6488c96fa5fa    6.6 GB    3 months ago

Utilisation de la ligne de commande

Une fois le modèle téléchargé, vous pouvez l'exécuter directement pour démarrer une conversation :

# 运行 Llama 3，没有会下载
ollama run llama3

# 运行 Qwen，没有会下载
ollama run qwen3.5

qwen3.5 est plus que suffisant pour les tâches ordinaires :

Ensuite, vous pouvez parler directement au modèle :

>>> 你好，请介绍一下你自己
你好！我是 Llama 3，由 Meta 开发的 AI 助手。我可以帮你回答问题、
写作、编程、分析数据等。有什么我可以帮你的吗？

>>> 用 Python 写一个 Hello World 程序
好的，这是一个简单的 Python Hello World 程序：

print("Hello, World!")

>>> /bye  # 输入 /bye 退出

Commandes courantes :

Appels à l'interface API

Ollama est livré avec une API HTTP, vous pouvez donc l'appeler avec du code, pas seulement depuis la ligne de commande.

Par défaut, Ollama est àhttp://localhost:11434pour fournir le service API.

Appeler l'API Ollama avec Python :

Exécutez ce script :

Si vous souhaitez un wrapper de plus haut niveau, vous pouvez utiliser la bibliothèque Python officielle d'Ollama :

Intégration avec Open WebUI

La ligne de commande est pratique, mais une interface graphique est plus conviviale.

Open WebUI est une très belle interface web qui peut se connecter à Ollama, vous permettant d'utiliser des modèles locaux comme ChatGPT.

Installer Open WebUI :

Après l'installation, ouvrez-le dans le navigateurhttp://localhost:3000, et vous verrez une interface qui ressemble beaucoup à ChatGPT.

Ollama + Open WebUI est actuellement la combinaison d'IA locale la plus recommandée — simple à installer, interface conviviale et puissante, adaptée à la grande majorité des utilisateurs.

LM Studio : opérations via interface graphique

Si vous n'aimez pas la ligne de commande, LM Studio est un excellent choix —Interface purement graphique, le téléchargement et l'exécution des modèles se font entièrement dans la fenêtre.。

Installation de LM Studio

LM Studio prend en charge Windows, macOS et Linux.

Depuis le site officielhttps://lmstudio.aiTéléchargez le paquet d'installation et installez-le directement.

Téléchargement et gestion des modèles

Ouvrez LM Studio, la bibliothèque de modèles se trouve à gauche.

Vous pouvez rechercher par nom de modèle, par exemple rechercher "llama", "qwen", "mistral", trouver le modèle souhaité, puis cliquer sur télécharger.

LM Studio listera automatiquement les différentes versions du même modèle :

Les modèles téléchargés apparaîtront dans la liste "My Models".

Service API local

LM Studio peut également fournir un service API, compatible avec le format d'API d'OpenAI.

Cela signifie que pour le code OpenAI que vous écrivez, vous n'avez qu'à changer l'adresse API et la clé pour utiliser un modèle local.

Cette fonctionnalité est très utile—vous pouvez utiliser le même code pour basculer entre les modèles cloud et les modèles locaux selon vos besoins.

Pour les utilisateurs novices en IA locale, je recommande : commencez d'abord par LM Studio pour comprendre les concepts et opérations de base ; une fois familiarisé, utilisez Ollama pour l'automatisation et l'intégration.

Premiers pas avec la quantification des modèles

La quantification est une technologie clé qui permet aux grands modèles de fonctionner sur des ordinateurs ordinaires—Exécutez des modèles plus grands avec moins de VRAM tout en conservant la plupart des capacités。

Qu'est-ce que la quantification

En termes simples, la quantification consiste à réduire la précision des paramètres du modèle.

Les modèles natifs stockent généralement chaque paramètre en utilisant des nombres à virgule flottante de 16 bits (FP16) ou de 32 bits (FP32).

Après quantification, nous utilisons des entiers de 8 bits (INT8) ou même des entiers de 4 bits (INT4) pour le stockage.

La précision diminue, mais la taille et les besoins en VRAM sont considérablement réduits.

Par exemple :

La règle empirique : la quantification Q8 a une perte de qualité presque imperceptible, et la quantification Q4 est suffisante pour la plupart des tâches.

Le format GGUF expliqué

GGUF est actuellement le format de modèle quantifié le plus populaire.

Le prédécesseur de GGUF est GGML, développé par le projet llama.cpp.

Avantages de ce format :

• Premièrement,Bonne compatibilité multiplateforme—Fonctionne sous Windows, macOS et Linux ; s'exécute à la fois sur CPU et GPU.

• Deuxièmement,Prend en charge plusieurs niveaux de quantification—De FP16 à Q3, choisissez selon vos besoins.

• Troisièmement,Vitesse d'inférence rapide—Fortement optimisée pour CPU et GPU.

La plupart des outils de modèles locaux (Ollama, LM Studio, llama.cpp) prennent désormais en charge le format GGUF.

Différences entre la quantification Q4/Q8

Q4 et Q8 sont les deux niveaux de quantification les plus couramment utilisés.

• La quantification Q8 est sur 8 bits ; chaque paramètre est stocké sous forme d’entier 8 bits. L’avantage de Q8 estune perte de qualité minimale, presque identique au modèle original; l’inconvénient est que la taille n’est toujours pas suffisamment petite.

• La quantification Q4 est sur 4 bits ; chaque paramètre est stocké sous forme d’entier 4 bits. L’avantage de Q4 estune taille réduite et une vitesse élevée; l’inconvénient est que la qualité chute nettement sur les tâches complexes.

Comment choisir :

Schémas de quantification AWQ/GPTQ

En plus de la quantification GGUF, il existe deux autres schémas de quantification courants : AWQ et GPTQ.

AWQ (Activation-aware Weight Quantization) se caractérise parla conservation des poids qui ont un fort impact sur les résultats, ce qui entraîne une perte de qualité plus faible après quantification.

GPTQ (Gradient-based Post-Training Quantization) se caractérise parl'utilisation des informations de gradient pour optimiser la quantification, adapté aux scénarios avec GPU.

Ces deux schémas sont principalement utilisés sur les GPU NVIDIA prenant en charge CUDA.

Comparaison simple :

Pour les débutants, ne vous préoccupez pas de ces détails techniques—utilisez simplement la version Q4_K_M recommandée dans Ollama ou LM Studio. C'est le meilleur compromis, vérifié par de nombreux tests.

Guide de sélection des modèles

Il existe désormais des centaines de modèles open source ; il est important d'en choisir un qui corresponde à vos besoins.

Comparaison des modèles 7B/13B/70B

Le nombre de paramètres est une mesure importante—7B, 13B et 70B sont les spécifications les plus courantes.

Pour la plupart des gens, le meilleur compromis est la version quantifiée 13B Q4 — bonne capacité avec une vitesse acceptable.

Modèles recommandés avec un bon support du chinois

De nombreux modèles étrangers ont des capacités moyennes en chinois. Voici quelques modèles adaptés au chinois :

Pour les tâches en chinois, Qwen est le premier choix ; sa compréhension et sa génération du chinois sont de tout premier ordre parmi les modèles open source.

Sélection de modèle spécifique à la tâche

Différents modèles ont des forces différentes ; choisissez en fonction de votre tâche :

Un modèle plus grand n'est pas toujours meilleur, ni un plus récent —celui qui correspond à votre matériel et à votre tâcheest le meilleur. Commencez par essayer quelques modèles 7B pour vous faire une idée, puis passez à un modèle supérieur.

Mise en pratique : construire une base de connaissances locale entièrement hors ligne

L'un des cas d'usage les plus pratiques des modèles locaux consiste à construire votre propre base de connaissances privée —fournissez des documents locaux au modèle et faites-lui répondre à des questions en se basant sur ceux-ci.。

L'ensemble du système fonctionne entièrement hors ligne ; les données ne quittent jamais votre ordinateur.

Approche technique

Nous utilisons la technologie RAG (Retrieval-Augmented Generation) :

1. Découper les documents en segments

2. Utiliser un modèle d'embedding pour convertir chaque segment en vecteur

3. Stocker les vecteurs dans une base de données vectorielle

4. Lors d'une question, convertir également la question en vecteur

5. Trouver les segments de document les plus pertinents dans la base de données vectorielle

6. Envoyer ensemble les documents pertinents et la question au LLM local

7. Le LLM répond en fonction du contenu du document

Cela semble complexe, mais c'est simple avec les outils existants.

Implémentation avec Ollama + LangChain

Nous allons utiliser Python pour implémenter une version simple :

Avant d'utiliser ce système, vous devez télécharger le modèle d'embedding :

Ainsi, vous disposez d'un système de base de connaissances privé qui fonctionne entièrement en local.

Vous pouvez ajouter vos propres notes, documents et livres électroniques, et laisser l'IA vous aider à effectuer des recherches et à répondre aux questions.

Toutes les données de ce système restent sur votre machine locale—les documents sur votre disque dur, la base de données vectorielle dans votre répertoire, les modèles sur votre ordinateur—vous n'avez donc pas du tout à vous soucier des fuites de données.

Conseils d'optimisation des performances

Le modèle local est en cours d'exécution, mais comment pouvez-vous le rendre plus rapide ? Voici quelques conseils pratiques.

Choisir le bon niveau de quantification

C'est l'optimisation la plus simple et la plus efficace—plus le niveau de quantification est bas, plus la vitesse est élevée.

Si Q4 fonctionne, n'utilisez pas Q8 ; si Q8 fonctionne, n'utilisez pas FP16.

Ajuster la taille de la fenêtre de contexte

Plus la fenêtre de contexte est grande, plus le calcul nécessaire est important.

Si vous n'avez pas besoin d'un long contexte, vous pouvez le définir dans le Modelfile d'Ollama :

Réduire le contexte de la valeur par défaut 8192 à 2048 le rendra nettement plus rapide.

Utilisation de l'accélération GPU

Si vous avez un GPU NVIDIA ou un Mac Apple Silicon, assurez-vous qu'Ollama utilise le GPU plutôt que le CPU.

Ollama détectera et utilisera automatiquement le GPU, mais il faut parfois le vérifier.

Dans les journaux de démarrage d'Ollama, vous devriez voir des messages comme "Metal GPU activated" ou "CUDA activated".

Utilisation de paramètres d'échantillonnage plus rapides

Certains paramètres d'échantillonnage peuvent affecter la vitesse :

Description des paramètres :

Désactivation des fonctionnalités inutiles

Si vous utilisez des appels API et que vous n'avez pas besoin de sortie en streaming, vous pouvez définir stream sur false.

Bien que cela n'accélère pas l'inférence, cela peut réduire la surcharge de transmission réseau.

L'optimisation des performances est un art de l'équilibre—la vitesse, la qualité et la mémoire ne peuvent pas être toutes atteintes en même temps. Trouvez le point d'équilibre qui correspond à vos besoins.