Ollama-Tutorial

Ollama ist ein quelloffenes Laufzeit-Framework für lokale große Sprachmodelle, das entwickelt wurde, um große Sprachmodelle (LLMs) bequem auf lokalen Maschinen bereitzustellen und auszuführen.

Ollama unterstützt mehrere Betriebssysteme, darunter macOS, Windows, Linux und die Ausführung über Docker-Container.

Einfach gesagt: Wenn Dienste wie ChatGPT, Claude und DeepSeeek Modelle aufrufen, die von anderen über das Internet gehostet werden, ist Ollama eher einelokale Laufzeitumgebung für KI-Modelle。

Für wen ist dieses Tutorial gedacht?

Ollama eignet sich für Entwickler, Forscher und Nutzer mit hohen Anforderungen an den Datenschutz. Es hilft Nutzern, große Sprachmodelle schnell in lokalen Umgebungen bereitzustellen und auszuführen, und bietet gleichzeitig flexible Anpassungsmöglichkeiten.

Mit Ollama können wir qwen3.5, Llama 3.3, DeepSeek-R1, Phi-4, Mistral, Gemma 2 und andere Modelle lokal ausführen.

Benutzertyp	Was sie möglicherweise tun möchten
KI-Einsteiger	Verstehen, was lokale Großmodelle sind, Ollama installieren, Modelle herunterladen, ausführen und löschen
Programmierer / Entwickler	Große Modelle in ihre eigenen Python-, JavaScript- und Web-Anwendungen integrieren
Entwickler von KI-Agenten	Lokale Modelle mit Coding-Agenten wie Claude Code, Codex, OpenCode verbinden
Normale Nutzer, die lokale KI ausprobieren möchten	Verschiedene Open-Source-Modelle auf dem eigenen Computer ausprobieren, ohne APIs zu kaufen oder Daten in die Cloud hochzuladen

Was können Entwickler mit Ollama machen?

Für Entwickler liegt der Wert von Ollama darin, große Modelle in einen lokalen Dienst zu verwandeln, der jederzeit aufgerufen werden kann.

Typische Verwendungen sind: KI-Chatbots, KI-Schreibwerkzeuge, KI-Programmierassistenten, Dokumentenanalyse-Tools, RAG-Wissensdatenbanken, Vektorabruf, AI Agents, automatisierte Workflows und lokale KI-Webanwendungen.

Hinter diesen Funktionen stehen Ollamas Schnittstellen für Textgenerierung, Chat, Modellverwaltung, Embedding usw., mit Unterstützung für Streaming-Antworten und Tool-Aufrufe.

Warum brauchen Agent-Entwickler es?

Wenn du KI-Coding-Tools wie Claude Code, Codex, OpenCode lernst, kann Ollama als deren lokales Modell-Backend dienen.

Ollama bietet bereits offizielle Integrationsmethoden für Tools wie Claude Code, Codex, OpenCode, Copilot CLI, Droid usw., und ein einzelnerollama launch-Befehl kann lokale Modelle mit diesen Agent-Workflows verbinden. Dies wird im Integrationskapitel ausführlich beschrieben.

Was Sie vor dem Erlernen dieses Tutorials wissen müssen

Ollama selbst ist nicht schwierig. Wenn du nur Modelle ausführen möchtest, brauchst du im Grunde keine Programmierkenntnisse.

Unterschiedliche Lernziele haben unterschiedliche Voraussetzungen. Du kannst deinen Ausgangspunkt anhand der folgenden Tabelle einschätzen:

Lernziel	Erforderliche Grundlagen
Ollama installieren	Grundlegende Computerkenntnisse, Terminal-Grundlagen
Modelle herunterladen und ausführen	Grundlegende Kommandozeilenkenntnisse
Die Ollama-API verwenden	HTTP-, JSON-Grundlagen
Python-Entwicklung	Python-3.x-Grundlagen-Tutorial
JavaScript-Entwicklung	JavaScript-/TypeScript-Grundlagen
RAG-/Agent-Entwicklung	Python + Grundlagen großer Modelle
Modell-Deployment und -Optimierung	Grundlagen zu GPU, VRAM, Linux, Docker

Wenn du Ollama nur ausprobieren möchtest, reicht es im Grunde aus, zu wissen, was ein Terminal, Befehle, Ordner und Modelle sind.

Wenn du KI-Anwendungen weiterentwickeln möchtest, wird empfohlen, zuerst HTTP / REST API, JSON, Python oder JavaScript sowie die grundlegende Verwendung von Git und Docker zu lernen.

Neue Modelle erstellen

Dies ist Ollamas Kernfähigkeit: Open-Source-Modelle auf deinem eigenen Computer oder Server auszuführen, ohne eine komplexe Inferenzumgebung einrichten zu müssen.

Starte es mit einem einzigen Befehl und chatte direkt, sobald das Modell läuft:

ollama run qwen3.5

Dieser Befehl startet das Qwen3.5-Modell lokal und öffnet ein interaktives Chat-Terminal. Wenn das Modell lokal nicht verfügbar ist, wird es zuerst automatisch heruntergeladen und dann gestartet.

Projektpraxis