Ollama-Modelle ausführen

Um ein Modell mit Ollama auszuführen, verwenden Sie den Befehlollama run.

Um beispielsweise qwen3.5:0.8b auszuführen und mit diesem Modell zu chatten, können Sie den folgenden Befehl verwenden:

Beim ersten Ausführen wird es automatisch heruntergeladen, etwa 1.0GB:

ollama run qwen3.5:0.8b

Nach der Ausführung des Befehls sehen Sie zuerst den Download-Fortschritt. Sobald der Download abgeschlossen ist, gelangen Sie direkt in die Unterhaltung:

$ ollama run qwen3.5:0.8b
pulling manifest
pulling 87497c5f0e8f... 100% |████████████████████| 1.0GB
pulling 5e2ad5... 100% |████████████████████|  11KB
verifying sha256 digest
writing manifest
success
>>> 你好，你是什么模型？

>>> /bye

Wenn Sie>>>die Eingabeaufforderung sehen, bedeutet das, dass das Modell fertig geladen ist. Geben Sie eine Frage ein und drücken Sie die Eingabetaste, um mit dem Chatten zu beginnen.

Wenn die Netzwerkverbindung während des Downloads unterbrochen wird, müssen Sie nicht von vorn beginnen. Ollama unterstützt fortsetzbare Downloads. Wenn Sie denselben Befehl erneut ausführen, wird vom vorherigen Fortschritt aus fortgesetzt.

Wählen Sie ein Modell über das interaktive Menü

Neben der direkten Eingabe von Befehlen öffnet die bloße Eingabe von ollama ohne Argumente das interaktive Menü. Die neue Version macht es zu einem einheitlichen Einstiegspunkt.

$ ollama
Chat, Code, & Work
    Chat with models, code, search the web, and delegate real work

  Launch Claude Code
    Anthropic's coding tool with subagents

  Launch OpenCode
    Anomaly's open-source coding agent

  Launch Hermes Agent
    Self-improving AI agent built by Nous Research

  Launch OpenClaw
    Personal AI with 100+ skills

  More...
    Show additional integrations

Wählen Sie Chat, Code, & Work, um ein heruntergeladenes Modell auszuwählen und mit dem Chatten zu beginnen. Der Effekt ist genau derselbe wie bei ollama run.

Hier können Sie das Modell auswählen:

Der Menüpunkt Launch wird verwendet, um integrierte Tools wie VS Code, Claude Code usw. zu starten. Dies ist eine fortgeschrittene Funktion, die später im Tutorial vorgestellt wird.

Wählen Sie Ihr erstes Modell: Entscheiden Sie sich anhand Ihres Arbeitsspeichers

Größere Modelle sind nicht unbedingt besser. Ein Modell, das Ihr Rechner nicht bewältigen kann, lässt nur die Lüfter Ihres Computers auf Hochtouren laufen, und Antworten werden dann in Sekunden oder sogar Minuten gemessen.

Das Prinzip für Anfänger ist einfach: Beginne zunächst mit einem kleinen Modell und erhöhe dann schrittweise, sobald es reibungslos läuft. Wähle basierend auf Arbeitsspeicher und VRAM deines Rechners:

Deine RechnerkonfigurationEmpfohlenes TagDownloadgrößeErwartete Erfahrung
8GB RAM, keine dedizierte GPUqwen3.5:0.8b / 2b1.0 ~ 2.7GBLeichtgewichtig und flüssig für Unterhaltungen
16GB RAM, keine dedizierte GPUqwen3.5:4b / 9b3.4 ~ 6.6GBStandard-Spezifikation, ausgewogene Qualität und Geschwindigkeit
GPU mit 8GB oder mehr VRAMqwen3.5:9b oder qwen3.5:latestEtwa 6.6GBGPU-Beschleunigung, deutlich höhere Geschwindigkeit
GPU mit 16GB oder mehr VRAMqwen3.5:27bEtwa 17GBHöhere Qualität bei Langtexten und Code
Unzureichende Konfigurationqwen3.5:cloudKein Download erforderlichCloud-Inferenz, erfordert die Anmeldung bei einem Ollama-Konto

Verschiedene Spezifikationen desselben Modells haben echte Leistungsunterschiede. 0.8b eignet sich für Verifikationsumgebungen. Für den täglichen Gebrauch wird empfohlen, mit mindestens 4b zu beginnen.

Die Namenskonvention model:tag verstehen

Der Name, den Sie im Befehl schreiben, besteht aus zwei Teilen: Modellname + Tag. Das bestimmt genau, was Sie herunterladen.

model:tag 命名规则解剖图

Modellname: der Name der Familie

Der Modellname entspricht einer Familie in der offiziellen Modellbibliothek, wie qwen3.5, gemma4, deepseek-r1.

Unter derselben Familie kann es mehrere Spezifikationen geben, und sie teilen sich einen Modellnamen.

Tag: Spezifikation und Version

Der Tag bestimmt, welche konkrete Datei heruntergeladen wird. Häufige Tags sind Parameterspezifikationen wie 0.8b, 9b, 27b.

Wenn kein Tag angegeben ist, fügt Ollama automatischlatesthinzu, die Standard-Spezifikation, die vom offiziellen Anbieter für dieses Modell festgelegt wurde.

Für qwen3.5 istollama run qwen3.5gleichbedeutend mitollama run qwen3.5:latest, was derzeit auf die 9b-Spezifikation verweist.

Namespace: Wer hat es veröffentlicht

Namen mit einem Schrägstrich kennzeichnen Modelle, die von Dritten veröffentlicht wurden. Der Teil vor dem Schrägstrich ist der Benutzername des Veröffentlichers.

Modelle in der offiziellen Modellbibliothek haben keinen Namespace. Modelle, die von Einzelpersonen oder Teams veröffentlicht werden (z. B. im Format example/my-model:4b), haben einen. Das Teilen und Verteilen von Modellen wird im Kapitel zur privaten Bereitstellung demonstriert.

Heruntergeladene Modelle anzeigen

Wenn du unsicher bist, welche Modelle lokal verfügbar sind und wie viel Speicherplatz jedes belegt, verwende den Befehl list zur Überprüfung:

Beispiel

# Alle lokalen Modelle auflisten
ollama list
$ ollama list
NAME               ID            SIZE      MODIFIED
qwen3.5:0.8b       9e3f4b3a1c2d  1.0GB     5 minutes ago
qwen3.5:latest     a8b2c9d3e4f5  6.6GB     2 hours ago

Das nächste Kapitel behandelt umfassend Modellverwaltungsbefehle wie list, show und rm.

Beenden, erneut betreten und Modelle wechseln

In einer Konversation tippe/byeein, um die Konversation zu beenden und zum normalen Terminal zurückzukehren.

Beispiel

# /bye eingeben, um die Konversation zu beenden und zum normalen Terminal zurückzukehren
/bye

Wenn du denselben Befehl ollama run erneut ausführst, wird die Konversation wieder aufgenommen. Da das Modell bereits heruntergeladen wurde, startet es diesmal fast sofort.

Um für den Chat zu einem anderen Modell zu wechseln, führe einfach ein anderes Modell aus. Du kannst zwischen den beiden Modellen hin- und herwechseln:

Beispiel

# Vom kleinen Modell zur Standard-Spezifikation wechseln
ollama run qwen3.5:4b

# Zurückwechseln funktioniert genauso
ollama run qwen3.5:0.8b

Nach dem Wechsel bleibt das vorherige Modell etwa 5 Minuten im Speicher und wird automatisch entladen, wenn keine neuen Anfragen eingehen. Dieser Mechanismus heißt keep-alive. Das nächste Kapitel erklärt, wie du ihn anpasst.

Wenn du in einer Konversation mehrzeiligen Text eingibst, umschließe ihn mit drei doppelten Anführungszeichen:

Beispiel

>>> """Übersetze den folgenden Text ins Englische:
... EXAMPLE ist eine Tutorial-Website.
... Danke.
... """

Verwendung des Modells über das Python SDK

Wenn Sie Ollama in Python-Code integrieren möchten, können Sie das Python SDK von Ollama verwenden, um Modelle zu laden und auszuführen.

1. Installieren Sie das Python SDK

Zuerst müssen Sie das Python SDK von Ollama installieren. Öffnen Sie ein Terminal und führen Sie den folgenden Befehl aus:

pip install ollama

2. Schreiben Sie ein Python-Skript

Als Nächstes können Sie Python-Code verwenden, um das Modell zu laden und damit zu interagieren.

Das folgende ist ein einfaches Python-Skript-Beispiel, das zeigt, wie man das qwen3.5-Modell verwendet, um Text zu generieren:

Beispiel

import ollama
response = ollama.generate(
    model="qwen3.5",  # Modellname
    prompt="Who are you."  # Prompt-Text
)
print(response)

3. Führen Sie das Python-Skript aus

Führen Sie Ihr Python-Skript im Terminal aus:

python test.py

Sie sehen die Antwort des Modells basierend auf Ihrer Eingabe.

4. Chat-Modus

Beispiel

from ollama import chat
response = chat(
    model="qwen3.5",
    messages=[
        {"role": "user", "content": "Warum ist der Himmel blau?"}
    ]
)
print(response.message.content)

Dieser Code führt ein Gespräch mit dem Modell und gibt die Antwort des Modells aus.

5. Streaming-Antworten

Beispiel

from ollama import chat
stream = chat(
    model="qwen3.5",
    messages=[{"role": "user", "content": "Warum ist der Himmel blau?"}],
    stream=True
)
for chunk in stream:
    print(chunk["message"]["content"], end="", flush=True)

Dieser Code empfängt die Antwort des Modells im Streaming-Verfahren, geeignet für die Verarbeitung großer Datenmengen.

Weitere Erweiterungen