Konzepte zu großen Modellen

Wenn Sie zum ersten Mal mit großen Modellen (LLMs) entwickeln, strömt eine Flut neuer Begriffe auf Sie ein: Token, RAG, Embedding, Agent... Sie mögen unabhängig erscheinen, sind aber tatsächlich zu einer vollständigen technischen Pipeline verbunden.

Dieser Artikel verknüpft diese Konzepte in der Reihenfolge „Was ist ein Modell → Wie trainiert man → Wie verwendet man → Wie optimiert man“ und hilft Anfänger-Entwicklern, ein klares Wissensgerüst aufzubauen.

Dieser Artikel ist nicht nur ein Glossar; er demonstriert anhand von echtem, ausführbarem Python-Code, wie diese Konzepte angewendet werden.

Alle Beispiele basieren auf dem OpenAI-kompatiblen Protokoll. Sie können zu Anbietern wie Alibaba Cloud Bailian, DeepSeek usw. wechseln, indem Sie einfach den API-Endpunkt und den Schlüssel ändern.

Python OpenAI-Referenz:https://www.example.com/python3/python-openai.html

Gesamte technische Pipeline

Bevor wir die einzelnen Konzepte aufschlüsseln, werfen wir einen Blick auf die komplette Pipeline der Technologie großer Modelle, um ein Gesamtverständnis aufzubauen.

Von oben nach unten löst jede Schicht ein Kernproblem: Training erschafft das Modell, Optimierung macht es leichter, Inferenz lässt es Ergebnisse liefern, Retrieval liefert Wissen und Tools ermöglichen die Ausführung.

Die folgenden Abschnitte erweitern diese Pipeline Schicht für Schicht von oben nach unten.

Grundlegende Konzepte: Was ist ein Modell

Dieser Abschnitt beantwortet die grundlegendste Frage: Was genau ist ein großes Modell und wie funktioniert es?

LLM (Large Language Model)

LLM steht für Large Language Model (Großes Sprachmodell), ein Deep-Learning-Modell, das mit riesigen Mengen an Text trainiert wurde.

Seine Essenz ist ein probabilistisches Modell, das „das nächste Wort vorhersagt“: Ausgehend vom vorhergehenden Text sagt es den wahrscheinlichsten Inhalt voraus, der folgt.

Produkte wie ChatGPT, Claude, Tongyi Qianwen usw. basieren im Kern alle auf LLMs.

Transformer und Aufmerksamkeitsmechanismus

Fast alle modernen LLMs basieren auf der Transformer-Architektur.

Ihre Kerninnovation istder Aufmerksamkeitsmechanismus (Attention / Self-Attention): Bei der Verarbeitung eines Wortes kann das Modell andere relevante Wörter in der Eingabesequenz dynamisch „beachten“ (attend to) und so Kontextbeziehungen besser verstehen.

Wenn das Modell beispielsweise einen Satz liest, scannt es diesen nicht starren Schritt für Schritt Wort für Wort; stattdessen ermittelt es automatisch, „welches vorherige Wort am meisten mit diesem Wort zusammenhängt“.

Token

Modelle verarbeiten Text nicht nach „Zeichen“ oder „Wörtern“; stattdessen verarbeiten sie ihn in Form von Tokens.

Ein Token kann ein chinesisches Schriftzeichen, ein englisches Wort oder ein Teil eines Wortes sein.

Das Verständnis von Tokens hat zwei direkte praktische Auswirkungen:

Das Kontextlängenlimit des Modells wird in Tokens berechnet; auch die Abrechnung von API-Aufrufen erfolgt in Tokens.

Mit OpenAIs Open-Source-Tokenisierungsbibliothek tiktoken können Sie direkt sehen, in wie viele Tokens ein Text aufgeteilt wird:

Ausgabe:

Token 数量：2
切分结果：['Hello', ' world']

Beim Wechsel zu Chinesisch oder längeren Wörtern unterscheidet sich die Tokenisierungsmethode völlig, weshalb das „Schätzen von Tokens nach Zeichenanzahl“ nicht genau ist.

Kontextfenster

Bezieht sich auf die maximale Anzahl von Tokens, die das Modell gleichzeitig „sehen“ und verarbeiten kann.

Ein Kontextfenster von 100K bedeutet beispielsweise, dass ein einzelnes Gespräch (historische Nachrichten, Ihre Frage und die Antwort des Modells zusammen) 100.000 Tokens nicht überschreiten darf.

Je größer das Fenster, desto mehr Inhalt kann sich das Modell „merken“ und desto längere Dokumente kann es auf einmal verarbeiten.

Anzahl der Parameter (Parameters)

Die Anzahl der Parameter bezieht sich auf die Anzahl der erlernbaren Gewichte im Modell, die normalerweise in B (Milliarden) gemessen wird, wie z. B. 7B, 70B.

Sie spiegelt bis zu einem gewissen Grad die Skalierung und die Obergrenze der Leistungsfähigkeit des Modells wider, ist jedoch nicht die einzige Metrik – die Qualität der Trainingsdaten und das Architekturendesign sind gleichermaßen wichtig.

Wie Modelle trainiert werden

Ein LLM, das sich natürlich unterhalten kann, durchläuft normalerweise mehrere Trainingsphasen, in denen Fähigkeiten Schicht für Schicht aufgebaut werden.

Pre-Training (Vortraining)

Das Modell erlernt statistische Sprachmuster aus massiven Mengen unbeschrifteten Texts (Webseiten, Bücher, Code usw.) wie Grammatik, gesunden Menschenverstand und logische Beziehungen.

Diese Phase verbraucht die meiste Rechenleistung und bildet das Fundament der Modellfähigkeiten.

Zu diesem Zeitpunkt ist das Modell jedoch noch nicht gut darin, „Dinge auf Anweisung zu tun“; es gleicht eher jemandem, der viel gelesen hat, aber nicht weiß, wie man kommuniziert.

SFT (Supervised Fine-Tuning)

SFT steht für Supervised Fine-Tuning (Überwachtes Feintuning).

Mithilfe von von Menschen annotierten „Frage-Antwort“-Paardaten wird dem Modell beigebracht, Fragen gemäß menschlichen Anweisungen zu beantworten, anstatt Text eigenständig fortzusetzen.

RLHF (Reinforcement Learning from Human Feedback)

RLHF steht für Reinforcement Learning from Human Feedback (Bestärkendes Lernen aus menschlichem Feedback).

Menschen bewerten oder ordnen mehrere Kandidatenantworten des Modells ein, und dieses Feedback wird dann verwendet, um das Modell zu trainieren, sodass seine Ausgaben besser mit menschlichen Präferenzen übereinstimmen (hilfreicher, ehrlicher und sicherer).

Eine ähnliche Technik ist RLAIF: Verwendung von KI statt Menschen zur Bewertung, wodurch die Annotationskosten gesenkt werden.

Beide verfolgen dasselbe Ziel; der einzige Unterschied ist, ob der "Bewerter" ein echter Mensch oder eine andere KI ist.

Alignment

Alignment ist ein breiteres Konzept: das Verhalten und die Werte des Modells an menschliche Erwartungen und Absichten anzupassen.

Es ist ein Kernthema im Bereich der KI-Sicherheit und zieht sich durch verschiedene Trainingsphasen wie SFT und RLHF – im Wesentlichen sind SFT und RLHF beides "Alignment-Methoden".

Fine-Tuning

Auf Basis eines bereits trainierten allgemeinen Modells wird mit Daten aus einem bestimmten Bereich (z. B. Recht, Gesundheitswesen, Kundenservice) weitertrainiert.

Im Vergleich zum Vortraining von Grund auf kostet Fine-Tuning viel weniger, und es ist gängige Praxis, allgemeine Modelle an spezialisierte Szenarien anzupassen.

MoE (Mixture of Experts)

MoE steht für Mixture of Experts, ein Design für eine Modellarchitektur.

Das Modell enthält mehrere „Experten“-Teilnetze; bei jeder Verarbeitung einer Eingabe wird nur ein Teil aktiviert, anstatt dass alle Parameter an der Berechnung teilnehmen.

Dadurch ist es möglich, die Gesamtgröße des Modells zu erweitern und gleichzeitig die tatsächliche Berechnung zu steuern, was zu „große Parameteranzahl, schnelle Inferenz“ führt.

Wie Entwickler große Modelle nutzen

Dies ist der Teil, auf den sich Anfänger-Entwickler am meisten konzentrieren sollten: wie man große Modelle Anwendungen über eine API zugänglich macht.

Dieser Abschnitt bietet zunächst ein einfaches, ausführbares Beispiel für einen Dialogaufruf und erläutert dann die einzelnen Konzepte.

Einfacher API-Chat-Aufruf

Der folgende Code demonstriert eine vollständige Dialoganfrage und verwendet drei Konzepte: System-Prompt, Benutzernachrichten und Temperatur.

Ausgabe:

回答：example（Example）是一个提供编程教程的中文学习网站……
输入 Token 数：33
输出 Token 数：18

Das Feld usage in der zurückgegebenen Struktur ist die konkrete Umsetzung des oben erwähnten Token-Konzepts: Es sagt Ihnen, wie viele Tokens dieser Aufruf verbraucht hat, und ist zugleich die Grundlage für die Abrechnung.

Prompt

Der Prompt ist die Anweisung oder Frage, die Sie dem Modell geben; er bestimmt direkt die Qualität der Modellausgabe.

Die Technik, zu untersuchen, wie man klarere und effektivere Prompts schreibt, heißtPrompt Engineering。

Häufige Techniken sind: konkrete Beispiele geben, schrittweises Schlussfolgern verlangen, Ausgabeformat vorgeben usw.

System-Prompt

Anweisungen, die dem Modell vor der eigentlichen Eingabe des Benutzers voreingestellt werden, um die Rolle, Verhaltensrichtlinien und das Hintergrundwissen des Modells zu definieren.

Der Satz „Du bist ein professioneller Python-Programmierassistent und beantwortest nur technische Fragen“ im vorherigen Beispiel ist ein typischer System-Prompt.

Unterschied zwischen System-Prompt und Benutzernachrichten: Der System-Prompt legt fest, „wie sich das Modell verhalten soll“, während Benutzernachrichten angeben, „was konkret zu tun ist“.

Allgemeine Regeln in den System-Prompt aufzunehmen, sorgt für einen konsistenten Antwortstil über Multi-Turn-Gespräche hinweg.

Temperatur

Temperatur ist ein Parameter, der die Zufälligkeit der Modellausgabe steuert und typischerweise von 0 bis 2 reicht.

Je höher die Temperatur, desto "kreativer" und zufälliger sind die Antworten und desto fehleranfälliger; je niedriger die Temperatur, desto konservativer und stabiler sind die Antworten.

In-Context-Learning

Es ist überhaupt nicht nötig, das Modell feinabzustimmen; geben Sie einfach ein paar Beispiele im Prompt an, und das Modell kann sie nachahmen, um neue ähnliche Aufgaben zu erledigen.

Dies ist eine der am häufigsten verwendeten Techniken im Prompt Engineering, auch Few-shot Learning genannt.

Chain-of-Thought (CoT)

Führen Sie das Modell dazu, komplexe Probleme in einen schrittweisen Denkprozess zu zerlegen, bevor es die endgültige Antwort gibt, anstatt direkt zu einer Schlussfolgerung zu springen.

Die Praxis hat gezeigt, dass dieser Ansatz die Genauigkeit des Modells bei komplexen Aufgaben wie Mathematik und logischem Denken deutlich verbessert.

Der einfachste Weg ist, "Bitte denken Sie Schritt für Schritt" zum Prompt hinzuzufügen.

Halluzination

Halluzination bezeichnet Inhalte, die das Modell erzeugt, die plausibel und flüssig erscheinen, aber tatsächlich falsch oder erfunden sind.

Dies ist ein häufiger Mangel von LLMs, weil das Modell im Wesentlichen "den wahrscheinlichsten Text fortsetzt", anstatt "Fakten zu überprüfen".

Eine der Kernmethoden zur Verringerung von Halluzinationen ist RAG, das weiter unten beschrieben wird: zuerst echte Informationen abrufen, dann das Modell auf Grundlage dieser Informationen antworten lassen.

Das Modell mit der Außenwelt verbinden

Ein reines LLM kann zur Beantwortung von Fragen nur auf Wissen zurückgreifen, das während des Trainings gelernt wurde; es kennt weder die neuesten Informationen noch kann es proaktiv handeln.

Die Techniken in diesem Abschnitt sind der Schlüssel zur Behebung dieser beiden Schwächen.

Embedding

Embedding wandelt Text, Bilder und andere Inhalte in eine Zahlenfolge (Vektoren) um.

Nach der Umwandlung kann der Computer durch Berechnung des Abstands zwischen Vektoren feststellen, ob zwei Inhalte in ihrer "Semantik" ähnlich sind.

Dies ist die grundlegende Basis für Anwendungen wie Suche, Empfehlung und RAG.

Vektordatenbank

Eine Vektordatenbank wird speziell zum Speichern und Abrufen von Embedding-Vektoren verwendet, wie Pinecone, Milvus und Chroma.

Sie kann unter riesigen Vektormengen schnell Inhalte finden, die der Semantik der Abfrage am ähnlichsten sind, und ist eine wesentliche Komponente für den Aufbau von RAG-Systemen.

RAG (Retrieval-Augmented Generation)

RAG steht für Retrieval-Augmented Generation.

Sein Workflow ist: Zuerst die externe Wissensbasis in Vektoren umwandeln und in einer Vektordatenbank speichern; wenn der Benutzer eine Frage stellt, die relevantesten Inhalte abrufen; dann die abgerufenen Ergebnisse zusammen mit der Frage an das Modell übergeben, um eine Antwort zu generieren.

RAG kann Halluzinationen wirksam reduzieren und es dem Modell ermöglichen, neues Wissen jenseits der Trainingsdaten zu beantworten.

Unten ist ein minimales RAG-Beispiel, das nicht auf einer externen Vektordatenbank basiert und OpenAI Embedding plus numpy verwendet, um das Prinzip leichter verständlich zu machen:

Ausgabe:

检索到的资料：example 是一个提供编程教程的中文学习网站。
回答：example（Example）是一个提供编程教程的中文学习网站。

In echten Projekten ersetzt man einfach "die Berechnung der Ähnlichkeit im Speicher" in Schritt 3 durch "den Aufruf einer Vektordatenbank für den Abruf", und der Ablauf ist genau derselbe.

Function Calling

Function Calling ermöglicht es großen Modellen, externe Tools oder APIs aufzurufen, um Aufgaben zu erledigen, wie z. B. Echtzeitwetter abzufragen, mathematische Berechnungen durchzuführen, Datenbanken abzufragen und E-Mails zu senden.

Es gleicht die Schwäche des Modells aus, "nur Text generieren, aber keine Aktionen ausführen zu können", und ist ein entscheidender Schritt bei der Weiterentwicklung großer Modelle von Chatbots zu praktischen Werkzeugen.

Seine Funktionsweise ist eine Interaktion in zwei Runden: In der ersten Runde entscheidet das Modell, welche Funktion aufgerufen und welche Parameter übergeben werden sollen; nachdem dein Code die Funktion tatsächlich ausgeführt hat, wird das Ergebnis in der zweiten Runde zurückgegeben, sodass das Modell eine Antwort in natürlicher Sprache generieren kann.

Ausgabeergebnis:

工具执行结果：杭州 今天晴，气温 28°C
最终回答：杭州今天是晴天，气温大约 28°C，适合外出活动。

MCP (Model Context Protocol)

MCP steht für Model Context Protocol, ein offenes Protokoll, das es großen Modellen ermöglicht, sich auf standardisierte Weise mit externen Tools und Datenquellen zu verbinden.

Man kann es mit einem "USB-Anschluss für KI" vergleichen: Solange verschiedene Tools und Datenquellen diesem Protokoll folgen, können sie von verschiedenen großen Modellen, die MCP unterstützen, einheitlich aufgerufen werden.

Es löst das Problem aus der Function-Calling-Ära, "jedes Tool immer wieder integrieren zu müssen", und reduziert den Entwicklungsaufwand.

Agent

Ein Agent ist ein System, das auf großen Modellen aufbaut und Aufgaben autonom planen, Tools aufrufen und mehrstufige Operationen ausführen kann.

Im Vergleich zu einem Frage-und-Antwort-Gespräch ist ein Agent eher wie ein "digitaler Mitarbeiter", der komplexe Aufgaben selbstständig erledigen kann, z. B. den gesamten Prozess von "Recherche → Code → Test → Fehlerbehebung" automatisch durchläuft.

Die Kernschleife, auf die es sich stützt, ist ReAct (Reason + Act): über den nächsten Schritt nachdenken, Tools aufrufen, Ergebnisse beobachten und dann erneut nachdenken, bis die Aufgabe abgeschlossen ist.

Multimodal

Multimodal bezieht sich auf die Fähigkeit eines Modells, gleichzeitig mehrere Datentypen zu verstehen und/oder zu erzeugen, nicht nur Text, sondern auch Bilder, Audio und Video.

Viele gängige große Modelle verfügen inzwischen bereits über multimodale Fähigkeiten wie das Lesen von Bildern und das Analysieren von Diagrammen.

Modelle schneller und effizienter machen

Je stärker das Modell, desto größer ist es tendenziell und desto höher sind die Betriebskosten.

Die folgenden beiden Konzepte zielen darauf ab, Modelle im tatsächlichen Einsatz leichter und effizienter zu machen.

Quantisierung

Die Quantisierung komprimiert Modellparameter von hoher Präzision (z. B. 32-Bit-Gleitkomma) auf niedrige Präzision (z. B. 8-Bit- oder 4-Bit-Ganzzahlen).

Es kann den vom Modell belegten GPU-Speicher erheblich reduzieren und die Inferenzgeschwindigkeit verbessern; der Kompromiss ist ein gewisser Präzisionsverlust, aber das ist in vielen Szenarien akzeptabel.

Modell-Destillation

Destillation nutzt die Ausgabe eines leistungsstarken, aber großen "Lehrermodells", um ein kleineres "Schülermodell" zu trainieren.

Das Ziel ist, das kleine Modell möglichst viele Fähigkeiten des großen Modells lernen zu lassen. Das destillierte Modell ist kleiner, schneller bei der Inferenz und günstiger bereitzustellen.

Lernpfad für Anfänger

Für Anfänger unter den Entwicklern ist es nicht notwendig, alle Konzepte auf einmal zu verstehen.

Es wird empfohlen, der folgenden Reihenfolge zu folgen und Schritt für Schritt vorzugehen; so lässt sich leichter ein vollständiges System aufbauen, als Konzepte isoliert auswendig zu lernen.

Definitionen müssen nicht auswendig gelernt werden — führen Sie einfach die Codebeispiele in diesem Artikel selbst aus, und Sie werden ein viel tieferes Verständnis gewinnen.

Schnellreferenz für Kernbegriffe

Alle Schlüsselbegriffe des Artikels sind in einer Tabelle zusammengefasst und nach "Phase" gruppiert, um jederzeit leicht nachschlagen und wiederholen zu können.