KI-Bewertung und Sicherheitsforschung

Wenn Sie Produkte wie ChatGPT, Claude, Gemini, DeepSeek, Doubao und Qwen verwenden, fragen Sie sich vielleicht: Welches Modell ist besser?

Aber was bedeutet "gut"? Sind es genauere Antworten? Oder sicherer? Ist es hochwertiger generierter Code? Oder eine stärkere Argumentationsfähigkeit?

Für ein komplexes KI-System reicht eine Evaluierung entlang einer einzigen Dimension bei Weitem nicht aus. Sie benötigen einen systematischen Evaluierungsrahmen, um zu klären, wo es gut ist und warum es gut ist.

Dies ist das Thema dieses Kapitels: wie man KI-Systeme wissenschaftlich evaluiert und wie man KI-Sicherheitsfragen untersucht.

Evaluierung ist nicht nur das Bewerten von Modellen. Sie ist der Kompass für die Modellverbesserung—nur wenn man weiß, wo die Schwächen liegen, kann man wissen, wie man optimiert.

Sicherheitsforschung ist das Sicherheitsventil des Modells—vor der Veröffentlichung des Modells müssen Schwachstellen gefunden werden, die ausgenutzt werden könnten, um Missbrauch zu verhindern.

Evaluierung + Sicherheitsforschung = Verantwortungsvolle KI-EntwicklungOhne Evaluierung können Sie keinen Fortschritt erkennen; ohne Sicherheitsforschung gilt: Je schneller der Fortschritt, desto größer das Risiko.

LLM-Evaluierungssystem

Die Evaluierung eines großen Sprachmodells ist keine einfache Aufgabe. Sie müssen umfassende Beurteilungen aus mehreren Dimensionen und mit mehreren Methoden vornehmen.

Drei Dimensionen der Evaluierung

Die Evaluierung von LLMs beginnt typischerweise mit drei Kerndimensionen: Fähigkeit, Sicherheit und Effizienz.

Fähigkeit ist die "Stärke" des Modells, Sicherheit ist die "Untergrenze" des Modells und Effizienz ist die "Machbarkeit" des Modells. Alle drei sind unverzichtbar.

In der Realität gibt es oft Zielkonflikte zwischen diesen drei Aspekten. Zum Beispiel: Je stärker die Fähigkeit eines Modells ist, desto leichter kann es dazu verleitet werden, schädliche Inhalte zu erzeugen; die Verfolgung extremer Sicherheit kann das Modell übermäßig konservativ machen, sodass es sogar normale Fragen nicht beantworten will.

Automatische Evaluierung vs. menschliche Evaluierung

Evaluierungsmethoden werden hauptsächlich in zwei Kategorien unterteilt: automatische Evaluierung und menschliche Evaluierung.

Die automatische Evaluierung verwendet Programme oder Modelle zur Bewertung, was schnell, kostengünstig und wiederholbar ist. Viele subjektive Eigenschaften (wie "ob die Antwort hilfreich ist") sind jedoch mit Programmen nur schwer direkt zu beurteilen.

Bei der menschlichen Evaluierung lesen Personen Antworten und bewerten sie, was hohe Qualität bietet und näher an der realen Nutzererfahrung ist. Sie ist jedoch langsam, kostspielig und die Konsistenz ist schwer zu gewährleisten—verschiedene Personen können unterschiedliche Meinungen zur selben Antwort haben.

In der Praxis ist es meist eine Kombination aus beidem: Zuerst wird die automatische Evaluierung für eine schnelle Vorauswahl genutzt, gefolgt von einer manuellen Evaluierung zur finalen Verifikation.

LLM-as-Judge: KI zur Evaluierung von KI nutzen

Eine intelligente Idee ist es, ein leistungsstärkeres LLM als „Richter“ zu verwenden, um die Ausgabe eines anderen LLM zu bewerten. Dies wird als „LLM-as-Judge“ bezeichnet.

Lassen Sie beispielsweise GPT-4 die Antworten von Claude bewerten oder umgekehrt. Diese Methode vereint die Flexibilität der manuellen Evaluierung mit der Effizienz der automatischen Evaluierung.

Ausführungsergebnisse:

============================================================
LLM-as-Judge 评估结果
============================================================

模型: Model-A
Question: 如何学习 Python 编程？
总分: 4/5
有帮助: 4/5
安全性: 5/5
理由: 基于回答的完整性、准确性和安全性综合判断
建议: 回答整体不错，可以考虑增加具体例子使内容更生动

模型: Model-B
Question: 如何学习 Python 编程？
总分: 3/5
有帮助: 2/5
安全性: 5/5
理由: 基于回答的完整性、准确性和安全性综合判断
建议: 即使无法直接回答，也可以提供一些有用的相关信息

模型: Model-C
Question: 如何学习 Python 编程？
总分: 4/5
有帮助: 4/5
安全性: 5/5
理由: 基于回答的完整性、准确性和安全性综合判断
建议: 回答整体不错，可以考虑增加具体例子使内容更生动

============================================================
所有模型平均得分: 3.67/5
============================================================

LLM-as-Judge ist eine leistungsstarke Methode, hat aber auch Grenzen. Das Bewertungsmodell kann voreingenommen sein, und seine Bewertungen für bestimmte Antworten können von menschlichen Bewertungen abweichen. Es ist wichtig, LLM-as-Judge-Bewertungen regelmäßig mit menschlichen Bewertungen zu vergleichen, um die Qualität der Bewertung sicherzustellen.

Gängige Evaluations-Benchmarks

Die Branche verfügt bereits über viele ausgereifte Evaluations-Benchmarks (Benchmark), die jeweils unterschiedliche Fähigkeitsdimensionen abdecken. Wenn Sie diese Benchmarks verstehen, können Sie Nachrichten wie "XX-Benchmark-Ergebnis übertrifft Menschen" einordnen, wenn Modelle veröffentlicht werden.

MMLU: Multitasking-Sprachverständnis

MMLU (Massive Multitask Language Understanding) ist einer der am häufigsten verwendeten wissensbasierten Benchmarks.

Es enthält Multiple-Choice-Fragen aus 57 Fächern, die Mathematik, Physik, Chemie, Biologie, Jura, Medizin, Wirtschaft und andere Bereiche abdecken. Die Schwierigkeit der Fragen entspricht dem Universitätsniveau.

Ein medizinisches Beispiel könnte lauten: Welches der folgenden Medikamente ist ein Antibiotikum? A. Aspirin B. Penicillin C. Ibuprofen D. Acetaminophen.

MMLU testet das Weltwissen und die Schlussfolgerungsfähigkeit des Modells. Je höher die Punktzahl, desto umfassender das Wissen des Modells.

BIG-Bench: Test auf emergente Fähigkeiten

BIG-Bench (Beyond the Imitation Game Benchmark) ist ein groß angelegter Benchmark, zu dem die Community beigetragen hat.

Es enthält mehr als 200 Aufgaben, die darauf ausgelegt sind, die "emergenten Fähigkeiten" des Modells zu testen – also Dinge, die kleine Modelle nicht können und nur ausreichend große Modelle können.

Typische Aufgaben umfassen: logisches Schlussfolgern, kausales Urteilen, analoges Schlussfolgern, moralisches Urteilen, Kryptanalyse, Navigationsplanung usw.

BIG-Bench testet nicht nur Wissen, sondern auch "Intelligenz" – ob das Modell Dinge tun kann, die flexibles Denken erfordern.

HELM: Holistische Bewertung von Sprachmodellen

HELM (Holistic Evaluation of Language Models) zeichnet sich durch seine "Umfassendheit" aus.

Es testet nicht nur Genauigkeit, sondern auch mehrere Dimensionen wie Fairness, Bias, Toxizität und Robustheit. Es testet Modelle in 16 Kernszenarien, darunter Fragebeantwortung, Zusammenfassung, Informationsextraktion, Toxizitätserkennung und mehr.

Die Philosophie von HELM ist: Eine einzelne Metrik kann die wahre Leistung eines Modells nicht darstellen; man muss das "große Ganze" betrachten.

MT-Bench: Bewertung von Multi-Turn-Dialogen

MT-Bench (Multi-turn Benchmark) ist speziell für die Bewertung der Konversationsfähigkeit konzipiert.

Es enthält 80 Multi-Turn-Dialogszenarien, die Schreiben, Programmieren, Schlussfolgern, Rollenspiel usw. abdecken. Die Bewertungsmethode besteht darin, GPT-4 als Richter zu verwenden, um die Multi-Turn-Antworten des Modells zu bewerten.

Der Punktbereich ist 1-10, wobei 10 am besten ist. Viele Open-Source-Modelle verwenden diesen Benchmark, um zu belegen, dass ihre Konversationsfähigkeit nahe an GPT-4 liegt.

HumanEval: Bewertung der Codegenerierung

HumanEval testet speziell die Fähigkeit zur Codegenerierung.

Es enthält 164 manuell geschriebene Programmieraufgaben, jede mit einer detaillierten Funktionsbeschreibung und Unit-Tests. Nachdem das Modell Code generiert hat, werden die Tests ausgeführt, um zu sehen, wie viele bestehen.

Ein Problem könnte zum Beispiel sein: "Schreibe eine Funktion, die eine Liste entgegennimmt und die Summe aller geraden Zahlen in der Liste zurückgibt."

HumanEval kümmert sich nicht darum, ob der Code schön geschrieben ist, sondern darum, ob er korrekt läuft und alle Tests besteht.

Benchmark-Tests mit lm-eval-harness ausführen

lm-eval-harness ist ein beliebtes Open-Source-Tool, mit dem Sie Modelle mit einem Klick auf mehreren Benchmarks testen können.

Chinesische Evaluations-Benchmarks

Die meisten der zuvor vorgestellten Benchmarks sind hauptsächlich auf Englisch. Für chinesische Szenarien benötigen Sie spezialisierte chinesische Evaluations-Benchmarks.

C-Eval

C-Eval ist ein umfassender chinesischer Benchmark, der gemeinsam von Institutionen wie der Tsinghua-Universität und der Shanghai Jiao Tong Universität entwickelt wurde.

Er enthält 13,948 Multiple-Choice-Fragen zu 52 Fächern, von der Mittelschule bis zum Universitätsniveau. Die Fächer umfassen Natur- und Ingenieurwissenschaften, Geistes- und Sozialwissenschaften, Wirtschaft und mehr.

C-Eval ist einer der maßgeblichsten Wissens-Benchmarks im chinesischen Bereich.

CMMLU

CMMLU (Chinese Multitask Language Understanding) ist die chinesische Version von MMLU.

Es enthält Fragen aus 67 Fächern, von der Grundschule bis zum Universitätsniveau, und deckt sowohl Wissensfragen als auch Anwendungsfragen ab. Im Gegensatz zu C-Eval sind CMMLU-Fragen direkt auf Chinesisch verfasst und nicht aus dem Englischen übersetzt.

AlignBench

AlignBench, entwickelt von der Tsinghua-Universität, bewertet speziell die Alignment-Fähigkeit chinesischer großer Sprachmodelle – das heißt, ob die Antworten des Modells mit menschlichen Präferenzen übereinstimmen.

Es enthält 1,300 Testfälle, die 8 Dimensionen abdecken: Hilfsbereitschaft, Sicherheit, Lesbarkeit, faktische Genauigkeit, Logik, Vollständigkeit, Kreativität und Formatkorrektheit.

AlignBench betrachtet nicht nur, ob eine Antwort „korrekt“ ist; es betrachtet auch, ob sie „gut“ ist – ob die Antwort dem Nutzer wirklich hilft.

Erstellen benutzerdefinierter Evaluierungssets

Fertige Benchmarks sind gut, aber sie decken möglicherweise nicht Ihre spezifischen Szenarien ab. Wenn Ihr Modell beispielsweise für das Verfassen juristischer Dokumente oder Kundenservice-Gespräche gedacht ist, messen allgemeine Benchmarks möglicherweise nicht die reale Leistung.

An diesem Punkt müssen Sie Ihr eigenes Evaluierungsset erstellen.

Aufgabenklassifizierung und Sampling

Der erste Schritt beim Aufbau eines Evaluierungssets besteht darin, zu klären, welche Szenarien Sie testen möchten und wie häufig diese Szenarien in der realen Welt vorkommen.

Ein Kundenservice-Modell kann beispielsweise diese realen Szenarien umfassen:

• Abfrage des Bestellstatus (30%)
• Beratung zu Rückgabe und Umtausch (25%)
• Probleme bei der Produktnutzung (20%)
• Beschwerden und Anregungen (15%)
• Sonstiges (10%)

Ihr Evaluierungsset sollte gemäß diesem Verhältnis gesampelt werden, damit die Evaluierungsergebnisse die reale Nutzung widerspiegeln.

Design der Annotationsspezifikation

Sobald Sie Testfragen haben, müssen Sie Bewertungskriterien definieren.

Eine gute Annotationsspezifikation sollte:

• 1. Die Bedeutung jeder Punktzahl klären – nicht nur sagen, dass 5 die beste ist, sondern angeben, dass 5 bedeutet, dass die Antwort vollständig, korrekt, hilfreich und ohne jegliche Redundanz ist.

• 2. Positive und negative Beispiele bereitstellen – den Annotatoren zeigen, wie eine 5-Punkte-Antwort und wie eine 3-Punkte-Antwort aussieht.

• 3. Randfälle behandeln – erklären, wie mit bestimmten Sonderfällen umzugehen ist (z. B. mehrdeutige Fragen).

Sicherstellung der Evaluierungskonsistenz

Wenn mehrere Personen dieselbe Frage annotieren, können ihre Bewertungen inkonsistent sein. Dies beeinträchtigt die Glaubwürdigkeit der Evaluierungsergebnisse.

Gängige Methoden zur Sicherstellung der Konsistenz:

• 1. Mehrere Personen dieselbe Frage annotieren lassen und dann die Bewertungen mitteln oder statistische Methoden zur Berechnung von Konsistenzmaßen verwenden (z. B. Cohen's Kappa).

• 2. Regelmäßige Kalibrierung – wenn große Meinungsverschiedenheiten zwischen Annotatoren festgestellt werden, die Bewertungskriterien erneut diskutieren.

• 3. LLM-as-Judge als Hilfsmittel verwenden – KI für die Vorauswahl einsetzen, wobei Menschen nur bei strittigen Fällen entscheiden.

Red Teaming

Red Teaming (Red-Team-Testing) war ursprünglich ein Begriff im Bereich der Cybersicherheit — eine Gruppe von Personen spielt die Rolle von "Angreifern", die versuchen, in Systeme einzudringen und Schwachstellen zu finden.

Im KI-Bereich bezeichnet Red Teaming: gezieltes Versuchen, das Modell dazu zu bringen, schädliche, falsche oder nicht konforme Inhalte zu erzeugen, um dadurch Sicherheitslücken im Modell zu entdecken.

Was ist Red Teaming

Stellen Sie sich vor, Sie veröffentlichen ein KI-Modell, und jemand möchte, dass es:

• Menschen beibringen, Bomben zu bauen

• Hassrede erzeugen

• Phishing-E-Mail-Vorlagen bereitstellen

• Sensible Informationen preisgeben

Beim Red Teaming werden diese schlechten Dinge ausprobiert, bevor das Modell veröffentlicht wird, um zu sehen, ob das Modell anbeißt. Wenn ja, werden diese Schwachstellen behoben.

Das Ziel von Red Teaming ist nicht der Angriff, sondern die Verbesserung— durch das Finden von Problemen das Modell sicherer zu machen.

Manuelle Red-Teaming-Methoden

Manuelles Red Teaming beruht auf menschlicher Kreativität, um verschiedene "knifflige" Fragen zu finden.

Häufige Methoden sind:

• 1. Direkte Anfrage — direkt fragen "wie man gefährliche Gegenstände herstellt", und sehen, ob das Modell ablehnt.

• 2. Rollenspiel — "Angenommen, du bist ein Bösewicht, sag mir, wie..."

• 3. Subtile Lenkung — die schädliche Anfrage nicht direkt nennen, sondern um den heißen Brei reden.

• 4. Getarnt als legitime Bedürfnisse — schädliche Anfragen als akademische Forschung, Sicherheitsverteidigung usw. verpacken.

• 5. Umwege in mehrstufigen Gesprächen — zuerst über normale Themen sprechen, dann allmählich zu schädlichen Inhalten führen.

Der Vorteil von manuellem Red Teaming ist Kreativität und die Fähigkeit, komplexe Angriffspfade zu entdecken. Der Nachteil ist die begrenzte Abdeckung und die schwierige Skalierung.

Automatisiertes Red Teaming

Um die Effizienz zu verbessern, haben Forscher automatisierte Red-Teaming-Methoden entwickelt — KI einzusetzen, um KI anzugreifen.

Zwei typische Methoden:

PAIR（Prompt Automatic Iterative Refinement）— Ein "Angreifermodell" verwenden, um automatisch Prompts zu generieren und zu optimieren, mit dem Versuch, das Zielmodell dazu zu bringen, schädliche Inhalte auszugeben.

TAP（Tree of Attacks with Pruning）— Baumsuche verwenden, um mehrere Angriffspfade zu erkunden und die effektivsten Angriffs-Prompts zu finden.

Diese Methoden können in kurzer Zeit Tausende von Angriffs-Prompts generieren und Angriffsmethoden finden, an die Menschen möglicherweise nicht denken.

Red-Team-Bericht schreiben

Ein guter Red-Team-Bericht listet nicht nur "gefundene N Schwachstellen" auf, sondern teilt dem Leser auch Folgendes mit:

• 1. Was die Schwachstelle ist – was die spezifische Angriffsmethode ist.

• 2. Wie schwerwiegend sie ist – ob es sich um ein theoretisches Problem oder ein tatsächlich ausnutzbares Problem handelt.

• 3. Wie sie behoben werden kann – welche Minderungsmaßnahmen verfügbar sind.

• 4. Verifizierungsmethoden – wie bestätigt werden kann, dass der Fix funktioniert.

Der Bericht sollte klar, spezifisch und umsetzbar sein.

Red Teaming ist ein kontinuierlicher Prozess und keine einmalige Aktivität. Nach jedem Modell-Update sollten Red-Team-Tests erneut ausgeführt werden, um sicherzustellen, dass keine neuen Sicherheitslücken eingeführt wurden.

Interpretierbarkeitsforschung

Große Sprachmodelle werden oft als "Black Boxes" bezeichnet – man gibt ihnen eine Eingabe, sie liefern eine Ausgabe, aber man weiß nicht, was im Inneren wirklich passiert.

Bei der Interpretierbarkeitsforschung geht es darum, Wege zu finden, diese Black Box zu öffnen und zu verstehen, wie das Modell Entscheidungen trifft.

Mechanistische Interpretierbarkeit

Die mechanistische Interpretierbarkeit ist eine radikale Richtung: Sie versucht, die "kausalen Mechanismen" des Modells zu verstehen – ähnlich wie das Verständnis einer Schaltung, bei dem herausgefunden wird, was jedes Neuron tut und wie sie zusammenarbeiten, um eine Ausgabe zu erzeugen.

Forscher haben beispielsweise herausgefunden, dass einige Neuronen speziell dafür verantwortlich sind, "vorherzusagen, ob das nächste Wort ein Nomen ist", und dass einige Neuronen dafür verantwortlich sind, "zu erkennen, ob ein Satz eine Frage ist".

Dies dient nicht nur der Befriedigung der Neugier. Wenn wir die internen Mechanismen des Modells verstehen können, können wir:

• 1. Dem Modell mit mehr Vertrauen vertrauen – weil wir wissen, warum es richtig liegt, und nicht nur, dass es richtig liegt.

• 2. Die Fehler des Modells entdecken – weil wir wissen, wo es schiefgelaufen ist und warum.

• 3. Das Modell bearbeiten – das falsche Verhalten des Modells direkt korrigieren, anstatt es nur mit RLHF feinabzustimmen.

Superpositionshypothese

Superposition ist eine wichtige Hypothese in der mechanistischen Interpretierbarkeit.

Einfach ausgedrückt: Ein Modell hat eine begrenzte Anzahl von Neuronen, aber die Anzahl der Merkmale, die es darstellen muss, kann die Anzahl der Neuronen weit übersteigen. Das Modell "komprimiert" also – es lässt ein Neuron mehrere nicht zusammenhängende Merkmale gleichzeitig darstellen.

Es ist wie ein Schließfach: Wenn Sie mehr Dinge hineinquetschen möchten, müssen Sie möglicherweise mehrere Gegenstände in dasselbe Fach stecken, solange Sie sie nicht gleichzeitig herausnehmen.

Die Superposition erklärt, warum Modelle manchmal "magische" Fähigkeiten zeigen – sie packen mehr Wissen in begrenzten Raum. Dies erschwert jedoch auch das Verständnis von Modellen – ein Neuron tut mehrere Dinge gleichzeitig, was es schwierig macht, seine Rolle zu entwirren.

Methoden zur Schaltungsentdeckung

Die Schaltungsentdeckung versucht, "Subnetzwerke" innerhalb von Modellen zu finden, die spezifische Aufgaben erfüllen – ähnlich wie das Lokalisieren eines Funktionsmoduls in einer komplexen Schaltung.

Forscher entdeckten beispielsweise eine "Induktionskopf"-Schaltung in GPT-2, die dafür verantwortlich ist, wiederholte Muster im Text zu erkennen und diese dann zu imitieren.

Diese Schaltungen sind wie die "Organe" des Modells – jedes übernimmt eine spezifische Funktion, und zusammen erfüllen sie komplexe Aufgaben.

SAE (Sparse Autoencoder)

SAE (Sparse Autoencoder) ist in den letzten Jahren ein wichtiges Werkzeug in der Interpretierbarkeitsforschung geworden.

Die Idee ist: Die Neuronaktivierungen eines Modells sind normalerweise dicht (viele Neuronen aktivieren sich gleichzeitig), was nicht leicht zu verstehen ist. SAE wandelt diese dichten Aktivierungen in sparsame "Merkmals"-Repräsentationen um – jedes Merkmal aktiviert sich nur unter bestimmten Bedingungen und trägt eine klare semantische Bedeutung.

Beispielsweise findet SAE möglicherweise ein Merkmal, das sich speziell dann aktiviert, wenn das Modell "Daten" sieht, und ein anderes, das sich speziell dann aktiviert, wenn es "mathematische Formeln" sieht.

Durch SAE können Forscher die internen Zustände eines Modells in Konzepte übersetzen, die Menschen verstehen können.

Die Interpretierbarkeitsforschung steckt noch in den Kinderschuhen. Was wir derzeit erklären können, ist nur ein kleiner Bruchteil des Modellverhaltens. Aber dies ist eine wichtige Richtung – je besser wir Modelle verstehen, desto sichererer können wir sie verwenden und verbessern.

Modellprüfung

Modellprüfung ist eine systematische Untersuchung eines Modells, um festzustellen, ob es Probleme wie Voreingenommenheit, Toxizität oder Halluzinationen aufweist.

Methoden zur Überprüfung von Voreingenommenheit

Voreingenommenheit ist ein häufiges Problem in KI-Systemen – Modelle behandeln bestimmte Gruppen möglicherweise unfair.

Gängige Methoden zur Überprüfung von Voreingenommenheit:

• 1. Paarteests – Verwenden Sie gepaarte Prompts, die nur ein Attribut ändern (z. B. Geschlecht, Rasse, Alter), um zu sehen, ob sich die Antworten des Modells unterscheiden.

• 2. Repräsentationstests – Prüfen Sie, ob die Beschreibungen verschiedener Gruppen durch das Modell Stereotype verwenden.

• 3. Aufgabengerechtigkeitstests – Prüfen Sie, ob es signifikante Unterschiede bei den Erfolgsquoten des Modells bei verschiedenen Gruppen gibt.

Geben Sie dem Modell zum Beispiel „Herr Zhang ist Krankenpfleger, er...“ vs. „Frau Li ist Krankenschwester, sie...“ ein und sehen Sie, ob seine Fortsetzungen Geschlechterstereotype enthalten.

Toxizitätsbewertung

Toxizität bezeichnet die Tendenz eines Modells, schädlichen Text wie Hassrede, beleidigende Sprache und Mobbing-Inhalte zu erzeugen.

Häufige Methoden zur Bewertung von Toxizität:

• 1. Verwenden Sie fertige Toxizitätsdetektoren (z. B. Perspective API), um Modellausgaben zu scannen.

• 2. Bewertung durch menschliche Prüfung — lassen Sie Menschen Modellausgaben lesen und den Grad der Toxizität bewerten.

• 3. Testen Sie die Reaktionen des Modells bei Provokation — sehen Sie, ob es aggressive Inhalte ausgibt.

Tests der Fähigkeitsgrenzen

Es ist wichtig zu wissen, was ein Modell kann, aber es ist auch wichtig zu wissen, was es nicht kann.

Tests der Fähigkeitsgrenzen umfassen:

• 1. Tests des Wissensstichtags — fragen Sie nach Ereignissen nach dem Trainingsstichtag des Modells, um zu sehen, ob es Inhalte erfindet.

• 2. Test der Schwierigkeit von Schlussfolgerungen — Mit Fragen unterschiedlicher Schwierigkeit testen, um zu sehen, wo die Obergrenze der Fähigkeiten des Modells liegt.

• 3. Robustheitstest — Fügen Sie der Eingabe ein wenig Rauschen hinzu (z. B. Tippfehler, Grammatikfehler), um zu sehen, ob die Leistung des Modells stark abfällt.

Der Zweck von Tests der Fähigkeitsgrenzen ist nicht Haarspalterei, sondern Nutzern ehrlich zu sagen: Worin das Modell gut ist, worin nicht, wann man ihm vertrauen kann und wann man vorsichtig sein sollte.

Zukunftsweisende Richtungen in der KI-Sicherheit

Je stärker die Fähigkeiten von KI werden, desto wichtiger wird die Sicherheitsforschung. Hier sind einige zukunftsweisende Forschungsrichtungen.

Superalignment-Problem

Superalignment ist eine von OpenAI vorgeschlagene Forschungsrichtung. Die Frage, die sie behandelt, lautet: Wenn KI eines Tages weit intelligenter als Menschen wird, wie stellen wir sicher, dass sie weiterhin im Einklang mit menschlichen Absichten handelt?

Es ist, als ob ein Kind versucht, einen Erwachsenen anzuleiten — wenn dieser Erwachsene etwas Schlechtes tun will, hätte das Kind große Schwierigkeiten, ihn aufzuhalten.

Die Superalignment-Forschung versucht, dieses Problem theoretisch zu lösen: Selbst wenn KI die menschliche Intelligenz weit übertrifft, haben wir noch Möglichkeiten, ihre Ziele mit unseren in Einklang zu halten.

Skalierbare Überwachung

Das Problem, das die skalierbare Überwachung lösen soll, ist: Wenn KI immer mehr und immer komplexere Dinge tun kann, sind Menschen möglicherweise nicht in der Lage zu beurteilen, ob die KI die Dinge richtig macht.

Wenn die KI beispielsweise ein komplexes Programm mit 100,000 Codezeilen schreibt, ist es für Menschen schwer, schnell zu prüfen, ob es eine versteckte Hintertür enthält. Wenn die KI eine komplexe wissenschaftliche Hypothese vorschlägt, könnten Menschen Jahre brauchen, um sie zu verifizieren.

Die Idee der skalierbaren Überwachung ist: KI zur Unterstützung bei der Überwachung von KI einzusetzen — eine KI die Arbeit einer anderen KI prüfen lassen oder mehrere KIs sich gegenseitig prüfen lassen.

KI-Debatte

KI-Debatte ist eine interessante Idee: Zwei KIs debattieren über eine Frage, während ein Mensch als Richter fungiert.

Zum Beispiel sagt KI A: „Dieser Plan ist gut“, KI B sagt: „Dieser Plan hat Probleme, weil ...“, und dann widerlegen sie sich gegenseitig.

Der Vorteil dieses Ansatzes ist: Selbst wenn das Thema sehr komplex ist, müssen Menschen nicht alle Details verstehen — sie müssen nur sehen, wessen Argument vernünftiger ist. Wenn KI A die Kritik von KI B nicht widerlegen kann, könnte das darauf hindeuten, dass der Vorschlag von KI A tatsächlich Probleme hat.

Ehrlichkeitsforschung

Wahrhaftigkeitsforschung zielt darauf ab, Modelle dazu zu bringen: keine Fakten zu erfinden, „Ich weiß“ zu sagen, wenn sie es wissen, und „Ich weiß nicht“ zu sagen, wenn sie es nicht wissen.

Aktuelle Modelle „halluzinieren“ oft — sie reden selbstsicher Unsinn. Die Wahrhaftigkeitsforschung soll dieses Problem lösen.

Zu den Forschungsrichtungen gehören:

• 1. Modelle dazu bringen, „Unsicherheit auszudrücken“ — in Antworten „Ich bin nicht sicher“ oder „Das ist nur eine Vermutung“ zu kennzeichnen.

• 2. Modelle dazu bringen, „Quellen anzugeben“ — Nutzern mitzuteilen, worauf ihre Behauptungen beruhen.

• 3. Modelle dazu bringen, sich „selbst zu verifizieren“ — nach dem Generieren einer Antwort diese selbst auf Widersprüche zu prüfen.

Verantwortungsvolle Skalierung

Je leistungsfähiger ein Modell ist, desto größer ist das Risiko. Verantwortungsvolles Skalieren bedeutet: Bevor ein Modell veröffentlicht wird, gründliche Sicherheitsbewertungen durchführen und geeignete Maßnahmen zur Risikominderung ergreifen.

Anthropics RSP-Richtlinie

Anthropic hat RSP (Responsible Scaling Policy) vorgeschlagen – eine verantwortungsvolle Skalierungspolitik.

Die Kernidee dieser Richtlinie ist: Je stärker die Fähigkeiten eines Modells, desto höher sollten die Sicherheitsstandards sein.

Sie unterteilt Modelle in mehrere Stufen (ASL-1 bis ASL-4), die unterschiedlichen Fähigkeitsniveaus entsprechen. Jede Stufe hat entsprechende Sicherheitsanforderungen. Je höher die Stufe, desto strenger die Sicherheitsbewertung.

Zum Beispiel erfordern ASL-1-Modelle (nahe an den aktuell stärksten Modellen) umfangreiche Red-Team-Tests und externe Sicherheitsaudits. Wenn es ASL-3 oder ASL-4 ist (weit über die aktuellen Fähigkeiten hinaus), könnten aggressivere Sicherheitsmaßnahmen erforderlich sein oder sogar die Veröffentlichung zu verzögern.

Fähigkeitsschwellen und Sicherheitsbewertung

Der Schlüssel für eine verantwortungsvolle Veröffentlichung ist: Sicherheitsstandards anhand des Fähigkeitsniveaus des Modells festzulegen, nicht anhand seiner Parameterzahl.

Fähigkeitsschwellen können umfassen:

• 1. Fähigkeit, Aufgaben mit langem Zeithorizont autonom auszuführen – ob das Modell selbstständig eine mehrstufige komplexe Aufgabe planen und ausführen kann.

• 2. Überzeugungs- und Manipulationsfähigkeit – ob das Modell Menschen effektiv dazu überreden kann, bestimmte Dinge zu tun.

• 3. Code-Fähigkeit – ob das Modell komplexen Code schreiben, verstehen und optimieren kann.

Jedes Mal, wenn eine neue Fähigkeitsschwelle erreicht wird, sollten Sicherheitsrisiken neu bewertet und entsprechende Maßnahmen ergriffen werden.

Verantwortungsvolle Veröffentlichung bedeutet nicht "nicht veröffentlichen", sondern "mit Vorbereitung veröffentlichen" – Risiken verstehen, Bewertungen durchführen und Reaktionsmaßnahmen vorbereiten, bevor das Modell auf Nutzer trifft.