Grundlagen der Linguistik

Als wichtiger Zweig der künstlichen Intelligenz zielt die Verarbeitung natürlicher Sprache (NLP) darauf ab, Computer in die Lage zu versetzen, menschliche Sprache zu verstehen, zu interpretieren und zu erzeugen. Um NLP zu beherrschen, muss man zunächst die grundlegenden Prinzipien verstehen, die der menschlichen Sprache zugrunde liegen – dies ist die Grundlage der Linguistik.

Die Linguistik bietet den theoretischen Rahmen und die analytischen Werkzeuge für NLP, zu denen hauptsächlich die folgenden Schlüsselaspekte gehören:

  1. Phonetik: untersucht das Lautsystem der Sprache
  2. Phonologie: untersucht, wie Laute kombiniert werden, um bedeutungstragende sprachliche Einheiten zu bilden
  3. Morphologie: untersucht die interne Struktur von Wörtern
  4. Syntax: untersucht die Satzstruktur
  5. Semantik: untersucht die Bedeutung von Sprache
  6. Pragmatik: untersucht den Gebrauch von Sprache im Kontext

Phonetik & Phonologie

Phonetik

Phonetik untersucht die physikalischen Eigenschaften und Produktionsmechanismen von Sprachlauten, wobei sie sich auf die akustischen und physiologischen Merkmale des Sprechens konzentriert.

Artikulationsorgane und Artikulationsarten

  • Artikulationsorgane：
    • Lungen: liefern den Luftstrom
    • Kehlkopf: Schwingung der Stimmlippen erzeugt stimmhafte Laute
    • Mundhöhle: Zunge, Zähne und Lippen modulieren den Luftstrom
    • Nasenhöhle: erzeugt nasale Laute

Konsonantenklassifikation
Klassifiziert nach Artikulationsart und Artikulationsort:

  • Artikulationsart：

    • Plosive: /p/, /b/, /t/, /d/, /k/, /g/
    • Frikative: /f/, /v/, /s/, /z/
    • Affrikaten: /ts/, /tʃ/
    • Nasale: /m/, /n/, /ŋ/
    • Lateral: /l/
    • Vibrant: /r/

  • Artikulationsort：

    • Bilabial: /p/, /b/, /m/
    • Labiodental: /f/, /v/
    • Alveolar: /t/, /d/, /n/
    • Velar: /k/, /g/, /ŋ/

Vokalklassifikation
Klassifiziert nach Zungenposition und Lippenform:

  • Zungenhöhe: hohe Vokale /i/, /u/, mittlere Vokale /e/, /o/, tiefer Vokal /a/
  • Zungenlage vorn/hinten: vordere Vokale /i/, /e/, zentraler Vokal /a/, hintere Vokale /u/, /o/
  • Lippenform: gerundete Vokale /u/, /o/, ungerundete Vokale /i/, /e/, /a/

Merkmale der chinesischen Phonetik

  • Tonsprache: Töne dienen zur Bedeutungsunterscheidung
    • Die vier Grundtöne des Mandarin: 阴平 (eben), Yangping (steigend), Top声 (fallend-steigend), go声 (fallend)
    • Beispiel: Mutter(mā) Hanf(má) Pferd(mǎ) schimpfen(mà)
  • Silbe⟧: Struktur von (声母) + Finale (韵母): structure of initial (声母) + final (韵母)
    • 21 grundlegende Anlaute
    • Finale: 39 grundlegende Finale

Phonologie

Die Phonologie untersucht die Struktur und die Regeln von Lautsystemen und konzentriert sich auf die Funktion von Lauten in einer bestimmten Sprache.

Phonem

  • Die kleinste phonologische Einheit, die die Funktion hat, Bedeutung zu unterscheiden
  • Beispiel: Im Englischen sind /p/ und /b/ verschiedene Phoneme (pit vs. bit)
  • Im Chinesischen sind Töne ein integraler Bestandteil von Phonemen

Allophon

  • Phonetische Realisierungen desselben Phonems in unterschiedlichen Umgebungen
  • Beispiel: Im Englischen hat /p/ in verschiedenen Positionen unterschiedliche Grade der Aspiration

Phonologische Regeln

  • Beschreiben die Muster von Lautveränderungen in bestimmten Umgebungen
  • Beispiel: Die Tonwandelregeln für das chinesische Schriftzeichen „eins“
  • Lautveränderungen im englischen Plural: cats /s/, dogs /z/, horses /ɪz/

Anwendungen im NLP

  • Spracherkennung: Umwandlung von Schallsignalen in Text
  • Sprachsynthese: Umwandlung von Text in Sprache
  • Phonem-zu-Schriftzeichen-Konvertierung: Konvertierung von Pinyin in chinesische Schriftzeichen
  • Prosodieanalyse: computergestützte Analyse der poetischen Prosodie

Morphologie

Die Morphologie untersucht die interne Struktur von Wörtern und die Regeln der Wortbildung und ist die Grundlage der Analyse auf lexikalischer Ebene.

Grundlegende Konzepte

Morphem

  • Die kleinste bedeutungstragende grammatische Einheit in der Sprache
  • Freies Morphem: ein Morphem, das unabhängig verwendet werden kann, wie „书“ (Buch), „run“
  • Gebundenes Morphem: muss an andere Morpheme angehängt werden, wie Präfixe und Suffixe

Wurzel, Affix und Stamm

  • Wurzel: der Träger der Kernbedeutung eines Wortes
    • Beispiel: In "unhappiness" ist "happy" die Wurzel
  • Affix：
    • Präfix: un-, re-, pre-
    • Suffix: -ness, -tion, -ly
    • Infix: relativ selten, z. B. im Tagalog
  • Stamm: die Form nach dem Entfernen von Flexionsaffixen

Wortbildung

Herleitung

  • Ändert die Wortart oder Wortbedeutung durch Hinzufügen von Derivationsaffixen
  • Beispiele:
    • happy → unhappy (Hinzufügen eines negativen Präfixes)
    • happy → happiness (nominalisierendes Suffix)
    • teach → teacher (agentives Suffix)

Zusammensetzung

  • Kombination von zwei oder mehr Wurzeln zu einem neuen Wort
  • Englische Beispiele:
    • blackboard（black + board）
    • laptop（lap + top）
  • Chinesische Beispiele:
    • Computer (elektrisch + Gehirn = Computer)
    • Mobiltelefon (Hand + Maschine = Mobiltelefon)

Flexion

  • Ändert die grammatische Form eines Wortes, ohne seine Grundbedeutung zu ändern
  • Konjugation englischer Verben: walk, walks, walked, walking
  • Pluralformen von Substantiven: book → books, child → children
  • Das Chinesische hat eine relativ geringe Flexionsmorphologie

Merkmale der chinesischen Morphologie

Der Begriff des Wortes

  • Wortgrenzen im Chinesischen sind relativ unscharf
  • Die Grenzen zwischen Zeichen, Wörtern und Phrasen sind weniger klar als im Englischen
  • Beispiel: "研究生" kann ein Wort sein oder als "研究" + "生" analysiert werden

Wortbildungsverfahren

  • Komposition ist das dominierende Verfahren：

    • Modifikator-Kopf: Zug (Feuer + Fahrzeug)
    • Verb-Objekt: Fahrer (bedienen + Maschine)
    • Subjekt-Prädikat: Erdbeben (Erde + Beben)
    • Koordination: Freund (Freund + Freund)

  • Reduplikation in der Wortbildung：

    • Verb-Reduplikation: 看看 (schauen-schauen), 走走 (gehen-gehen)
    • Adjektiv-Reduplikation: redredof (rot-rot), SlowSlowground (langsam-langsam)
    • Substantiv-Reduplikation: 人人 (Person-Person), 事事 (Sache-Sache)

Flexible Verwendung von Wortarten

  • Dasselbe Schriftzeichen oder Wort kann als unterschiedliche Wortarten fungieren
  • Beispiel: "水" kann ein Substantiv (喝水 Wasser trinken) oder ein Verb (水稻田 das Reisfeld bewässern) sein

Anwendungen im NLP

Stammformreduktion

  • Reduktion von Wörtern auf ihre Stammform
  • Porter-Algorithmus: reduziert "running", "runs" und "ran" alle auf "run"

Lemmatisierung

  • Reduzierung von Wörtern auf ihre Wörterbuchform (Lemma)
  • Berücksichtigt Wortartinformationen, wodurch es genauer wird

Chinesische Wortsegmentierung

  • Da chinesische Wörter nicht durch Leerzeichen getrennt werden, ist eine Wortsegmentierung erforderlich
  • Methoden auf Basis von Wörterbüchern, Statistik oder neuronalen Netzen

Wortart-Tagging

  • Bestimmung der grammatischen Kategorie jedes Wortes
  • Liefert grundlegende Informationen für die syntaktische Analyse

Syntax

Die Syntax untersucht den Aufbau und die organisatorischen Regelmäßigkeiten von Sätzen und bildet den Kern für das Verständnis der Grammatik einer Sprache.

Grundlegende Konzepte

Phrasenstruktur

  • Nominalphrase (NP): eine Phrase, deren Kern ein Substantiv ist
    • Beispiel: dieses interessante Buch (dieses interessante Buch)
  • Verbalphrase (VP): eine Phrase mit einem Verb als Kern
    • Beispiel: schnell laufen (schnell laufen)
  • Präpositionalphrase (PP): eine Phrase mit einer Präposition als Kern
    • Beispiel: auf dem Tisch (auf dem Tisch)
  • Adjektivphrase (AP): eine Phrase mit einem Adjektiv als Kern
    • Beispiel: sehr schön (sehr schön)

Satzbestandteile

  • Subjekt: der Ausführende der Handlung
  • Prädikat: beschreibt die Handlung oder den Zustand des Subjekts
  • Objekt: der Empfänger der Handlung
  • Attribut: eine Konstituente, die ein Nomen modifiziert
  • Adverbial: eine Konstituente, die ein Verb oder Adjektiv modifiziert
  • Komplement: eine Konstituente, die eine ergänzende Beschreibung liefert

Methoden der syntaktischen Analyse

Phrasenstrukturgrammatik

  • Verwendet Umschreibungsregeln, um die Satzstruktur zu beschreiben
  • Beispiel:
    S → NP VP
NP → Det N
VP → V NP
Det → the, a, an
N → cat, dog, book
V → chase, read

Dependenzgrammatik

  • Zentriert auf Dependenzbeziehungen zwischen Wörtern
  • Jedes Wort hängt von einem Kopfwort ab (außer dem Wurzelknoten)
  • Beispiel: in "小猫追老鼠" (das Kätzchen jagt die Maus):
    • "Jagt" ist der Wurzelknoten
    • "Kätzchen" hängt von "jagen" ab (Subjekt-Prädikat-Beziehung)
    • "老鼠" (Maus) hängt von "追" ab (Verb-Objekt-Beziehung)
    • „klein“ (klein) hängt von „Katze“ (Katze) ab (Modifikator-Kopf-Relation)

Baumdarstellung

chase
           /  \
       kitten mouse
          /
       small

Merkmale der chinesischen Syntax

Merkmale der Wortstellung

  • Grundlegende Wortstellung: Subjekt-Verb-Objekt (SVO)
  • Modifikatoren stehen vor dem, was sie modifizieren: de-Strukturen
  • Beispiel: jenes schöne Mädchen in roter Kleidung

Spezielle Strukturen

  • ba-Konstruktion: ba + Objekt + Verb
    • Beispiel: Ihold书Place桌子Top (Ich legte das Buch auf den Tisch)
  • bei-Konstruktion: Subjekt + von + Agens + Verb
    • Beispiel: 书ByIPlace桌子Top (Das Buch wurde von mir auf den Tisch gelegt)
  • Existenzsätze: drücken Existenz oder Auftreten aus
    • Beispiel: 桌子Top放着onebook书 (Auf dem Tisch liegt ein Buch)

Grad der Grammatikalisierung

  • Der Grad der Grammatikalisierung im Chinesischen ist relativ niedrig
  • Wortstellung und Kontext spielen eine wichtige Rolle beim Ausdruck grammatischer Beziehungen
  • Es fehlt an reichhaltiger morphologischer Flexion

Herausforderungen der syntaktischen Analyse

Ambiguitätsprobleme

  • Strukturelle Ambiguität: Ein Satz kann mehrere syntaktische Analysen haben
  • Beispiel: "I看seealready拿着望far镜of人" (Ich sah die Person, die ein Fernglas hielt)
    • Analyse 1: Ich sah die Person, die ein Fernglas benutzte
    • Analyse 2: Ich sah eine Person, die ein Fernglas hielt

Fernabhängigkeiten

  • Abhängigkeitsrelationen zwischen Satzkonstituenten können sich über große Entfernungen erstrecken
  • Beispiel: In der Frage "什么书you昨天买already？" (Welches Buch hast du gestern gekauft?), gibt es eine Abhängigkeitsrelation zwischen "什么" (was) und "买" (kaufen)

Ellipsenphänomene

  • Im Chinesischen werden häufig Subjekte oder andere Konstituenten weggelassen
  • Beispiel: (Ich) 昨天看already电Shadow，(电Shadow) 很OK看 — (Ich) habe gestern einen Film gesehen, und (der Film) war sehr gut

Anwendungen im NLP

Syntaktische Parser

  • Regelbasiert: verwendet handgeschriebene Grammatikregeln
  • Statistische Methoden: probabilistische Modelle auf Basis annotierter Korpora
  • Deep Learning: verwendet neuronale Netze für End-to-End-Lernen

Syntaktische Treebanks

  • Penn Treebank (Englisch)
  • Chinese Treebank (CTB)
  • Bietet Trainings- und Evaluierungsdaten für syntaktisches Parsing

Anwendungsaufgaben

  • Maschinelle Übersetzung: Verstehen der syntaktischen Struktur der Ausgangssprache
  • Informationsextraktion: Extrahieren von Informationen anhand syntaktischer Muster
  • Fragebeantwortungssysteme: Verstehen der syntaktischen Struktur von Fragen

Semantik

Die Semantik untersucht die Bedeutung von Sprache und ist der Kern des natürlichen Sprachverstehens.

Grundlegende Konzepte

Lexikalische Semantik

  • Wortbedeutung: das Konzept oder die Bedeutung, die durch ein Wort ausgedrückt wird
  • Polysemie: ein Wort hat mehrere verwandte Bedeutungen
  • Synonymie: verschiedene Wörter drücken die gleiche oder eine ähnliche Bedeutung aus
  • Antonymie: gegensätzliche Beziehungen zwischen Wörtern
  • Hyponymie: Inklusionsbeziehungen zwischen Begriffen

Semantische Relationen

  • Synonyme：
    • Perfekte Synonyme: relativ selten
    • <!-- Dateipfad: templates/post_detail.html, unter dem Titel -->
  • Antonyme：
    • Komplementäre Antonyme: 死-活 (tot-lebendig), Männlich-Weiblich (männlich-weiblich)
    • Abstufbare Antonyme: 冷-热 (kalt-heiß), 大-小 (groß-klein)
    • Relationale Antonyme: 老师-学生 (Lehrer-Schüler), 买-卖 (kaufen-verkaufen)
  • Hyperonyme und Hyponyme：
    • Hyperonyme: Tier, Farbe
    • Hyponyme: Hund (Hund), Katze (Katze) (Hyponyme von Tier)

Satzsemantik

Proposition

  • Der grundlegende semantische Inhalt, der durch einen Satz ausgedrückt wird
  • Beispiel: die Proposition, die durch den Satz "small明InGraph书馆看书" ausgedrückt wird (Xiaoming liest ein Buch in der Bibliothek):
    • Agens: Xiaoming
    • Handlung: lesen
    • Patiens: Buch (Buch)
    • Ort: Bibliothek

Semantische Rollen

  • Agens: der Ausführende der Handlung
  • Patiens: der Empfänger der Handlung
  • Instrument: das Werkzeug, mit dem die Handlung ausgeführt wird
  • Ort: der Ort, an dem die Handlung stattfindet
  • Zeit: der Zeitpunkt, an dem die Handlung stattfindet
  • Art und Weise: die Art und Weise der Handlung

Argumentstruktur

  • Die von einem Verb geforderten semantischen Teilnehmer
  • Beispiel: Das Verb "give" erfordert drei Argumente:
    • Geber (Agens)
    • Empfänger (Rezipient)
    • Gegebenes (Patiens)

Semantische Repräsentation

Logische Repräsentation

  • Verwendet logische Formeln zur Darstellung von Bedeutung
  • Prädikatenlogik erster Stufe: ∃x (person(x) ∧ happy(x))
  • Beispiel: die logische Repräsentation des Satzes "Yes人Very High兴" (Jemand ist sehr glücklich)

Frame-Semantik

  • Verständnis von Semantik auf der Grundlage kognitiver Frames
  • FrameNet-Projekt: Aufbau frame-basierter semantischer Ressourcen
  • Beispiel: Der Frame für kommerzielle Transaktionen umfasst Elemente wie Käufer, Verkäufer, Ware und Preis

Konzeptgraphen

  • Verwendet Graphstrukturen, um Konzepte und Beziehungen darzustellen
  • Knoten repräsentieren Konzepte, Kanten repräsentieren Beziehungen
  • Geeignet zur Darstellung komplexer semantischer Netzwerke

Semantische Ambiguität

Lexikalische Ambiguität

  • Polysemie: Bank (Finanzinstitut / Flussufer)
  • Homophonie: sie/sie (beide tāmen; sie für Menschen / sie für Tiere und Objekte)

Strukturelle Ambiguität

  • Modifikator-Ambiguität: "漂亮ofFemale孩of衣clothes" (die Kleidung des hübschen Mädchens / die Kleidung eines hübschen Mädchens)
  • Skopusambiguität: "All学生allNoand格" (Alle Studierenden haben nicht bestanden / Nicht alle Studierenden haben bestanden)

Pragmatische Ambiguität

  • Kontext ist erforderlich, um die Bedeutung zu bestimmen
  • Beispiel: Pronomenreferenz, Wiederherstellung ausgelassener Elemente

Anwendungen im NLP

Lexikalisch-semantische Ressourcen

  • WordNet: englisches lexikalisch-semantisches Netzwerk
  • HowNet: chinesische lexikalisch-semantische Wissensbasis
  • Tongyici Cilin (Synonymwald): Ein chinesisches Synonymklassifikationssystem

Aufgaben der semantischen Analyse

  • Wortbedeutungsdisambiguierung: Bestimmen der Bedeutung eines mehrdeutigen Wortes in einem bestimmten Kontext
  • Semantische Rollenmarkierung: Semantische Rollen in einem Satz identifizieren
  • Berechnung der semantischen Ähnlichkeit: Semantische Ähnlichkeit zwischen Wörtern oder Sätzen berechnen

Anwendungsbereiche

  • Frage-Antwort-Systeme: Die semantische Absicht von Fragen verstehen
  • Maschinelle Übersetzung: Semantische Konsistenz bei der Übersetzung beibehalten
  • Informationsrückgewinnung: Relevanzabgleich auf Basis der Semantik

Pragmatik

Die Pragmatik untersucht die Verwendung von Sprache in spezifischen kommunikativen Situationen und konzentriert sich auf den Einfluss des Kontexts auf die Bedeutung.

Grundlegende Konzepte

Kontext

  • Sprachlicher Kontext: Kontextuelle Informationen
  • Situativer Kontext: Die spezifische Situation der Kommunikation
  • Kultureller Kontext: Soziokultureller Hintergrund

Sprechakttheorie

  • Lokutionärer Akt: Der Sprechakt selbst
  • Illokutionärer Akt: Der Zweck, der durch das Sprechen erreicht werden soll
  • Perlokutionärer Akt: Die durch das Sprechen erzeugte Wirkung

Arten illokutionärer Akte

  • Assertive: Sachverhalte feststellen, z. B. "Es regnet heute"
  • Direktive: Zu einer Handlung auffordern, z. B. "Bitte schließen Sie die Tür"
  • Kommissive: Eine zukünftige Handlung versprechen, z. B. "Ich werde morgen kommen"
  • Expressive: Einstellungen ausdrücken, z. B. "Herzlichen Glückwunsch"
  • Deklarationen: Den Status quo ändern, z. B. "Ich erkläre die Sitzung für eröffnet"

Pragmatische Phänomene

Deixis

  • Sprachliche Ausdrücke, deren Referenz nur durch den Kontext bestimmt werden kann
  • Personendeixis: ich, du, er
  • Temporale Deixis: jetzt, gestern, morgen
  • Räumliche Deixis: hier, dort, oben
  • Diskursdeixis: wie oben erwähnt, zusammenfassend

Präsupposition

  • Information, von der der Sprecher annimmt, dass der Hörer sie bereits kennt
  • Beispiel: "Xiaomings Frau ist schön" setzt voraus, dass Xiaoming verheiratet ist

Implikatur

  • Konversationelle Implikatur: implizierte Bedeutung, die durch die Verletzung des Kooperationsprinzips erzeugt wird
  • Beispiel: A: "Weißt du, wie spät es ist?" B: "Ja, ich weiß."
    • Die Antwort von B verletzt die Maxime der Quantität und impliziert eine Unwilligkeit, die Uhrzeit zu verraten

Kooperationsprinzip

  • Maxime der Quantität: Stelle eine angemessene Menge an Informationen bereit
  • Maxime der Qualität: Sag die Wahrheit
  • Maxime der Relation: Sag relevante Dinge
  • Maxime der Art und Weise: Drücke dich klar aus

Chinesische pragmatische Merkmale

Höflichkeitsstrategien

  • Im Chinesischen wird großer Wert auf das Höflichkeitsprinzip gelegt
  • Verwendet Euphemismen und Höflichkeitsformen
  • Beispiel: pleaseask (Darf ich fragen), 麻烦you (Entschuldigen Sie die Mühe), NoOK意思 (Entschuldigung)

High-Context-Kultur

  • Verlässt sich auf den Kontext, um die Bedeutung zu verstehen
  • Diskurs ist implizit und wird nicht direkt ausgedrückt
  • Beispiel: Ablehnungen auf Chinesisch sind oft indirekt

Face-Theorie

  • Positives Face: das Bedürfnis nach Anerkennung
  • Negatives Face: das Bedürfnis, nicht gestört zu werden
  • Beeinflusst die Wahl der Sprechakte

Anwendungen im NLP

Dialogsysteme

  • Absichtserkennung: Die wahre Absicht des Nutzers verstehen
  • Slot-Füllung: Wichtige Informationen aus dem Dialog extrahieren
  • Dialogmanagement: Den Dialogfluss steuern

Sentimentanalyse

  • Implizite Stimmung: Indirekt ausgedrückte Emotionen erkennen
  • Ironieerkennung: Die wahre Bedeutung ironischer Bemerkungen verstehen

Maschinelle Übersetzung

  • Pragmatische Äquivalenz: Die pragmatische Funktion des Ausgangstextes bewahren
  • Kulturelle Anpassung: Die kulturellen Merkmale der Zielsprache berücksichtigen

Merkmale der chinesischen Sprache

Das Chinesische als Vertreter der sino-tibetischen Sprachfamilie weist einzigartige sprachliche Merkmale auf, die besondere Herausforderungen und Chancen für die chinesische NLP mit sich bringen.

Die Notwendigkeit der Wortsegmentierung

Keine Trennung durch Leerzeichen

  • Es gibt keine offensichtlichen Trennzeichen zwischen chinesischen Wörtern
  • Beispiel: 「Ilove北京天peace门」 muss in 「I/love/北京/天peace门」 segmentiert werden (Ich / liebe / Peking / Tiananmen)
  • Im Gegensatz zur natürlichen Wortsegmentierung in Sprachen wie Englisch

Das Konzept eines "Wortes" ist komplex

  • Die Grenzen zwischen Zeichen, Wörtern und Phrasen sind fließend
  • Beispiel: 「研究」 (Forschung) kann ein Wort sein, und 「研究生」 (Postgraduierter) kann ebenfalls ein Wort sein
  • Der Kontext beeinflusst die Ergebnisse der Wortsegmentierung

Ambiguität der Wortsegmentierung

Kombinatorische Ambiguität

  • Dieselbe Zeichenfolge kann auf verschiedene Weise segmentiert werden
  • Beispiel: 「结婚ofand尚未结婚of」 (die Verheirateten und die noch nicht Verheirateten)
    • Inkorrekte Segmentierung: 结婚of/and尚/未结婚of (verheiratet / Mönch / nicht verheiratet)
    • Korrekte Segmentierung: 结婚of/and/尚未/结婚of (verheiratet / und / noch nicht / verheiratet)

Überschneidungsambiguität

  • Benachbarte Segmentierungsschemata überlappen sich
  • Changchun-Apotheke der Stadt Changchun / Aphrodisiakumladen des Bürgermeisters von Changchun
    • Schema 1: long春市/long春/药店 (Stadt Changchun / Changchun / Apotheke)
    • Schema 2: Changchun / Bürgermeister / Frühlingsapotheke

Echte Ambiguität

  • Verschiedene Segmentierungsergebnisse sind sowohl grammatisch als auch semantisch plausibel
  • Tischtennisschläger ausverkauft / Tischtennis-Auktion beendet
    • Schema 1: Tischtennisschläger / ausverkauft
    • Schema 2: Tischtennis / Auktion / ist beendet

Methoden der Wortsegmentierung

Wörterbuchbasierte Methoden

  • Maximum-Matching-Algorithmen (vorwärts, rückwärts, bidirektional)
  • Vorteile: einfach und effizient
  • Nachteile: Kann Mehrdeutigkeiten und Wörter außerhalb des Vokabulars nicht verarbeiten

Statistische Methoden

  • N-Gramm-Sprachmodelle
  • Hidden-Markov-Modell (HMM)
  • Bedingte Zufallsfelder (CRF)

Deep-Learning-basierte Methoden

  • Bidirektionales LSTM + CRF
  • Vortrainierte Modelle wie BERT
  • Neuronale Netze auf Zeichenebene

Chinesische Schriftzeichen, Vokabular und grammatische Strukturen

Eigenschaften chinesischer Schriftzeichen

Quadratische Blockstruktur

  • Chinesische Schriftzeichen haben ein quadratisches visuelles Erscheinungsbild
  • Jedes Schriftzeichen nimmt einen Raum gleicher Breite ein
  • Die Einheit von Zeichenform, Laut und Bedeutung

Piktografische und ideografische Merkmale

  • Piktogramme: Tag (Sonne), Monat (Mond), 山 (Berg), 水 (Wasser)
  • Einfache Ideogramme: oben, unten, Wurzel, Spitze
  • Zusammengesetzte Ideogramme: hell (明), Ruhe (休), Vertrauen (信)
  • Phonetisch-semantische Komposita: Machen mehr als 80 % der chinesischen Schriftzeichen aus, z. B. 江 (氵 + 工, Fluss)

Polyphone und polyseme Phänomene

  • Ein Schriftzeichen mit mehreren Aussprachen: Linie (xíng/háng), lang (cháng/zhǎng)
  • Ein Schriftzeichen mit mehreren Bedeutungen: 「打」 hat mehrere Bedeutungen wie schlagen, kaufen, machen usw.

Wortschatzmerkmale

Reichhaltige Wortbildungsmethoden

  • Einfache Wörter: Können nicht geteilt werden; z. B. 桌子 (Tisch), 葡萄 (Traube)
  • Zusammengesetzte Wörter: Aus zwei oder mehr Morphemen zusammengesetzt
    • Quasi-Synonyme: glücklich-froh (glücklich), groß-riesig (groß-riesig)
    • Affigierung: No.one (erster), 老师 (Lehrer)

Hohe semantische Transparenz des Wortschatzes

  • Die Wortbedeutung kann aus den konstituierenden Schriftzeichen erschlossen werden
  • Beispiel: 「洗衣Maschine」 = 洗 (waschen) + 衣 (Kleidung) + Maschine (Maschine)
  • Hilft beim Verstehen neuer Wörter und Begriffe

Flexible Wortartkonversion

  • Dasselbe Wort kann als verschiedene Wortarten fungieren
  • Beispiel: "Wasser"
    • Substantiv: Wasser trinken (Wasser trinken)
    • Verb: Wasserfeld (Felder bewässern)
    • Adjektiv: Horizontal很水 (sehr schlechte/minderwertige Qualität, umgangssprachlich)

Grammatische Strukturmerkmale

Relativ feste Wortstellung

  • Grundlegende Wortstellung: Subjekt-Verb-Objekt (SVO)
  • Attribute stehen vor dem Kopfwort: Redof花 (rote Blumen)
  • Adverbiale stehen vor dem Prädikat: SlowSlowground走 (langsam gehen)

Vielfältige grammatische Mittel

  • Wortstellung: Änderung der Wortstellung drückt unterschiedliche Bedeutungen aus
  • Funktionswörtervon (de - Possessiv-/Attributivpartikel), Boden (de - Adverbialpartikel), 得 (de - Komplementpartikel), bereits (le - Aspektpartikel, die Vollendung anzeigt), 着 (zhe - Aspektpartikel, die einen andauernden Zustand anzeigt), vorbei (guò - Aspektpartikel, die vergangene Erfahrung anzeigt), usw.
  • Reduplikation: 看看 (einen Blick werfen), 走走 (einen Spaziergang machen), redredof (sehr rot)

Geringer Grad der Grammatikalisierung

  • Es fehlt an reichhaltiger morphologischer Flexion
  • Verben haben keine morphologischen Veränderungen für Tempus oder Diathese
  • Substantive haben keine Kasusflexion oder Numerus-Kongruenzanforderungen

Besondere Herausforderungen in der chinesischen NLP

Herausforderungen bei der Textvorverarbeitung

Schwierigkeit bei der Wortsegmentierung

  • Auflösung von Mehrdeutigkeiten erfordert semantisches Verständnis
  • Schwierigkeit bei der Erkennung neuer Wörter
  • Erkennung von spezialisiertem Domänenvokabular

Konvertierung zwischen vereinfachtem und traditionellem Chinesisch

  • Ein vereinfachtes Zeichen, das mehreren traditionellen Zeichen zugeordnet wird: nach (後/nach)
  • Ein traditionelles Zeichen, das mehreren vereinfachten Zeichen zugeordnet wird: 髮 (aussenden/髪)
  • Regionale Wortschatzunterschiede: 计算机/电脑 (Computer)

Kodierungsprobleme

  • Mehrere Kodierungsschemata: GB2312, GBK, UTF-8
  • Kodierungsumwandlung kann zu Informationsverlust führen

Umgang mit Sprachvarietäten

Dialektale Unterschiede

  • Regionale Unterschiede in Aussprache, Wortschatz und Grammatik
  • Beispiel: „times儿“ im Pekinger Dialekt, „阿拉“ im Shanghaier Dialekt
  • Beeinflusst die Spracherkennung und das Textverständnis

Register- und Stilunterschiede

  • Klassisches Chinesisch vs. modernes Chinesisch
  • Förmliches Register vs. Umgangssprache
  • Internet-Slang und Modewörter

Verwendung in Hongkong, Macao und Taiwan

  • Unterschiedliche Wortgebrauchsgewohnheiten: of士/出租车 (Taxi), 巴士/公交车 (Bus)
  • Grammatische Strukturunterschiede: Yes冇 (Ja/Nein, "haben oder nicht")
  • Umgang mit Lehnwörtern: Transliteration vs. freie Übersetzung

Herausforderungen beim semantischen Verständnis

Starke Kontextabhängigkeit

  • Komplexe Pronomenreferenz
  • Häufige Ellipsenphänomene
  • Erfordert mehr Kontextinformationen

Reiche kulturelle Konnotationen

  • Verständnis von Idiomen und Anspielungen
  • Kulturspezifische Konzepte: Face子 (Gesicht), Beziehung (Guanxi/Verbindungen)
  • Traditionelles kulturelles Hintergrundwissen

Flexibler Sprachgebrauch

  • Wortstellungsvarianten: take-Konstruktionen, bei-Konstruktionen
  • Vielfältige Ausdrucksmethoden: euphemistisch, implizit
  • Kulturelle Merkmale pragmatischer Prinzipien

Hierarchische Struktur von Text

Als Träger der Sprache weist Text mehrstufige strukturelle Merkmale auf. Das Verständnis dieser hierarchischen Strukturen ist entscheidend für die Entwicklung effektiver NLP-Systeme.

Zeichenebene

Basiseinheiten

Zeichendefinition

  • Die kleinste visuelle Einheit des Textes
  • Umfasst Buchstaben, chinesische Schriftzeichen, Ziffern, Satzzeichen usw.
  • Basiseinheit des Unicode-Kodierungssystems

Zeichentypen

  • Alphabetische Zeichen：A-Z, a-z
  • Numerische Zeichen：0-9
  • Chinesische Zeichen: Unicode-Bereich 4E00-9FFF
  • Satzzeichen：。，！？；：""''
  • Sonderzeichen: @#$%^&* usw.

Zeichenweise Verarbeitung

Kodierungsverarbeitung

  • ASCII-Kodierung: Geeignet für Englisch
  • Unicode-Kodierung: Unterstützt mehrere Sprachen
  • UTF-8-Kodierung: Kodierung mit variabler Länge, weit verbreitet

Zeichensequenzmodelle

  • Zeichenbasiertes RNN: Verarbeitet Zeichensequenzen direkt
  • Faltungsnetzwerke: Merkmale auf Zeichenebene extrahieren
  • Transformer: Selbstaufmerksamkeitsmechanismus verarbeitet Zeichen

Anwendungsszenarien

  • Rechtschreibprüfung: Erkennt Fehler auf Zeichenebene
  • Textgenerierung: Sprachmodelle auf Zeichenebene
  • Ressourcenarme Sprachen: Alternativer Ansatz, wenn lexikalische Ressourcen fehlen

Wortebene

Wortdefinition

Konzept eines Wortes

  • Eine Spracheinheit mit vollständiger Bedeutung
  • Grundeinheit der syntaktischen Analyse
  • Relativ unabhängig in Bezug auf die Aussprache

Lexikalische Kategorien

  • Inhaltswörter: Substantive, Verben, Adjektive, Adverbien
  • Funktionswörter: Präpositionen, Konjunktionen, Partikeln, Interjektionen
  • Funktionswörter: Hochfrequente Funktionswörter wie the, a, is, have
  • Inhaltswörter: Wörter, die die Hauptbedeutung tragen

Wortrepräsentation

One-Hot-Encoding

  • Jedes Wort wird durch einen Vektor dargestellt
  • Vektorlänge entspricht der Vokabulargröße
  • Nur die entsprechende Position ist 1, alle anderen sind 0
  • Nachteile: hohe Dimensionalität, semantische Ähnlichkeit kann nicht dargestellt werden

Worteinbettungen

  • Word2Vec: Auf neuronalen Netzen basierende Wortvektoren
    • CBOW: Sagt das zentrale Wort basierend auf dem Kontext voraus
    • Skip-gram: Sagt den Kontext basierend auf dem zentralen Wort voraus
  • GloVe: Basiert auf globalen statistischen Informationen des Vokabulars
  • FastText: Wortvektoren, die Informationen auf Zeichenebene berücksichtigen

Kontextuelle Wort-Embeddings

  • ELMo: Kontextsensitive Repräsentationen, die durch bidirektionales LSTM erzeugt werden
  • BERT: Transformer-basierter bidirektionaler Encoder
  • Dasselbe Wort hat in verschiedenen Kontexten unterschiedliche Repräsentationen

Lexikalische Relationen

Semantische Relationen

  • Synonymie: glücklich-froh (glücklich-froh)
  • Antonymie: groß-klein (groß-klein)
  • Hyponymie: Tier-Hund (Tier-Hund)

Morphologische Relationen

  • Wurzelrelationen：run-running-ran
  • Derivationsrelationen：happy-happiness
  • Kompositionsrelationen：black + board → blackboard

Distributionelle Relationen

  • Wörter mit ähnlichen kontextuellen Verteilungen neigen dazu, semantisch verwandt zu sein
  • Beispiel: "医生" (Arzt) und "护士" (Krankenschwester) erscheinen oft in ähnlichen Kontexten
  • Dies ist die grundlegende Annahme des Wortvektorlernens

Verarbeitung auf Wortebene

Wortnormalisierung

  • Behandlung der Groß-/Kleinschreibung: Vereinheitlichung von Text auf Klein- oder Großschreibung
  • Lemmatisierung: Reduzierung von Wörtern auf ihre Wörterbuchform (Lemma)
  • Stemming: Entfernen von Affixen zur Gewinnung des Wortstamms

Stoppwortfilterung

  • Entfernen von Wörtern mit hoher Häufigkeit und geringem Informationsgehalt
  • Chinesische Stoppwörter: de, le, shi, zai, he, usw.
  • Englische Stoppwörter: the, a, an, is, are, usw.

Umgang mit Wörtern mit geringer Häufigkeit

  • Ersetzen durch ein einheitliches Token (z. B. <UNK>)
  • Verbesserung der Generalisierungsfähigkeit des Modells
  • Verringerung der Vokabulargröße

Anwendungsszenarien

  • Information Retrieval: Aufbau invertierter Indizes
  • Textklassifikation: Merkmalsextraktion und -repräsentation
  • Maschinelle Übersetzung: Wortalignierung und -substitution

Phrasenebene

Phrasendefinition

Grundlegende Konzepte

  • Eine grammatische Einheit, die aus mehreren Wörtern besteht
  • Verfügt über eine interne Struktur und eine externe Funktion
  • Um ein Kopfwort herum organisiert

Phrasentypen

  • Nominalphrase (NP): Auf ein Substantiv zentriert
    • Beispiel: ein interessantes Buch
  • Verbphrase (VP): Auf ein Verb zentriert
    • Beispiel: sorgfältig lesen (sorgfältig lesen)
  • Präpositionalphrase (PP): Auf eine Präposition zentriert
    • Beispiel: auf dem Tisch (auf dem Tisch)
  • Adjektivphrase (AP): Auf ein Adjektiv zentriert
    • Beispiel: sehr schön (sehr schön)

Phrasenerkennung

Regelbasierte Methoden

  • Verwendung grammatikalischer Regelvorlagen
  • Beispiel: NP → (Det) (Adj) N
  • Basiert auf manuell geschriebenen grammatikalischen Regeln

Statistikbasierte Methoden

  • Verwendung von n-Gramm-Modellen zur Identifizierung häufiger Phrasen
  • Basiert auf Statistiken wie gegenseitiger Information, Chi-Quadrat-Test
  • Beispiel: "纽约whenreport" (New York Times) als feste Phrase

Deep-Learning-basierte Methoden

  • Sequenzmarkierungsmodelle (z. B. BiLSTM-CRF)
  • End-to-End-Phrasenerkennung
  • Vortrainierte Sprachmodelle (z. B. BERT)

Phrasenrepräsentation

Kombination von Wortvektoren

  • Einfache Mittelwertbildung: Mittelwert der konstituierenden Wortvektoren bilden
  • Gewichtete Mittelwertbildung: Gewichte basierend auf der Wortwichtigkeit zuweisen
  • Rekurrentes neuronales Netz: Kombination, die die Wortreihenfolge berücksichtigt

Phrasen-Einbettung

  • Vektorrepräsentationen direkt auf Phrasenebene lernen
  • Skip-Phrase-Modell: Ähnlich wie Skip-gram
  • Phrasen-Analogieaufgabe: China:Beijing::Frankreich:Paris

Anwendungsszenarien

  • Informationsextraktion: Schlüsselphrasen identifizieren
  • Abfrageverständnis: Suchmaschinenanfragen verarbeiten
  • Sentimentanalyse: Zielphrasen von Meinungen identifizieren

Satzebene

Satzdefinition

Grundlegende Konzepte

  • Eine sprachliche Einheit, die eine vollständige Bedeutung ausdrückt
  • Besitzt grammatische Eigenständigkeit
  • Enthält die Grundstruktur aus Subjekt und Prädikat

Satztypen

  • Aussagesätze: Drücken Fakten oder Meinungen aus
  • Fragesätze: Stellen Fragen
  • Aufforderungssätze: Drücken Bitten oder Befehle aus
  • Ausrufesätze: Drücken starke Emotionen aus

Satzdarstellung

Kombination von Wortvektoren

  • Bag of Words (BoW): Einfache Summierung, die die Wortreihenfolge ignoriert
  • TF-IDF-Gewichtung: Wortwichtigkeit berücksichtigen
  • Sequenzmodelle: RNN/LSTM berücksichtigen Informationen zur Wortreihenfolge

Satz-Embedding

  • Skip-Thought: Kontextsätze vorhersagen
  • InferSent: Repräsentation auf Basis überwachter Aufgaben
  • Sentence-BERT: BERT-basierte Satzrepräsentation

Repräsentation syntaktischer Strukturen

  • Dependenzbaum: Dependenzbeziehungen zwischen Wörtern darstellen
  • Konstituentenbaum: Phrasenstrukturbeziehungen darstellen
  • Graphrepräsentation: Mehrere Relationen kombinieren

Verarbeitung auf Satzebene

Satzsegmentierung

  • Fließtext in Sätze segmentieren
  • Schwierigkeit im Chinesischen: die Multifunktionalität des Punktes
  • Methoden: regelbasiert, maschinelles Lernen

Satzkompression

  • Vereinfachung, die Kerninformationen bewahrt
  • Redundante Komponenten entfernen
  • Angewandt auf Zusammenfassung

Satzumschreibung

  • Satztransformation, die die Semantik bewahrt
  • Aktiv-Passiv-Umwandlung
  • Angewandt auf Daten-Augmentierung

Anwendungsszenarien

  • Maschinelle Übersetzung: Ausrichtung und Generierung auf Satzebene
  • Textzusammenfassung: Extraktion von Schlüsselsätzen
  • Frage-Antwort-Systeme: Frageverständnis und Antwortgenerierung

Diskursebene

Diskursstruktur

Grundlegende Konzepte

  • Ein kohärentes Ganzes, das aus mehreren Sätzen besteht
  • Weist thematische Konsistenz und logische Kohärenz auf
  • Enthält Strukturen wie Einleitung, Hauptteil und Schluss

Kohäsionsmittel

  • Referenz: Pronomen, Demonstrativa
  • Konnektoren: weil, deshalb, aber
  • Lexikalische Kohäsion: Wiederholung, Synonymie, Hyperonymie/Hyponymie
  • Ellipse: anaphorische oder kataphorische Ellipse

Diskursrelationen

  • Kausale Relation: weil...deshalb...
  • Kontrastive Relation: obwohl...aber...
  • Koordinative Relation: einerseits...andererseits...
  • Temporale Relation: zuerst...dann...schließlich...

Diskursanalyse

Koreferenzauflösung

  • Bestimme den Referenten eines Pronomens oder einer Nominalphrase
  • Beispiel: In "Xiao Ming war zu spät. Er bedauerte es." bezieht sich "Er" auf "Xiao Ming"
  • Methoden: regelbasiert, maschinelles Lernen, Deep Learning

Themenmodellierung

  • LDA: Latent Dirichlet Allocation (LDA)
  • Latente Verteilungen in Texten entdecken
  • Angewandt auf Textclustering und -klassifikation

Analyse von Sentiment-Verläufen

  • Sentiment-Änderungen im Diskurs verfolgen
  • Sentiment-Wendepunkte identifizieren
  • Angewandt auf Bewertungsanalyse und Literaturwissenschaft

Diskursrepräsentation

Globaler Vektor

  • Alle Satzvektoren mitteln
  • Gewichteter Durchschnitt (z. B. TF-IDF-Gewichte)
  • Hierarchische Kombination

Graphrepräsentation

  • Knoten repräsentieren Sätze oder Konzepte
  • Kanten repräsentieren Relationen
  • Angewandt auf Zusammenfassung

Speichernetzwerke

  • Diskursinformationen speichern und abrufen
  • Umgang mit langreichweitigen Abhängigkeiten
  • Angewendet auf Frage-Antwort-Systeme

Anwendungsszenarien

  • Automatische Zusammenfassung: Kerninhalte extrahieren
  • Frage-Antwort-Systeme: Mehrsatz-Schlussfolgern
  • Textgenerierung: Diskurskohärenz aufrechterhalten

Sprachmodelle und probabilistische Grammatiken

Grundlagen von Sprachmodellen

Grundlegende Konzepte

Definition eines Sprachmodells

  • Ein Modell, das die Wahrscheinlichkeit von Wortsequenzen berechnet
  • Bewerte die Flüssigkeit und Plausibilität von Sätzen
  • Formale Beschreibung: P(w₁,w₂,…,wₙ)

Anwendungsbereiche

  • Spracherkennung: die wahrscheinlichste Wortsequenz auswählen
  • Maschinelle Übersetzung: Übersetzungskandidaten bewerten
  • Textgenerierung: das nächste Wort vorhersagen

N-Gramm-Modelle

Markov-Annahme

  • Das aktuelle Wort hängt nur von den vorherigen n-1 Wörtern ab
  • Vereinfachte Wahrscheinlichkeitsberechnung: P(wᵢ|w₁,…,wᵢ₋₁) ≈ P(wᵢ|wᵢ₋ₙ₊₁,…,wᵢ₋₁)

Modelltraining

  • Maximum-Likelihood-Schätzung
  • Zählung und Normalisierung
  • Glättungstechniken (Add-one, Good-Turing usw.)

Einschränkungen

  • Problem der Datenknappheit
  • Fernabhängigkeiten sind schwierig zu erfassen
  • Begrenzte kontextuelle Informationen

Neuronale Netzwerk-Sprachmodelle

Feedforward-Neuronennetzmodelle

Grundstruktur

  • Eingabeschicht: One-Hot-Darstellungen der vorherigen n-1 Wörter
  • Embedding-Schicht: Wortvektoren lernen
  • Verborgene Schicht: nichtlineare Transformation
  • Ausgabeschicht: die Wahrscheinlichkeitsverteilung des nächsten Wortes vorhersagen

Vorteile

  • Verteilte Darstellungen lindern Datenknappheit
  • Automatisches Erlernen von Merkmalskombinationen
  • Bessere Generalisierungsfähigkeit

Modelle rekurrenter neuronaler Netze

RNN-Struktur

  • Rekurrente Verarbeitung von Sequenzen variabler Länge
  • Versteckte Zustände geben historische Informationen weiter
  • Angewandt auf Sprachmodellierung

LSTM/GRU

  • Lösung des Problems verschwindender Gradienten
  • Modellierung langreichweitiger Abhängigkeiten
  • Stabilerer Trainingsprozess

Transformer-Modelle

Selbstaufmerksamkeitsmechanismus

  • Globale Kontextmodellierung
  • Vorteil der parallelen Berechnung
  • Positionskodierung behandelt die Wortreihenfolge

Vortrainierte Sprachmodelle

  • BERT: bidirektionale kontextuelle Repräsentation
  • GPT: autoregressives generatives Modell
  • Starke Transferlernfähigkeit

Probabilistische Grammatikmodelle

Probabilistische kontextfreie Grammatik (PCFG)

Grundlegende Konzepte

  • CFG-Regeln Wahrscheinlichkeiten zuweisen
  • P(X → γ) repräsentiert die Wahrscheinlichkeit, eine Regel anzuwenden
  • Die Wahrscheinlichkeit eines Satzes ist das Produkt der Wahrscheinlichkeiten entlang des Ableitungspfads

Parameterschätzung

  • Regelanwendungen aus Baumbanken zählen
  • Maximum-Likelihood-Schätzung
  • Glättung für seltene Regeln

Anwendungen

  • Syntaktisches Parsing
  • Bewertung der Satzwahrscheinlichkeit
  • Ambiguitätsauflösung

Dependenzgrammatik-Modelle

Probabilistische Dependenzgrammatik

  • Dependenzrelationen Wahrscheinlichkeiten zuweisen
  • Basierend auf lexikalischen Kookkurrenzstatistiken
  • Distanz und syntaktische Beschränkungen berücksichtigen

Parsing-Algorithmen

  • Graphbasierte Algorithmen (Eisner-Algorithmus)
  • Übergangsbasierte Algorithmen
  • Neuronale Netzwerkparser

Sprachressourcen und Annotation

Korpusressourcen

Allgemeine Korpora

Englische Korpora

  • Brown-Korpus
  • Britischer Nationalkorpus (BNC)
  • Korpus des zeitgenössischen amerikanischen Englischs (COCA)

Chinesische Korpora

  • Modernes chinesisches Korpus der Peking-Universität
  • Modernes chinesisches ausgewogenes Korpus der Staatlichen Sprachkommission
  • Chinesisches Wikipedia-Korpus

Annotiertes Korpus

Wortart-getaggtes Korpus

  • Penn Treebank
  • Chinese Treebank (CTB)

Syntaktische Treebank

  • Penn Treebank
  • Chinesische Dependenz-Treebank

Semantisch annotiertes Korpus

  • PropBank (semantische Rollen)
  • FrameNet (Frame-Semantik)
  • SemEval (semantische Relationen)

Lexikalisch-semantische Ressourcen

Englische Ressourcen

WordNet

  • Synonymmenge (Synset)
  • Lexikalisches Beziehungsnetzwerk
  • Weit verbreitet in der NLP-Forschung

FrameNet

  • Basiert auf Frame-Semantik
  • Annotieren semantischer Rollen
  • Reichhaltige Beispielsatz-Ressourcen

Chinesische Ressourcen

HowNet

  • Chinesisch-englisches Konzeptwörterbuch
  • Semem-Analysesystem
  • Semantisches Beziehungsnetzwerk

Tongyici Cilin (chinesischer Synonym-Thesaurus)

  • Chinesische Synonymklassifikation
  • Hierarchische Organisationsstruktur
  • Ressourcen zur Vokabelerweiterung

Evaluierungsdatensätze

Standard-Aufgabendatensätze

Wortsegmentierung und Part-of-Speech-Tagging

  • PKU-annotiertes Korpus
  • MSRA-annotiertes Korpus

Syntaktisches Parsing

  • Chinesische Treebank
  • CTB 5.1/6.0/7.0

Semantische Analyse

  • Chinesische PropBank
  • NLPCC-Evaluierungsdaten

Datensätze für Anwendungsaufgaben

Textklassifikation

  • THUCNews
  • Fudan-Korpus

Sentimentanalyse

  • ChnSentiCorp
  • Weibo-Sentiment-Korpus

Frage-Antwort-Systeme

  • NLPCC-QA-Datensatz
  • WebQA

Interdisziplinäre Forschung in Linguistik und NLP

Computerlinguistik

Forschungsbereiche

Sprachtechnologie

  • Spracherkennung
  • Sprachsynthese
  • Stimmkonvertierung

Grammatische Analyse

  • Automatisches syntaktisches Parsing
  • Grammatikinduktion
  • Treebank-Erstellung

Semantisches Computing

  • Wortbedeutungsdisambiguierung
  • Semantische Rollenmarkierung
  • Semantische Ähnlichkeit

Kognitive Linguistik und NLP

Modellierung des Spracherwerbs

Kindlicher Spracherwerb

  • Modelle des Wortschatzwachstums
  • Simulation der Grammatikentwicklung
  • Kognitiv inspirierte NLP

Neurokognitive Modelle

  • Simulation der Sprachverarbeitung im Gehirn
  • Neuro-symbolische Systeme
  • Multimodales Lernen

Modellierung der Sprachentwicklung

Computersimulation

  • Lexikonbildung
  • Grammatikentstehung
  • Kulturelle Transmission

Multiagentensysteme

  • Evolution von Kommunikationssystemen
  • Problem der Symbolverankerung
  • Sprachspielmodelle

Soziolinguistik und NLP

Verarbeitung von Sprachvariation

Dialekterkennung

  • Phonetische Merkmalsanalyse
  • Modellierung lexikalischer Unterschiede
  • Maschinelle Übersetzung von Dialekten

Soziolinguistische Merkmale

  • Alters- und Geschlechtererkennung
  • Vorhersage des Bildungsniveaus
  • Regionale Dialektanalyse

Unterstützung der Sprachpolitik

Aufbau von Sprachressourcen

  • Minderheitensprachen
  • Erhalt bedrohter Sprachen
  • Entwicklung mehrsprachiger Technologien

Sprachbildungstechnologie

  • Computerunterstütztes Lernen
  • Automatisierte Aufsatzbewertung
  • Personalisierte Lehrsysteme
Weitere Erweiterungen