Bases de la linguistique

En tant que branche importante de l'intelligence artificielle, le traitement du langage naturel (NLP) vise à permettre aux ordinateurs de comprendre, d'interpréter et de générer le langage humain. Pour maîtriser le NLP, il faut d'abord comprendre les principes de base qui sous-tendent le langage humain - c'est le fondement de la linguistique.

La linguistique fournit le cadre théorique et les outils d'analyse pour le NLP, notamment les aspects clés suivants :

  1. Phonétique: étudie le système sonore de la langue
  2. Phonologie: étudie comment les sons se combinent pour former des unités linguistiques porteuses de sens
  3. Morphologie: étudie la structure interne des mots
  4. Syntaxe: étudie la structure des phrases
  5. Sémantique: étudie le sens du langage
  6. Pragmatique: étudie l'usage du langage en contexte

Phonétique et phonologie

Phonétique

La phonétique étudie les propriétés physiques et les mécanismes de production des sons de la parole, en se concentrant sur les caractéristiques acoustiques et physiologiques de la parole.

Organes de l'articulation et modes d'articulation

  • Organes de l'articulation：
    • Poumons : fournissent le flux d'air
    • Larynx : la vibration des cordes vocales produit des sons voisés
    • Cavité buccale : la langue, les dents et les lèvres modulent le flux d'air
    • Cavité nasale : produit des sons nasaux

Classification des consonnes
Classés par mode d'articulation et lieu d'articulation :

  • Mode d'articulation：

    • Occlusives : /p/, /b/, /t/, /d/, /k/, /g/
    • Fricatives : /f/, /v/, /s/, /z/
    • Affriquées : /ts/, /tʃ/
    • Nasales : /m/, /n/, /ŋ/
    • Latérale : /l/
    • Roulée : /r/

  • Lieu d'articulation：

    • Bilabiale : /p/, /b/, /m/
    • Labiodentale : /f/, /v/
    • Alvéolaire : /t/, /d/, /n/
    • Vélaire : /k/, /g/, /ŋ/

Classification des voyelles
Classées selon la position de la langue et la forme des lèvres :

  • Hauteur de la langue: voyelles hautes /i/, /u/, voyelles moyennes /e/, /o/, voyelle basse /a/
  • Antériorité/Postériorité de la langue: voyelles antérieures /i/, /e/, voyelle centrale /a/, voyelles postérieures /u/, /o/
  • Forme des lèvres: voyelles arrondies /u/, /o/, voyelles non arrondies /i/, /e/, /a/

Caractéristiques de la phonétique chinoise

  • Langue tonale: les tons servent à distinguer le sens
    • Les quatre tons de base du mandarin : 阴平 (plat), Yangping (montant), Top声 (descendant-montant), go声 (descendant)
    • Exemple : mère(mā) chanvre(má) cheval(mǎ) gronder(mà)
  • Structure syllabique: structure de l'initiale (声母) + de la finale (韵母)
    • Initiales : 21 initiales de base
    • Finales : 39 finales de base

Phonologie

La phonologie étudie la structure et les règles des systèmes sonores, en se concentrant sur la fonction des sons dans une langue donnée.

Phonème

  • La plus petite unité phonologique ayant pour fonction de distinguer le sens
  • Exemple : en anglais, /p/ et /b/ sont des phonèmes différents (pit vs bit)
  • En chinois, les tons font partie intégrante des phonèmes

Allophone

  • Réalisations phonétiques d’un même phonème dans différents environnements
  • Exemple : en anglais, /p/ a différents degrés d’aspiration selon la position

Règles phonologiques

  • Décrire les schémas de changements sonores dans des environnements spécifiques
  • Exemple : les règles de sandhi tonal pour le caractère chinois « one »
  • Changements phonétiques du pluriel en anglais : cats /s/, dogs /z/, horses /ɪz/

Applications en NLP

  • Reconnaissance vocale: conversion des signaux sonores en texte
  • Synthèse vocale: conversion du texte en parole
  • Conversion phonème-caractère: conversion du pinyin en caractères chinois
  • Analyse prosodique: analyse computationnelle de la prosodie poétique

Morphologie

La morphologie étudie la structure interne des mots et les règles de formation des mots, et constitue le fondement de l'analyse au niveau lexical.

Concepts de base

Morphème

  • La plus petite unité grammaticale porteuse de sens dans la langue
  • Morphème libre: un morphème pouvant être utilisé de manière indépendante, comme « 书 » (livre), « run »
  • Morphème lié: doit s'attacher à d'autres morphèmes, tels que les préfixes et suffixes

Racine, affixe et radical

  • Racine: le porteur du sens fondamental d'un mot
    • Exemple : dans « unhappiness », « happy » est la racine
  • Affixe：
    • Préfixe : un-, re-, pre-
    • Suffixe : -ness, -tion, -ly
    • Infixe : relativement rare, par exemple en tagalog
  • Radical: la forme après suppression des affixes flexionnels

Formation des mots

Démonstration

  • Change la catégorie grammaticale ou le sens du mot en ajoutant des affixes dérivatifs
  • Exemples :
    • happy → unhappy (ajout d'un préfixe négatif)
    • happy → happiness (suffixe de nominalisation)
    • teach → teacher (suffixe agentif)

Composition

  • Combinaison de deux racines ou plus pour former un nouveau mot
  • Exemples anglais :
    • blackboard（black + board）
    • laptop（lap + top）
  • Exemples chinois :
    • ordinateur (électricité + cerveau = ordinateur)
    • téléphone portable (main + machine = téléphone portable)

Flexion

  • Modifie la forme grammaticale d'un mot sans changer son sens de base
  • Conjugaison des verbes en anglais : walk, walks, walked, walking
  • Pluriels des noms : book → books, child → children
  • Le chinois a relativement peu de morphologie flexionnelle

Caractéristiques de la morphologie chinoise

La notion de mot

  • Les frontières des mots en chinois sont relativement floues
  • Les frontières entre caractères, mots et locutions sont moins claires qu'en anglais
  • Exemple : « 研究生 » peut être un seul mot, ou il peut être analysé comme « 研究 » + « 生 »

Procédés de formation des mots

  • La composition est la méthode dominante：

    • Modificateur-tête : train (feu + véhicule)
    • Verbe-objet : conducteur (conduire + machine)
    • Sujet-prédicat : tremblement de terre (terre + secousse)
    • Coordination : ami (ami + ami)

  • Réduplication dans la formation des mots：

    • Réduplication verbale : 看看 (regarder-regarder), 走走 (marcher-marcher)
    • Réduplication adjectivale : redredof (rouge-rouge), SlowSlowground (lentement-lentement)
    • Réduplication nominale : 人人 (personne-personne), 事事 (chose-chose)

Utilisation flexible des classes de mots

  • Le même caractère ou mot peut fonctionner comme différentes parties du discours
  • Exemple : « 水 » peut être un nom (喝水 boire de l’eau) ou un verbe (水稻田 irriguer la rizière)

Applications en NLP

Racinisation

  • Réduction des mots à leur forme racine
  • Algorithme de Porter : réduit « running », « runs » et « ran » à « run »

Lemmatisation

  • Réduire les mots à leur forme dictionnaire (lemme)
  • Tient compte des informations sur la partie du discours, ce qui la rend plus précise

Segmentation en mots du chinois

  • Comme les mots chinois ne sont pas séparés par des espaces, une segmentation en mots est nécessaire
  • Méthodes basées sur des dictionnaires, des statistiques ou des réseaux de neurones

Étiquetage morphosyntaxique

  • Déterminer la catégorie grammaticale de chaque mot
  • Fournit des informations fondamentales pour l'analyse syntaxique

Syntaxe

La syntaxe étudie la structure et les régularités d'organisation des phrases, et constitue le cœur de la compréhension de la grammaire d'une langue.

Concepts de base

Structure syntagmatique

  • Syntagme nominal (NP): un syntagme centré sur un nom
    • Exemple : ce livre intéressant (ce livre intéressant)
  • Syntagme verbal (SV): un syntagme centré sur un verbe
    • Exemple : courir rapidement (courir rapidement)
  • Syntagme prépositionnel (SP): un syntagme centré sur une préposition
    • Exemple : sur la table (sur la table)
  • Syntagme adjectival (SA): un syntagme centré sur un adjectif
    • Exemple : très beau (très beau)

Constituants de la phrase

  • Sujet: celui qui accomplit l'action
  • Prédicat: décrit l'action ou l'état du sujet
  • Objet: celui qui reçoit l'action
  • Épithète: un constituant qui modifie un nom
  • Adverbial: un constituant qui modifie un verbe ou un adjectif
  • Complément: un constituant qui fournit une description supplémentaire

Méthodes d'analyse syntaxique

Grammaire syntagmatique

  • Utilise des règles de réécriture pour décrire la structure de la phrase
  • Exemple :
    S → NP VP
NP → Det N
VP → V NP
Det → the, a, an
N → cat, dog, book
V → chase, read

Grammaire de dépendance

  • Centrée sur les relations de dépendance entre les mots
  • Chaque mot dépend d'un mot tête (sauf le nœud racine)
  • Exemple : dans « 小猫追老鼠 » (le chaton poursuit la souris) :
    • « Poursuit » est le nœud racine
    • « chaton » dépend de « poursuit » (relation sujet-prédicat)
    • « 老鼠 » (souris) dépend de « 追 » (relation verbe-objet)
    • « petit » (small) dépend de « chat » (cat) (relation modificateur-tête)

Représentation arborescente

chase
           /  \
       kitten mouse
          /
       small

Caractéristiques de la syntaxe chinoise

Caractéristiques de l'ordre des mots

  • Ordre des mots de base : Sujet-Verbe-Objet (SVO)
  • Les modificateurs précèdent ce qu'ils modifient : structures en de
  • Exemple : cette belle fille en vêtements rouges

Structures spéciales

  • construction ba: ba + objet + verbe
    • Exemple : Ihold书Place桌子Top (J'ai mis le livre sur la table)
  • construction bei: sujet + par + agent + verbe
    • Exemple : 书ByIPlace桌子Top (Le livre a été mis sur la table par moi)
  • Phrases existentielles: expriment l'existence ou l'apparition
    • Exemple : 桌子Top放着onebook书 (Il y a un livre sur la table)

Degré de grammaticalisation

  • Le degré de grammaticalisation en chinois est relativement faible
  • L'ordre des mots et le contexte jouent un rôle important dans l'expression des relations grammaticales
  • Manque d'une riche flexion morphologique

Défis de l'analyse syntaxique

Problèmes d'ambiguïté

  • Ambiguïté structurelle: une phrase peut avoir plusieurs analyses syntaxiques
  • Exemple : "I看seealready拿着望far镜of人" (J'ai vu la personne tenant des jumelles)
    • Analyse 1 : J'ai vu la personne utilisant des jumelles
    • Analyse 2 : J'ai vu une personne qui tenait des jumelles

Dépendances à longue distance

  • Les relations de dépendance entre les constituants de la phrase peuvent s'étendre sur de grandes distances
  • Exemple : dans la question "什么书you昨天买already？" (Quel livre as-tu acheté hier ?), il existe une relation de dépendance entre "什么" (quoi) et "买" (acheter)

Phénomènes d'ellipse

  • Le chinois omet fréquemment les sujets ou d'autres constituants
  • Exemple : (Je) 昨天看already电Shadow，(电Shadow) 很OK看 — (J')ai regardé un film hier, et (le film) était très bien

Applications en NLP

Analyseurs syntaxiques

  • À base de règles: utilise des règles de grammaire écrites à la main
  • Méthodes statistiques: modèles probabilistes fondés sur des corpus annotés
  • Apprentissage profond: utilise des réseaux de neurones pour un apprentissage de bout en bout

Banques d'arbres syntaxiques

  • Penn Treebank (anglais)
  • Chinese Treebank (CTB)
  • Fournit des données d'entraînement et d'évaluation pour l'analyse syntaxique

Tâches d'application

  • Traduction automatique: compréhension de la structure syntaxique de la langue source
  • Extraction d'informations: extraction d'informations basée sur des motifs syntaxiques
  • Systèmes de questions-réponses: compréhension de la structure syntaxique des questions

Sémantique

La sémantique étudie le sens du langage et est au cœur de la compréhension du langage naturel.

Concepts de base

Sémantique lexicale

  • Sens des mots: le concept ou le sens exprimé par un mot
  • Polysémie: un mot a plusieurs sens liés
  • Synonymie: différents mots expriment le même sens ou des sens similaires
  • Antonymie: relations d'opposition entre les mots
  • Hyponymie: relations d'inclusion entre les concepts

Relations sémantiques

  • Synonymes：
    • Synonymes parfaits : relativement rares
    • <!-- Chemin de fichier : templates/post_detail.html, sous le titre -->
  • Antonymes：
    • Antonymes complémentaires : 死-活 (mort-vivant), Masculin-Féminin (mâle-femelle)
    • Antonymes gradables : 冷-热 (froid-chaud), 大-小 (grand-petit)
    • Antonymes relationnels : 老师-学生 (enseignant-élève), 买-卖 (acheter-vendre)
  • Hyperonymes et hyponymes：
    • Hyperonymes : animal, couleur
    • Hyponymes : chien (chien), chat (chat) (hyponymes d’animal)

Sémantique de la phrase

Proposition

  • Le contenu sémantique de base exprimé par une phrase
  • Exemple : la proposition exprimée par la phrase « small明InGraph书馆看书 » (Xiaoming lit un livre à la bibliothèque) :
    • Agent : Xiaoming
    • Action : lire
    • Patient : livre (livre)
    • Lieu : Bibliothèque

Rôles sémantiques

  • Agent: l’exécutant de l’action
  • Patient: le récepteur de l’action
  • Instrument: l'outil utilisé pour accomplir l'action
  • Lieu: le lieu où l'action se produit
  • Temps: le moment où l'action se produit
  • Manière: la manière de l'action

Structure argumentale

  • Les participants sémantiques requis par un verbe
  • Exemple : le verbe « donner » requiert trois arguments :
    • Donneur (Agent)
    • Receveur (Destinataire)
    • Chose donnée (Patient)

Représentation sémantique

Représentation logique

  • Utilise des formules logiques pour représenter le sens
  • Logique du premier ordre : ∃x (person(x) ∧ happy(x))
  • Exemple : la représentation logique de la phrase "Yes人Very High兴" (Quelqu'un est très heureux)

Sémantique des cadres

  • Comprendre la sémantique basée sur des cadres cognitifs
  • Projet FrameNet : construire des ressources sémantiques basées sur des cadres
  • Exemple : le cadre de la transaction commerciale inclut des éléments tels que l'acheteur, le vendeur, les biens et le prix

Graphes de concepts

  • Utiliser des structures de graphe pour représenter des concepts et des relations
  • Les nœuds représentent des concepts, les arêtes représentent des relations
  • Adapté pour représenter des réseaux sémantiques complexes

Ambiguïté sémantique

Ambiguïté lexicale

  • Polysémie : bank (institution financière / rive d'un cours d'eau)
  • Homophonie : they/they (tous deux tāmen ; they pour les personnes / they pour les animaux et les objets)

Ambiguïté structurelle

  • Ambiguïté de modificateur : "漂亮ofFemale孩of衣clothes" (les vêtements de la jolie fille / les vêtements d'une jolie fille)
  • Ambiguïté de portée : "All学生allNoand格" (Tous les étudiants n'ont pas réussi / Tous les étudiants n'ont pas tous réussi)

Ambiguïté pragmatique

  • Le contexte est nécessaire pour déterminer le sens
  • Exemple : référence pronominale, récupération d'éléments élidés

Applications en NLP

Ressources sémantiques lexicales

  • WordNet: réseau sémantique lexical anglais
  • HowNet: base de connaissances sémantiques lexicales chinoise
  • Tongyici Cilin (Synonym Forest): un système chinois de classification des synonymes

Tâches d'analyse sémantique

  • Désambiguïsation du sens des mots: Déterminer le sens d'un mot polysémique dans un contexte spécifique
  • Étiquetage des rôles sémantiques: Identifier les rôles sémantiques dans une phrase
  • Calcul de similarité sémantique: Calculer la similarité sémantique entre des mots ou des phrases

Domaines d'application

  • Systèmes de questions-réponses: Comprendre l'intention sémantique des questions
  • Traduction automatique: Maintenir la cohérence sémantique lors de la traduction
  • Recherche d'information: Appariement de pertinence basé sur la sémantique

Pragmatique

La pragmatique étudie l'utilisation du langage dans des situations de communication spécifiques, en se concentrant sur l'influence du contexte sur le sens.

Concepts de base

Contexte

  • Contexte linguistique: Informations contextuelles
  • Contexte situationnel: La situation spécifique de communication
  • Contexte culturel: Contexte socioculturel

Théorie des actes de langage

  • Acte locutoire: L'acte de langage lui-même
  • Acte illocutoire: Le but à atteindre en parlant
  • Acte perlocutoire: L'effet produit en parlant

Types d'actes illocutoires

  • Assertifs: Énoncer des faits, par ex. « Il pleut aujourd'hui »
  • Directifs: Demander une action, par ex. « Veuillez fermer la porte »
  • Commissifs: Promettre une action future, par ex. « Je viendrai demain »
  • Expressifs: Exprimer des attitudes, par ex. « Félicitations »
  • Déclarations: Changer le statu quo, par ex. « Je déclare la réunion ouverte »

Phénomènes pragmatiques

Déixis

  • Expressions linguistiques dont la référence ne peut être déterminée que par le contexte
  • Déixis personnelle: je, tu, il
  • Déixis temporelle: maintenant, hier, demain
  • Déixis spatiale: ici, là, au-dessus
  • Déixis discursive: comme mentionné ci-dessus, en résumé

Présupposition

  • Information que le locuteur suppose que l'auditeur sait déjà
  • Exemple : « La femme de Xiaoming est belle » présuppose que Xiaoming est marié

Implicature

  • Implicature conversationnelle: Sens implicite produit par la violation du principe de coopération
  • Exemple : A : « Savez-vous quelle heure il est ? » B : « Oui, je sais. »
    • La réponse de B viole la maxime de quantité, ce qui implique une réticence à révéler l'heure

Principe de coopération

  • Maxime de quantité: Fournir une quantité appropriée d'informations
  • Maxime de qualité: Dire la vérité
  • Maxime de relation: Dire des choses pertinentes
  • Maxime de manière: S'exprimer clairement

Caractéristiques pragmatiques du chinois

Stratégies de politesse

  • Le chinois accorde une grande importance au principe de politesse
  • Utilise des euphémismes et des termes honorifiques
  • Exemple : pleaseask (Puis-je demander), 麻烦you (Désolé de vous déranger), NoOK意思 (Excusez-moi)

Culture à contexte fort

  • S'appuie sur le contexte pour comprendre le sens
  • Le discours est implicite et n'est pas directement exprimé
  • Exemple : les refus en chinois sont souvent indirects

Théorie de la face

  • Face positive : le besoin d'approbation
  • Face négative : le besoin de ne pas être dérangé
  • Influence le choix des actes de langage

Applications en NLP

Systèmes de dialogue

  • Reconnaissance d'intention: Comprendre la véritable intention de l'utilisateur
  • Remplissage de créneaux: Extraire les informations clés du dialogue
  • Gestion du dialogue: Contrôler le flux de dialogue

Analyse de sentiment

  • Sentiment implicite: identifier les émotions exprimées indirectement
  • Détection de l'ironie: comprendre le véritable sens des remarques ironiques

Traduction automatique

  • Équivalence pragmatique: préserver la fonction pragmatique du texte source
  • Adaptation culturelle: prendre en compte les caractéristiques culturelles de la langue cible

Caractéristiques de la langue chinoise

Le chinois, en tant que représentant de la famille des langues sino-tibétaines, présente des caractéristiques linguistiques uniques qui apportent des défis et des opportunités particuliers au TALN chinois.

La nécessité de la segmentation en mots

Absence de séparation par espaces

  • Il n'y a pas de délimiteurs évidents entre les mots chinois
  • Exemple : 「Ilove北京天peace门」 doit être segmenté en 「I/love/北京/天peace门」 (Je / aime / Pékin / Tiananmen)
  • Contrairement à la segmentation naturelle des mots dans des langues comme l'anglais

Le concept de « mot » est complexe

  • Les frontières entre caractères, mots et phrases sont floues
  • Exemple : 「研究」 (recherche) peut être un mot, et 「研究生」 (étudiant diplômé) peut aussi être un mot
  • Le contexte affecte les résultats de la segmentation des mots

Ambiguïté de segmentation des mots

Ambiguïté combinatoire

  • La même séquence de caractères peut être segmentée de différentes manières
  • Exemple : 「结婚ofand尚未结婚of」 (les mariés et ceux qui ne sont pas encore mariés)
    • Segmentation incorrecte : 结婚of/and尚/未结婚of (marié / moine / non marié)
    • Segmentation correcte : 结婚of/and/尚未/结婚of (marié / et / pas encore / marié)

Ambiguïté d'intersection

  • Les schémas de segmentation adjacents se chevauchent
  • Pharmacie Changchun de la ville de Changchun / Boutique d'aphrodisiaques du maire de Changchun
    • Schéma 1 : long春市/long春/药店 (ville de Changchun / Changchun / pharmacie)
    • Schéma 2 : Changchun / maire / pharmacie du printemps

Ambiguïté réelle

  • Différents résultats de segmentation sont tous deux grammaticalement et sémantiquement raisonnables
  • Raquettes de ping-pong vendues / Vente aux enchères de ping-pong terminée
    • Schéma 1 : raquettes de tennis de table / vendues
    • Schéma 2 : tennis de table / vente aux enchères / est terminée

Méthodes de segmentation en mots

Méthodes basées sur un dictionnaire

  • Algorithmes d'appariement maximal (direct, inverse, bidirectionnel)
  • Avantages : simple et efficace
  • Inconvénients : impossible de gérer l’ambiguïté et les mots hors-vocabulaire

Méthodes statistiques

  • Modèles de langue n-grammes
  • Modèle de Markov caché (HMM)
  • Champs aléatoires conditionnels (CRF)

Méthodes basées sur l’apprentissage profond

  • LSTM bidirectionnel + CRF
  • Modèles pré-entraînés tels que BERT
  • Réseaux de neurones au niveau des caractères

Caractères chinois, vocabulaire et structures grammaticales

Caractéristiques des caractères chinois

Structure en bloc carré

  • Les caractères chinois ont une apparence visuelle carrée
  • Chaque caractère occupe un espace de largeur égale
  • L'unité de la forme, du son et du sens du caractère

Caractéristiques pictographiques et idéographiques

  • Pictogrammes: jour (soleil), mois (lune), 山 (montagne), 水 (eau)
  • Idéogrammes simples: haut, bas, racine, pointe
  • Idéogrammes composés: clair (明), repos (休), confiance (信)
  • Composés phonético-sémantiques: représentent plus de 80% des caractères chinois, par ex. 江 (氵 + 工, rivière)

Phénomènes polyphoniques et polysémiques

  • Un caractère avec plusieurs prononciations : ligne (xíng/háng), long (cháng/zhǎng)
  • Un caractère avec plusieurs sens : 「打」 a plusieurs sens tels que frapper, acheter, faire, etc.

Caractéristiques du vocabulaire

Riches méthodes de formation des mots

  • Mots simples: Ne peuvent pas être divisés ; p. ex., 桌子 (table), 葡萄 (raisin)
  • Mots composés: Composés de deux morphèmes ou plus
    • Quasi-synonymes : heureux-content (heureux), grand-immense (grand-immense)
    • Affixation : No.one (premier), 老师 (professeur)

Grande transparence sémantique du vocabulaire

  • Le sens du mot peut être déduit des caractères constitutifs
  • Exemple : 「洗衣machine」 = 洗 (laver) + 衣 (vêtements) + machine (machine)
  • Aide à comprendre les nouveaux mots et termes

Conversion flexible des classes de mots

  • Le même mot peut fonctionner comme différentes parties du discours
  • Exemple : « water »
    • Nom : drink water (boire de l'eau)
    • Verbe : arroser les champs (irriguer les champs)
    • Adjectif : Horizontal很水 (qualité très médiocre/inférieure, familier)

Caractéristiques de la structure grammaticale

Ordre des mots relativement fixe

  • Ordre des mots de base : Sujet-Verbe-Objet (SVO)
  • Les épithètes précèdent le mot-tête : Redof花 (fleurs rouges)
  • Les adverbials précèdent le prédicat : SlowSlowground走 (marcher lentement)

Moyens grammaticaux divers

  • Ordre des mots: Changer l’ordre des mots exprime différents sens
  • Mots fonctionnelsde (de - particule possessive/attributive), sol (de - particule adverbiale), 得 (de - particule de complément), déjà (le - particule aspectuelle indiquant l’achèvement), 着 (zhe - particule aspectuelle indiquant un état en cours), passer (guò - particule aspectuelle indiquant l’expérience passée), etc.
  • Redoublement: 看看 (jeter un coup d’œil), 走走 (faire une promenade), redredof (très rouge)

Faible degré de grammaticalisation

  • Manque d'une riche flexion morphologique
  • Les verbes n’ont pas de changements morphologiques pour le temps ou la voix
  • Les noms ne comportent ni flexion de cas ni accord en nombre

Défis spécifiques du NLP chinois

Défis du prétraitement de texte

Difficulté de la segmentation des mots

  • La résolution d'ambiguïté nécessite une compréhension sémantique
  • Difficulté de reconnaissance de nouveaux mots
  • Reconnaissance du vocabulaire spécialisé d'un domaine

Conversion chinois simplifié-traditionnel

  • Un caractère simplifié correspondant à plusieurs caractères traditionnels : après (後/après)
  • Un caractère traditionnel correspondant à plusieurs caractères simplifiés : 髮 (émettre/髪)
  • Différences de vocabulaire régional : 计算机/电脑 (ordinateur)

Problèmes d'encodage

  • Plusieurs schémas d'encodage : GB2312, GBK, UTF-8
  • La conversion d'encodage peut entraîner une perte d'informations

Traitement de la variété linguistique

Différences dialectales

  • Différences régionales de prononciation, de vocabulaire et de grammaire
  • Exemple : « times儿 » dans le dialecte de Pékin, « 阿拉 » dans le dialecte de Shanghai
  • Affecte la reconnaissance vocale et la compréhension du texte

Différences de registre/style

  • Chinois classique vs chinois moderne
  • Registre formel vs langage familier
  • Argot Internet et termes à la mode

Usages de Hong Kong, Macao et Taïwan

  • Habitudes d'emploi des mots différentes : of士/出租车 (taxi), 巴士/公交车 (bus)
  • Différences de structure grammaticale : Yes冇 (oui/non, « avoir ou non »)
  • Traitement des mots d'emprunt : translittération vs traduction libre

Défis de compréhension sémantique

Forte dépendance au contexte

  • Référence pronominale complexe
  • Phénomènes d'ellipse fréquents
  • Nécessite plus d'informations contextuelles

Riches connotations culturelles

  • Compréhension des expressions idiomatiques et des allusions
  • Concepts propres à une culture : Face子 (face), Relation (guanxi/relations)
  • Connaissances du contexte culturel traditionnel

Utilisation flexible de la langue

  • Variations de l'ordre des mots : constructions avec take, constructions avec bei
  • Méthodes d'expression diverses : euphémique, implicite
  • Caractéristiques culturelles des principes pragmatiques

Structure hiérarchique du texte

En tant que support du langage, le texte possède des caractéristiques structurelles à plusieurs niveaux. Comprendre ces structures hiérarchiques est crucial pour la conception de systèmes NLP efficaces.

Niveau du caractère

Unités de base

Définition du caractère

  • La plus petite unité visuelle du texte
  • Comprend les lettres, les caractères chinois, les chiffres, les signes de ponctuation, etc.
  • Unité de base du système d'encodage Unicode

Types de caractères

  • Caractères alphabétiques：A-Z, a-z
  • Caractères numériques：0-9
  • Caractères chinois: plage Unicode 4E00-9FFF
  • Signes de ponctuation：。，！？；：""''
  • Caractères spéciaux: @#$%^&* etc.

Traitement au niveau des caractères

Traitement de l'encodage

  • Encodage ASCII: Adapté à l'anglais
  • Encodage Unicode: Prend en charge plusieurs langues
  • Encodage UTF-8: Encodage à longueur variable, largement utilisé

Modèles de séquence de caractères

  • RNN au niveau des caractères: Traite directement les séquences de caractères
  • Réseaux de neurones convolutionnels: Extraction de caractéristiques au niveau des caractères
  • Transformer: Le mécanisme d'auto-attention traite les caractères

Scénarios d'application

  • Vérification orthographique: Détecte les erreurs au niveau des caractères
  • Génération de texte: Modèles de langage au niveau des caractères
  • Langues peu dotées: Approche alternative lorsque les ressources lexicales font défaut

Niveau du mot

Définition du mot

Concept de mot

  • Une unité linguistique ayant un sens complet
  • Unité de base de l'analyse syntaxique
  • Relativement indépendant en termes de prononciation

Catégories lexicales

  • Mots lexicaux: noms, verbes, adjectifs, adverbes
  • Mots grammaticaux: prépositions, conjonctions, particules, interjections
  • Mots grammaticaux: mots fonctionnels très fréquents tels que the, a, is, have
  • Mots lexicaux: mots qui portent le sens principal

Représentation des mots

Encodage one-hot

  • Chaque mot est représenté par un vecteur
  • La longueur du vecteur est égale à la taille du vocabulaire
  • Seule la position correspondante est 1, toutes les autres sont 0
  • Inconvénients : dimensionnalité élevée, impossible de représenter la similarité sémantique

Plongements de mots

  • Word2Vec: vecteurs de mots basés sur un réseau de neurones
    • CBOW : Prédit le mot central en fonction du contexte
    • Skip-gram : Prédit le contexte en fonction du mot central
  • GloVe: Basé sur des informations statistiques du vocabulaire global
  • FastText: Vecteurs de mots qui prennent en compte les informations au niveau des caractères

Plongements de mots contextuels

  • ELMo: Représentations sensibles au contexte générées par un LSTM bidirectionnel
  • BERT: Encodeur bidirectionnel basé sur Transformer
  • Le même mot a des représentations différentes dans des contextes différents

Relations lexicales

Relations sémantiques

  • Synonymie: heureux-content (heureux-content)
  • Antonymie: grand-petit (grand-petit)
  • Hyponymie: animal-chien (animal-chien)

Relations morphologiques

  • Relations de racine：run-running-ran
  • Relations dérivationnelles：happy-happiness
  • Relations de composition：black + board → blackboard

Relations distributionnelles

  • Les mots ayant des distributions contextuelles similaires tendent à être liés sémantiquement
  • Exemple : "医生" (médecin) et "护士" (infirmière) apparaissent souvent dans des contextes similaires
  • C'est l'hypothèse fondamentale de l'apprentissage des vecteurs de mots

Traitement au niveau des mots

Normalisation des mots

  • Gestion de la casse: Uniformisation du texte en minuscules ou en majuscules
  • Lemmatisation: Réduction des mots à leur forme dictionnairique (lemme)
  • Racinisation: Suppression des affixes pour obtenir la racine

Filtrage des mots vides

  • Suppression des mots très fréquents et peu informatifs
  • Mots vides chinois : de, le, shi, zai, he, etc.
  • Mots vides anglais : the, a, an, is, are, etc.

Traitement des mots de faible fréquence

  • Remplacement par un jeton unifié (par ex., <UNK>)
  • Amélioration de la capacité de généralisation du modèle
  • Réduction de la taille du vocabulaire

Scénarios d'application

  • Recherche d'information: Construction d'index inversés
  • Classification de texte: Extraction et représentation des caractéristiques
  • Traduction automatique: Alignement et substitution de mots

Niveau du syntagme

Définition du syntagme

Concepts de base

  • Une unité grammaticale composée de plusieurs mots
  • Possède une structure interne et une fonction externe
  • Organisé autour d'un mot-tête

Types de syntagmes

  • Syntagme nominal (SN): Centré sur un nom
    • Exemple : un livre intéressant
  • Syntagme verbal (SV): Centré sur un verbe
    • Exemple : lire attentivement (lire attentivement)
  • Syntagme prépositionnel (SP): Centré sur une préposition
    • Exemple : sur la table (sur la table)
  • Syntagme adjectival (SA): Centré sur un adjectif
    • Exemple : très beau (très beau)

Reconnaissance de syntagmes

Méthodes à base de règles

  • Utilisation de modèles de règles grammaticales
  • Exemple : NP → (Det) (Adj) N
  • Repose sur des règles grammaticales écrites manuellement

Méthodes statistiques

  • Utilisation de modèles n-grammes pour identifier des expressions courantes
  • Basé sur des statistiques telles que l'information mutuelle, le test du khi-deux
  • Exemple : "纽约whenreport" (New York Times) comme expression figée

Méthodes basées sur l’apprentissage profond

  • Modèles d'étiquetage de séquences (par ex., BiLSTM-CRF)
  • Détection de syntagmes de bout en bout
  • Modèles de langue pré-entraînés (par ex., BERT)

Représentation de phrase

Combinaison de vecteurs de mots

  • Moyenne simple: Prendre la moyenne des vecteurs de mots constitutifs
  • Moyenne pondérée: Attribuer des poids en fonction de l'importance des mots
  • Réseau de neurones récurrent: Combinaison qui tient compte de l'ordre des mots

Plongement de phrase

  • Apprendre directement des représentations vectorielles au niveau de la phrase
  • Modèle Skip-phrase : Similaire à Skip-gram
  • Tâche d'analogie de phrase : Chine:Pékin::France:Paris

Scénarios d'application

  • Extraction d'informations: Identifier les phrases clés
  • Compréhension des requêtes: Traiter les requêtes des moteurs de recherche
  • Analyse de sentiments: Identifier les phrases cibles d'opinion

Niveau de la phrase

Définition de la phrase

Concepts de base

  • Une phrase exprime un sens complet
  • A une indépendance grammaticale
  • Contient la structure de base du sujet et du prédicat

Types de phrases

  • Phrases déclaratives: Expriment des faits ou des opinions
  • Phrases interrogatives: Posent des questions
  • Phrases impératives: Expriment des demandes ou des ordres
  • Phrases exclamatives: Expriment des émotions fortes

Représentation de la phrase

Combinaison de vecteurs de mots

  • Sac de mots (BoW): Somme simple ignorant l’ordre des mots
  • Pondération TF-IDF: Prendre en compte l'importance des mots
  • Modèles de séquence: RNN/LSTM prennent en compte l'information d'ordre des mots

Plongement de phrase

  • Skip-Thought: Prédire les phrases de contexte
  • InferSent: Représentation basée sur des tâches supervisées
  • Sentence-BERT: Représentation de phrase basée sur BERT

Représentation de structure syntaxique

  • Arbre de dépendances: Représenter les relations de dépendance entre les mots
  • Arbre de constituants: Représenter les relations de structure de phrase
  • Représentation sous forme de graphe: Combiner plusieurs relations

Traitement au niveau de la phrase

Segmentation de phrases

  • Segmenter un texte continu en phrases
  • Difficulté du chinois : la multifonctionnalité du point
  • Méthodes : à base de règles, apprentissage automatique

Compression de phrases

  • Simplification qui préserve l'information essentielle
  • Supprimer les composants redondants
  • Appliqué au résumé automatique

Réécriture de phrases

  • Transformation de phrases qui préserve la sémantique
  • Conversion actif-passif
  • Appliqué à l'augmentation de données

Scénarios d'application

  • Traduction automatique: alignement et génération au niveau des phrases
  • Résumé automatique de texte: Extraction de phrases clés
  • Systèmes de questions-réponses: Compréhension des questions et génération de réponses

Niveau du discours

Structure du discours

Concepts de base

  • Un tout cohérent composé de plusieurs phrases
  • Présente une cohérence thématique et une cohérence logique
  • Inclut des structures telles que l'introduction, le développement et la conclusion

Procédés de cohésion

  • Référence: Pronoms, démonstratifs
  • Connecteurs: parce que, donc, mais
  • Cohésion lexicale: Répétition, synonymie, hyperonymie/hyponymie
  • Ellipse: Ellipse anaphorique ou cataphorique

Relations discursives

  • Relation causale: parce que... donc...
  • Relation contrastive: bien que... mais...
  • Relation de coordination: d'une part... d'autre part...
  • Relation temporelle: d'abord... ensuite... enfin...

Analyse du discours

Résolution de coréférence

  • Déterminer le référent d'un pronom ou d'un groupe nominal
  • Exemple : Dans « Xiao Ming était en retard. Il était désolé. » « Il » fait référence à « Xiao Ming »
  • Méthodes : à base de règles, apprentissage automatique, apprentissage profond

Modélisation thématique

  • LDA: Allocation de Dirichlet latente (LDA)
  • Découvrir les distributions latentes de sujets dans le texte
  • Appliqué au regroupement et à la classification de textes

Analyse de trajectoire de sentiment

  • Suivre les changements de sentiment dans le discours
  • Identifier les points de retournement du sentiment
  • Appliqué à l'analyse d'avis et aux études littéraires

Représentation du discours

Vecteur global

  • Faire la moyenne de tous les vecteurs de phrases
  • Moyenne pondérée (par exemple, poids TF-IDF)
  • Combinaison hiérarchique

Représentation par graphe

  • Les nœuds représentent des phrases ou des concepts
  • Les arêtes représentent des relations
  • Appliqué au résumé automatique

Réseaux de mémoire

  • Stocker et récupérer des informations discursives
  • Gérer les dépendances à longue distance
  • Appliqué aux systèmes de réponse aux questions

Scénarios d'application

  • Résumé automatique: Extraire le contenu essentiel
  • Systèmes de réponse aux questions: Raisonnement multi-phrases
  • Génération de texte: Maintenir la cohérence du discours

Modèles de langue et grammaires probabilistes

Bases des modèles de langue

Concepts de base

Définition du modèle de langue

  • Un modèle qui calcule la probabilité de séquences de mots
  • Évaluer la fluidité et la plausibilité des phrases
  • Description formelle : P(w₁,w₂,…,wₙ)

Domaines d'application

  • Reconnaissance vocale : sélectionner la séquence de mots la plus probable
  • Traduction automatique : évaluer les candidats de traduction
  • Génération de texte : prédire le mot suivant

Modèles N-gram

Hypothèse de Markov

  • Le mot courant ne dépend que des n-1 mots précédents
  • Calcul de probabilité simplifié : P(wᵢ|w₁,…,wᵢ₋₁) ≈ P(wᵢ|wᵢ₋ₙ₊₁,…,wᵢ₋₁)

Entraînement du modèle

  • Estimation du maximum de vraisemblance
  • Comptage et normalisation
  • Techniques de lissage (add-one, Good-Turing, etc.)

Limites

  • Problème de rareté des données
  • Les dépendances à longue distance sont difficiles à capturer
  • Informations contextuelles limitées

Modèles de langage à réseaux de neurones

Modèles de réseaux de neurones feedforward

Structure de base

  • Couche d'entrée : représentations one-hot des n-1 mots précédents
  • Couche d'embedding : apprendre les vecteurs de mots
  • Couche cachée : transformation non linéaire
  • Couche de sortie : prédire la distribution de probabilité du mot suivant

Avantages

  • Les représentations distribuées atténuent la rareté des données
  • Apprendre automatiquement les combinaisons de caractéristiques
  • Meilleure capacité de généralisation

Modèles de réseaux de neurones récurrents

Structure RNN

  • Traiter de manière récurrente des séquences de longueur variable
  • Les états cachés transmettent l'information historique
  • Appliqué à la modélisation du langage

LSTM/GRU

  • Résolution du problème de disparition du gradient
  • Modélisation des dépendances à longue distance
  • Processus d'entraînement plus stable

Modèles Transformer

Mécanisme d'auto-attention

  • Modélisation du contexte global
  • Avantage du calcul parallèle
  • L'encodage positionnel gère l'ordre des mots

Modèles de langage pré-entraînés

  • BERT : représentation contextuelle bidirectionnelle
  • GPT : modèle génératif autorégressif
  • Forte capacité d'apprentissage par transfert

Modèles de grammaires probabilistes

Grammaire hors contexte probabiliste (PCFG)

Concepts de base

  • Attribuer des probabilités aux règles CFG
  • P(X → γ) représente la probabilité d'appliquer une règle
  • La probabilité d'une phrase est le produit des probabilités le long du chemin de dérivation

Estimation des paramètres

  • Compter les applications de règles à partir de corpus arborés
  • Estimation du maximum de vraisemblance
  • Lissage pour les règles éparses

Applications

  • Analyse syntaxique
  • Évaluation de la probabilité de phrase
  • Résolution des ambiguïtés

Modèles de grammaire de dépendance

Grammaire de dépendance probabiliste

  • Attribuer des probabilités aux relations de dépendance
  • Basé sur des statistiques de cooccurrence lexicale
  • Tenir compte de la distance et des contraintes syntaxiques

Algorithmes d'analyse syntaxique

  • Algorithmes basés sur les graphes (algorithme d'Eisner)
  • Algorithmes basés sur les transitions
  • Analyseurs à réseaux de neurones

Ressources linguistiques et annotation

Ressources de corpus

Corpus généraux

Corpus anglais

  • Brown Corpus
  • British National Corpus (BNC)
  • Corpus of Contemporary American English (COCA)

Corpus chinois

  • Corpus de chinois moderne de l'Université de Pékin
  • Corpus chinois moderne équilibré de la Commission nationale des langues
  • Corpus Wikipédia chinois

Corpus annoté

Corpus étiqueté en parties du discours

  • Penn Treebank
  • Chinese Treebank (CTB)

Treebank syntaxique

  • Penn Treebank
  • Treebank de dépendances chinois

Corpus annoté sémantiquement

  • PropBank (rôles sémantiques)
  • FrameNet (sémantique des cadres)
  • SemEval (relations sémantiques)

Ressources sémantiques lexicales

Ressources en anglais

WordNet

  • Ensemble de synonymes (synset)
  • Réseau de relations lexicales
  • Largement utilisé dans la recherche en TAL

FrameNet

  • Basé sur la sémantique des cadres
  • Annotation des rôles sémantiques
  • Ressources riches en phrases d'exemple

Ressources en chinois

HowNet

  • Dictionnaire conceptuel chinois-anglais
  • Système d'analyse des sémèmes
  • Réseau de relations sémantiques

Tongyici Cilin (dictionnaire des synonymes chinois)

  • Classification des synonymes chinois
  • Structure organisationnelle hiérarchique
  • Ressources d'extension du vocabulaire

Jeux de données d'évaluation

Jeux de données de tâches standard

Segmentation en mots et étiquetage morphosyntaxique

  • Corpus annoté PKU
  • Corpus annoté MSRA

Analyse syntaxique

  • Chinese Treebank
  • CTB 5.1/6.0/7.0

Analyse sémantique

  • PropBank chinois
  • Données d'évaluation NLPCC

Jeux de données de tâches applicatives

Classification de texte

  • THUCNews
  • Corpus Fudan

Analyse de sentiment

  • ChnSentiCorp
  • Corpus de sentiments Weibo

Systèmes de questions-réponses

  • Jeu de données NLPCC QA
  • WebQA

Recherche interdisciplinaire en linguistique et TAL

Linguistique computationnelle

Domaines de recherche

Technologies de la parole

  • Reconnaissance de la parole
  • Synthèse de la parole
  • Conversion de voix

Analyse grammaticale

  • Analyse syntaxique automatique
  • Induction grammaticale
  • Construction de banque d'arbres

Informatique sémantique

  • Désambiguïsation lexicale
  • Étiquetage des rôles sémantiques
  • Similarité sémantique

Linguistique cognitive et TAL

Modélisation de l'acquisition du langage

Acquisition du langage chez l'enfant

  • Modèles de croissance du vocabulaire
  • Simulation du développement de la grammaire
  • TAL d'inspiration cognitive

Modèles neurocognitifs

  • Simulation du traitement cérébral du langage
  • Systèmes neuro-symboliques
  • Apprentissage multimodal

Modélisation de l'évolution des langues

Simulation computationnelle

  • Formation du lexique
  • Émergence de la grammaire
  • Transmission culturelle

Systèmes multi-agents

  • Évolution des systèmes de communication
  • Problème de l'ancrage symbolique
  • Modèles de jeux de langage

Sociolinguistique et NLP

Traitement de la variation linguistique

Reconnaissance des dialectes

  • Analyse des traits phonétiques
  • Modélisation des différences lexicales
  • Traduction automatique dialectale

Caractéristiques sociolinguistiques

  • Reconnaissance de l'âge et du genre
  • Prédiction du niveau d'éducation
  • Analyse des dialectes régionaux

Soutien aux politiques linguistiques

Construction de ressources linguistiques

  • Langues minoritaires
  • Préservation des langues menacées
  • Développement de technologies multilingues

Technologie d'enseignement des langues

  • Apprentissage assisté par ordinateur
  • Notation automatisée de dissertations
  • Systèmes d'enseignement personnalisés
Autres extensions