Fundamentos de la lingüística

El procesamiento del lenguaje natural (NLP), como rama importante de la inteligencia artificial, tiene como núcleo hacer que las computadoras comprendan, interpreten y generen el lenguaje humano. Para dominar el NLP, primero es necesario comprender los principios básicos que sustentan el funcionamiento del lenguaje humano: estos son los fundamentos de la lingüística.

Los fundamentos de la lingüística proporcionan al NLP el marco teórico y las herramientas de análisis; incluyen principalmente los siguientes aspectos clave:

  1. Fonética (Phonetics): estudia el sistema de sonidos del lenguaje
  2. Fonología (Phonology): estudia cómo los sonidos se combinan para formar unidades lingüísticas con significado
  3. Morfología (Morphology): estudia la estructura interna de las palabras
  4. Sintaxis (Syntax): estudia la estructura de las oraciones
  5. Semántica (Semantics): estudia el significado del lenguaje
  6. Pragmática (Pragmatics): estudia el uso del lenguaje en contexto

Fonética y Fonología (Phonetics & Phonology)

Fonética (Phonetics)

La fonética estudia las propiedades físicas y los mecanismos de producción de los sonidos del habla, y se centra en sus características acústicas y fisiológicas.

Órganos articulatorios y modos de articulación

  • Órganos articulatorios：
    • Pulmones: proporcionan el flujo de aire
    • Laringe: las cuerdas vocales vibran para producir sonidos sonoros
    • Cavidad oral: la lengua, los dientes y los labios modulan el flujo de aire
    • Cavidad nasal: produce sonidos nasales

Clasificación de las consonantes
Se clasifican según el modo y el punto de articulación:

  • Modo de articulación：

    • Oclusivas: /p/, /b/, /t/, /d/, /k/, /g/
    • Fricativas: /f/, /v/, /s/, /z/
    • Africadas: /ts/, /tʃ/
    • Nasales: /m/, /n/, /ŋ/
    • Laterales: /l/
    • Vibrantes: /r/

  • Punto de articulación：

    • Bilabiales: /p/, /b/, /m/
    • Labiodentales: /f/, /v/
    • Alveolares: /t/, /d/, /n/
    • Velares: /k/, /g/, /ŋ/

Clasificación de las vocales
Se clasifican según la posición de la lengua y la forma de los labios:

  • Altura de la lengua: vocales altas /i/, /u/, vocales medias /e/, /o/, vocal baja /a/
  • Posición anterior o posterior de la lengua: vocales anteriores /i/, /e/, vocal central /a/, vocales posteriores /u/, /o/
  • Forma de los labios: vocales redondeadas /u/, /o/, vocales no redondeadas /i/, /e/, /a/

Características fonéticas del chino

  • Lengua tonal: los tonos tienen la función de distinguir significados
    • Los cuatro tonos básicos del mandarín: yinping (tono alto y nivelado), yangping (tono ascendente), shangsheng (tono descendente-ascendente), qusheng (tono descendente)
    • Ejemplo: madre(mā) cáñamo(má) caballo(mǎ) regañar(mà)
  • Estructura silábica: estructura de inicial + final
    • Iniciales: 21 iniciales básicas
    • Finales: 39 finales básicas

Fonología (Phonology)

La fonología estudia la estructura y las leyes del sistema de sonidos, y se centra en la función de los sonidos en una lengua específica.

Fonema (Phoneme)

  • Es la unidad sonora mínima con función distintiva de significado.
  • Ejemplo: en inglés, /p/ y /b/ son fonemas diferentes (pit vs bit)
  • En chino, los tonos son componentes del fonema.

Alófono (Allophone)

  • Realización fonética de un mismo fonema en diferentes entornos.
  • Ejemplo: en inglés, el grado de aspiración de /p/ varía según su posición.

Reglas fonológicas

  • Describen las reglas de cambio de los sonidos en entornos específicos.
  • Ejemplo: la regla de cambio tonal del carácter '一' en chino.
  • Cambios fonéticos en las formas plurales del inglés: cats /s/, dogs /z/, horses /ɪz/

Aplicaciones en NLP

  • Reconocimiento de voz: convertir señales de audio en texto
  • Síntesis de voz: convertir texto en voz
  • Conversión de sonidos a caracteres: conversión de pinyin a caracteres chinos
  • Análisis prosódico: análisis computacional de la prosodia poética

Morfología (Morphology)

La morfología estudia la estructura interna de las palabras y las reglas de formación de palabras; es la base del análisis a nivel léxico.

Conceptos básicos

Morfema (Morpheme)

  • La unidad gramatical más pequeña con significado en una lengua.
  • Morfema libre: morfema que puede usarse de forma independiente, como '书' y 'run'.
  • Morfema ligado: debe unirse a otros morfemas, como prefijos y sufijos.

Raíz, afijo y tema

  • Raíz (Root): portadora del significado central de la palabra.
    • Ejemplo: en 'unhappiness', 'happy' es la raíz.
  • Afijo (Affix)：
    • Prefijo (Prefix): un-, re-, pre-
    • Sufijo (Suffix): -ness, -tion, -ly
    • Infijo (Infix): poco común, como en tagalo.
  • Tema (Stem): la forma que queda tras eliminar los afijos flexivos.

Formación de palabras

Derivación (Derivation)

  • Cambia la categoría gramatical o el significado de la palabra mediante la adición de afijos derivativos.
  • Ejemplo:
    • happy → unhappy (adición de prefijo negativo)
    • happy → happiness (sufijo de nominalización)
    • teach → teacher (sufijo de agente)

Composición (Compounding)

  • Combina dos o más raíces para formar una palabra nueva.
  • Ejemplos en inglés:
    • blackboard（black + board）
    • laptop（lap + top）
  • Ejemplos en chino:
    • Ordenador (electricidad + cerebro): ordenador (electricidad + cerebro)
    • Teléfono móvil (mano + máquina): teléfono móvil (mano + dispositivo)

Flexión (Inflection)

  • Cambia la forma gramatical de la palabra sin alterar su significado básico.
  • Conjugación verbal en inglés: walk, walks, walked, walking
  • Plural de sustantivos: book → books, child → children
  • El chino tiene relativamente poca flexión morfológica

Características morfológicas del chino

El concepto de palabra

  • Los límites de las palabras en chino son relativamente difusos
  • Los límites entre carácter, palabra y frase no son tan claros como en inglés
  • Ejemplo: "研究生" puede ser una palabra, o puede analizarse como "研究"+"生"

Procedimientos de formación de palabras

  • Predomina la composición：

    • Tipo modificador-núcleo: tren (fuego+vehículo, 'tren')
    • Tipo verbo-objeto: 司机 (司+机, 'conductor')
    • Tipo sujeto-predicado: terremoto (tierra+震, 'terremoto')
    • Tipo coordinado: amigo (朋+友, 'amigo')

  • Formación de palabras por reduplicación：

    • Reduplicación verbal: 看看 ('mirar'), 走走 ('caminar')
    • Reduplicación adjetival: 红红的 ('rojo'), 慢慢地 ('lentamente')
    • Reduplicación nominal: 人人 ('todos'), 事事 ('todo')

Flexibilización de categorías gramaticales (conversión)

  • Un mismo carácter o palabra puede desempeñar diferentes categorías gramaticales
  • Ejemplo: "agua" puede ser sustantivo (beber agua) o verbo (regar el arrozal)

Aplicaciones en NLP

Derivación de raíces (Stemming)

  • Reducir las palabras a su forma de raíz
  • Algoritmo de Porter: reduce "running", "runs" y "ran" a "run"

Lematización (Lemmatization)

  • Reducir las palabras a su forma de diccionario (lema)
  • Considera la información de la categoría gramatical; es más preciso

Segmentación de palabras en chino

  • Dado que en chino no hay espacios entre palabras, es necesario realizar una segmentación
  • Métodos basados en diccionarios, estadística o redes neuronales

Etiquetado de categorías gramaticales

  • Determinar la categoría gramatical de cada palabra
  • Proporciona información básica para el análisis sintáctico

Sintaxis (Syntax)

La sintaxis estudia la estructura y las reglas de organización de las oraciones; es el núcleo para comprender la gramática de una lengua.

Conceptos básicos

Estructura sintagmática

  • Sintagma nominal (NP): sintagma cuyo núcleo es un sustantivo
    • Ejemplo: ese libro interesante ('ese libro interesante')
  • Sintagma verbal (VP): sintagma cuyo núcleo es un verbo
    • Ejemplo: correr rápidamente
  • Sintagma preposicional (PP): sintagma cuyo núcleo es una preposición
    • Ejemplo: sobre la mesa ('sobre la mesa')
  • Sintagma adjetival (AP): sintagma cuyo núcleo es un adjetivo
    • Ejemplo: muy hermosa ('muy hermoso')

Constituyentes de la oración

  • Sujeto (Subject): quien realiza la acción
  • Predicado (Predicate): describe la acción o el estado del sujeto
  • Objeto (Object): quien recibe la acción
  • Modificador (Attributive): elemento que modifica al sustantivo
  • Complemento circunstancial (Adverbial): elemento que modifica al verbo o al adjetivo
  • Complemento (Complement): elemento que añade información complementaria

Métodos de análisis sintáctico

Gramática de estructura de frases (Phrase Structure Grammar)

  • Describe la estructura de la oración mediante reglas de reescritura
  • Ejemplo:
    S → NP VP
NP → Det N
VP → V NP
Det → the, a, an
N → cat, dog, book
V → chase, read

Gramática de dependencias (Dependency Grammar)

  • Se centra en las relaciones de dependencia entre las palabras
  • Cada palabra depende de una palabra núcleo (excepto el nodo raíz)
  • Ejemplo: en "el gatito persigue al ratón":
    • "追" es el nodo raíz
    • "小猫" depende de "追" (relación sujeto-predicado)
    • "老鼠" depende de "追" (relación verbo-objeto)
    • "小" depende de "猫" (relación modificador-núcleo)

Representación en árbol

Persigue
       /  \
  Gato pequeño  Ratón
     /
 Pequeño

Características sintácticas del chino

Características del orden de palabras

  • Orden básico: sujeto-verbo-objeto (SVO)
  • El modificador precede al elemento modificado: la construcción con 的
  • Ejemplo: aquella hermosa chica vestida de rojo ('aquella hermosa chica vestida de rojo')

Estructuras especiales

  • Oración con 把: 把 + objeto + verbo
    • Ejemplo: puse el libro sobre la mesa
  • Oración con 被: sujeto + por + agente + verbo
    • Ejemplo: 书Edredónyo放En桌子arriba ('el libro fue puesto sobre la mesa por mí')
  • Oración existencial/presentativa: expresa existencia o aparición
    • Ejemplo: 桌子上放着一本书 ('hay un libro sobre la mesa')

Grado de gramaticalización

  • El chino tiene un grado de gramaticalización relativamente bajo
  • El orden de palabras y el contexto desempeñan un papel importante en la expresión de las relaciones gramaticales
  • Carece de una morfología flexiva rica

Desafíos del análisis sintáctico

El problema de la ambigüedad

  • Ambigüedad estructural: una oración puede tener múltiples análisis sintácticos
  • Ejemplo: "yo看véaseya拿着望lejos镜de人" ('vi a la persona que llevaba unos prismáticos')
    • Análisis 1: vi a la persona usando unos prismáticos
    • Análisis 2: vi a una persona que sostenía unos prismáticos

Dependencias de larga distancia

  • Las relaciones de dependencia entre los constituyentes de la oración pueden abarcar distancias muy grandes
  • Ejemplo: en la pregunta "¿qué libro compraste ayer?", existe una relación de dependencia entre "qué" y "comprar"

Fenómenos de elisión

  • En chino se omiten con frecuencia el sujeto u otros constituyentes
  • Ejemplo: (yo) ayer vi una película, (la película) era muy buena.

Aplicaciones en NLP

Analizador sintáctico (parser)

  • Basado en reglas: utiliza reglas gramaticales escritas a mano
  • Métodos estadísticos: modelos probabilísticos basados en corpus anotados
  • Aprendizaje profundo: aprendizaje de extremo a extremo mediante redes neuronales

Banco de árboles sintácticos (treebank)

  • Penn Treebank (inglés)
  • Chinese Treebank (CTB)
  • Proporcionan datos de entrenamiento y evaluación para el análisis sintáctico

Tareas de aplicación

  • Traducción automática: comprender la estructura sintáctica de la lengua de origen
  • Extracción de información: extraer información basada en patrones sintácticos
  • Sistemas de preguntas y respuestas: comprender la estructura sintáctica de las preguntas

Semántica (Semantics)

La semántica estudia el significado del lenguaje; es el núcleo de la comprensión del lenguaje natural.

Conceptos básicos

Semántica léxica

  • Significado de la palabra: el concepto o significado que expresa una palabra
  • Polisemia: una palabra tiene varios significados relacionados
  • Sinonimia: distintas palabras expresan significados iguales o similares
  • Antonimia: relación de oposición entre palabras
  • Relación de hiperonimia-hiponimia: relación de inclusión entre conceptos

Relaciones semánticas

  • Sinónimos (Synonyms)：
    • Sinonimia total: poco frecuente
    • Cuasisinónimos: 'alegre-contento', 'grande-enorme'
  • Antónimos (Antonyms)：
    • Antónimos complementarios: muerto-vivo ('muerto-vivo'), hombre-mujer ('hombre-mujer')
    • Antónimos graduables: 冷-热 ('frío-caliente'), 大-小 ('grande-pequeño')
    • Antónimos relacionales: profesor-estudiante, comprar-vender
  • Hiperónimos e hipónimos：
    • Hiperónimos: 动物 ('animal'), 颜色 ('color')
    • Hipónimos: perro ('perro'), gato ('gato') (hipónimos de 'animal')

Semántica de oraciones

Proposición (Proposition)

  • El contenido semántico básico expresado por la oración
  • Ejemplo: la proposición expresada por la oración "Xiaoming está leyendo en la biblioteca":
    • Agente: Xiaoming ('Xiaoming')
    • Acción: leer ('leer')
    • Paciente: libro ('libro')
    • Ubicación: biblioteca ('biblioteca')

Roles semánticos (Semantic Roles)

  • Agente (Agent): quien realiza la acción
  • Paciente (Patient): quien recibe la acción
  • Instrumento (Instrument): la herramienta utilizada para realizar la acción
  • Ubicación (Location): el lugar donde ocurre la acción
  • Tiempo (Time): el momento en que ocurre la acción
  • Modo (Manner): la manera en que se realiza la acción

Estructura argumental (Argument Structure)

  • Los participantes semánticos requeridos por el verbo
  • Ejemplo: el verbo "给" ('dar') requiere tres argumentos:
    • Donante (agente)
    • Receptor (dativo)
    • Objeto dado (paciente)

Representación semántica

Representación lógica

  • Expresar el significado mediante fórmulas lógicas
  • Lógica de primer orden: ∃x (persona(x) ∧ contento(x))
  • alguien está muy contento

Semántica de marcos (Frame Semantics)

  • Comprender el significado basándose en marcos cognitivos
  • Proyecto FrameNet: construcción de recursos semánticos basados en marcos
  • Ejemplo: el marco de transacción comercial incluye elementos como comprador, vendedor, mercancía, precio, etc.

Grafo conceptual

  • Utiliza estructuras de grafo para representar conceptos y relaciones
  • Los nodos representan conceptos y las aristas representan relaciones
  • Adecuado para representar redes semánticas complejas

Ambigüedad semántica

Ambigüedad léxica

  • Polisemia: banco (institución financiera / ribera)
  • Homofonía: ellos (ellos, personas) / ellos (ellos, animales o cosas)

Ambigüedad estructural

  • Ambigüedad de modificación: "el vestido de la niña bonita"
  • Ambigüedad de alcance: "Todos los estudiantes no aprobaron"

Ambigüedad pragmática

  • Se necesita contexto para determinar el significado
  • Ejemplo: referencia de pronombres, recuperación de elementos elididos

Aplicaciones en NLP

Recursos semánticos léxicos

  • WordNet: Red semántica léxica del inglés
  • HowNet: Banco de conocimiento léxico-semántico del chino
  • Tongyici Cilin (Bosque de sinónimos): Sistema de clasificación de sinónimos del chino

Tareas de análisis semántico

  • Desambiguación del sentido de las palabras: Determinar el significado de una palabra polisémica en un contexto específico
  • Anotación de roles semánticos: Identificar los roles semánticos en una oración
  • Cálculo de similitud semántica: Calcular la similitud semántica entre palabras u oraciones

Áreas de aplicación

  • Sistemas de preguntas y respuestas: Comprender la intención semántica de la pregunta
  • Traducción automática: Mantener la consistencia semántica de la traducción
  • Recuperación de información: Realizar coincidencias de relevancia basadas en semántica

Pragmática (Pragmatics)

La pragmática estudia el uso del lenguaje en situaciones comunicativas concretas y se centra en la influencia del contexto en el significado.

Conceptos básicos

Contexto (Context)

  • Contexto lingüístico: Información del contexto textual
  • Contexto situacional: La situación concreta de la comunicación
  • Contexto cultural: Trasfondo sociocultural

Teoría de los actos de habla (Speech Act Theory)

  • Acto locutivo: El acto de decir en sí mismo
  • Acto ilocutivo: El propósito que se quiere lograr al hablar
  • Acto perlocutivo: El efecto producido por el habla

Tipos de actos ilocutivos

  • Asertivos: Afirman hechos, por ejemplo, "Hoy ha llovido"
  • Directivos: Solicitan acciones, por ejemplo, "Por favor cierre la puerta"
  • Compromisivos: Se comprometen a acciones futuras, por ejemplo, "Vendré mañana"
  • Expresivos: Expresan actitudes, por ejemplo, "Te felicito"
  • Declarativos: Cambian el estado de cosas, por ejemplo, "Declaro inaugurada la reunión"

Fenómenos pragmáticos

Deixis

  • Elementos lingüísticos cuya referencia solo puede determinarse mediante el contexto
  • Deixis personal: yo, tú, él
  • Deixis temporal: ahora, ayer, mañana
  • Deixis espacial: aquí, allí, arriba
  • Deixis discursiva: como se mencionó arriba, en resumen

Presuposición (Presupposition)

  • Información que el hablante asume que el oyente ya conoce
  • Ejemplo: "La esposa de Xiaoming es muy guapa" presupone que Xiaoming está casado

Implicatura (Implicature)

  • Implicatura conversacional: Significado implícito generado al violar el principio de cooperación
  • Ejemplo: A: "¿Sabes qué hora es?" B: "Sí"
    • La respuesta de B viola la máxima de cantidad, lo que insinúa que no quiere revelar la hora

Principio de cooperación (Cooperative Principle)

  • Máxima de cantidad: Proporcionar la cantidad de información adecuada
  • Máxima de calidad: Decir la verdad
  • Máxima de relación: Decir cosas relevantes
  • Máxima de manera: Expresarse con claridad

Características pragmáticas del chino

Estrategias de cortesía

  • El chino presta gran atención al principio de cortesía
  • Usa eufemismos y formas honoríficas
  • Ejemplo: "¿me permite?", "disculpe", "perdone"

Cultura de alto contexto

  • Depende del contexto para comprender el significado
  • El discurso es implícito, no se expresa de manera directa
  • Ejemplo: en chino, el rechazo suele ser indirecto

Teoría de la imagen

  • Imagen positiva: necesidad de ser aprobado
  • Imagen negativa: necesidad de no ser molestado
  • Influye en la elección de actos de habla

Aplicaciones en NLP

Sistemas de diálogo

  • Reconocimiento de intención: Comprender la intención real del usuario
  • Relleno de slots: Extraer información clave del diálogo
  • Gestión del diálogo: Controlar el flujo del diálogo

Análisis de sentimientos

  • Sentimientos implícitos: Identificar emociones expresadas indirectamente
  • Detección de ironía: Comprender el significado real de las palabras irónicas

Traducción automática

  • Equivalencia pragmática: Mantener la función pragmática del texto original
  • Adaptación cultural: Considerar las características culturales de la lengua meta

Características de la lengua china

El chino, como representante de la familia de lenguas chinas, posee características lingüísticas únicas que plantean desafíos y oportunidades especiales para el NLP del chino.

Necesidad de la segmentación de palabras

Sin separación por espacios

  • No hay delimitadores claros entre las palabras en chino
  • Ejemplo: «我爱北京天安门» necesita segmentarse en «我/爱/北京/天安门»
  • A diferencia de la segmentación natural de idiomas como el inglés

El concepto de palabra es complejo

  • Los límites entre carácter, palabra y frase son difusos
  • Ejemplo: «研究» puede ser una palabra, y «研究生» también puede ser una palabra
  • El contexto influye en el resultado de la segmentación

Ambigüedad en la segmentación de palabras

Ambigüedad combinatoria

  • La misma secuencia de caracteres puede segmentarse de maneras diferentes
  • Ejemplo: «Los casados y los que aún no se han casado»
    • Segmentación incorrecta: casados/monjes/solteros
    • Segmentación correcta: casados/y/aún no/casados

Ambigüedad de intersección

  • Los esquemas de segmentación adyacentes se superponen
  • Ejemplo: «Farmacia Changchun de la ciudad de Changchun»
    • Esquema 1: Ciudad de Changchun / Changchun / farmacia
    • Esquema 2: Changchun / alcalde / farmacia de primavera

Ambigüedad real

  • Diferentes resultados de segmentación son todos gramatical y semánticamente plausibles
  • Ejemplo: «Se han agotado las palas de ping-pong»
    • Esquema 1: Palas de ping-pong / agotadas
    • Esquema 2: Ping-pong / subasta / terminada

Métodos de segmentación de palabras

Métodos basados en diccionario

  • Algoritmo de coincidencia máxima (hacia adelante, hacia atrás, bidireccional)
  • Ventaja: simple y eficiente
  • Desventaja: no puede manejar la ambigüedad ni las palabras fuera de vocabulario

Métodos basados en estadística

  • Modelo de lenguaje N-gram
  • Modelo oculto de Márkov (HMM)
  • Campos aleatorios condicionales (CRF)

Métodos basados en aprendizaje profundo

  • LSTM bidireccional + CRF
  • Modelos preentrenados como BERT
  • Redes neuronales a nivel de carácter

Caracteres chinos, vocabulario y estructura gramatical

Características de los caracteres chinos

Estructura de carácter cuadrado

  • Los caracteres chinos tienen una apariencia visual cuadrada
  • Cada carácter ocupa un espacio de anchura fija
  • Unidad de forma, sonido y significado del carácter

Rasgos pictográficos e ideográficos

  • Pictogramas: sol, luna, montaña, agua
  • Caracteres indicativos: arriba, abajo, raíz, punta (arriba, abajo, raíz, punta)
  • Caracteres asociativos: 明, 休, 信 (brillo, descanso, confianza)
  • Caracteres fono-semánticos: Representan más del 80% de los caracteres chinos, por ejemplo: 江 (氵+工)

Fenómeno de múltiples pronunciaciones y significados

  • Un carácter con varias pronunciaciones: 行 (xíng/háng), 长 (cháng/zhǎng)
  • Un carácter con varios significados: «打» tiene significados como golpear, comprar, hacer, etc.

Características del vocabulario

Ricos métodos de formación de palabras

  • Palabras simples (monomorfémicas): No se pueden descomponer, por ejemplo: mesa, uva
  • Palabras compuestas: Compuestas por dos o más morfemas
    • Compuestas: computadora, teléfono móvil
    • Con afijos: 第一 (primero), 老师 (profesor)

La transparencia semántica léxica es alta

  • El significado de la palabra se puede inferir a partir de sus caracteres constituyentes
  • Ejemplo: «lavadora» = lavar + ropa + máquina
  • Ayuda a comprender palabras nuevas y términos

Flexibilidad en la conversión de categorías gramaticales

  • Una misma palabra puede funcionar como diferentes categorías gramaticales
  • Ejemplo: «水» (agua)
    • Sustantivo: beber agua (beber agua)
    • Verbo: regar los campos (arrozal)
    • Adjetivo: muy deficiente (nivel muy pobre, coloquial)

Características de la estructura gramatical

Orden de palabras relativamente fijo

  • Orden básico: sujeto-verbo-objeto (SVO)
  • El modificador precede al núcleo: la flor roja (la flor roja)
  • El adjunto precede al predicado: caminar lentamente (慢慢地走)

Diversidad de recursos gramaticales

  • Orden de palabrasCambiar el orden de las palabras expresa significados distintos
  • Palabras funcionales的, 地, 得, 了, 着, 过, etc.
  • Reduplicación看看 (mirar), 走走 (pasear), 红红的 (muy rojo)

Bajo grado de gramaticalización

  • Carece de una morfología flexiva rica
  • Los verbos no presentan flexión de tiempo ni voz
  • Los sustantivos no tienen declinación de caso ni exigencia de concordancia de número

Desafíos especiales del NLP en chino

Desafíos del preprocesamiento de texto

Dificultad en la segmentación de palabras

  • La desambiguación requiere comprensión semántica
  • Dificultad en el reconocimiento de palabras nuevas
  • Reconocimiento de vocabulario de dominios especializados

Conversión entre chino simplificado y tradicional

  • Un simplificado para varios tradicionales: 后 (後/后)
  • Un tradicional para varios simplificados: 髮 (发/髪)
  • Diferencias regionales de vocabulario: computadora/ordenador

Problemas de codificación

  • Múltiples codificaciones: GB2312, GBK, UTF-8
  • La conversión entre codificaciones puede causar pérdida de información

Procesamiento de variantes lingüísticas

Diferencias dialectales

  • Diferencias regionales en fonética, vocabulario y gramática
  • Ejemplo: "倍儿" del dialecto de Pekín, "阿拉" del dialecto de Shanghái
  • Afectan el reconocimiento de voz y la comprensión de textos

Diferencias de registro

  • Chino clásico y chino moderno
  • Registro formal y coloquial
  • Lenguaje de internet y expresiones de moda

Términos de Hong Kong, Macao y Taiwán

  • Hábitos de uso diferentes: taxi (de士) / taxi (出租车), autobús (巴士) / autobús (公交车)
  • Diferencias de estructura gramatical: 有冇 (有没有, tener o no tener)
  • Tratamiento de extranjerismos: transliteración vs. traducción semántica

Desafíos de la comprensión semántica

Fuerte dependencia del contexto

  • Referencia pronominal compleja
  • Fenómenos de elisión frecuentes
  • Requiere más información contextual

Rico contenido cultural

  • Comprensión de modismos y alusiones clásicas
  • Conceptos culturales específicos: 面子 (mianzi), 关系 (guanxi)
  • Conocimiento del trasfondo cultural tradicional

Uso flexible del lenguaje

  • Variación del orden de palabras: oraciones con bǎ, oraciones con bèi
  • Diversos modos de expresión: eufemismo, sutileza
  • Rasgos culturales de los principios pragmáticos

Estructura jerárquica del texto

El texto, como vehículo del lenguaje, presenta características estructurales de múltiples niveles. Comprender estas estructuras jerárquicas es esencial para diseñar sistemas NLP eficaces.

Nivel de carácter (Character Level)

Unidades básicas

Definición de carácter

  • La unidad visual mínima del texto
  • Incluye letras, caracteres chinos, números, signos de puntuación, etc.
  • Unidad básica del sistema de codificación Unicode

Tipos de carácter

  • Caracteres alfabéticos：A-Z, a-z
  • Caracteres numéricos：0-9
  • Caracteres chinosRango Unicode 4E00-9FFF
  • Signos de puntuación：。，！？；：""''
  • Caracteres especiales@, #, $, %, ^, &, *, etc.

Procesamiento a nivel de carácter

Procesamiento de codificación

  • Codificación ASCIIApropiada para inglés
  • Codificación UnicodeCompatible con múltiples idiomas
  • Codificación UTF-8Codificación de longitud variable, ampliamente usada

Modelos de secuencias de caracteres

  • RNN a nivel de carácterProcesa directamente secuencias de caracteres
  • Red neuronal convolucionalExtrae características a nivel de carácter
  • TransformerMecanismo de autoatención para procesar caracteres

Escenarios de aplicación

  • Revisión ortográficaDetección de errores a nivel de carácter
  • Generación de textoModelo de lenguaje a nivel de carácter
  • Idiomas de bajos recursosAlternativa cuando faltan recursos léxicos

Nivel de palabra (Word Level)

Definición de léxico

El concepto de palabra

  • Unidad lingüística con significado completo
  • Unidad básica del análisis gramatical
  • Relativamente independiente en el plano fonológico

Tipos de palabras

  • Palabras de contenido (palabras léxicas)Sustantivos, verbos, adjetivos, adverbios
  • Palabras funcionales (palabras funcionales)Preposiciones, conjunciones, partículas, interjecciones
  • Palabras de funciónPalabras funcionales de alta frecuencia como the, a, is, have
  • Palabras de contenidoPalabras que portan el significado principal

Representación léxica

Codificación one-hot (One-hot Encoding)

  • Cada palabra se representa con un vector
  • La longitud del vector es igual al tamaño del vocabulario
  • Solo la posición correspondiente es 1, las demás son 0
  • Desventajas: alta dimensionalidad e incapacidad para representar similitud semántica

Vectores de palabras (Word Embeddings)

  • Word2VecVectores de palabras basados en redes neuronales
    • CBOW: predice la palabra central a partir del contexto
    • Skip-gram: predice el contexto a partir de la palabra central
  • GloVeBasado en estadísticas globales del vocabulario
  • FastTextVectores de palabras que incorporan información a nivel de carácter

Vectores de palabras contextuales

  • ELMoRepresentaciones sensibles al contexto generadas por LSTM bidireccional
  • BERTCodificador bidireccional basado en Transformer
  • La misma palabra tiene diferente representación en diferentes contextos

Relaciones léxicas

Relaciones semánticas

  • Sinonimiafeliz - alegre
  • Antonimiagrande - pequeño
  • Hiperonimia/hiponimiaanimal (animal) - perro (perro)

Relaciones morfológicas

  • Relaciones de raíz：run-running-ran
  • Relaciones derivativas：happy-happiness
  • Relaciones de composición：black + board → blackboard

Relaciones distribucionales

  • Las palabras con distribuciones contextuales similares suelen estar semánticamente relacionadas
  • Ejemplo: "médico" y "enfermero" suelen aparecer en contextos similares
  • Es la suposición base del aprendizaje de vectores de palabras

Procesamiento a nivel de palabra

Normalización de palabras

  • Manejo de mayúsculas y minúsculasConvertir el texto a minúsculas o mayúsculas
  • LematizaciónReducir las palabras a la forma del lema
  • Derivación de la raíz (stemming)Eliminar afijos para obtener la raíz (stem)

Filtrado de stop words

  • Eliminación de palabras de alta frecuencia y baja información
  • Stop words en chino: 的, 了, 是, 在, 和, etc.
  • Stop words en inglés: the, a, an, is, are, etc.

Tratamiento de palabras de baja frecuencia

  • Reemplazo por una marca unificada (como <UNK>)
  • Mejora la capacidad de generalización del modelo
  • Reduce el tamaño del vocabulario

Escenarios de aplicación

  • Recuperación de informaciónConstrucción de un índice invertido
  • Clasificación de textoExtracción y representación de características
  • Traducción automáticaAlineación y sustitución de vocabulario

Nivel de frase (Phrase Level)

Definición de sintagma

Concepto básico

  • Unidad gramatical compuesta por varias palabras
  • Tiene estructura interna y función externa
  • Se organiza en torno a un núcleo

Tipos de sintagmas

  • Sintagma nominal (SN)Con núcleo sustantivo
    • Ejemplo: un libro interesante (un libro interesante)
  • Sintagma verbal (SV)Con núcleo verbal
    • Ejemplo: estar leyendo atentamente
  • Sintagma preposicional (SP)Con núcleo prepositivo
    • Ejemplo: sobre la mesa (sobre la mesa)
  • Sintagma adjetival (SA)Con núcleo adjetivo
    • Ejemplo: muy bonito (muy hermoso)

Reconocimiento de sintagmas

Métodos basados en reglas

  • Uso de plantillas de reglas gramaticales
  • Ejemplo: SN → (Det) (Adj) N
  • Dependen de reglas gramaticales escritas manualmente

Métodos estadísticos

  • Uso de modelos n-gram para reconocer sintagmas comunes
  • Basados en estadísticas como información mutua y prueba de chi-cuadrado
  • Ejemplo: "New York Times" como sintagma fijo

Métodos basados en aprendizaje profundo

  • Modelos de etiquetado de secuencias (como BiLSTM-CRF)
  • Detección de sintagmas de extremo a extremo
  • Modelos de lenguaje preentrenados (como BERT)

Representación de frases

Combinación de vectores de palabras

  • Promedio simple: tomar el promedio de los vectores de las palabras constituyentes
  • Promedio ponderado: asignar pesos según la importancia de las palabras
  • Red neuronal recurrente: combinación que considera el orden de las palabras

Embedding de frases

  • Aprender directamente representaciones vectoriales a nivel de frase
  • Modelo Skip-phrase: similar a Skip-gram
  • Tarea de analogía de frases: China:Pekín::Francia:París

Escenarios de aplicación

  • Extracción de información: identificación de frases clave
  • Comprensión de consultas: procesamiento de consultas de motores de búsqueda
  • Análisis de sentimientos: identificación de frases de objetos de evaluación

Nivel de oración (Sentence Level)

Definición de oración

Conceptos básicos

  • Unidad lingüística que expresa un significado completo
  • Tiene independencia gramatical
  • Estructura básica que incluye sujeto y predicado

Tipos de oraciones

  • Oración declarativa: expresa hechos u opiniones
  • Oración interrogativa: plantea una pregunta
  • Oración imperativa: expresa peticiones u órdenes
  • Oración exclamativa: expresa emociones intensas

Representación de oraciones

Combinación de vectores de palabras

  • Modelo de bolsa de palabras (BoW): suma simple que ignora el orden de las palabras
  • Ponderación TF-IDF: considera la importancia de las palabras
  • Modelos secuenciales: RNN/LSTM considera la información del orden de las palabras

Embedding de oraciones

  • Skip-Thought: predicción de oraciones de contexto
  • InferSent: representación basada en tareas supervisadas
  • Sentence-BERT: representación de oraciones basada en BERT

Representación de estructura sintáctica

  • Árbol de dependencias: representa relaciones de dependencia entre palabras
  • Árbol de constituyentes: representa relaciones de estructura de frases
  • Representación de grafos: combina múltiples relaciones

Procesamiento a nivel de oración

Segmentación de oraciones

  • Dividir texto continuo en oraciones
  • Dificultad del chino: la versatilidad del punto
  • Métodos: basados en reglas, aprendizaje automático

Compresión de oraciones

  • Simplificación que conserva la información central
  • Eliminación de componentes redundantes
  • Aplicado a la generación de resúmenes

Reformulación de oraciones

  • Transformación de estructuras oracionales manteniendo la semántica
  • Conversión de voz activa a pasiva
  • Aplicado a la ampliación de datos

Escenarios de aplicación

  • Traducción automática: alineación y generación a nivel de oración
  • Resumen de textos: extracción de oraciones clave
  • Sistemas de preguntas y respuestas: comprensión de preguntas y generación de respuestas

Nivel de discurso (Discourse Level)

Estructura del discurso

Conceptos básicos

  • Un todo coherente compuesto por múltiples oraciones
  • Tiene coherencia temática y coherencia lógica
  • Incluye estructuras como introducción, cuerpo y conclusión

Mecanismos de cohesión

  • Referencia: pronombres, demostrativos
  • Conectores: porque, por lo tanto, pero
  • Cohesión léxica: repetición, sinonimia, hiperonimia/hiponimia
  • Elipsis: elipsis anafórica o catafórica

Relaciones del discurso

  • Relación causal: porque... por lo tanto...
  • Relación adversativa: aunque... pero...
  • Relación coordinada: por un lado... por otro lado...
  • Relación temporal: primero... luego... finalmente...

Análisis del discurso

Resolución de correferencia

  • Determinar el referente de pronombres o frases nominales
  • Ejemplo: en "Xiaoming llegó tarde. Él se disculpó.", "él" se refiere a "Xiaoming"
  • Métodos: basados en reglas, aprendizaje automático, aprendizaje profundo

Modelado de temas

  • LDA: Asignación de Dirichlet latente (LDA)
  • Descubrir la distribución latente de temas en el texto
  • Aplicado a la agrupación y clasificación de textos

Análisis de trayectoria de sentimientos

  • Rastrear los cambios de sentimiento en el discurso
  • Identificar puntos de inflexión de sentimiento
  • Aplicado al análisis de reseñas y estudios literarios

Representación del discurso

Vector global

  • Promediar todos los vectores de oraciones
  • Promedio ponderado (como pesos TF-IDF)
  • Combinación jerárquica

Representación de grafos

  • Los nodos representan oraciones o conceptos
  • Las aristas representan relaciones
  • Aplicado a la generación de resúmenes

Redes de memoria

  • Almacenar y recuperar información del discurso
  • Manejar dependencias de largo alcance
  • Aplicado a sistemas de preguntas y respuestas

Escenarios de aplicación

  • Resumen automático: extracción de contenido central
  • Sistemas de preguntas y respuestas: razonamiento multi-oracional
  • Generación de texto: mantener la coherencia del discurso

Modelos de lenguaje y gramática probabilística

Fundamentos de los modelos de lenguaje

Conceptos básicos

Definición de modelo de lenguaje

  • Modelo que calcula la probabilidad de secuencias de palabras
  • Evaluar la fluidez y plausibilidad de las oraciones
  • Descripción formal: P(w₁,w₂,…,wₙ)

Ámbitos de aplicación

  • Reconocimiento de voz: seleccionar la secuencia de palabras más probable
  • Traducción automática: evaluar candidatos de traducción
  • Generación de texto: predecir la siguiente palabra

Modelo N-grama

Supuesto de Markov

  • La palabra actual solo depende de las n-1 palabras anteriores
  • Simplificación del cálculo de probabilidad: P(wᵢ|w₁,…,wᵢ₋₁) ≈ P(wᵢ|wᵢ₋ₙ₊₁,…,wᵢ₋₁)

Entrenamiento del modelo

  • Estimación de máxima verosimilitud
  • Conteo y normalización
  • Técnicas de suavizado (suma uno, Good-Turing, etc.)

Limitaciones

  • Problema de dispersión de datos
  • Difícil capturar dependencias de largo alcance
  • Información contextual limitada

Modelos de lenguaje con redes neuronales

Modelo de red neuronal feedforward

Estructura básica

  • Capa de entrada: representación one-hot de las n-1 palabras anteriores
  • Capa de embedding: aprende vectores de palabras
  • Capa oculta: transformación no lineal
  • Capa de salida: predice la distribución de probabilidad de la siguiente palabra

Ventajas

  • La representación distribuida alivia la dispersión de datos
  • Aprende automáticamente combinaciones de características
  • Mejor capacidad de generalización

Modelo de red neuronal recurrente

Estructura RNN

  • Procesa secuencias de longitud variable de forma recurrente
  • El estado oculto transmite información histórica
  • Aplicado al modelado de lenguaje

LSTM/GRU

  • Resolver el problema del desvanecimiento del gradiente
  • Modelado de dependencias de largo alcance
  • Proceso de entrenamiento más estable

Modelo Transformer

Mecanismo de autoatención

  • Modelado de contexto global
  • Ventaja de cómputo paralelo
  • Codificación posicional para manejar el orden de las palabras

Modelos de lenguaje preentrenados

  • BERT: representación contextual bidireccional
  • GPT: modelo generativo autorregresivo
  • Potente capacidad de aprendizaje por transferencia

Modelos de gramática probabilística

Gramática libre de contexto probabilística

Conceptos básicos

  • Asignar probabilidades a las reglas de la CFG
  • P(X → γ) representa la probabilidad de aplicación de la regla
  • La probabilidad de una oración es el producto de las probabilidades de la ruta de derivación

Estimación de parámetros

  • Contar aplicaciones de reglas en el corpus de árboles
  • Estimación de máxima verosimilitud
  • Suavizado de reglas dispersas

Aplicaciones

  • Análisis sintáctico
  • Evaluación de la probabilidad de oraciones
  • Resolución de ambigüedad

Modelos de gramática de dependencias

Gramática de dependencias probabilística

  • Asignar probabilidades a las relaciones de dependencia
  • Basado en estadísticas de coaparición léxica
  • Considera restricciones de distancia y gramaticales

Algoritmos de análisis

  • Algoritmos basados en grafos (algoritmo de Eisner)
  • Algoritmos basados en transiciones
  • Analizadores sintácticos basados en redes neuronales

Recursos lingüísticos y anotación

Recursos de corpus

Corpus de propósito general

Corpus de inglés

  • Brown Corpus
  • British National Corpus (BNC)
  • Corpus of Contemporary American English (COCA)

Corpus de chino

  • Corpus de chino moderno de la Universidad de Pekín
  • Corpus equilibrado de chino moderno de la Comisión Nacional de Lengua
  • Corpus de Wikipedia en chino

Corpus anotado

Corpus de etiquetado de categorías gramaticales

  • Penn Treebank
  • Treebank chino (CTB)

Treebank sintáctico

  • Penn Treebank
  • Chinese Dependency Treebank

Corpus de anotación semántica

  • PropBank (roles semánticos)
  • FrameNet (semántica de marcos)
  • Semeval (relaciones semánticas)

Recursos léxico-semánticos

Recursos en inglés

WordNet

  • Conjunto de sinónimos (synset)
  • Red de relaciones léxicas
  • Ampliamente utilizado en la investigación de PLN

FrameNet

  • Basado en la semántica de marcos
  • Anotar roles semánticos
  • Amplio recurso de oraciones de ejemplo

Recursos en chino

HowNet

  • Diccionario conceptual chino-inglés
  • Sistema de análisis de primitivas semánticas
  • Red de relaciones semánticas

Tongyici Cilin (Tesauro de sinónimos)

  • Clasificación de sinónimos chinos
  • Estructura organizativa jerárquica
  • Recurso de expansión léxica

Conjuntos de datos de evaluación

Conjuntos de datos de tareas estándar

Segmentación de palabras y etiquetado de categorías gramaticales

  • Corpus anotado de PKU
  • Corpus anotado de MSRA

Análisis sintáctico

  • Chinese Treebank
  • CTB 5.1/6.0/7.0

Análisis semántico

  • Chinese PropBank
  • Datos de evaluación de NLPCC

Conjuntos de datos para tareas aplicadas

Clasificación de texto

  • THUCNews
  • Fudan Corpus

Análisis de sentimientos

  • ChnSentiCorp
  • Weibo Sentiment Corpus

Sistemas de preguntas y respuestas

  • Conjunto de datos de QA de NLPCC
  • WebQA

Investigación interdisciplinaria entre lingüística y NLP

Lingüística computacional

Áreas de investigación

Tecnologías del habla

  • Reconocimiento de voz
  • Síntesis de voz
  • Conversión de voz

Análisis gramatical

  • Análisis sintáctico automático
  • Inducción gramatical
  • Construcción de treebanks

Computación semántica

  • Desambiguación del sentido de las palabras
  • Anotación de roles semánticos
  • Similitud semántica

Lingüística cognitiva y NLP

Modelado de adquisición del lenguaje

Adquisición del lenguaje infantil

  • Modelo de crecimiento léxico
  • Simulación del desarrollo gramatical
  • PLN inspirado en la cognición

Modelos neurocognitivos

  • Simulación del procesamiento del lenguaje en el cerebro
  • Sistemas neuro-simbólicos
  • Aprendizaje multimodal

Modelado de la evolución del lenguaje

Simulación computacional

  • Formación de léxico
  • Emergencia de la gramática
  • Transmisión cultural

Sistemas multiagente

  • Evolución de los sistemas de comunicación
  • Problema del anclaje de símbolos
  • Modelo de juegos de lenguaje

Sociolingüística y NLP

Procesamiento de la variación lingüística

Reconocimiento de dialectos

  • Análisis de características fonéticas
  • Modelado de diferencias léxicas
  • Traducción automática dialectal

Rasgos sociolingüísticos

  • Reconocimiento de edad y género
  • Predicción del nivel educativo
  • Análisis de dialectos regionales

Apoyo a políticas lingüísticas

Construcción de recursos lingüísticos

  • Lenguas minoritarias
  • Preservación de lenguas en peligro de extinción
  • Desarrollo de tecnologías multilingües

Tecnología para la enseñanza de idiomas

  • Aprendizaje asistido por computadora
  • Evaluación automática de redacciones
  • Sistemas de enseñanza personalizados
Otras extensiones