Construcción de un modelo Transformer con PyTorch

Transformer es uno de los modelos más poderosos del aprendizaje automático moderno.

El modelo Transformer es una arquitectura de aprendizaje profundo basada en el mecanismo de autoatención (Self-Attention) que ha revolucionado el campo del procesamiento del lenguaje natural (NLP) y se ha convertido en la base de modelos modernos de aprendizaje profundo (como BERT, GPT, etc.).

Transformer es la arquitectura central en el ámbito del NLP moderno. Gracias a su potente capacidad para modelar dependencias a larga distancia y sus ventajas de cómputo paralelo eficiente, supera a las redes tradicionales de memoria a largo plazo (LSTM) en tareas como la traducción de idiomas y el resumen de textos.

Si aún no conoces Transformer, puedes consultar:Introducción al modelo Transformer。

Construir un modelo Transformer usando PyTorch

Los pasos para construir el modelo Transformer son los siguientes:

1. Importar las bibliotecas y módulos necesarios

Importa la biblioteca principal de PyTorch, el módulo de redes neuronales, el módulo de optimizadores, herramientas de procesamiento de datos, así como los módulos de matemáticas y copia de objetos, para proporcionar soporte en la definición de la arquitectura del modelo, la gestión de datos y el proceso de entrenamiento.

import torch
import torch.nn as nn
import torch.optim as optim
import torch.utils.data as data
import math
import copy

Explicación:

• torch: Biblioteca principal de PyTorch, utilizada para operaciones con tensores y diferenciación automática.

• torch.nn: Módulo de redes neuronales de PyTorch, que contiene diversas capas y funciones de pérdida.

• torch.optim: Módulo de algoritmos de optimización, como Adam, SGD, etc.

• math: Biblioteca de funciones matemáticas, utilizada para calcular raíces cuadradas, etc.

• copy: Se utiliza para copiar objetos en profundidad.

Definir los bloques básicos: atención multi-cabeza, red de avance posicional, codificación posicional

Atención multi-cabezaCalcula la relación entre cada par de posiciones en la secuencia mediante múltiples "cabezas de atención", lo que permite capturar diferentes características y patrones de la secuencia de entrada.

La clase MultiHeadAttention encapsula el mecanismo de atención multi-cabeza comúnmente utilizado en el modelo Transformer. Se encarga de dividir la entrada en múltiples cabezas de atención, aplicar atención a cada cabeza y luego combinar los resultados, de modo que el modelo pueda capturar diversas relaciones en los datos de entrada a diferentes escalas, mejorando la capacidad expresiva del modelo.

Explicación:

• Mecanismo de atención multi-cabeza: Divide la entrada en múltiples cabezas, cada cabeza calcula la atención de forma independiente y finalmente se combinan los resultados.

• Atención por producto punto escalado: Calcula el producto punto entre consultas y claves, escala, aplica softmax para calcular los pesos de atención y finalmente realiza una suma ponderada de los valores.

• Máscara: Se utiliza para enmascarar posiciones no válidas (como las partes de relleno).

Red de avance posicional (Position-wise Feed-Forward Network)

Red de avance:Se compone de dos capas completamente conectadas y una función de activación ReLU, utilizada para procesar aún más la salida del mecanismo de atención.

Codificación posicional

La codificación posicional se utiliza para inyectar información de posición de cada token en la secuencia de entrada.

Se utilizan funciones seno y coseno de diferentes frecuencias para generar la codificación posicional.

Construir el bloque del codificador (Encoder Layer)

Capa del codificador:Contiene un mecanismo de autoatención y una red de avance; cada subcapa va seguida de una conexión residual y normalización de capa.

Construir el módulo del decodificador

Capa del decodificador:Contiene un mecanismo de autoatención, un mecanismo de atención cruzada y una red de avance; cada subcapa va seguida de una conexión residual y normalización de capa.

Construir el modelo Transformer completo

Explicación:

• Modelo Transformer: Consta de las partes de codificador y decodificador, cada una compuesta por múltiples capas apiladas.

• Generación de máscaras: Se utiliza para enmascarar posiciones no válidas e información futura.

• Propagación hacia adelante: Pasa secuencialmente por el codificador y el decodificador, y finalmente produce la salida a través de la capa totalmente conectada.

Descripción de los parámetros de inicialización del modelo:

class Transformer(nn.Module):
    def __init__(
        self, 
        src_vocab_size,  # 源语言词汇表大小（如英文单词数）
        tgt_vocab_size,  # 目标语言词汇表大小（如中文单词数）
        d_model=512,     # 模型维度（每个词向量的长度）
        num_heads=8,     # 多头注意力的头数
        num_layers=6,    # 编码器/解码器的堆叠层数
        d_ff=2048,       # 前馈网络隐藏层维度
        max_seq_length=100, # 最大序列长度（用于位置编码）
        dropout=0.1      # Dropout概率
    ):

Entrenar el modelo Transformer de PyTorch

Entrenar el modelo con datos aleatorios, calcular la pérdida y actualizar los parámetros.

Evaluación del modelo

Proceso de evaluación:Calcular la pérdida en los datos de validación para evaluar el rendimiento del modelo.