Fine-tuning de modelos

Cuando necesitas un modelo dedicado a generar descripciones de productos de comercio electrónico, tienes tres opciones principales.

• La primera es entrenar desde cero (Pre-training from scratch). Esto requiere recolectar enormes cantidades de datos de texto (posiblemente billones de tokens), alquilar decenas de GPUs A100 para entrenar durante meses, con un costo de millones de dólares. Esto es lo que hacen gigantes como OpenAI y Google, no es realista para la gran mayoría.

• La segunda es la ingeniería de prompts. Se le da al gran modelo general un prompt cuidadosamente diseñado, por ejemplo: “Eres un redactor profesional de textos de comercio electrónico, genera una descripción atractiva según la siguiente información del producto...”. Este método tiene costo cero y está disponible de inmediato, pero el problema es: cada vez hay que escribir prompts largos, el resultado es inestable, es fácil que se vea interferido por entradas irrelevantes, y consume muchos tokens.

• La tercera es el fine-tuning. Se toma un modelo general ya entrenado, se continúa entrenando un poco con tus datos propios para que “aprenda” tu tarea específica. El modelo resultante conserva las capacidades generales y a la vez se desempeña excelentemente en tu tarea, con un costo controlable.

Comparación de las tres opciones:

Usando una analogía sencilla:

• Entrenar desde cero es como formar a un médico desde cero, se necesitan más de diez años.
• La ingeniería de prompts es como darle a un médico general un manual de operación detallado.
• El fine-tuning es como hacer que un médico ya cualificado haga una especialización durante unos meses y se convierta en un especialista.

Por qué se necesita el fine-tuning

No todas las tareas necesitan fine-tuning; primero hay que tener claro cuándo usarlo y cuándo no.

Limitaciones de la ingeniería de prompts

La ingeniería de prompts es muy potente, pero tiene varios techos difíciles de superar.

• La primera limitación es la restricción de la ventana de contexto.Tus prompts y ejemplos deben caber en la ventana de contexto del modelo (por ejemplo, 4K, 8K, 128K, 1024K tokens). Si tu tarea necesita cientos de ejemplos para quedar clara, no caben en el prompt.

• La segunda limitación es que los resultados son inestables.Con el mismo prompt, si cambias la forma de preguntar, el resultado puede variar mucho. Cuando el modelo está “de buen humor” (aleatoriedad del muestreo) genera buenos resultados; cuando no, puede desviarse por completo del tema.

• La tercera limitación es el alto costo de inferencia.Cada inferencia requiere enviar el prompt largo, lo que consume muchos tokens y hace lenta la respuesta. En escenarios de alta concurrencia, el costo aumenta drásticamente.

• La cuarta limitación es el problema del olvido.Aunque el modelo ha visto tu prompt, la enorme cantidad de datos de preentrenamiento previos aún puede arrastrarlo. Por ejemplo, si le pides que genere JSON, es posible que aún añada mucha explicación en lenguaje natural.

Escenarios de aplicación del fine-tuning

Cuando tu tarea cumple con las siguientes características, el fine-tuning merece la pena considerarse.

• Característica 1: la tarea está claramente definida y el formato de salida es fijo. Por ejemplo: “traducir documentos técnicos a blogs fáciles de entender”, “generar resúmenes de tickets según registros de servicio al cliente”, “convertir lenguaje natural en consultas SQL”.

• Característica 2: se dispone de unos cientos a unos miles de datos anotados de alta calidad. Con muy pocos datos, el fine-tuning no logra resultados; con demasiados no es necesario; generalmente 500-5000 muestras es un rango ideal.

• Característica 3: se necesita un desempeño profesional en un dominio específico. Por ejemplo, interpretación de informes médicos, resumen de documentos legales, análisis de noticias financieras. Los modelos generales pueden no entender la terminología y las prácticas del sector; el fine-tuning puede hacer que “entre en el sector”.

• Característica 4: sensibilidad a la velocidad de respuesta y al costo. Un modelo pequeño afinado puede funcionar mejor que un gran modelo general, con una inferencia 10 veces más rápida y un costo 100 veces menor.

• Característica 5: se requiere seguir estrictamente el formato de salida. Por ejemplo, se debe generar JSON, usar un tono específico, o incluir ciertos campos. El fine-tuning permite que el modelo “recuerde” estos requisitos, sin necesidad de repetirlos en el prompt cada vez.

Análisis de coste-beneficio del fine-tuning

Antes de hacer fine-tuning, haz primero los cálculos.

El costo proviene principalmente de tres aspectos: preparación de datos, recursos computacionales y depuración manual. La preparación de datos suele ser la mayor parte del trabajo: necesitas recolectar, limpiar y anotar datos. Los recursos computacionales ya son bastante baratos; con LoRA + QLoRA, una GPU de consumo (RTX 3090/4090) puede afinar modelos de 7B/13B.

Los beneficios se reflejan en varios aspectos: mejores resultados, menor costo de inferencia, mayor velocidad de respuesta, salidas más estables. Si tu modelo va a ofrecer servicios al público, estos beneficios se acumulan continuamente.

¿Cuándo no se debe hacer fine-tuning? Si la tarea cambia rápidamente y el formato de datos cambia cada semana, entonces la ingeniería de prompts es más flexible. Si solo es una exploración puntual, o si solo hay unas pocas docenas de datos, el fine-tuning tampoco merece la pena.

Fine-tuning completo (Full Fine-tuning)

Primero entendamos el método de fine-tuning más tradicional, luego veremos por qué hoy en día rara vez lo usamos.

Principio y proceso

La idea del fine-tuning completo es simple: tomar todos los parámetros del modelo preentrenado, continuar entrenando en tu conjunto de datos y actualizar todos los pesos.

El proceso es aproximadamente el siguiente:

• Paso 1: preparar los datos. Organiza tus datos de la tarea en forma de pares “entrada-salida”.

• Paso 2: cargar el modelo preentrenado. Por ejemplo, descargar modelos de código abierto como LLaMA-2-7B, Mistral-7B.

• Paso 3: configurar los parámetros de entrenamiento. La tasa de aprendizaje debe ser muy pequeña (por ejemplo, 1e-5 a 5e-5), porque no queremos sobrescribir por completo el conocimiento aprendido en el preentrenamiento.

• Paso 4: comenzar el entrenamiento. Deja que el modelo recorra tus datos durante algunas épocas (recorridos completos del conjunto de datos varias veces).

• Paso 5: guardar el modelo. Al finalizar el entrenamiento se obtiene un archivo de pesos completamente nuevo, con el mismo tamaño que el modelo original.

Problema del olvido catastrófico

El ajuste fino completo tiene un problema grave: el olvido catastrófico (Catastrophic Forgetting).

¿Qué significa? Cuando entrenas el modelo con tus datos, el modelo gradualmente "olvida" el conocimiento general que aprendió durante el preentrenamiento. Es como una persona que se esfuerza por prepararse para un examen de matemáticas, haciendo muchos ejercicios de matemáticas, y al final olvida la lengua y el inglés que había aprendido antes.

¿Por qué sucede? Porque el ajuste fino completo actualiza todos los parámetros. El conocimiento aprendido en el preentrenamiento está codificado en estos parámetros, y modificarlos en gran medida puede destruir el conocimiento original.

El resultado es: el modelo ajustado se desempeña muy bien en tu tarea, pero su rendimiento en otras tareas generales disminuye. Peor aún, puede perder algunas capacidades básicas, como seguir instrucciones y comprender problemas complejos.

¿Cómo mitigarlo? Se puede entrenar mezclando datos de preentrenamiento, pero eso vuelve al viejo problema de "necesitar datos masivos". O se pueden usar restricciones de regularización para que los parámetros no cambien demasiado, pero el efecto es limitado.

Cálculo de requisitos de VRAM

Otro problema del ajuste fino completo es que la demanda de memoria de video es demasiado grande. Calculemos:

Memoria de video necesaria para entrenar un modelo = parámetros del modelo + gradientes + estado del optimizador + valores de activación.

Para el modelo LLaMA-7B, en precisión completa (FP32), 7 mil millones de parámetros × 4 bytes = 28 GB. Los gradientes también son 28 GB, el estado del optimizador (optimizador Adam) requiere 56 GB (el doble de los gradientes). Los valores de activación varían con el tamaño del lote (batch size) y la longitud de la secuencia, y necesitan al menos unos GB.

En total, el ajuste fino completo de un modelo de 7B requiere aproximadamente más de 100 GB de memoria de video, lo que significa al menos 8 A100 (40 GB) o 2 A100 (80 GB).

Si se usa media precisión (FP16/BF16), se puede reducir a la mitad, pero aún se necesitan unos 50-60 GB de memoria de video. Esto sigue estando fuera del alcance de la mayoría de la gente.

El ajuste fino completo no es imposible de usar, pero es costoso y riesgoso. A menos que tengas una razón de peso (por ejemplo, una cantidad de datos muy grande, o la necesidad de cambiar el comportamiento fundamental del modelo), deberías priorizar los métodos de ajuste fino eficiente en parámetros (PEFT).

Fine-tuning de parámetros eficiente (PEFT)

PEFT (Parameter-Efficient Fine-Tuning) es un término general para una clase de métodos que solo entrenan una pequeña cantidad de parámetros. Preserva la efectividad del ajuste fino y reduce drásticamente los costos.

Idea central de PEFT

La visión central de PEFT es:El modelo preentrenado ya contiene suficiente conocimiento; no necesitamos modificar todos los parámetros, solo necesitamos "ajustar" una pequeña parte de los parámetros para adaptarnos a la nueva tarea。

Es como un piano ya construido: no necesitas fabricar todo el piano de nuevo, solo afinar unas cuantas cuerdas para obtener el tono que deseas.

Los beneficios de PEFT son evidentes:

• Primero, la demanda de memoria de video se reduce drásticamente. Antes necesitabas 60 GB, ahora puede que solo necesites 6 GB.

• Segundo, no hay olvido catastrófico. Los parámetros del modelo original no se modifican; solo se añade algo nuevo, y el conocimiento original no se destruye.

• Tercero, el costo de almacenamiento es bajo. PEFT normalmente solo guarda los pocos parámetros nuevos (de unos MB a unos cientos de MB), sin necesidad de guardar todo el modelo.

• Cuarto, se puede hacer "combinación de tareas". Entrenar múltiples adaptadores pequeños (Adapters) y cargarlos según sea necesario durante la inferencia; un modelo puede usarse como varios modelos.

Visión general de los métodos PEFT más populares

PEFT no es un método, sino un término que agrupa una clase de métodos. Veamos varios métodos principales:

• El primero es Adapter (adaptador). Se insertan pequeños módulos de red neuronal en el interior de cada capa del Transformer. Durante el entrenamiento, solo se entrenan estos Adapters, y los parámetros del modelo original permanecen congelados. Este fue un método PEFT temprano, ahora se usa menos.

• El segundo es Prefix Tuning (ajuste de prefijos). Se añaden vectores de "prefijo" aprendibles delante de cada capa del modelo. Estos vectores de prefijo ocupan una parte muy pequeña, pero pueden guiar la salida del modelo.

• El tercero es Prompt Tuning (ajuste de prompts). Solo se añade un prompt suave (Soft Prompt) aprendible en la capa de entrada. Es el método más simple, pero su efecto es relativamente limitado.

• El cuarto es LoRA (Low-Rank Adaptation, adaptación de bajo rango). Se añaden matrices de bajo rango junto a las capas de atención del modelo. Es el método PEFT más popular y con mejor rendimiento actualmente.

• El quinto es QLoRA (LoRA cuantizado). Basado en LoRA, se añade cuantización del modelo para reducir aún más la demanda de memoria de video. Esta es la opción principal en la actualidad.

La mejor práctica actual es clara:Prioriza LoRA, y si no tienes suficiente memoria de video, usa QLoRA. Estos dos métodos tienen buenos resultados, bajo costo y un ecosistema maduro; en la mayoría de los casos son la opción óptima.

LoRA（Low-Rank Adaptation）

LoRA es actualmente el método de ajuste fino más utilizado; es importante entender su principio.

Principio de descomposición de rango bajo (comprensión intuitiva)

Primero entendamos qué es "rango" (Rank) y qué es "bajo rango".

Supongamos que tienes una matriz de 100 × 100; sus datos pueden no ser completamente aleatorios. Si estos datos pueden combinarse a partir de muy pocos "patrones", decimos que el rango de esta matriz es bajo.

Por ejemplo: si cada fila es un múltiplo de la primera fila, entonces el rango de esta matriz es 1. Si cada fila es una combinación lineal de las dos primeras filas, entonces el rango es 2. Y así sucesivamente.

La visión central de LoRA es:Cuando un modelo grande se adapta a una nueva tarea, el cambio en los pesos suele ser de "bajo rango", es decir, este cambio puede representarse con muy pocos parámetros.。

Es como si, aunque haya 1000 descripciones distintas de productos de e-commerce, su estilo de escritura pudiera estar determinado por unos pocos factores centrales: tono, longitud, puntos de énfasis. No necesitas 1000 direcciones diferentes para describir el cambio; con 8, 16 o 32 bastaría.

Entonces, el enfoque de LoRA es: congelar todos los parámetros del modelo original y añadir dos matrices pequeñas A y B junto a las capas de atención. A es d × r, B es r × d, donde r es el rango (Rank), que normalmente toma valores pequeños como 8, 16, 32.

Salida del modelo original = propagación hacia adelante del modelo original.

Salida de LoRA = propagación hacia adelante del modelo original + (entrada × A × B) × factor de escala.

Durante el entrenamiento, solo se entrenan A y B; los parámetros del modelo original permanecen completamente intactos.

Derivación matemática de LoRA

No temas, la derivación matemática es muy simple, solo unas pocas líneas.

Supongamos que una capa del modelo original es una transformación lineal: h = W₀x, donde W₀ es la matriz de pesos preentrenada, con forma d × d.

Durante el ajuste fino, queremos actualizar W₀, pero no demasiado. LoRA representa el cambio de W₀ como el producto de dos matrices pequeñas: ΔW = BA.

Así que la salida después del ajuste fino es: h = W₀x + (BA)x.

Aquí, B tiene forma d × r, A tiene forma r × d, y r es el rango (Rank).

Para ser más precisos, la fórmula en el artículo de LoRA es:

h = W₀x + α * (BA)x

donde α es un factor de escala que normalmente se establece como un múltiplo de r, de modo que al cambiar r no sea necesario reajustar los hiperparámetros.

Durante el entrenamiento, W₀ está completamente congelado, solo A y B son entrenables.

En la inicialización, A se inicializa con una distribución gaussiana aleatoria y B se inicializa a cero, de modo que al comienzo del entrenamiento la salida de la parte LoRA sea cero y no afecte el comportamiento del modelo original.

Verás, LoRA solo necesita entrenar el 0.4% de los parámetros, y aun así logra un efecto cercano al ajuste fino completo. Ahí está su magia.

Selección de los parámetros r (rango) y α

LoRA tiene dos hiperparámetros clave: el rango r y el factor de escala α.

r determina la capacidad de LoRA. Cuanto mayor es r, más complejas son las variaciones que puede representar, pero también mayor es el número de parámetros.

Los valores comunes de r: 8, 16, 32, 64. Para la mayoría de las tareas, r = 8 o 16 es suficiente. Superar r = 64 suele tener rendimientos decrecientes y aumentar el costo de entrenamiento.

¿Cómo elegir r? Un consejo práctico: prueba primero r = 8; si no funciona bien, auméntalo a 16, 32. No uses un r grande desde el principio.

α es el factor de escala. Una configuración común es α = r, de modo que la escala de ΔW = BA se mantenga aproximadamente estable. O establece α = 1 y deja que el usuario lo ajuste.

Otros parámetros a considerar:

Capas objetivo (target_modules): ¿En qué capas se debe agregar LoRA? Por lo general, solo agregarlo a las proyecciones query y value de la capa de atención (q_proj, v_proj) ya da buenos resultados. También se puede agregar a más capas, pero esto aumenta el número de parámetros.

Dropout: Se puede agregar dropout a LoRA para prevenir el sobreajuste; los valores comunes son 0.05 o 0.1.

Fusión de pesos LoRA

Después de entrenar LoRA, hay dos opciones para la inferencia.

• La primera es mantener LoRA separado. Durante la inferencia, se carga el modelo original y luego los pesos de LoRA, y se calcula dinámicamente la salida combinada. La ventaja de este enfoque es que se pueden cambiar fácilmente entre múltiples LoRA; la desventaja es que la inferencia será un poco más lenta (generalmente insignificante).

• La segunda es fusionar los pesos de LoRA. Se suma ΔW = BA de LoRA al W₀ del modelo original, obteniendo W = W₀ + α×BA. Así se obtiene un único archivo de modelo, y la inferencia es igual que con un modelo normal.

La ventaja de fusionar es que la inferencia es rápida y no requiere soporte especial para LoRA. La desventaja es que una vez fusionado no se puede deshacer, y si hay múltiples LoRA, hay que fusionarlos por separado en diferentes archivos de modelo.

QLoRA (LoRA con cuantificación)

QLoRA lleva el bajo costo de LoRA al extremo: permite ajustar finamente un modelo de 70B en una GPU de consumo.

Cuantización de 4 bits + LoRA

La idea de QLoRA es simple: cuantizar el modelo a 4 bits y luego realizar un ajuste fino con LoRA sobre él.

¿Qué es la cuantización? Es convertir números de punto flotante (FP16/BF16, que ocupan 2 bytes cada uno) a una representación de menor precisión. La cuantización de 4 bits usa 4 bits (0.5 bytes) para representar un peso.

De esta manera, el tamaño del modelo se puede reducir en un 75%: un modelo de 7B pasa de 13 GB a unos 3.5 GB, uno de 13B de 26 GB a unos 6.5 GB, y uno de 70B de 140 GB a unos 35 GB.

Pero la cuantización directa pierde precisión. La innovación de QLoRA es usar un tipo de datos llamado NF4 (Normalized Float 4), que preserva mejor la información de los pesos de la red neuronal.

El enfoque de QLoRA es:

• 1. Cuantizar el modelo preentrenado a 4 bits (formato NF4).

• 2. Agregar adaptadores LoRA sobre él.

• 3. Durante el entrenamiento, el modelo original cuantizado a 4 bits está completamente congelado; solo se entrenan los pesos FP16 de LoRA.

El efecto de esto: el requisito de memoria de video se reduce otro 75%, mientras que el rendimiento apenas se ve afectado.

La biblioteca bitsandbytes

bitsandbytes es la biblioteca central para implementar la cuantización, desarrollada por Tim Dettmers.

Ofrece:

• 1. Cuantización de 4 bits (NF4).

• 2. Doble cuantización (Double Quantization): cuantiza también las constantes de cuantización, ahorrando un poco más de memoria de video.

• 3. Optimizador paginado (Paged Optimizer): cuando la memoria de video no es suficiente, transfiere parte de los datos a la memoria de la CPU.

Los usuarios normales no necesitan interactuar directamente con bitsandbytes; las bibliotecas peft y transformers ya lo han envuelto. Pero es útil saber que existe.

Esquema de fine-tuning en GPU de consumo

Con QLoRA, la gente común también puede permitirse el ajuste fino.

Una RTX 3090/4090 (24GB de VRAM) puede ajustar finamente modelos de 7B/13B con facilidad; incluso se puede intentar con un modelo de 70B (necesita mayor longitud de secuencia o un tamaño de lote más pequeño).

Estimación de requisitos de memoria de video:

QLoRA cambia las reglas del juego. Convierte el ajuste fino de modelos grandes de «solo las grandes empresas pueden hacerlo» a «la gente común puede hacerlo en su propia laptop de juegos». Es uno de los avances más importantes de la IA de código abierto.

Preparación de datos de entrenamiento

La preparación de datos es la parte más lenta y crítica del proceso de ajuste fino. Basura entra, basura sale: la calidad de los datos determina el límite superior del modelo.

Formatos de datos (formatos Alpaca, ShareGPT)

Hay varios formatos de datos comunes; elige uno y mantente consistente.

La primera es el formato Alpaca. Es uno de los formatos más populares, popularizado por el proyecto Stanford Alpaca.

El formato es: instruction (instrucción), input (entrada, opcional), output (salida).

El segundo es el formato ShareGPT. Este formato se utiliza para datos de conversación y soporta diálogos multi-turno.

El formato es: conversations (lista de conversación), cada turno tiene from (rol) y value (contenido).

También hay un formato simple de pares entrada-salida, adecuado para tareas sencillas.

¿Qué formato es mejor? El formato Alpaca es el más versátil, la mayoría de los frameworks de entrenamiento lo soportan. Si es una tarea de conversación, ShareGPT es más adecuado.

Puntos clave de la limpieza de datos

La limpieza de datos es mucho más importante de lo que imaginas. El rendimiento de tu modelo depende en un 80% de la calidad de los datos.

• Primero, deduplicación. Los datos duplicados hacen que el modelo se sobreajuste a los patrones repetidos. Revisa y elimina los datos completamente duplicados o muy similares.

• Segundo, filtra datos de baja calidad. Elimina datos demasiado cortos, demasiado largos, con formato caótico o con errores evidentes. Por ejemplo, salidas de solo unas pocas palabras o con caracteres corruptos.

• Tercero, unifica el formato. Por ejemplo, algunas salidas usan comillas chinas, otras usan comillas inglesas; algunas terminan con un punto, otras no. Intenta unificarlo para que el modelo aprenda más rápido.

• Cuarto, equilibra la distribución. Si un tipo de datos es especialmente abundante y otro es escaso, el modelo se inclinará hacia la clase mayoritaria. Puedes considerar sobremuestrear la clase minoritaria o submuestrear la mayoritaria.

• Quinto, verifica la fuga de datos. Asegúrate de que los conjuntos de prueba y validación no aparezcan en el conjunto de entrenamiento.

Reglas empíricas para la cantidad de datos

¿Cuántos datos se necesitan? Esta es una de las preguntas más frecuentes.

La respuesta es: depende de la dificultad de la tarea.

• Tareas simples (por ejemplo, cambiar un texto a un lenguaje más coloquial): con 100-300 muestras puede ser suficiente.

• Tareas medianas (por ejemplo, generar resúmenes con un formato específico): 300-1000 muestras es lo adecuado.

• Tareas complejas (por ejemplo, preguntas y respuestas en un dominio especializado): lo ideal es 1000-5000 muestras.

Por supuesto, cuantos más datos, generalmente mejor, pero los rendimientos marginales son decrecientes. 1000 muestras son mucho mejores que 500, pero 10000 no necesariamente son mucho mejores que 5000.

Un consejo práctico: prepara primero 500 muestras de alta calidad y haz una ejecución de prueba. Si el resultado no es bueno, analiza si es por falta de datos, mala calidad de los datos o problemas de hiperparámetros, y luego mejora en consecuencia.

Calidad de datos >> cantidad de datos. 1000 muestras cuidadosamente elaboradas producen resultados mucho mejores que 10000 muestras mediocres.

Vale la pena invertir tiempo en la fase de preparación de datos. El entrenamiento del modelo es solo cuestión de 'pulsar un botón', pero la calidad de los datos decide si ese botón tiene valor al pulsarlo.

Práctica de fine-tuning supervisado (SFT)

Por fin llegamos a la práctica. Usaremos Unsloth o LLaMA-Factory para implementar el flujo completo de ajuste fino.

Configuración del entorno

Primer paso, instalar las bibliotecas necesarias.

Usando Unsloth/LLaMA-Factory

Unsloth es una biblioteca de entrenamiento optimizada, rápida y con bajo consumo de memoria de video. LLaMA-Factory es un framework de entrenamiento integral que soporta múltiples modelos y métodos.

Veamos primero el código de entrenamiento con Unsloth + peft:

Si quieres un método más simple, puedes usar LLaMA-Factory, que ofrece dos modos: Web UI y línea de comandos.

Ajuste de hiperparámetros de entrenamiento

Elegir hiperparámetros es un arte, pero también hay algunas reglas empíricas.

Tasa de aprendizaje (Learning Rate): Es el hiperparámetro más importante. Para LoRA, 2e-5 a 5e-5 es un punto de partida seguro. Si el entrenamiento es inestable (fluctuación de loss), ajústala a un valor menor. Si el entrenamiento es demasiado lento (el loss disminuye lentamente), ajústala a un valor mayor.

Tamaño de batch (Batch Size): Cuanto más grande, mejor, pero limitado por la memoria de video. per_device_train_batch_size puede ser 2, 4, 8. Si no hay suficiente memoria, usa gradient_accumulation_steps para acumular gradientes. Por ejemplo, batch_size=2, accumulation_steps=4 equivale a batch_size=8.

Épocas (Epochs): 2-5 épocas es adecuado. Muy pocas, el modelo no aprende; demasiadas, puede sobreajustarse. Puedes observar el eval loss; cuando ya no disminuya, puedes detenerte.

Rango LoRA (r): De 8 a 64 está bien. 16 es un buen punto de partida. Para tareas simples usa 8, para tareas complejas usa 32 o 64.

Longitud máxima de secuencia (Max Sequence Length): Depende de tus datos. 512, 1024, 2048, 4096 son comunes. Cuanto más larga, más memoria de video se necesita.

Monitoreo del entrenamiento e interpretación de la pérdida

Durante el entrenamiento hay que prestar atención a varias métricas.

• Train Loss: pérdida en el conjunto de entrenamiento, debería disminuir constantemente. Si disminuye muy rápido, significa que la tasa de aprendizaje puede ser demasiado grande o hay muy pocos datos. Si disminuye muy lento, significa que la tasa de aprendizaje es demasiado pequeña o la capacidad del modelo es insuficiente.

• Eval Loss: pérdida en el conjunto de validación, es la métrica más importante. Debería disminuir junto con el train loss. Si el eval loss empieza a subir mientras el train loss sigue bajando, indica sobreajuste, y deberías detener el entrenamiento.

Manifestaciones de sobreajuste: eval loss baja primero y luego sube, mientras train loss sigue bajando. Soluciones: reducir épocas, aumentar dropout, aumentar datos, reducir el rango de LoRA.

Manifestaciones de subajuste: tanto train loss como eval loss son altos y disminuyen muy lento. Soluciones: aumentar épocas, aumentar el rango de LoRA, aumentar datos, aumentar ligeramente la tasa de aprendizaje.

Evaluación del efecto del fine-tuning

Una vez terminado el entrenamiento, ¿cómo saber si el modelo es bueno?

Selección de métricas de evaluación

El método de evaluación depende del tipo de tarea.

La primera es la evaluación manual. Una persona lee la salida del modelo y califica la calidad. Es la forma más confiable, pero también la que más tiempo consume.

Puedes hacer una tabla de puntuación simple:

La segunda es la evaluación automática. Usa métricas como BLEU, ROUGE, BLEURT. Estas métricas no son perfectas, pero permiten iterar rápidamente.

La tercera es la prueba A/B. Mezcla las salidas del modelo anterior y del nuevo para que alguien las evalúe a ciegas, y observa si el nuevo modelo es realmente mejor.

Prevención del sobreajuste

El sobreajuste es el problema más común en el fine-tuning. Se manifiesta como un buen rendimiento en el conjunto de entrenamiento, pero un mal rendimiento en datos nuevos.

Métodos para prevenir el sobreajuste:

1. Detención temprana (Early Stopping): supervisa el eval loss y detén el entrenamiento cuando deje de disminuir.

2. Aumentar datos: más datos y más diversos son el mejor método para prevenir el sobreajuste.

3. Aumento de datos: reescribe los datos existentes para crear variaciones.

4. Reducir la capacidad del modelo: reduce el rango de LoRA y el número de capas de LoRA.

5. Aumentar Dropout: establece lora_dropout en 0.05 o 0.1 en la configuración de LoRA.

6. Decaimiento de pesos (Weight Decay): añade weight_decay=0.01 en los parámetros de entrenamiento.

Despliegue del modelo afinado

Una vez entrenado el modelo, ¿cómo usarlo?

Cargar LoRA para inferencia

La primera forma es cargar el modelo original y luego cargar el adaptador LoRA.

Métodos de despliegue

Hay varias opciones comunes para el despliegue.

• La primera es usar vLLM. Es un motor de inferencia de alto rendimiento que admite LoRA, procesamiento por lotes continuo y otras funciones. Recomendado para entornos de producción.

• La segunda es usar Text Generation Inference. Es el servicio de inferencia oficial de HuggingFace, con funciones completas.

• La tercera es usar FastAPI para encapsularlo uno mismo. Es simple y directo, adecuado para despliegues a pequeña escala.

• La cuarta es usar Ollama. Convierte el modelo al formato GGUF y ejecútalo con Ollama, adecuado para despliegue local.