Ejecutar modelos con Ollama

Uso de Ollama para ejecutar modelosollama runcomando.

Por ejemplo, si queremos ejecutar qwen3.5:0.8b y conversar con ese modelo, podemos usar el siguiente comando:

La primera ejecución descarga automáticamente, aproximadamente 1.0GB:

ollama run qwen3.5:0.8b

Después de ejecutar el comando, primero verás el progreso de descarga; una vez completada, entrarás directamente en el diálogo:

$ ollama run qwen3.5:0.8b
pulling manifest
pulling 87497c5f0e8f... 100% |████████████████████| 1.0GB
pulling 5e2ad5... 100% |████████████████████|  11KB
verifying sha256 digest
writing manifest
success
>>> 你好，你是什么模型？

>>> /bye

Al ver>>>el símbolo del sistema indica que el modelo se ha cargado por completo; escribe tu pregunta y presiona Enter para conversar.

Si se corta la red durante la descarga, no es necesario reiniciar; Ollama admite la reanudación de descargas. Al volver a ejecutar el mismo comando, continuará desde el último progreso.

Seleccionar modelos con el menú interactivo

Además de escribir comandos directamente, ingresar `ollama` sin argumentos abre un menú interactivo; la nueva versión lo utiliza como punto de entrada unificado.

$ ollama
Chat, Code, & Work
    Chat with models, code, search the web, and delegate real work

  Launch Claude Code
    Anthropic's coding tool with subagents

  Launch OpenCode
    Anomaly's open-source coding agent

  Launch Hermes Agent
    Self-improving AI agent built by Nous Research

  Launch OpenClaw
    Personal AI with 100+ skills

  More...
    Show additional integrations

Selecciona Chat, Code, & Work para elegir un modelo ya descargado y comenzar a chatear; el resultado es exactamente el mismo que con `ollama run`.

Aquí puedes elegir el modelo:

Launch, en el menú, se usa para iniciar herramientas integradas como VS Code, Claude Code, etc. Es una técnica avanzada que se presentará más adelante en el tutorial.

Elegir el primer modelo: según tu memoria

El modelo no es mejor cuanto más grande; un modelo que tu equipo no puede manejar solo hará que el ventilador gire a toda velocidad y que las respuestas tarden segundos o incluso minutos.

El principio para principiantes es simple: empieza con un modelo pequeño y, una vez que funcione con fluidez, ve aumentando gradualmente. Elige según la memoria RAM y VRAM de tu máquina:

Configuración de tu máquinaEtiqueta recomendadaTamaño de descargaExperiencia esperada
8GB de RAM, sin tarjeta gráfica dedicadaqwen3.5:0.8b / 2b1.0 ~ 2.7GBDiálogo ligero y fluido
16GB de RAM, sin tarjeta gráfica dedicadaqwen3.5:4b / 9b3.4 ~ 6.6GBEspecificación predeterminada, equilibrio entre calidad y velocidad
Tarjeta gráfica con más de 8GB de VRAMqwen3.5:9b o qwen3.5:latestAproximadamente 6.6GBAceleración por GPU, velocidad notablemente mejorada
Tarjeta gráfica con más de 16GB de VRAMqwen3.5:27bAproximadamente 17GBTextos largos y código de mayor calidad
Si la configuración es realmente insuficienteqwen3.5:cloudNo es necesario descargarInferencia en la nube; requiere iniciar sesión con una cuenta de Ollama

Las diferencias de capacidad entre las distintas especificaciones de un mismo modelo son reales. 0.8b es adecuado para entornos de prueba; para uso diario se recomienda empezar al menos con 4b.

Entender la regla de nomenclatura model:tag

El nombre que escribes en el comando se compone de dos partes: "nombre del modelo + etiqueta", lo que determina exactamente qué descargas.

model:tag 命名规则解剖图

Nombre del modelo: el nombre de la familia

El nombre del modelo corresponde a una familia en la biblioteca oficial de modelos, por ejemplo qwen3.5, gemma4, deepseek-r1.

Dentro de una misma familia puede haber varias especificaciones, todas comparten un mismo nombre de modelo.

Etiqueta: especificación y versión

La etiqueta determina exactamente qué archivo se descarga; comúnmente indica la especificación de parámetros, como 0.8b, 9b, 27b.

Cuando no se escribe etiqueta, Ollama agrega automáticamentelatest, es decir, la especificación predeterminada que el oficial estableció para ese modelo.

En el caso de qwen3.5,ollama run qwen3.5es equivalente aollama run qwen3.5:latest, actualmente apunta a la especificación 9b.

Espacio de nombres: quién lo publicó

Un nombre con una barra inclinada indica un modelo publicado por un tercero; la parte anterior a la barra es el nombre de usuario del publicador.

Los modelos en la biblioteca oficial no tienen espacio de nombres; solo lo llevan los modelos publicados por individuos o equipos (por ejemplo, el formato `ejemplo/my-model:4b`). El intercambio y la distribución de modelos se demuestran en el capítulo de despliegue privado.

Ver los modelos descargados

Si no estás seguro de qué modelos hay localmente y cuánto espacio ocupa cada uno, usa el comando `list` para consultarlo:

Ejemplo

# Listar todos los modelos locales
ollama list
$ ollama list
NAME               ID            SIZE      MODIFIED
qwen3.5:0.8b       9e3f4b3a1c2d  1.0GB     5 minutes ago
qwen3.5:latest     a8b2c9d3e4f5  6.6GB     2 hours ago

En el próximo capítulo se explicarán completamente los comandos de gestión de modelos como list, show, rm, etc.

Salir, volver a entrar y cambiar de modelo

En el modo de diálogo, ingresa/byepara salir y volver a la terminal normal.

Ejemplo

# Escribe /bye para salir del diálogo y volver a la terminal normal
/bye

Si vuelves a ejecutar el mismo comando `ollama run`, podrás volver a entrar en el diálogo; como el modelo ya está descargado, esta vez entrarás casi al instante.

Si quieres cambiar a otro modelo para conversar, simplemente ejecuta `run` con otro modelo; puedes alternar entre los dos modelos:

Ejemplo

# Cambiar del modelo pequeño a la especificación predeterminada
ollama run qwen3.5:4b

# Volver a cambiar también funciona igual
ollama run qwen3.5:0.8b

Después del cambio, el modelo anterior permanece en memoria durante unos 5 minutos; si no hay nuevas solicitudes, se descarga automáticamente. Este mecanismo se llama keep-alive y en el próximo capítulo se explicará cómo ajustarlo.

Cuando necesites ingresar texto de varias líneas durante el diálogo, enciérralo entre tres comillas dobles:

Ejemplo

>>> """Traduce el siguiente párrafo al inglés:
... EJEMPLO es un sitio web de tutoriales.
... Gracias.
... """

Usar modelos con el SDK de Python

Si deseas integrar Ollama con código Python, puedes usar el SDK de Python de Ollama para cargar y ejecutar modelos.

1. Instalar el SDK de Python

Primero, necesitas instalar el SDK de Python de Ollama. Abre la terminal y ejecuta el siguiente comando:

pip install ollama

2. Escribir un script de Python

A continuación, puedes usar código Python para cargar el modelo e interactuar con él.

A continuación se muestra un ejemplo simple de script de Python que demuestra cómo usar el modelo qwen3.5 para generar texto:

Ejemplo

import ollama
response = ollama.generate(
    model="qwen3.5",  # Nombre del modelo
    prompt="¿Quién eres?"  # Texto de prompt
)
print(response)

3. Ejecutar el script de Python

Ejecuta tu script de Python en la terminal:

python test.py

Verás la respuesta que el modelo devuelve según tu entrada.

4. Modo de diálogo

Ejemplo

from ollama import chat
response = chat(
    model="qwen3.5",
    messages=[
        {"role": "user", "content": "¿Por qué el cielo es azul?"}
    ]
)
print(response.message.content)

Este código mantiene un diálogo con el modelo e imprime las respuestas del modelo.

5. Respuesta en streaming

Ejemplo

from ollama import chat
stream = chat(
    model="qwen3.5",
    messages=[{"role": "user", "content": "¿Por qué el cielo es azul?"}],
    stream=True
)
for chunk in stream:
    print(chunk["message"]["content"], end="", flush=True)

Este código recibe la respuesta del modelo en modo streaming, adecuado para procesar grandes volúmenes de datos.

Otras extensiones