Cuantización GGUF, AWQ y FP8: Cómo Instalar Modelos Gigantes en tu PC

En esta guía te explicamos qué significan todas esas siglas como si habláramos de guardar ropa en una maleta o comprimir una foto, para que sepas en 10 segundos qué archivo descargar siempre.

1. ¿Qué Es la Cuantización de un Modelo de IA?

Ejemplo fácil y sencillo: Redondear decimales sin perder el sentido

Por dentro, una Inteligencia Artificial no es más que una tabla gigantesca llena de miles de millones de números con muchos decimales (por ejemplo, 3,141592653589793). Guardar cada número con 16 decimales ocupa muchísimo espacio en la memoria de tu tarjeta gráfica.

La cuantización consiste simplemente en redondear esos números a menos decimales (por ejemplo, dejarlo en 3,14). ¿El resultado? El archivo pasa a ocupar menos de la mitad de espacio y va mucho más rápido, mientras que la IA sigue respondiendo prácticamente igual de bien. Es exactamente igual que pasar una foto de formato RAW de cámara profesional a un archivo JPEG o WebP de alta calidad: a simple vista se ve idéntica, pero ocupa cuatro veces menos.

¿Por qué Q4_K_M es el archivo que casi siempre debes elegir?

Cuando entras a Hugging Face o a Ollama, verás números como Q2, Q4, Q5 o Q8 (donde la «Q» viene de Quantization y el número indica cuántos bits ocupa cada peso):

• Q8_0 (8 bits): Calidad idéntica al original, pero ocupa el doble que Q4.
• Q4_K_M (4 bits inteligentes): Es el estándar de oro. Mantiene más del 98% de la inteligencia original ocupando casi una cuarta parte del tamaño original.
• Q2 (2 bits): Recorta demasiado; la IA empieza a repetir palabras o equivocarse en cuentas sencillas. Evítalo salvo emergencia.

2. ¿Qué Diferencia Hay entre GGUF, AWQ y FP8?

Elige según el ordenador que tengas encima de la mesa

• GGUF (Para Ollama, LM Studio, Mac y PC doméstico): Es el formato más versátil porque permite repartir el trabajo entre tu tarjeta gráfica y la memoria RAM normal de tu ordenador.
• AWQ y FP8 (Para servidores con tarjetas NVIDIA modernas): Están diseñados para exprimir la máxima velocidad cuando todo el modelo cabe entero dentro de una GPU dedicada con motores como vLLM.

Tabla comparativa de datos reales en Modelos & Chatbots

Para que tengas todas las cifras oficiales de un solo vistazo sin tener que buscar en diez páginas distintas, aquí tienes la comparativa actualizada:

3. Regla Rápida para Saber si un Modelo Cabe en tu Ordenador

La cuenta de la vieja en 5 segundos

En formato Q4_K_M, un modelo de 7B o 8B parámetros necesita unos 5,5 GB de memoria (funciona en casi cualquier portátil moderno). Un modelo mediano de 14B necesita unos 10 GB, y uno grande de 70B necesita unos 42 GB.

Plantilla práctica verificada lista para copiar y probar sin errores

Hemos pre-rellenado esta plantilla con datos de ejemplo reales para que puedas probarla ahora mismo con un solo clic y comprobar que funciona a la primera sin dar ningún fallo:

# Comandos directos para ejecutar en tu terminal con Ollama:
# 1. Para portátiles de 8 GB de RAM (descarga automática en Q4_K_M, 2.0 GB):
ollama run llama3.2:3b "Explícame en 3 puntos cómo organizar mi semana de trabajo"

# 2. Para ordenadores de 16 GB de RAM (razonamiento paso a paso, 9.0 GB):
ollama run deepseek-r1:14b "Calcula el margen neto de un producto que se vende a 120€ con coste de 72€"

# 3. Ver qué modelos tienes instalados y cuánta memoria ocupan:
ollama list

4. Veredicto Final: Qué Descargar Hoy

La combinación ganadora sin complicarte

Si usas Ollama o LM Studio en tu ordenador personal, busca siempre la etiqueta Q4_K_M GGUF (que es la que Ollama instala por defecto automáticamente).

5. Fuentes Oficiales y Herramientas Verificadas

Para profundizar directamente en la documentación técnica, comprobar tarifas en tiempo real o descargar las herramientas oficiales mencionadas en este estudio, consulta estos recursos de referencia:

6. Preguntas Frecuentes (FAQ)