Colibrì es un proof-of-concept que pretende ejecutar el modelo GLM‑5.2 de 1,5 TB en máquinas con apenas 25 GB de RAM y un disco NVMe virtual de 1 GB/s. Importa porque demuestra que, con trucos de carga y cuantización, es posible usar modelos gigantes fuera de centros de datos, aunque con penalizaciones de rendimiento significativas.
Cómo funciona Colibrì: cargar GLM‑5.2 por piezas
GLM‑5.2 es un modelo tipo Mixture‑of‑Experts (MoE) con cientos de «expertos» especializados. En lugar de cargar todo el modelo en memoria, Colibrì selecciona y carga los expertos que necesita para cada token.
En la práctica, esto significa que la aplicación divide tu consulta en tokens y, para cada token, activa un subconjunto de expertos. Ese subconjunto puede variar a lo largo de la respuesta y, en ocasiones, sumar decenas o incluso centenares de expertos.
Colibrì realiza esa selección y el traslado de datos a golpe de disco: carga y descarga los expertos desde NVMe sobre la marcha. Para mantener la complejidad baja, la implementación de selección de expertos es un único archivo C con pocas dependencias.
Además, el modelo se ha cuantizado para reducir su tamaño y ocupar menos espacio en disco y memoria. La cuantización es un proceso con pérdida: reduce requisitos de almacenamiento y cómputo a costa de precisión numérica.
Rendimiento, limitaciones y por qué no es todavía para producción
El autor del proyecto, el ingeniero italiano Vincenzo (conocido como JustVugg), probó Colibrì en una máquina modesta. El resultado fue funcional, pero lento: en su configuración el sistema rinde entre 0,05 y 0,1 tokens por segundo.
Para ponerlo en contexto, una experiencia conversacional fluida suele requerir entre 20 y 30 tokens por segundo. Con las cifras actuales de Colibrì, una respuesta puede tardar horas.
El cuello de botella principal aquí es el I/O: mover expertos desde y hacia NVMe por token es intensivo en transferencia de datos. Si mejoras el ancho de banda de almacenamiento, aparecen nuevos límites: la memoria RAM disponible, luego el número de núcleos de CPU y así sucesivamente.
No es un detalle menor: la estrategia de Colibrì depende de que el sistema pueda mantener un flujo constante de datos desde almacenamiento secundario. En máquinas con NVMe lento o cargas concurrentes, el rendimiento caerá todavía más.
Otro punto a considerar es el coste de la cuantización. Reducir el tamaño ayuda a que el modelo quepa en disco y memoria, pero puede afectar la calidad en subtareas sensibles. Las pruebas iniciales de Vincenzo muestran respuestas prometedoras, pero no hay suficientes evaluaciones sistemáticas públicas para confirmar una paridad clara con ejecuciones en hardware especializado.
Colibrì, en su forma actual, tampoco aprovecha GPUs; la versión disponible se ejecuta en CPU. Aunque portar la técnica a GPUs es técnicamente posible, el movimiento continuo de expertos entre memoria y memoria de vídeo también crearía un cuello de botella importante.
En resumen: Colibrì demuestra viabilidad técnica, pero no ofrece una experiencia práctica de uso diario.
¿Qué aporta a la discusión sobre IA local?
El proyecto sirve como recordatorio de que la arquitectura de un modelo —en este caso, MoE— condiciona opciones de despliegue. Un modelo MoE ya implementa selección dinámica de componentes; eso facilita estrategias de carga parcial que serían imposibles con modelos densos de tamaño equivalente.
Para entusiastas y administradores de laboratorios domésticos, Colibrì abre una vía experimental: usar modelos grandes sin invertir en racks de GPU. Para empresas y usuarios que buscan latencias bajas y uso en producción, la técnica aún no es suficiente.
También reaviva la discusión sobre privacidad y coste. Ejecutar localmente un modelo potente evita enviar datos a terceros y reduce dependencia de suscripciones. Pero la barrera técnica sigue siendo alta: almacenamiento NVMe muy rápido, CPUs con muchos núcleos y estrategias eficientes de cuantización.
Estado del proyecto y participación
El código está publicado como proof-of-concept y su creador recolecta benchmarks y correcciones. La comunidad ya ha mostrado interés, lo que suele acelerar mejoras prácticas como optimizaciones de I/O, caching inteligente o adaptaciones para GPUs.
Vale la pena esperar a ver pruebas en hardware más potente y comparativas reproducibles. Solo así se podrá saber si la técnica escala hasta ofrecer rendimientos útiles en equipos de consumo de alta gama.
Colibrì no es una solución lista para el usuario medio, pero sí una prueba de que con ingeniería es posible acercar modelos de frontera a entornos locales. ¿Será suficiente para que los laboratorios caseros ejecuten modelos competitivos sin invertir en infraestructura profesional? Esa es la pregunta que queda abierta.
