llama.cpp 1.0.0: API estable tras tres años y medio

llama.cpp 1.0.0 llega con una API estable como promesa central: desde el 13 de noviembre, cualquier cambio que rompa la interfaz pública de este motor se anunciará con una versión mayor, no colado en una descarga rutinaria. El equipo ggml-org, que mantiene el proyecto dentro de Hugging Face, publicó las dos bibliotecas en la misma versión: libllama, el motor de inferencia en C y C++, y libggml, la biblioteca de tensores que trabaja debajo. Para quien programa productos que corren modelos de lenguaje en una computadora propia, esa frase corta vale más que cualquier función nueva.

El proyecto nació en marzo de 2023 como un experimento para ejecutar modelos LLaMA sin depender de Python ni de una tarjeta gráfica potente. Tres años y medio después, su formato GGUF alimenta buena parte del ecosistema de inteligencia artificial local: aplicaciones conocidas como Ollama y LM Studio se apoyan en este motor, y miles de herramientas pequeñas lo integran sin que el usuario final vea su nombre. Esa dependencia creció con un sistema de versiones frágil: las entregas se identificaban por número de construcción, con etiquetas del tipo b12359, y la última serie numerada quedó en v0.9.0 para llama.cpp y v0.29.0 para ggml. Un número así no dice nada sobre compatibilidad.

Hugging Face lo planteó en su blog oficial como un acto de responsabilidad frente a los desarrolladores que ya dependen de estas bibliotecas. La regla adoptada es el versionado semántico, con tres niveles escritos en una tabla breve. Una subida mayor marca un cambio que rompe la API pública en C, la que vive en la carpeta include. Una subida menor suma funciones compatibles, un backend nuevo, soporte para otro modelo o una ampliación de la API que no obliga a reescribir código. Una subida de parche corrige errores sin tocar la interfaz. Las incompatibilidades de API y de ABI, la interfaz binaria que usan los programas ya compilados, quedan reflejadas en ese primer número.

La limpieza previa: 35 funciones fuera

Antes de firmar esa promesa, la versión 1.0.0 hizo limpieza en casa. Las notas de la versión en GitHub detallan la poda: desaparecen llama_set_warmup, 35 funciones marcadas como obsoletas y la opción defrag_thold, y la API de decodificación especulativa NextN sube desde el encabezado de extensión llama-ext.h hasta el encabezado principal llama.h. Otra función cambia de nombre: llama_set_embd_state_src pasa a llamarse llama_set_ctx_state_src. Quien tenga código que llame a alguna pieza eliminada lo notará al compilar, y esa es justo la clase de ruptura que desde ahora debe esperar a una versión mayor.

El paquete trae trabajo nuevo que se nota en máquinas modestas. La caché KV, donde el motor guarda el contexto de la conversación, admite el formato FP8 con escalas estáticas opcionales por tensor, una vía para recortar memoria en sesiones largas. Los modelos de mezcla de expertos, los MoE, ganan una caché de expertos en la memoria del sistema con una porción de procesador configurable, pensada para equipos con poca memoria gráfica. Y la carga de fragmentos PLE externos desde archivos GGUF separados permite repartir modelos grandes entre varios archivos sin reconstruirlos.

La lista de modelos nuevos confirma el ritmo del proyecto: Kimi-K3.1-Pro, Ripple-65B-Preview y la arquitectura xing4_0 entran en la lista de texto, drama-3 suma síntesis de voz y MageVL-Cowork y Kimi-K3.1 aportan la parte de visión. El blog del equipo cifra el soporte total en más de 150 variantes de arquitectura, con todos los métodos extendidos de decodificación especulativa cubiertos. Cada backend, la pieza que adapta el motor a un hardware concreto, se compila como biblioteca dinámica y puede cargarse al ejecutar.

El servidor integrado también se endurece

llama-server, el servidor que trae el proyecto para ofrecer un modelo por red local, recibe una pasada de seguridad seria. Las notas corrigen huecos de falsificación de peticiones del lado del servidor, de CORS y de revinculación de DNS, limitan el token de Hugging Face a los dominios de huggingface.co y cancelan las llamadas a herramientas MCP cuando el cliente se desconecta. El servidor suma un endpoint de voz compatible con la API de OpenAI, en la ruta /v1/audio/speech, y su interfaz web estrena grupos de chats con nombre y un editor con vista previa en vivo del texto en formato Markdown.

La distribución ayuda a entender el peso del anuncio. Además de los artefactos para Linux, macOS, Windows, Android e iOS, las bibliotecas llegan por Docker, Debian, Homebrew, conda-forge, MacPorts, Winget y XCFramework: ocho canales por los que una ruptura silenciosa se multiplica. Hay un contraste útil con lo que pasa cuando una interfaz pública cambia sin avisar, algo que viven a diario quienes programan contra servicios como la API de búsqueda de Brave: cada ajuste obliga a revisar integraciones que funcionaban la semana anterior.

Para el lector que solo usa aplicaciones terminadas, el cambio se resume en menos sorpresas: su programa de modelos locales podrá actualizar el motor con una lectura rápida del número de versión. Para quien desarrolla, la tarea inmediata es otra: buscar en su código las 35 funciones eliminadas, el viejo nombre de la función de estado y la opción defrag_thold antes de compilar contra la 1.0.0. La próxima ruptura, cuando llegue, debería llamarse 2.0.0 y venir anunciada en el propio número.

Fuente: Hugging Face