Caché KV de Supermicro pone la inferencia de IA a guardar tarea hecha. La empresa de San José presentó este 5 de noviembre una plataforma con IBM y NVIDIA que saca el contexto ya calculado de la memoria gráfica y lo deja en almacenamiento compartido, listo para la siguiente petición. El dato que resume el anuncio: en las pruebas conjuntas, el primer token de un texto de 130.000 tokens tardó hasta 56 veces menos que en un sistema sin esa memoria persistente.
El problema que ataca tiene nombre corto y costo largo. Cada vez que un modelo grande recibe una conversación, un documento extenso o una base de código completa, la primera fase del trabajo, llamada prefill, convierte ese material en estados intermedios de clave y valor. Esos estados son la caché KV. Si la siguiente petición repite buena parte del contexto, un sistema sin memoria persistente repite el cálculo entero y la tarjeta gráfica pasa minutos en trabajo que ya hizo antes.
La plataforma reúne cuatro piezas con dueño distinto. Supermicro aporta sus servidores de almacenamiento Petascale, todos con memoria flash y procesadores AMD EPYC 9005, la familia Turin. IBM pone Storage Scale, su programa de almacenamiento compartido, en la edición con codificación de borrado. NVIDIA suma Dynamo, su marco de inferencia, y la red Ethernet Spectrum-X. Dynamo reparte el trabajo con rutas que conocen la caché, separa la fase de prefill de la fase de generación y mueve los bloques guardados con su administrador de bloques KV y la biblioteca de transferencia NIXL.
Los números de la prueba, con su letra pequeña
El Redbook de IBM que documenta la arquitectura, publicado el 5 de junio de 2026 y actualizado el 20 de agosto, trae las mediciones que sostienen el anuncio. Con un texto de 130.000 tokens, recalcular el contexto en la tarjeta gráfica tomó 32,14 segundos. Leer ese mismo contexto desde la caché en almacenamiento tomó 0,570 segundos. El modelo de la prueba fue openai/gpt-oss-120b, un sistema de 120.000 millones de parámetros, servido con vLLM 0.14.1 y medido con la herramienta AIPerf de NVIDIA.
Otra corrida del mismo documento empujó el sistema con volumen. Doscientas peticiones, 28 conexiones a la vez, cien textos distintos que sumaron 24 millones de tokens y 825 GB de datos de caché. El rendimiento pasó de 0,19 a 4,26 peticiones por segundo y el tiempo total bajó de 1.048,56 segundos a 46,94. La caché arrancó vacía en esa corrida, así que el promedio incluye el tramo inicial sin contexto guardado para reutilizar.
El equipo de pruebas también metió ruido a propósito. Cuatro clientes extra generaron 200 GB/s de tráfico competidor en la red y, aun con ese vecino incómodo, el sistema sostuvo 3,6 peticiones por segundo y despachó las 200 peticiones en 55,56 segundos. El Redbook cifra la caída en un 18 % frente al resultado con la red limpia. Son cifras de laboratorio, de las tres empresas que venden la plataforma, y valen para esa configuración concreta: un nodo cliente con cuatro tarjetas NVIDIA RTX PRO 6000 conectado a un clúster de almacenamiento de ocho nodos Petascale, con tres conmutadores Spectrum-X SN5600.
Ese detalle de la red importa. El almacenamiento de ocho nodos leyó hasta 315 GB/s, pero el lado del cliente entregó hasta 80 GB/s. La memoria compartida sobra en velocidad de lectura y el límite queda en el cable que alimenta a las tarjetas gráficas. Quien compre la plataforma tendrá que dimensionar red y almacenamiento juntos: un clúster enorme detrás de una red corta rinde como la red, no como el clúster.
Para quién es y qué falta por probar
Los usos que nombra el comunicado son los que más contexto repiten: agentes en varios pasos, asistentes de código que leen repositorios completos, búsqueda con generación sobre documentos largos y aplicaciones multimodales con historiales extensos. Es el mismo terreno donde la inferencia manda en el gasto diario, el terreno que también explora el motor de inferencia abierto de DeepSeek. Guardar el contexto fuera de la tarjeta libera memoria gráfica para más peticiones a la vez y recorta la espera del primer token, la pausa que el usuario sí nota antes de que empiece a salir la respuesta.
Charles Liang, presidente y director ejecutivo de Supermicro, ligó el lanzamiento al cambio de fase de la industria: las cargas pasan del entrenamiento a la inferencia y las empresas necesitan quitar frenos para aprovechar sus tarjetas. Sam Werner, gerente general de IBM Storage, habló de escalar la capacidad de contexto sin escalar el cómputo al mismo ritmo. Shruti Koparkar, responsable de producto de inferencia en NVIDIA, puso el acento en Dynamo como el director que reparte el trabajo entre tarjetas.
El comunicado no trae precio, ni fecha de disponibilidad por región, ni un cliente nombrado que ya corra la plataforma en producción. Supermicro ofrece integración de bastidores en fábrica y despliegue en sitio, con la promesa de bajar la puesta en marcha de semanas a días, y el Redbook sugiere tamaños de partida: cuatro nodos para una prueba, ocho para la configuración media medida y 16 o más para fábricas de IA grandes. La ganancia de 56 veces queda atada a textos muy largos con contexto reutilizable; en peticiones cortas, la caché guarda poco y la ventaja se achica. El primer termómetro real será un despliegue con nombre propio y cifras fuera del laboratorio de sus tres vendedores.
Fuente: PR Newswire
