SambaNova SN50 ya tiene canal de venta grande: Supermicro armará y venderá sistemas de inferencia con un plan inicial de 10.000 chips RDU, al lado de tarjetas gráficas de Nvidia. El acuerdo, anunciado el 3 de noviembre en San José, California, reparte el trabajo de cada respuesta entre dos procesadores distintos y mete al SN50 en el catálogo Data Center Building Block Solutions de Supermicro, su línea de sistemas por bloques para centros de datos.
La división es concreta. Las GPU de Nvidia leen la petición que escribe el usuario, la fase llamada prefill, donde manda el cálculo bruto sobre un texto que entra de golpe. El SN50 escribe la respuesta, palabra por palabra, en la fase llamada decode, donde manda la memoria. Cada fase pide un hardware distinto, y el sistema las separa en chips distintos: eso es la inferencia desagregada que da nombre al acuerdo.
Un chip para leer y otro para responder
El motivo tiene nombre propio en el comunicado: los agentes. Un agente de inteligencia artificial hace miles de llamadas a un modelo grande, cada llamada puede tardar minutos y casi todo ese tiempo se va escribiendo la respuesta, token a token. Si la escritura se atasca, el agente entero espera para dar el paso siguiente. Rodrigo Liang, cofundador y director ejecutivo de SambaNova, planteó el acuerdo como la vía para pedir RDU SN50 al lado de las GPU, en el mismo pedido y con un proveedor conocido.
Escribir una respuesta tiene una mecánica ingrata. Para soltar cada palabra nueva, el modelo relee sus pesos completos y el historial de la conversación, así que el trabajo crece con el largo del texto y castiga la memoria mucho más que el cálculo. Una GPU rinde bien leyendo la petición entera de una vez; al escribir, pasa buena parte del tiempo esperando datos. Dejar esa escritura a un chip con 64 GB de HBM2E pegados al cómputo ataca el punto exacto donde la respuesta pierde velocidad.
Supermicro integra, prueba, entrega y da soporte a los sistemas, con servicio en las instalaciones del cliente. Los ingenieros de SambaNova ponen los modelos a correr en el SN50, los ajustan y ayudan en cada despliegue. Charles Liang, presidente y director ejecutivo de Supermicro, presentó la colaboración como una ampliación de su catálogo con arquitecturas mixtas, donde la GPU convive con un acelerador hecho solo para inferir y cada uno carga la parte que mejor hace.
La venta arranca con dos tipos de cliente: las nubes nuevas levantadas solo para inteligencia artificial y las nubes soberanas, que guardan datos y cómputo dentro de las fronteras de un país. Después vendrán las empresas con centros de datos propios, que comprarán el RDU en el mismo canal del resto de su infraestructura. Ninguna de las dos compañías dio precios de los racks ni un calendario de envíos: el plan de 10.000 chips es una cifra de arranque, no un conteo de unidades entregadas.
El SN50 por dentro: tres pisos de memoria
El SN50 es la quinta generación de la unidad de flujo de datos reconfigurable de SambaNova, la RDU. Su ficha técnica detalla un chip fabricado por TSMC en 5 nanómetros, con 432 MB de SRAM dentro del propio procesador y 64 GB de memoria HBM2E. Un tercer piso con DDR5 guarda modelos en espera y la memoria de conversaciones largas. La SRAM atiende los datos calientes junto al cómputo, la HBM2E carga los pesos del modelo en uso y la DDR5 absorbe el resto sin frenar la escritura de la respuesta.
La arquitectura de flujo de datos encadena las operaciones en una corriente continua, con menos viajes a buscar datos fuera del chip. El diseño escala hasta 256 RDU repartidos en varios racks, pensado para asistentes de código, agentes que trabajan sin parar y aplicaciones que cambian de modelo dentro de la misma sesión. SambaNova, fundada en 2017 y con sede en San José, vende chips, sistemas y servicios en la nube sobre esa misma arquitectura.
SambaNova afirma que el SN50 atiende modelos enormes a alta velocidad sin pedir densidades de potencia extremas por rack. Ese detalle decide dónde cabe el sistema: un operador puede sumar capacidad de inferencia en una sala ya construida, con su electricidad y su refrigeración de hoy, y estirar la vida útil de las GPU que ya pagó. La alternativa, esperar una sala nueva, choca con permisos, transformadores y obras que tardan años.
El movimiento llega en una semana de compras grandes en el hardware de la inteligencia artificial: la compra de Lumentum por Marvell, valorada en US$115.000 millones, cerró su acuerdo definitivo el 2 de noviembre, con cierre previsto para la primera mitad de 2028. Marvell apuesta por la luz que conecta unos chips con otros dentro de la sala; SambaNova y Supermicro apuestan por repartir el trabajo dentro de la respuesta misma. Dos caminos distintos para el mismo aprieto: las salas se quedan cortas de electricidad antes que de demanda.
Las dos empresas calculan que con esta mezcla podrán entregar en 2027 mucha más capacidad de inferencia de la que saldría esperando centros de datos nuevos. La cifra que tendrán que demostrar es otra: cuántos de los 10.000 SN50 del plan inicial terminan instalados, en racks de qué clientes y respondiendo peticiones reales, con precios que todavía nadie ha publicado.
Fuente: SambaNova
