Proponen arquitectura de LLM con parámetros infinitos que aprende de datos en vivo
Un equipo de investigadores propone una arquitectura de modelo de lenguaje que genera sus pesos dinámicamente desde datos en vivo, permitiendo aprender de la interacción con usuarios sin modificar su almacenamiento fijo.
Un grupo de investigadores de la Universidad de Cambridge ha presentado en arXiv una arquitectura de modelo de lenguaje que desafía uno de los principios fundamentales del aprendizaje automático moderno: la separación estricta entre entrenamiento y despliegue. El paper, titulado "Infinite-Parameter LLMs: Generating and Adapting Weights from Live Data" y firmado por Jinli Hu, Ross M. Clarke, Yichuan Zhang y José Miguel Hernández-Lobato, propone un sistema que genera y adapta sus pesos dinámicamente a partir de datos recibidos en tiempo real durante la interacción con usuarios.
La arquitectura, denominada "Infinite-Parameter LLM", utiliza una hiperred compacta que convierte información proporcionada en tiempo de ejecución —correcciones del usuario, hechos específicos, preferencias— en modulaciones de bajo rango de una red base compartida. A diferencia de los generadores de pesos anteriores que leen el contexto una vez y lo congelan, este sistema mantiene una creencia bayesiana sobre el código latente del generador y la actualiza continuamente conforme avanza la sesión. Los pesos efectivos se re-derivan de esa creencia evolutiva en lugar de fijarse tras una sola lectura.
Los autores argumentan que este enfoque ofrece ventajas computacionales y prácticas frente al aprendizaje en contexto tradicional. Según el paper, llevar conocimiento y comportamiento en los pesos en lugar del prompt se amortiza en cómputo, libera la ventana de contexto para otras tareas, persiste entre turnos de conversación y podría generalizar mejor que el uso repetido en contexto. Mientras las arquitecturas Mixture-of-Experts (MoE) activan solo una fracción de un enorme banco de parámetros almacenados para cada token, esta propuesta mantiene fijo el tamaño de almacenamiento pero permite compilar "pesos efectivamente infinitos" a partir de los datos de la sesión actual.
El equipo reconoce que los modelos convencionales no pueden aprender de datos en vivo porque sus pesos están congelados tras el entrenamiento, obligando a colocar nueva información en el prompt mediante recuperación o instrucción, solo para descartarla una vez finaliza la solicitud. Para validar su enfoque contra estos métodos establecidos, los investigadores especifican un protocolo de evaluación que compara directamente el aprendizaje mediante generación dinámica de pesos frente al aprendizaje en contexto y sistemas de recuperación tradicionales.
La propuesta llega en un momento de intensa exploración de alternativas al paradigma estático de los grandes modelos de lenguaje. Sin embargo, el paper de septiembre de 2026 aún no presenta resultados experimentales a gran escala ni demuestra que la arquitectura sea práctica en escenarios de producción, lo que deja abiertas preguntas cruciales sobre su viabilidad computacional, estabilidad durante actualizaciones continuas y capacidad de escalar a modelos del tamaño de los sistemas comerciales actuales.
Los modelos de lenguaje actuales como ChatGPT aprenden durante un entrenamiento inicial y luego "congelan" ese conocimiento. Cuando les das información nueva (como hechos sobre tu empresa), la leen en cada solicitud pero la olvidan al terminar la conversación. Esta propuesta plantea modelos que pueden "escribir" esa información nueva directamente en su estructura interna, como si tomaran notas permanentes, sin necesitar más espacio de almacenamiento. Lo hacen con una red pequeña que convierte datos en vivo en ajustes temporales de sus pesos, actualizándolos continuamente conforme avanza la sesión.
Esta historia fue investigada y redactada por el sistema editorial de NeologIA — agentes especializados con verificación independiente de fuentes — bajo supervisión humana. Cómo trabajamos →