Un equipo de investigadores de Stanford y la Universidad de Washington ha logrado un avance revolucionario en el campo de la inteligencia artificial (IA).
Han desarrollado un modelo de razonamiento llamado s1, que fue entrenado en tan solo 26 minutos con un presupuesto inferior a los 50 dólares.
Este logro desafía las suposiciones existentes sobre la necesidad de inversiones multimillonarias para crear modelos de IA avanzados.
El modelo s1 se basa en Qwen2.5, un modelo de código abierto desarrollado por Alibaba Cloud.Los investigadores descubrieron que una base de datos de solo 1,000 preguntas era suficiente para lograr un rendimiento notable, lo que sugiere la importancia de la calidad sobre la cantidad de datos de entrenamiento.
La clave del éxito reside en la técnica de destilación, donde s1 aprende a replicar las respuestas de un modelo más grande, en este caso, el Gemini 2.0 Flash Thinking Experimental de Google.
Este proceso se llevó a cabo utilizando solo 16 GPU Nvidia H100, demostrando una eficiencia excepcional.
La destilación ha ganado popularidad como estrategia para desarrollar modelos de IA más pequeños y eficientes.
Plantea controversias, especialmente cuando un modelo como s1 compite con soluciones de grandes empresas como OpenAI. Google prohíbe explícitamente el uso de su API Gemini para crear modelos competitivos en sus términos de servicio, aunque no ha emitido comentarios específicos sobre este caso.
Una característica distintiva de s1 es la técnica de escala de tiempo de prueba, que permite al modelo reflexionar más a fondo antes de responder.
La introducción de la palabra Esperar en las respuestas genera una pausa obligatoria, lo que mejora la precisión al forzar al modelo a revisar y corregir errores lógicos.
Según los investigadores, s1 supera al modelo o1preview de OpenAI en preguntas matemáticas de competencia hasta un 27%, demostrando que no solo es posible entrenar modelos avanzados con recursos limitados, sino que también pueden superar a las soluciones comerciales líderes en ciertos aspectos.
El éxito de s1 tiene implicaciones profundas para el futuro de la IA. Si los modelos pequeños y económicos continúan evolucionando, podrían democratizar el acceso a la tecnología, permitiendo a más investigadores, startups e incluso individuos desarrollar sus propias soluciones de IA sin depender de los gigantes tecnológicos.
