Las Leyes de Escalado
¿Qué hace que un modelo de lenguaje sea más inteligente? Durante años, la respuesta fue sencilla: hacerlo más grande. Pero la historia de las leyes de escalado es la historia de cómo esa respuesta simple fue matizándose hasta convertirse en algo mucho más complejo, caro y fascinante.
Versión tras versión, desde GPT-2 hasta GPT-5, o la familia de modelos equivalentes de los demás actores del mercado, hemos presenciado la aparición de lo que se denominan capacidades emergentes: habilidades para las que estos modelos no fueron entrenados explícitamente pero que surgen de forma espontánea al aumentar su escala.
Las Capacidades Emergentes
Lo más sorprendente del escalado no son las mejoras incrementales en tareas conocidas, sino la aparición de habilidades completamente nuevas que nadie diseñó explícitamente. Estas capacidades no mejoran de forma gradual: emergen de golpe al cruzar ciertos umbrales de escala, y no hay forma de predecir cuáles aparecerán ni cuándo.
Algunos ejemplos documentados son:
La aritmética de varios dígitos aparece de forma fiable entre los 10B y los 100B parámetros. Por debajo de ese umbral, el modelo simplemente no es capaz de realizarla con consistencia.
El prompting Chain-of-Thought (CoT) descomponer un problema complejo en pasos intermedios para hallar la respuesta solo funciona a partir de cierta escala, en torno a los 100B parámetros. En modelos pequeños, CoT no produce mejoras consistentes e incluso puede reducir el rendimiento en ciertas tareas, según los experimentos originales de Wei et al.
La capacidad de seguir instrucciones en lenguaje natural muestra también un salto cualitativo con la escala. Los modelos pequeños tienden a continuar el texto en lugar de tratar la instrucción como una tarea — responden al cómo del texto, no al qué se les pide. A mayor escala, algo cambia: el modelo empieza a inferir la intención detrás de la instrucción. Esta capacidad se amplifica después mediante técnicas de ajuste fino, pero el sustrato que hace posible ese ajuste también depende de la escala.
Por último, el In-Context Learning (ICL) es la capacidad de resolver una tarea nueva únicamente a partir de ejemplos proporcionados en el propio prompt, sin actualizar los pesos del modelo. Los modelos pequeños apenas muestran ICL real; los modelos grandes son capaces de generalizar a tareas nuevas y seguir esquemas que no han visto explícitamente durante el entrenamiento.
Lo más desconcertante de todas estas capacidades es precisamente su impredecibilidad. Nadie sabe qué nueva habilidad aparecerá al cruzar el siguiente umbral, ni si aparecerá alguna. Esto convierte el escalado en algo parecido a una apuesta. Una apuesta que, eso sí, requiere entender muy bien cómo funciona el escalado para hacerla de forma eficiente.
Lo que no está nada claro es cuánto cuesta llegar a esos umbrales, ni cuál es la forma más eficiente de hacerlo. Eso es precisamente lo que intentan responder las leyes de escalado.
Las Leyes de Escalado
Al escalado de capacidades han contribuido principalmente tres variables: el número de parámetros del modelo, el volumen de datos de entrenamiento y la cantidad de recursos de cómputo utilizados en el proceso.
Estas leyes fueron enunciadas por primera vez en 2020 en una publicación de OpenAI titulada «Scaling Laws for Neural Language Models«. En este artículo se defendía que, dado un presupuesto de cómputo fijo, convenía priorizar el tamaño del modelo sobre el volumen de datos.
Uno de los hallazgos más relevantes fue demostrar que la pérdida sigue leyes de potencia. Esto significa que al multiplicar un recurso —tamaño, datos o cómputo— por un factor constante, la pérdida se reduce en una proporción fija. No existe un umbral en el que la capacidad de mejora del modelo se detenga; lo que ocurre es que cada incremento produce rendimientos decrecientes.
Posteriormente, en marzo de 2022, DeepMind publicó «Training Compute-Optimal Language Models», conocido como el paper de Chinchilla, que desafió las conclusiones anteriores.
DeepMind entrenó más de 400 modelos de diferentes tamaños con diferentes cantidades de datos, manteniendo el cómputo total constante en cada grupo. Su hallazgo principal —conocido informalmente como la Regla de Chinchilla— establece que, para un presupuesto de cómputo dado, el número de tokens de entrenamiento debería ser al menos del orden de 20 veces el número de parámetros. No como un límite rígido, sino como punto de partida para un entrenamiento eficiente. Bajo esta perspectiva se comprobó que la mayoría de los modelos de la época estaban infraentrenados en datos. El modelo más grande no era necesariamente el mejor; el modelo mejor entrenado era el mejor.
En julio de 2023 Meta fue más allá de las recomendaciones de Chinchilla. Con modelos de 7B, 13B y 70B parámetros entrenados con 2T tokens —por encima de lo que Chinchilla recomendaba— descubrieron que la pérdida seguía descendiendo con más datos. Esto sugería que la proporción de 20x podría ser un mínimo y no un óptimo.
Las Tres Eras del Escalado
Se puede hablar de tres eras en la estrategia de escalado:
- Hazlo más grande (2018-2022): inspirada por el paper de Kaplan. La estrategia dominante era escalar el tamaño del modelo de manera agresiva multiplicando el número de parámetros. Las necesidades de cómputo crecieron en paralelo.
- Entrénalo mejor (2022-2024): tras la Regla de Chinchilla, el foco se puso en la eficiencia: modelos más acotados en tamaño pero entrenados con mayor cantidad de datos y de mayor calidad.
- Escala la inferencia (2024-hoy): el foco se desplaza del entrenamiento a la inferencia, es decir, la capacidad de razonar durante la generación de cada respuesta. La idea central es permitir que el modelo consuma más tokens y se tome más tiempo para razonar sobre cada problema. A esto se le llama escalado en tiempo de inferencia (inference-time scaling o test-time compute) y es el enfoque que subyace a modelos como o1 y o3 de OpenAI o DeepSeek-R1.
Los Costes y los Límites del Escalado
Los siguientes datos muestran los costes estimados de entrenamiento para ilustrar las implicaciones económicas de esta carrera. Estos costes contemplan únicamente consumo eléctrico y uso de GPUs. El coste real de entrenar un modelo de frontera podría ser entre 3 y 10 veces mayor si se contemplase la recopilación de datos, los intentos fallidos, el equipo humano o la investigación previa.
Veamos los costes estimados de entrenar la familia de modelos GPT en sus diferentes versiones a lo largo del tiempo:
- GPT-2, nace en 2019 y contaba con 1,5 B de parámetros. Se estima que el coste de entrenar el modelo estaba entre los 50k y los 250.000 dólares.
- GPT-3 un año después asciende a 175 B de parámetros. Sus costes de entrenamiento se multiplican hasta alcanzar entre 4 y 12 millones de dólares.
- Por último, no contamos con datos publicados del número de parámetros de GPT-4, el modelo publicado en 2023 por OpenAI. Las estimaciones sobre los costes de entrenamiento, al no haber datos oficiales, apuntan a entre 50 y 100 millones de dólares.
Pero las leyes de escalado se enfrentan hoy a límites concretos más allá del escalado de los costes de entrenamiento. Por un lado, la cantidad de datos de texto de calidad disponibles en internet podría estar llegando a su techo. Para paliarlo, la mayoría de los laboratorios llevan tiempo trabajando con datos sintéticos, generados por los propios modelos durante el entrenamiento. Adicionalmente cada vez una mayor cantidad del contenido publicado en Internet ha sido generada por Modelos de Leguaje lo que hará que en el futuro cada vez los LLMs se entrenen con textos generados por ellos mismo.
Este enfoque tiene un riesgo conocido: entrenar iterativamente sobre outputs del propio modelo sin datos reales de contraste puede derivar en un fenómeno llamado model collapse: el modelo empieza a repetir patrones y pierde diversidad, como una fotocopiadora que copia copias de copias hasta que la imagen se degrada. Si quieres profundizar en este concepto te recomiendo el artículo «AI models collapse when trained on recursively generated data» publicado en la revista Nature.
Por otro lado, el impacto energético es difícil de ignorar. Según algunas estimaciones, el consumo de los centros de datos se situaba en 2024 en torno a los 415 TWh —aproximadamente el 1,5% del consumo eléctrico mundial— y crece a un ritmo del 12% anual. Las proyecciones apuntan a que podría duplicarse en 2030, alcanzando unos 945 TWh, una cifra comparable al consumo eléctrico anual de Japón. Solo en agua, investigadores de la Universidad de Cornell estiman que para 2030 el consumo estaría entre 731 y 1.125 millones de metros cúbicos anuales, el equivalente al uso doméstico anual de entre 6 y 10 millones de estadounidenses. Adicionalmente fabricar una sola GPU de alta gama produce en CO₂ el equivalente a conducir un coche de gasolina más de 1.300 kilómetros.
Finalmente, el escalado se enfrenta al problema de los rendimientos decrecientes: duplicar la capacidad de cómputo no implica duplicar el rendimiento, que mejora en una fracción fija que se va haciendo más pequeña en términos absolutos. Pasar de un modelo «malo» a uno «bueno» es relativamente barato; pasar de uno «excelente» a uno «ligeramente mejor que excelente» resulta enormemente caro.
La historia de las leyes de escalado es, en el fondo, la historia de una idea sencilla que se fue complicando. Primero bastaba con hacerlo más grande. Luego había que entrenarlo mejor. Ahora el foco está en enseñarle a pensar más despacio. En cada fase hemos descubierto algo inesperado: que los modelos grandes desarrollan habilidades que nadie les enseñó, que más datos pueden importar tanto como más parámetros, que el razonamiento en el momento de responder es también escalable. Lo que sigue siendo cierto es que aún no sabemos dónde está el techo. Y mientras no lo encontremos, la apuesta continúa.
