Diferencia entre Aplicación y Modelo
Un error bastante común es confundir qué es un Modelo Grande de Lenguaje (Large Language Model o LLM) con la aplicación de chat a través de la que interactuamos con él. En el caso de OpenAI, ChatGPT es la aplicación: la interfaz de usuario donde escribimos nuestras instrucciones (prompts) y visualizamos las respuestas.
El modelo de lenguaje es el “motor” que hay detrás. Es el sistema de inteligencia artificial que realmente procesa el texto y genera las respuestas. Cuando hablamos de GPT (siglas de Generative Pre-trained Transformer), nos referimos en realidad a una familia de modelos de lenguaje desarrollados por OpenAI de los que GPT 5.2 representa la vanguardia en capacidades de razonamiento, mientras que versiones como GPT-5 mini o nano son los hermanos menores, optimizados para velocidad y eficiencia.
Qué hace que un modelo sea «Grande»
Un Large Language Model (LLM) como GPT es un sistema de Inteligencia Artificial entrenado mediante Redes Neuronales Profundas —concretamente basadas en la arquitectura Transformer— sobre cantidades ingentes de texto procedente de diversas fuentes: Common Crawl (una base de datos gigantesca de datos recolectados de miles de millones de páginas web), la Wikipedia, Redes sociales y Foros (que ayudan a que el modelo aprenda el lenguaje coloquial y preguntas y respuestas), libros (como el Proyecto Gutenberg), artículos científicos y académicos (arxiv.org…) y bases de datos de código como GitHub, entre otras.
El adjetivo Grande (Large) hace referencia a dos aspectos de los Modelos de Lenguaje, por un lado al cada vez mayor número de parámetros del modelo. OpenAi no publica una cifra oficial pero se especula que GPT 5.2 podría estar en el orden de trillones de parámetros. Por otro lado Grande también se refiere al enorme volumen de datos que se usan para entrenarlo.
La idea clave: predecir el siguiente token
Aunque parezca sorprendente, la capacidad fundamental de un LLM consiste en algo aparentemente simple: predecir cuál es el siguiente fragmento de texto (token) más probable dado lo que ya se ha escrito.
Durante el proceso de entrenamiento el modelo aprende muchas cosas sobre los patrones del lenguaje humano (gramática, sintáctica, semántica…). Gracias a este entrenamiento la principal capacidad de un modelo de lenguaje se centra en ser capaz de predecir el siguiente token a partir de una secuencia de texto dada, que puede ser una palabra completa, parte de una palabra o incluso un signo de puntuación.
Se dice que a la hora de crear texto estos modelos son autorregresivos, es decir, que el modelo genera un token a la vez, y cada nuevo token depende de todos los anteriores, tanto los introducidos por el usuario en la aplicación de chat como las respuestas generadas por el Large Language Model (LLM) a lo largo de la conversación. El término autorregresivo hace referencia a que el modelo usa sus propias predicciones anteriores para predecir el siguiente token.
He aquí una simulación de cómo funciona la generación de texto de un LLM que recordará a los primeros modelos en los que se podía ver claramente la generación de tokens uno a uno. Este ejemplo está hecho a una velocidad de 4 tokens por segundo, a la velocidad actual un modelo puede generar del orden de 30 – 150 tokens/segundo.
Determinismo vs Estacasticidad
El modelo, la Red Neuronal, es matemáticamente determinista en el sentido de que dada una misma entrada (input) el modelo siempre va a generar la misma distribución de probabilidades para elegir el siguiente token.
Sin embargo, el proceso de elección de ese token no es determinista. Un modelo determinista elegiría siempre la que mayor probabilidad tenga, pero un modelo estocástico introduce una cierta aleatoriedad para no elegir siempre la misma «palabra». Cuando un LLM parece estar pensando, lo que realmente está haciendo es muestrear tokens secuencialmente de esa distribución de probabilidad. Lo que percibimos como «pensamiento» es el resultado estadístico de miles de pequeñas decisiones aleatorias condicionadas por el contexto previo de la conversación.
Reducir la aleatoriedad
Hay varias maneras en las que un LLM controla la aleatoriedad en ese muestreo. La primera es la temperatura que controla como se agudiza o suaviza la distribución de probabilidades antes del muestreo. Con temperatura cero el comportamiento es determinista: el modelo selecciona siempre el token con mayor probabilidad (lo que se denomina greedy decoding). A medida que se utilizan temperaturas más altas, se introduce mayor aleatoriedad en la predicción del siguiente token, lo que favorece respuestas más diversas y creativas.
La temperatura se puede combinar con el muestreo Top-k, que limita la selección a los k tokens más probables, sin tener en cuenta las probabilidad relativas de esos k tokens. Por otro lado, el muestreo Top-p (nucleus sampling), selecciona el conjunto mínimo de tokens cuya probabilidad acumulada supera un determinado umbral (p), por ejemplo 0,9. Esta técnica descarta automáticamente aquellos tokens más improbables, lo que permite reducir el abanico de opciones a los candidatos más razonables limitando la posibilidad de incoherencias. Ambos método acotan el espacio de candidatos, pero lo hacen con criterios distintos.
Veamos un ejemplo de diferentes distribuciones de probabilidad a partir de la frase «Data visualization empowers users to create and…». Las palabras (y tokens) de esa frase son el contexto previo a partir del que se calcula la probabilidad del siguiente token. Se han simplificado los cálculos intermedios para mostrar únicamente la distribución de tokens y el efecto de aplicar diferentes umbrales de temperatura.
Como se puede observar, al aumentar la temperatura la distribución se aplana (probabilidades más similares entre si), distribuyendo la probabilidad entre un mayor número de tokens y abriendo la puerta a respuestas más variadas. Por el contrario, al reducir la temperatura la distribución se vuelve más pronunciada, concentrando la probabilidad (columna de la derecha) en unos pocos tokens y haciendo el comportamiento del modelo más predecible y consistente.
Uno de los motivos por los que los LLMs generan respuestas probabilísticas —en lugar de deterministas— es precisamente para reflejar la diversidad inherente del lenguaje humano. El modelo no aprende una única respuesta correcta para cada situación, sino una distribución de posibilidades que refleja las múltiples formas en que los humanos nos expresamos según el contexto. Si el modelo seleccionara siempre el token más probable, las respuestas serían fluidas pero notablemente más repetitivas y predecibles, lo que reduciría considerablemente la naturalidad de la conversación.
Adicionalmente la aleatoriedad controlada permite que los Modelos de Lenguaje den mejores respuestas en tareas creativas así como la posibilidad de explorar caminos diferentes a la hora de dar solución a problemas complejos. Por otro lado, una mayor aleatoriedad conlleva un riesgo mayor de incoherencias, errores factuales y alucinaciones.
Entrenar un Modelo de Lenguaje
El proceso de entrenamiento de los LLMs se realiza en varias fases, cada una de ellas con objetivos diferentes.
Fase 1: Preentrenamiento (pre-training)
El preentrenamiento, o pre-training en inglés, es como si el modelo estudiase todos los libros de una biblioteca: el modelo absorbe patrones, hechos y formas de razonar, pero aún no sabe cómo responder preguntas específicas de forma estructurada.
Esta es la fase más intensiva en recursos y costes. Durante este proceso se pasa el corpus de fuentes disponible (todas las fuentes de textos disponibles). El objetivo de esta fase es claro: aprender todos los patrones del lenguaje con el fin de poder predecir el siguiente token. Al dominar esta predicción, el modelo desarrolla una comprensión profunda de la gramática, la semántica, el razonamiento lógico y un conocimiento general sobre el mundo. Es importante entender que el modelo no memoriza datos, aprende representaciones comprimidas de estos patrones.
Durante el pre-entrenamiento, se ajustan miles de millones de parámetros del modelo mediante un proceso denominado retropropagación (backpropagation) y algoritmos de optimización. En esta fase se requiere la potencia de cálculo de miles de GPUs (Graphic Processing Units) o TPU (Tensor Processing Unit), el verdadero motor detrás de la IA, capaces de realizar operaciones matemáticas en paralelo a gran velocidad. Estos procesadores trabajan durante meses afinando las capacidades del modelo.
Los parámetros son los valores numéricos que determinan el comportamiento del modelo. Cuando decimos que un modelo tiene 70B (70 mil millones) de parámetros, nos referimos a 70.000 millones de números de punto flotante que codifican colectivamente todo lo que el modelo «sabe».
El resultado de esta fase se denomina modelo fundacional, un modelo de propósito general que no está optimizado para ninguna tarea específica más allá de predecir el siguiente token y que servirá como base para cualquier adaptación posterior.
Fase 2: Ajuste Fino Supervisado (Supervised Fine-tuning o SFT)
Se suele decir que esta fase es la que tiene que convertir un modelo de lenguaje en un asistente útil que sea capaz de seguir instrucciones. Para lograr este fin se entrena el modelo con conjuntos de datos curados de pares instrucción-respuesta de alta calidad escritos o revisados por humanos. Esto le enseña al modelo a adoptar el formato conversacional y a seguir instrucciones.
Fase 3: Alineamiento con Preferencias Humanas
Es una fase esencial para conseguir que el modelo se comporte como se espera y que se convierta en un modelo que, además de ser útil, sea honesto y seguro. En esta fase se utiliza fundamentalmente técnicas de Aprendizaje por Refuerzo a partir de feedback humano (RLHF). En este proceso :
- Evaluadores humanos califican diferentes respuestas generadas por el modelo en base a distintos criterios de calidad y seguridad.
- A partir de esos datos se entrena un Modelo de Recompensa que aprende a predecir qué respuestas preferiría un humano.
- Finalmente se optimiza el LLM original mediante Aprendizaje por Refuerzo, utilizando el algoritmo PPO (Proximal Policy Optmization) o la variante más eficiente DPO (Direct Preference Optimization). El modelo se enfoca en optimizar las respuestas que generen la mayor recompensa.
En el caso de Anthropic, los creadores de Claude, el entrenamiento del modelo incluye un proceso adicional denominado Constitutional AI (CAI). En este enfoque, además de los evaluadores humanos, se utiliza una «constitución»: un conjunto de principios éticos que permite al modelo evaluar y refinar sus propias respuestas. La innovación clave de la IA constitucional es que estos principios se integran durante la fase de entrenamiento inicial, en lugar de aplicarse únicamente mediante filtros posteriores. Esto genera lo que los investigadores llaman «alineación interna», donde los objetivos fundamentales y la toma de decisiones de la IA están inherentemente alineados con los valores deseados.
Los detalles exactos de esta constitución de Anthropic no son públicos pero en enero de 2026 publicaron un documento con un resumen de los principios generales. En el paper original publicado por Anthropic en 2022, donde se presentaba por primera vez la idea de la Constitución, se demostraba como este sistema era capaz de superar a los entrenados con feedback humano en la dimensión de harmlessness (inofensivo), sin sacrificar helpfulness (ser de utilidad), componentes esenciales de HHH (Helpful, Honest y Harmless) uno de los marcos fundamentales en el desarrollo de sistemas de IA éticos y alineados con los valores humanos.
