Degradación del contexto: cómo afecta el aumento de tokens de entrada al rendimiento de los LLM

8 minutosAvanzadoCreadorChromaIngeniería de prompts

Chroma. Kelly Hong recorre la investigación de Chroma con 18 modelos: por qué las puntuaciones de «aguja en un pajar» resultan engañosas, cómo se degrada el rendimiento con la ambigüedad y los elementos distractores, y por qué incluso las tareas sencillas de repetición de cadenas empeoran a partir de 500 tokens. Es breve, se basa en pruebas y presenta exactamente el riesgo que el artículo exige comprender antes de abordar las operaciones de ingeniería.

Nota de AI Expert

Los nombres de modelos, precios y capacidades cambian rápidamente. Usa esto para el patrón de decisión, luego verifica el comportamiento actual del modelo antes de adoptarlo.

Qué aprenderás

Comprenderás cómo falla el contexto largo ante la ambigüedad y los distractores, y diseñarás pruebas que cubran ese riesgo.

Qué ver o saber antes

Ninguno más allá del vocabulario básico de modelos de lenguaje de gran tamaño — es una charla breve de investigación.

Última revisión: 18 may 2026

Ver siguiente

Continúa por el mismo itinerario de aprendizaje con los siguientes vídeos complementarios seleccionados.