Vídeos complementarios

Ingeniería de contexto: cómo gestionar ventanas de 1M de tokens sin degradar la calidad — vídeos complementarios

El artículo aborda la distancia entre «el modelo admite 1M tokens» y «el modelo utiliza 1M tokens de forma fiable». Recorre los modos de fallo, las cuatro operaciones de la ingeniería de contexto —escribir, seleccionar, comprimir y aislar— y los presupuestos que mantienen utilizables las sesiones prolongadas. Estos dos vídeos presentan, por ese orden, la formulación más clara del problema y el conjunto de soluciones más claro.

Selección principal

7:56

Degradación del contexto: cómo afecta el aumento de tokens de entrada al rendimiento de los LLM

Chroma

Kelly Hong recorre la investigación de Chroma con 18 modelos: por qué las puntuaciones de «aguja en un pajar» resultan engañosas, cómo se degrada el rendimiento con la ambigüedad y los elementos distractores, y por qué incluso las tareas sencillas de repetición de cadenas empeoran a partir de 500 tokens. Es breve, se basa en pruebas y presenta exactamente el riesgo que el artículo exige comprender antes de abordar las operaciones de ingeniería.

Qué aprenderás: Comprenderás cómo falla el contexto largo ante la ambigüedad y los distractores, y diseñarás pruebas que cubran ese riesgo.

Qué ver o saber antes: Ninguno más allá del vocabulario básico de modelos de lenguaje de gran tamaño — es una charla breve de investigación.

Nota de AI Expert: Los nombres de modelos, precios y capacidades cambian rápidamente. Usa esto para el patrón de decisión, luego verifica el comportamiento actual del modelo antes de adoptarlo.

Abrir página del vídeo

También merece la pena

22:06

Ingeniería de contexto para agentes

LangChain

El marco de Lance Martin —escribir, seleccionar, comprimir y aislar— incluye ejemplos concretos de cuándo resumir un historial de acciones, cuándo descargar el estado en archivos y cuándo iniciar subagentes únicamente para proteger el contexto del agente principal. Se corresponde casi directamente con la sección del artículo sobre la gestión práctica de ventanas de 1M tokens.

Qué aprenderás: Aplicarás los patrones de escribir, seleccionar, comprimir y aislar para gestionar deliberadamente el contexto de los agentes.

Qué ver o saber antes: Experiencia construyendo o operando agentes con contexto prolongado.

Nota de AI Expert: Los nombres de modelos, precios y capacidades cambian rápidamente. Usa esto para el patrón de decisión, luego verifica el comportamiento actual del modelo antes de adoptarlo.

Abrir página del vídeo