Context Rot: miten kasvava syötetokenien määrä vaikuttaa LLM:n suorituskykyyn

8 minuuttiaEdistynytRakentajaChromaKehotteiden laatiminen

Chroma. Kelly Hong käy läpi Chroman tutkimuksen 18 mallista — miksi needle-in-haystack -pisteet johtavat harhaan, miten suorituskyky heikkenee epäselvyyden ja häiriötekijöiden kanssa, miksi jopa yksinkertaiset merkkijonotoistot heikkenevät 500 tokenin jälkeen. Lyhyt, näyttöön perustuva ja tasan tapaus, jonka artikkeli tarvitsee sinun ottavan vakavasti ennen suunnitteluliikkeitä.

AI Expert -huomio

Mallinimet, hinnoittelu ja kyvyt muuttuvat nopeasti. Käytä tätä päätösmalliin, sitten varmista nykyinen mallin käyttäytyminen ennen käyttöönottoa.

Mitä sinun pitäisi oppia tästä

Ymmärrä, miten pitkä konteksti voi epäonnistua epäselvyyden ja häiriötekijöiden alla, sitten suunnittele testit tuon riskin ympärille.

Katso tai hallitse ensin

Ei mitään LLM:n perussanaston lisäksi — se on lyhyt tutkimuspuhe.

Viimeksi tarkistettu: 18.5.2026

Katso seuraava

Jatka samalla oppimisreitillä seuraaviin valikoituihin oheisvideoihin.