Context Rot: kuidas sisendtokenite kasv mõjutab LLM-i jõudlust

8 minutitEkspertAI-juhiste koostamine

Chroma. Kelly Hong käib läbi Chroma uuringu 18 mudeli kohta — miks needle-in-haystack tulemused on eksitavad, kuidas jõudlus halveneb mitmetähenduslikkuse ja häirivate elementidega, miks isegi lihtne stringi-kordamise ülesanne degradeerub pärast 500 tokenit. Lühike, tõenduspõhine ja täpselt see argument, mille artikkel sul tõsiselt võtta tahab enne inseneri-käikude juurde jõudmist.

AI Experti märkus

Mudelite nimed, hinnad ja võimekused muutuvad kiiresti. Kasuta videot otsustusmustri mõistmiseks ning kontrolli praegust mudelikäitumist enne kasutuselevõttu.

Mida sellest videost kaasa võtta

Saad tehnilise mustri teemal "Kontekstiinseneeria" ning oskad hinnata riske, piire ja järgmist sammu.

Järgmisena vaata

Jätka sama õpiteekonda järgmiste hoolikalt valitud kaasvideotega.

Seotud videod

Mine sügavamale

Hoolikalt valitud välised kursused, mis aitavad sellesse teemasse sügavamalt minna.

Vaata kõiki kursusi teemal „AI-juhiste koostamine”