Context Rot: kuidas sisendtokenite kasv mõjutab LLM-i jõudlust
Chroma. Kelly Hong käib läbi Chroma uuringu 18 mudeli kohta — miks needle-in-haystack tulemused on eksitavad, kuidas jõudlus halveneb mitmetähenduslikkuse ja häirivate elementidega, miks isegi lihtne stringi-kordamise ülesanne degradeerub pärast 500 tokenit. Lühike, tõenduspõhine ja täpselt see argument, mille artikkel sul tõsiselt võtta tahab enne inseneri-käikude juurde jõudmist.
AI Experti märkus
Mudelite nimed, hinnad ja võimekused muutuvad kiiresti. Kasuta videot otsustusmustri mõistmiseks ning kontrolli praegust mudelikäitumist enne kasutuselevõttu.
Mida sellest videost kaasa võtta
Saad tehnilise mustri teemal "Kontekstiinseneeria" ning oskad hinnata riske, piire ja järgmist sammu.
Järgmisena vaata
Jätka sama õpiteekonda järgmiste hoolikalt valitud kaasvideotega.
Seotud videod
Mine sügavamale
Hoolikalt valitud välised kursused, mis aitavad sellesse teemasse sügavamalt minna.






