Kaasnevad videod

Kontekstiinseneeria: 1M-tokeniliste akende haldamine ilma context rotita — kaasnevad videod

Artikkel on selle vahe kohta, mis on "mudel toetab 1M tokenit" ja "mudel kasutab 1M tokenit usaldusväärselt". See töötab läbi vigade režiimid, neli kontekstiinseneeria käiku (write, select, compress, isolate) ja eelarved, mis hoiavad pikalt kestvad sessioonid kasutatavana. Need kaks videot on probleemi puhtaim sõnastus ja lahenduste puhtaim komplekt, just selles järjekorras.

Esmane valik

7:56

Context Rot: kuidas sisendtokenite kasv mõjutab LLM-i jõudlust

Chroma

Kelly Hong käib läbi Chroma uuringu 18 mudeli kohta — miks needle-in-haystack tulemused on eksitavad, kuidas jõudlus halveneb mitmetähenduslikkuse ja häirivate elementidega, miks isegi lihtne stringi-kordamise ülesanne degradeerub pärast 500 tokenit. Lühike, tõenduspõhine ja täpselt see argument, mille artikkel sul tõsiselt võtta tahab enne inseneri-käikude juurde jõudmist.

Mida sellest videost kaasa võtta: Saad tehnilise mustri teemal "Kontekstiinseneeria" ning oskad hinnata riske, piire ja järgmist sammu.

AI Experti märkus: Mudelite nimed, hinnad ja võimekused muutuvad kiiresti. Kasuta videot otsustusmustri mõistmiseks ning kontrolli praegust mudelikäitumist enne kasutuselevõttu.

Ava video leht

Tasub samuti vaadata

22:06

Kontekstiinseneeria agentidele

LangChain

Lance Martini raamistik — write, select, compress, isolate — koos konkreetsete näidetega, millal kokku võtta tegevuste ajalugu, millal olekut failidesse maha laadida ja millal käivitada alam-agente puhtalt vanema konteksti kaitsmiseks. Kaardistub peaaegu otse artikli sektsioonile 1M-tokeniliste akende haldamisest praktikas.

Mida sellest videost kaasa võtta: Saad tehnilise mustri teemal "Kontekstiinseneeria" ning oskad hinnata riske, piire ja järgmist sammu.

AI Experti märkus: Mudelite nimed, hinnad ja võimekused muutuvad kiiresti. Kasuta videot otsustusmustri mõistmiseks ning kontrolli praegust mudelikäitumist enne kasutuselevõttu.

Ava video leht