Kas see on RAG-i lõpp? Anthropicu UUS prompti caching

19 minutitEkspertAI ettevõttes

Prompt Engineering. Käib läbi Anthropicu prompti caching'u vs Gemini konteksti-caching'u koos konkreetsete latentsuse ja kulu vähenemistega kasutusjuhtumi kohta (pikkade dokumentide chat, few-shot, multi-turn). Cache-write lisatasu vs cache-read soodustuse lahtimõtestamine on täpselt see, mida artikkel eeldab, kui ta räägib sellest, millal caching ennast ära tasub.

Mida sellest videost kaasa võtta

Saad tehnilise mustri teemal "Inference'i kulu-optimeerimine" ning oskad hinnata riske, piire ja järgmist sammu.

Järgmisena vaata

Jätka sama õpiteekonda järgmiste hoolikalt valitud kaasvideotega.

Seotud videod

Mine sügavamale

Hoolikalt valitud välised kursused, mis aitavad sellesse teemasse sügavamalt minna.

Vaata kõiki kursusi teemal „AI ettevõttes”