Build Hour: Prompt Caching

OpenAI. OpenAI enda Build Hour prompti caching'ust — 1024-tokeni künnis, eesliite-stabiilsuse nõue, audio caching 99% soodustusega realtime'i jaoks, time-to-first-token mõjud pikkade sisendite korral. Kasulik, kui mõõdad inseneri-pingutust, mida nõuab cache'i päriselt usaldusväärselt tabamine oma produktsiooni-promptidel.

Järgmisena vaata

Jätka sama õpiteekonda järgmiste hoolikalt valitud kaasvideotega.

32 minutit

Kiire LLM-serveerimine vLLM-i ja PagedAttentioniga

Saad tehnilise mustri teemal "Ise-hostitud vs hostitud inference" ning oskad hinnata riske, piire ja järgmist sammu.

EkspertPrivaatne ja lokaalne AI

34 minutit

Kuidas AI tarkvara ärimudeleid taasleiutab ft. Bret Taylor Sierrast

Saad tehnilise mustri teemal "LLM-toote välja saatmine" ning oskad hinnata riske, piire ja järgmist sammu.

EkspertAI ettevõttes

6 minutit

AI hääleagendid: kuidas need päriselt töötavad ja miks need nii inimlikult kõlavad

Tunda ära hääleagendi põhiarhitektuur ja need veakohad, mis mõjutavad päriskõnedes kliendi usaldust.

EkspertAutomatiseerimine