Kustannukset ja mallien operointi
Hallitse inferenssin kustannuksia, valitse käyttöympäristöt, reititä malleja ja ymmärrä operatiiviset kompromissit.
9 sisältöä (4 artikkelia · 5 videota)
Aloita tästä
Muutama hyvä aloitussisältö ennen koko sisältövirran selaamista.
10 min lukemistaMonen mallin orkestrointi: reititys kustannuksen, viiveen ja laadun perusteella
Eri tehtävien reitittäminen eri malleille voi vähentää kustannuksia tai viivettä. Vain työkuormakohtainen arviointi osoittaa, kannattaako lisääntynyt monimutkaisuus. Tässä artikkelissa käsitellään toimintamallit, mittarit ja virhetilanteet.
Keskitaso
12 min lukemistaKustannusten optimointi päättelyssä: kehotteiden välimuisti, reititys ja tulosteen hallinta
Rakenna jäljitystietoihin perustuva päättelyn kustannusmalli, optimoi mitatusti suurimmat kustannuserät ja todista, että jokainen muutos säilyttää tehtävän laadun.
Edistynyt
11 min lukemistaItseisännöity vai hallinnoitu päättely: auditoitava kannattavuusmalli
Missä mittakaavassa itseisännöinti voittaa API-kutsut? Käy läpi todellinen laskelma, käytännön vastuut ja ne piirteet, jotka ratkaisevat, sopiiko tiimille itseisännöinti vai hallinnoitu päättely.
EdistynytLisää tässä aiheessa
6 min lukemistaMaksuton vai maksullinen ChatGPT: mitä päivityksellä oikeasti saa
Selkokielinen vertailu maksuttomasta ChatGPT:stä, ChatGPT Plusista ja ChatGPT Prosta — mikä päivityksessä muuttuu ja mistä tiedät, tarvitsetko sitä.
Uusi tekoälyn maailmassa
19 minuuttiaOnko tämä RAG:n loppu? Anthropicin UUSI prompt caching
Prompt Engineering. Käy läpi Anthropicin prompt cachingin Geminiin context cachingiin verrattuna konkreettisilla viive- ja kustannusvähennyksillä käyttötapauksittain (pitkän asiakirjan chat, few-shot, monivuoro). Cache-write-lisämaksun vs. cache-read-alennuksen erittely on tasan se, mitä artikkeli olettaa puhuessaan, milloin välimuisti maksaa itsensä takaisin.
Edistynyt
56 minuuttiaBuild Hour: kehotteiden välimuisti (prompt caching)
OpenAI. OpenAI:n oma Build Hour kehotteiden välimuistista — 1024 tokenin kynnys, etuliitteen vakauden vaatimus, jyrkät audio-välimuistialennukset realtimelle (tarkista tarkka hinta nykyiseltä hinnoittelusivulta), time-to-first-token -vaikutukset pitkillä syötteillä. Hyödyllinen, kun mitoitat suunnittelutyötä osuaksesi välimuistiin luotettavasti tuotantokehotteillasi.
Edistynyt
19 minuuttiaJokainen tekoälymalli selitettynä
Tina Huang. Video jäsentää mallimaisemaa tasoittain: lippulaivamalleihin, kevyisiin malleihin, keskitason malleihin ja erikoistuneisiin malleihin. Konkreettiset esimerkit auttavat arvioimaan, mihin kukin taso sopii. Huang käsittelee kustannuksen ja kyvykkyyden suhdetta ilman, että päätös perustuu vain vertailutulosten hypetykseen.
Keskitaso
9 minuuttiaRouteLLM saavuttaa 90 % GPT-4o:n laadusta JA on 80 % HALVEMPI
Matthew Berman. Video käy läpi LMSYS RouteLLM -artikkelin ja koodin. Pieni luokittelija valitsee vahvan ja heikomman mallin välillä. Videolla käsitellyssä tutkimusasetelmassa reititin saavutti noin 95 % vahvan mallin laadusta selvästi pienemmin kustannuksin. Katselumäärä jää tavanomaisen 100 000 katselukerran kynnyksen alle, mutta video näyttää konkreettisen mallireitityksen pelkän mallivertailun sijasta.
Keskitaso
32 minuuttiaNopea LLM-palvelu vLLM:llä ja PagedAttentionilla
Anyscale. Esitys käy läpi vLLM-tutkimuksessa raportoidun muistin hukkakäytön, PagedAttentionin käyttöjärjestelmistä lainaaman sivutusidean ja jatkuvan eräkäsittelyn vaikutuksen läpäisykykyyn. Videon luvut koskevat sen omia vertailuasetelmia, mutta mekanismit auttavat ymmärtämään artikkelin käyttöastelaskelmaa.
Edistynyt