Oheisvideot

Monimalliohjaus — saatevideot

Artikkeli haastaa oletuksen, että kaikki tehtävät kannattaa lähettää suurimmalle mallille. Kun kustannus ja viive merkitsevät, yksinkertaisia tehtäviä voi ohjata pienemmille malleille ja suurempia käyttää vain tarvittaessa. Ensimmäinen video jäsentää mallitasojen käyttötarkoituksia. Toinen näyttää reititysmallin koodissa osana tavallista API-kutsua.

Päävalinta

19:01

Jokainen tekoälymalli selitettynä

Tina Huang

Video jäsentää mallimaisemaa tasoittain: lippulaivamalleihin, kevyisiin malleihin, keskitason malleihin ja erikoistuneisiin malleihin. Konkreettiset esimerkit auttavat arvioimaan, mihin kukin taso sopii. Huang käsittelee kustannuksen ja kyvykkyyden suhdetta ilman, että päätös perustuu vain vertailutulosten hypetykseen.

Mitä sinun pitäisi oppia tästä: Vertaa lippulaiva-, lite-, keskitason ja erikoistuneita malleja, jotta reitityspäätökset perustuvat tehtävän sopivuuteen, kustannukseen ja viiveeseen brändimieltymyksen sijaan.

Katso tai hallitse ensin: Ei mitään artikkelin lisäksi — se on tunne-vaihtoehtosi-puolisko ennen mitään reititystyötä.

AI Expert -huomio: Mallinimet, hinnoittelu ja kyvyt muuttuvat nopeasti. Käytä tätä päätösmalliin, sitten varmista nykyinen mallin käyttäytyminen ennen käyttöönottoa.

Avaa videosivu

Kannattaa katsoa myös

08:53

RouteLLM saavuttaa 90 % GPT-4o:n laadusta JA on 80 % HALVEMPI

Matthew Berman

Video käy läpi LMSYS RouteLLM -artikkelin ja koodin. Pieni luokittelija valitsee vahvan ja heikomman mallin välillä. Videolla käsitellyssä tutkimusasetelmassa reititin saavutti noin 95 % vahvan mallin laadusta selvästi pienemmin kustannuksin. Katselumäärä jää tavanomaisen 100 000 katselukerran kynnyksen alle, mutta video näyttää konkreettisen mallireitityksen pelkän mallivertailun sijasta.

Mitä sinun pitäisi oppia tästä: Arvioi mallireitityksen kompromisseja laadun, kustannuksen ja luotettavuuden välillä ennen ohjauksen monimutkaisuuden lisäämistä.

Katso tai hallitse ensin: Pythonin lukeminen ja mallien API-kutsut sujuvat; ensisijaisen valinnan tasokartta auttaa.

AI Expert -huomio: Mallinimet, hinnoittelu ja kyvyt muuttuvat nopeasti. Käytä tätä päätösmalliin, sitten varmista nykyinen mallin käyttäytyminen ennen käyttöönottoa.

Avaa videosivu