Orkestrering av flera modeller – kompletterande videor

Tina Huang

En tydlig rundtur i det aktuella modellandskapet grupperat efter nivå – flaggskeppsmodeller, lätta modeller, mellannivåmodeller och specialiserade modeller – med konkreta rekommendationer för vad varje nivå faktiskt är bra på. Det här är artikelns del om att ”känna till alternativen innan du dirigerar”, och Huang beskriver förhållandet mellan kostnad och kapacitet på samma sätt som artikeln utan att luta sig mot överdrivna påståenden om prestandamätningar.

Vad du bör få ut av detta: Jämför flaggskeppsmodeller, lätta modeller, mellannivåmodeller och specialiserade modeller så att dirigeringsbeslut baseras på hur väl modellen passar uppgiften, kostnad och latens i stället för varumärkespreferenser.

Titta på eller ha koll på först: Inga utöver artikeln – det här är delen om att lära känna alternativen före allt dirigeringsarbete.

Matthew Berman

Går igenom forskningsrapporten och koden för LMSYS RouteLLM: en liten klassificerare placeras framför ett par med en stark och en svag modell och avgör vilken som ska anropas, vilket ger ungefär 95 % av den starka modellens kvalitet till en bråkdel av kostnaden. Antalet visningar ligger under den vanliga gränsen på 100k, men för den specifika nischen ”visa mig verklig modelldirigering, inte bara modelljämförelser” är det här den tydligaste förklaringen på YouTube, och den ligger helt i linje med artikelns avsnitt om avvägningen mellan kvalitet och kostnad.

Vad du bör få ut av detta: Utvärdera avvägningar vid modelldirigering mellan kvalitet, kostnad och tillförlitlighet innan du lägger till komplexiteten som orkestrering innebär.

Titta på eller ha koll på först: Bekväm med att läsa Python och anropa modell-API:er. Nivåkartan i förstahandsvalet är till hjälp.