Omkostninger og modeldrift
Styr omkostningerne ved inferens, vælg hostingløsninger, fordel forespørgsler mellem modeller og forstå afvejningerne i driften.
9 historier (4 artikler · 5 videoer)
Start her
Et par gode steder at begynde, før du går på opdagelse i hele oversigten.
10 min læsningOrkestrering af flere modeller: routing efter omkostninger, latenstid og kvalitet
Routing af forskellige opgaver til forskellige modeller kan reducere omkostninger eller latenstid, men kun evaluering af den konkrete arbejdsbelastning kan vise, om den ekstra kompleksitet betaler sig. Her er mønstrene, målingerne og fejltilstandene.
Let øvet
12 min læsningOptimer inferensomkostninger: cachelagring af prompts, styring af modelvalg og kontrol af output
Byg en sporingsbaseret omkostningsmodel for inferens, optimér de største målte omkostningsposter, og dokumentér, at hver ændring bevarer opgavekvaliteten.
Avanceret
11 min læsningSelvhostet eller administreret inferens: en efterprøvbar nulpunktsmodel
Hvornår slår selvhosting API-kald? Beregningerne, de praktiske driftsforhold og de mønstre, der adskiller teams, der bør selvhoste, fra dem, der bør fortsætte med at betale for administreret inferens.
AvanceretFlere i dette emne
6 min læsningGratis eller betalt ChatGPT: Det får du faktisk med en opgradering
En sammenligning uden jargon mellem gratis ChatGPT, ChatGPT Plus og ChatGPT Pro — hvad der ændres, når du opgraderer, og hvordan du afgør, om du overhovedet har brug for det.
Ny inden for AI
19 minutterEr det slutningen på RAG? Anthropics NYE prompt-caching
Prompt Engineering. Gennemgår Anthropics promptcaching op mod Geminis context caching med konkrete latenstid- og omkostningsreduktioner pr. use case (long-document chat, few-shot, multi-turn). Nedbrydningen af cache-write-tillæg kontra cache-read-rabat er præcis det, artiklen antager, når den taler om, hvornår caching betaler sig.
Avanceret
56 minutterBuild Hour: prompt-caching
OpenAI. OpenAIs egen Build Hour om promptcaching — 1024-token-tærsklen, kravet om prefix-stabilitet, stejle audio-caching-rabatter for realtime (tjek den aktuelle prisside for den præcise sats), time-to-first-token-effekter ved lange inputs. Nyttig, når du dimensionerer engineering-indsatsen for faktisk at ramme cachen pålideligt på dine produktionsprompts.
Avanceret
19 minutterAlle AI-modeller forklaret
Tina Huang. En overskuelig gennemgang af det aktuelle modellandskab opdelt i flagskibsmodeller, letvægtsmodeller, mellemklassen og specialiserede modeller med konkrete eksempler på, hvad hvert niveau egner sig til. Videoen dækker den del af artiklen, der handler om at kende mulighederne før routing, og Huang beskriver afvejningen mellem omkostning og kapacitet uden at gøre benchmarkresultater til hele beslutningsgrundlaget.
Let øvet
9 minutterRouteLLM opnår 90% GPT-4o-kvalitet OG 80% BILLIGERE
Matthew Berman. Videoen gennemgår LMSYS' RouteLLM-artikel og kode. En lille klassifikator placeres foran et par af stærke og svage modeller og vælger, hvilken model der skal kaldes. I den viste evaluering nås omtrent 95% af den stærke models kvalitet til en brøkdel af omkostningen. Visningstallet ligger under den sædvanlige grænse på 100k, men videoen viser konkret modelrouting frem for blot at sammenligne modeller og passer derfor direkte til artiklens afvejning mellem kvalitet og omkostninger.
Let øvet
32 minutterHurtig LLM-inferens med vLLM og PagedAttention
Anyscale. Videoen forklarer et eksempel med 60–80% spild af GPU-hukommelse, PagedAttention og batching. Den giver baggrund for omkostningsmodellen ved ens kvalitet; mål kapacitet og udnyttelse for din egen belastning.
Avanceret