Emne

Omkostninger og modeldrift

Styr omkostningerne ved inferens, vælg hostingløsninger, fordel forespørgsler mellem modeller og forstå afvejningerne i driften.

9 historier (4 artikler · 5 videoer)

Start her

Et par gode steder at begynde, før du går på opdagelse i hele oversigten.

Flere i dette emne

6 min læsning
Artikel

Gratis eller betalt ChatGPT: Det får du faktisk med en opgradering

En sammenligning uden jargon mellem gratis ChatGPT, ChatGPT Plus og ChatGPT Pro — hvad der ændres, når du opgraderer, og hvordan du afgør, om du overhovedet har brug for det.

Ny inden for AI
19 minutter
Video

Er det slutningen på RAG? Anthropics NYE prompt-caching

Prompt Engineering. Gennemgår Anthropics promptcaching op mod Geminis context caching med konkrete latenstid- og omkostningsreduktioner pr. use case (long-document chat, few-shot, multi-turn). Nedbrydningen af cache-write-tillæg kontra cache-read-rabat er præcis det, artiklen antager, når den taler om, hvornår caching betaler sig.

Avanceret
56 minutter
Video

Build Hour: prompt-caching

OpenAI. OpenAIs egen Build Hour om promptcaching — 1024-token-tærsklen, kravet om prefix-stabilitet, stejle audio-caching-rabatter for realtime (tjek den aktuelle prisside for den præcise sats), time-to-first-token-effekter ved lange inputs. Nyttig, når du dimensionerer engineering-indsatsen for faktisk at ramme cachen pålideligt på dine produktionsprompts.

Avanceret
19 minutter
Video

Alle AI-modeller forklaret

Tina Huang. En overskuelig gennemgang af det aktuelle modellandskab opdelt i flagskibsmodeller, letvægtsmodeller, mellemklassen og specialiserede modeller med konkrete eksempler på, hvad hvert niveau egner sig til. Videoen dækker den del af artiklen, der handler om at kende mulighederne før routing, og Huang beskriver afvejningen mellem omkostning og kapacitet uden at gøre benchmarkresultater til hele beslutningsgrundlaget.

Let øvet
9 minutter
Video

RouteLLM opnår 90% GPT-4o-kvalitet OG 80% BILLIGERE

Matthew Berman. Videoen gennemgår LMSYS' RouteLLM-artikel og kode. En lille klassifikator placeres foran et par af stærke og svage modeller og vælger, hvilken model der skal kaldes. I den viste evaluering nås omtrent 95% af den stærke models kvalitet til en brøkdel af omkostningen. Visningstallet ligger under den sædvanlige grænse på 100k, men videoen viser konkret modelrouting frem for blot at sammenligne modeller og passer derfor direkte til artiklens afvejning mellem kvalitet og omkostninger.

Let øvet
32 minutter
Video

Hurtig LLM-inferens med vLLM og PagedAttention

Anyscale. Videoen forklarer et eksempel med 60–80% spild af GPU-hukommelse, PagedAttention og batching. Den giver baggrund for omkostningsmodellen ved ens kvalitet; mål kapacitet og udnyttelse for din egen belastning.

Avanceret