Thème

Coûts et exploitation des modèles

Maîtrisez les coûts d’inférence, choisissez des modes d’hébergement, acheminez les requêtes vers les modèles et comprenez les compromis opérationnels.

9 contenus (4 articles · 5 vidéos)

Commencez ici

Quelques bons contenus pour débuter avant de parcourir l’ensemble du flux.

Plus de contenus sur ce thème

6 min de lecture
Article

ChatGPT gratuit ou payant : ce que finance réellement l'abonnement

Une comparaison sans jargon entre la version gratuite de ChatGPT, ChatGPT Plus et ChatGPT Pro — ce qui change avec l'abonnement et comment déterminer si vous en avez réellement besoin.

Découvrir l’IA
19 minutes
Vidéo

Est-ce la fin de la RAG ? La nouvelle mise en cache des prompts d'Anthropic

Prompt Engineering. Elle compare la mise en cache des prompts d'Anthropic à celle du contexte chez Gemini, en chiffrant les gains de latence et de coût selon le cas d'usage : conversation sur de longs documents, apprentissage à partir de quelques exemples et échanges en plusieurs tours. La comparaison entre le surcoût d'écriture du cache et l'économie réalisée à la lecture correspond exactement au calcul de rentabilité présenté dans l'article.

Avancé
56 minutes
Vidéo

Build Hour : Mise en cache des prompts

OpenAI. Cette session officielle d'OpenAI détaille le seuil de 1 024 tokens, l'exigence de stabilité du préfixe, les fortes remises liées à la mise en cache audio en temps réel — consultez la page tarifaire actuelle pour connaître le taux exact — et l'effet des longues entrées sur le délai avant le premier token. Elle aide à estimer l'effort technique nécessaire pour exploiter le cache de façon fiable avec vos prompts de production.

Avancé
19 minutes
Vidéo

Tous les modèles d’IA expliqués

Tina Huang. Ce tour d’horizon clair du paysage actuel regroupe les modèles par catégorie — phares, légers, intermédiaires et spécialisés — et recommande des usages concrets pour chacune. C’est le volet « connaître ses options avant d’effectuer le routage » de l’article. Huang présente le rapport coût/capacités de la même manière que l’article, sans s’appuyer sur le battage autour des évaluations comparatives.

Intermédiaire
9 minutes
Vidéo

RouteLLM atteint 90 % de la qualité de GPT4o pour un coût inférieur de 80 %

Matthew Berman. La vidéo présente l’article scientifique et le code de LMSYS RouteLLM : un petit classificateur placé devant une paire composée d’un modèle performant et d’un modèle plus faible décide lequel appeler, pour atteindre environ 95 % de la qualité du modèle performant à une fraction du coût. La vidéo reste sous notre seuil habituel de 100 000 vues, mais, dans le créneau précis « montrez-moi un véritable routage de modèles, pas seulement des comparaisons », c’est l’explication la plus claire sur YouTube. Elle correspond directement à la section de l’article consacrée au compromis qualité/coût.

Intermédiaire
32 minutes
Vidéo

Servir rapidement des LLM avec vLLM et PagedAttention

Anyscale. La vidéo explique un exemple de gaspillage de 60–80% de la mémoire GPU, PagedAttention et le traitement par lots. Elle complète le modèle de coûts à qualité équivalente de l’article ; mesurez la capacité et l’utilisation pour votre propre charge.

Avancé