32:07vLLMとPagedAttentionによる高速なLLM推論配信動画ページを開く
Anyscale
動画はGPUメモリの60–80%が無駄になる例、PagedAttention、バッチ処理を説明します。品質をそろえた記事の費用モデルの参考にし、自分のワークロードで処理能力と稼働率を測定してください。
このセクションから得られるもの: サービングエンジン、バッチ処理、KVキャッシュのメモリが、自社運用推論の経済性を左右する理由を理解できます。
視聴または事前に知っておくべきもの: Transformerの推論、GPUメモリの制約、API利用と自社運用のトレードオフに関する基礎知識が必要です。
AI Expertの注記: PagedAttentionのメンタルモデルは今も重要ですが、スループットの数値やサービングエンジンのデフォルト設定はすぐ古くなります。基礎を学ぶために活用し、ホスティング方式を決める前に、実際のモデル、ハードウェア、バッチ構成、稼働時間の要件でベンチマークを実施してください。