34 minuuttiaMiten tekoäly uudistaa ohjelmistoliiketoimintamalleja – Bret Taylor, Sierra
Arvioi tekoälytuotteen hinnoittelua ja erikoistumista mitattavien tulosten ympärille paikkamäärien sijaan.
EdistynytTekoäly liiketoiminnassa
Nopea LLM-palvelu vLLM:llä ja PagedAttentionilla
Anyscale. Esitys käy läpi vLLM-tutkimuksessa raportoidun muistin hukkakäytön, PagedAttentionin käyttöjärjestelmistä lainaaman sivutusidean ja jatkuvan eräkäsittelyn vaikutuksen läpäisykykyyn. Videon luvut koskevat sen omia vertailuasetelmia, mutta mekanismit auttavat ymmärtämään artikkelin käyttöastelaskelmaa.
AI Expert -huomio
PagedAttentionin perusidea säilyy hyödyllisenä, mutta läpäisyluvut ja mallipalvelinten oletukset vanhenevat nopeasti. Vertaa omaa malliasi, laitteistoasi, eräkäsittelyäsi ja saatavuusvaatimuksiasi ennen isännöintipäätöstä.
Mitä sinun pitäisi oppia tästä
Ymmärrät, miksi mallipalvelin, eräkäsittely ja KV-välimuisti vaikuttavat ratkaisevasti itse isännöidyn päättelyn kustannuksiin.
Katso tai hallitse ensin
Perustiedot transformer-mallien päättelystä, grafiikkasuorittimien muistirajoista sekä rajapintapalvelun ja itse isännöinnin kompromisseista.
Viimeksi tarkistettu: 14.8.2026
Katso seuraava
Jatka samalla oppimisreitillä seuraaviin valikoituihin oheisvideoihin.
34 minuuttia
6 minuuttiaTekoälyääniagentit: miten ne oikeasti toimivat ja miksi ne kuulostavat niin inhimillisiltä
Tunnista ääniagentin ydinarkkitehtuuri ja epäonnistumispisteet, jotka vaikuttavat asiakkaan luottamukseen oikeissa puheluissa.
EdistynytAutomaatiot
37 minuuttiaVMware Private AI Foundationin ominaisuudet ja toiminnot – päivitys Broadcomilta
Arvioi yksityistä tekoälyä infrastruktuuri- ja hallintapäätöksenä sen sijaan, että oletusarvoisesti valitsisit SaaS:n tai itse isännöinnin vaistolla.
EdistynytYksityinen / paikallinen tekoäly