Aihe

Arviointi, havainnoitavuus ja laatu

Mittaa tekoälyn toimintaa, havaitse regressiot, seuraa kustannuksia ja viivettä sekä kehitä työnkulkuja jatkuvasti.

8 sisältöä (3 artikkelia · 5 videota)

Aloita tästä

Muutama hyvä aloitussisältö ennen koko sisältövirran selaamista.

Lisää tässä aiheessa

69 minuuttia
Video

Agenttien kenttä – oppeja agenttien viemisestä tuotantoon

MLOps.community. Prosuksen tekoälyn VP ja tekoälyinsinööri raportoivat, mikä todella rikkoutui, kun he ottivat agentteja käyttöön ryhmän portfolioyrityksissä: kehoteinjektion pen-testaus ennen julkaisua, turvaton kirjoitus kun Jira-agentti tukehtui ihmisen lyhennelmiin, vanhentunut konteksti käsiteltynä siten, että agentit tuovat oletuksensa esiin, sekä varamenettelyn suunnittelu, joka yhdisti tai tappoi agentteja, kun ne lisäsivät kognitiivista kuormaa. Se lukee kuin artikkelin epäonnistumistaparekisteri toistettuna live-postmortemina.

Edistynyt
10 min lukemista
Artikkeli

Tekoälyjärjestelmän vikatavat tuotannossa: mikä hajoaa demon jälkeen

Laadi vikataparekisteri hallusinaatioille, vanhentuneelle kontekstille, kehote-injektiolle, turvattomalle työkalujen käytölle, skeeman ajautumiselle, heikoille varamenettelyille ja havainnoitavuuden puutteille.

Edistynyt
107 minuuttia
Video

Miksi tekoälyn evaluoinnit ovat kuumin uusi taito tuoterakentajille | Hamel Husain & Shreya Shankar

Lenny's Podcast. Husainin ja Shankarin keskustelu täydentää artikkelin vaatimusta nimetä tarkistuksille vastuuhenkilö ja sovittaa niiden tahti muutoksiin, poikkeamiin ja havaittuihin virheisiin. Arvioi tarkistamiseen tarvittava aika omalle työnkulullesi.

Keskitaso
3 minuuttia
Video

Evaluoi kehotteita Anthropic Consolessa

Anthropic. Kolmen minuutin Anthropic-läpikäynti oikean arvioinnin ajamisesta Workbenchissä — realististen testitapausten automaattinen generointi, tuotosten arviointi, kehotteen säätäminen ja saman suiteen uudelleenajo rinnakkain. Katselumäärä jää alle tavallisen kynnyksen, mutta ”miten teen tämän ilman koodia” -kysymykseen tämä on selkein virallinen demo ja asettuu siististi strategisemman Husain/Shankar-keskustelun alle.

Keskitaso
9 minuuttia
Video

LangSmith 10 minuutissa

LangChain. LangChainin toinen perustaja esittelee LLM-jäljen, projektin ja aineiston sekä tokenkustannukset, viiveen, virheosuuden, palautteen koostamisen ja yksittäisen hakuvaiheen tarkastelun. Video havainnollistaa artikkelin ajatusta siitä, että jokainen kutsu on yksi jäljen osa ja rakenteinen jäljitys on tulostuslokeja hyödyllisempi.

Edistynyt
154 minuuttia
Video

LLM:ien instrumentointi ja evaluointi

Hamel Husain. Hamel Husain, Eugene Yan, Brian Bischof, Harrison Chase ja Shreya Shankar käsittelevät jäljitystä, lokianalyysiä, kielimallin käyttöä arvioijana sekä todelliseen tuotantodataan perustuvaa työnkulkua. Varaa videolle aikaa kuten pitkälle podcastille. Se syventää artikkelin kehotusta tarkastella todellisia jälkiä.

Edistynyt