Kompletterande videor

Välj mellan promptning, RAG och finjustering (och när de bör kombineras) – kompletterande videor

Det här är ett beslut som team gång på gång fattar fel: de finjusterar en modell när det verkliga problemet gäller informationshämtning eller bygger på med RAG när en bättre prompt skulle lösa problemet. Artikeln presenterar ett beslutsramverk. De här två förklaringarna från IBM Technology ger dig samma ramverk vid en whiteboard, med jämförelserna uppritade sida vid sida. Det är användbart när du vill övertyga en skeptisk kollega om samma sak.

Förstahandsval

13:10

RAG kontra finjustering kontra promptutformning: optimera AI-modeller

IBM Technology

En tydlig whiteboardgenomgång av alla tre teknikerna och deras respektive kostnader: latens vid informationshämtning, beräkningskostnaden för träning och katastrofal glömska samt begränsningarna med lösningar som enbart bygger på prompter. Den tar också upp de kombinationer som faktiskt är rimliga i produktion. Det avslutande exemplet, där ett juridiskt AI-system använder alla tre teknikerna, motsvarar nästan exakt artikelns argument om när de bör kombineras.

Vad du bör få ut av detta: Välj promptutformning, RAG, finjustering eller en kombination utifrån det faktiska felläget.

Titta på eller ha koll på först: Förstå på en övergripande nivå vad varje teknik innebär.

Anteckning från AI Expert: Det här är ett stabilt beslutsramverk. Använd det innan du köper infrastruktur eller startar ett finjusteringsprojekt. De flesta felaktiga val beror på att problem med aktualitet, källhänvisningar, stil eller beteende diagnostiseras fel.

Öppna videosidan

Värt att titta på

8:57

RAG kontra finjustering

IBM Technology

Ett mer avgränsat fokus på de två tekniker som team oftast blandar ihop. Videon går djupare in på datas aktualitet, källhänvisningar och argumentet att finjustering kan ge snabbare inferens. Den är värd att se om du specifikt försöker argumentera mot ett onödigt finjusteringsprojekt.

Vad du bör få ut av detta: Förklara när informationshämtning är rätt lösning och när finjustering faktiskt kan vara till hjälp.

Titta på eller ha koll på först: Grundläggande terminologi inom RAG och finjustering.

Anteckning från AI Expert: Videon är bra för samtal med intressenter eftersom den skiljer aktuell kunskap från modellbeteende. Kontrollera ändå aktuella kostnader för finjustering, vilka modeller som stöds och begränsningar inom datastyrning innan du fattar beslut.

Öppna videosidan