Kompletterande videor

Bygg ett produktionsklart RAG-system: inläsning, inbäddning, hämtning, omrangordning och utvärdering – kompletterande videor

Artikeln går igenom vad som förändras när ett RAG-system går från en notebook till verklig trafik – specialfall vid inläsning, val av inbäddningsmodell, hybridsökning, omrangordnare och det utvärderingsramverk som håller hela datapipelinen ansvarig. De här två föredragen från AI Engineer Summit är de tydligaste versionerna av den berättelsen framför kamera: det ena ger LlamaIndex perspektiv på hur en verklig RAG-stack för produktion ser ut, det andra kommer från huvudförfattaren till den ursprungliga RAG-artikeln och handlar om problemen han har stött på vid driftsättning hos Fortune 500-kunder.

Förstahandsval

18:34

Bygg produktionsklara RAG-applikationer: Jerry Liu

AI Engineer

LlamaIndex vd går igenom avståndet mellan en ”naiv RAG-demo” och en verklig datapipeline – hämtning från små till stora delar, dirigering av delfrågor, hybridsökning och utvärdering. Upplägget på hans bilder motsvarar nästan direkt artikelns avsnitt om datapipelinen. Se videon först och läs sedan om artikeln med hans diagram i huvudet.

Vad du bör få ut av detta: Identifiera de kontroller för RAG i produktion som saknas i naiva demonstrationer av dokumentchattar.

Titta på eller ha koll på först: Du bör ha byggt eller utvärderat en grundläggande RAG-prototyp.

Anteckning från AI Expert: LlamaIndex API:er och rekommenderade komponenter förändras, men bristerna i produktion består: inläsningskvalitet, dirigerad hämtning, omrangordning, utvärderingar och observerbarhet. Verifiera bibliotekets aktuella standardvärden före implementering.

Öppna videosidan

Värt att titta på

16:56

RAG-agenter i produktion: 10 lärdomar – Douwe Kiela, skaparen av RAG

AI Engineer

Douwe Kiela ledde arbetet med den ursprungliga RAG-artikeln på FAIR och levererar nu RAG till reglerade företag. Föredraget handlar främst om vad som slutar fungera i stor skala – segmenteringsstrategier som inte håller för 100k dokument, ”korrekthet är en hygienfaktor, inkorrekthet är det verkliga problemet” och varför källhänvisningar och observerbarhet är viktigare än inbäddningsmodellen. Bra kalibrering innan du läser om artikelns avsnitt om utvärdering och övervakning.

Vad du bör få ut av detta: Förstå vad som går sönder när RAG flyttas till reglerad företagsanvändning med höga insatser.

Titta på eller ha koll på först: Känn till den grundläggande RAG-pipelinen och varför källhänvisningar spelar roll.

Anteckning från AI Expert: Starkt varnande produktionsmaterial. Använd det för att stresstesta arkitekturbeslut, särskilt kring behörigheter, källhänvisningar, observerbarhet och användarnas förtroende, innan du diskuterar detaljer i inbäddningsmodeller.

Öppna videosidan