Begleitvideos

Ein produktionsreifes RAG-System entwickeln — Begleitvideos

Der Artikel erläutert, was sich ändert, wenn ein RAG-System vom Notebook in den realen Betrieb wechselt: Sonderfälle bei der Ingestion, die Wahl des Embedding-Modells, hybride Suche, Reranker und ein Eval-System, das die gesamte Pipeline überprüfbar macht. Diese beiden Vorträge vom AI Engineer Summit erzählen diese Entwicklung besonders anschaulich. Der erste zeigt aus Sicht von LlamaIndex, wie ein tatsächlicher Produktions-Stack für RAG aussieht. Der zweite stammt vom Hauptautor der ursprünglichen RAG-Forschungsarbeit und beschreibt, welche Probleme beim Einsatz für Fortune-500-Kunden auftraten.

Hauptauswahl

18:34

Produktionsreife RAG-Anwendungen entwickeln: Jerry Liu

AI Engineer

Der CEO von LlamaIndex erläutert die Lücke zwischen einer „naiven RAG-Demo“ und einer realen Pipeline: Small-to-Big Retrieval, Routing von Unterfragen, hybride Suche und Evaluation. Die Struktur seiner Folien entspricht nahezu direkt den Pipelineabschnitten des Artikels. Sehen Sie zuerst das Video und lesen Sie den Artikel anschließend mit seinen Diagrammen im Kopf erneut.

Was Sie aus diesem Video mitnehmen sollten: Die Kontrollen für produktionsreife RAG-Systeme erkennen, die einfachen Demos für Dokumentenchats fehlen.

Das sollten Sie zuerst ansehen oder wissen: Sie sollten einen einfachen RAG-Prototyp entwickelt oder bewertet haben.

Hinweis von AI Expert: APIs und empfohlene Komponenten von LlamaIndex ändern sich, die Lücken zwischen Demo und Produktion bleiben jedoch bestehen: Ingestion-Qualität, Retrieval-Routing, Reranking, Evals und Observability. Prüfen Sie vor der Implementierung die aktuellen Standardwerte der Bibliothek.

Videoseite öffnen

Auch sehenswert

16:56

RAG-Agenten im Produktivbetrieb: 10 Erkenntnisse – Douwe Kiela, Erfinder von RAG

AI Engineer

Douwe Kiela leitete die ursprüngliche RAG-Forschungsarbeit bei FAIR und bringt RAG heute in regulierte Unternehmen. Der Vortrag konzentriert sich darauf, was im großen Maßstab nicht mehr funktioniert: Chunking-Strategien, die 100k Dokumente nicht überstehen, die Aussage „Genauigkeit wird vorausgesetzt, Ungenauigkeit ist das eigentliche Problem“ sowie die Frage, weshalb Quellenzuordnung und Observability wichtiger werden als das Embedding-Modell. Das bietet die richtige Einordnung, bevor Sie die Eval- und Monitoring-Abschnitte des Artikels erneut lesen.

Was Sie aus diesem Video mitnehmen sollten: Verstehen, was beim Übergang von RAG zu regulierten, risikoreichen Unternehmensanwendungen scheitert.

Das sollten Sie zuerst ansehen oder wissen: Sie sollten die grundlegende RAG-Pipeline kennen und verstehen, weshalb Quellenzuordnung wichtig ist.

Hinweis von AI Expert: Der Vortrag liefert starke Warnungen aus dem Produktionseinsatz. Nutzen Sie ihn, um Architekturentscheidungen insbesondere zu Berechtigungen, Quellenzuordnung, Observability und Nutzervertrauen kritisch zu prüfen, bevor Sie Details von Embedding-Modellen diskutieren.

Videoseite öffnen