Prompting, RAG oder Fine-Tuning wählen — und wann Sie sie kombinieren sollten
Fortgeschritten12 Min. LesezeitKI für Unternehmen

Prompting, RAG oder Fine-Tuning wählen — und wann Sie sie kombinieren sollten

Prompting, RAG und Fine-Tuning sind die drei großen Hebel, um große Sprachmodelle an Ihr Problem anzupassen. Jeder eignet sich für bestimmte Probleme und für andere nicht. Ein Entscheidungsrahmen, die realistischen Kosten jedes Ansatzes und erfolgreiche Kombinationsmuster für den Produktivbetrieb.

Das sollten Sie danach können

Prompting ändert, was das Modell gefragt wird. RAG ändert, welche Daten es sieht. Fine-Tuning ändert, was das Modell weiß oder wie es sich verhält. Die richtige Wahl hängt davon ab, ob Ihr Problem Anweisungen, Wissen oder Fähigkeiten betrifft — und die besten Produktivsysteme kombinieren in der Regel alle drei.

AI Expert TeamVeröffentlicht: 15. Mai 2026
Nur in diesem Browser gespeichert.
In diesem Artikel

Ein Team erhält den Auftrag: „Verbessern Sie unsere KI für unseren konkreten Anwendungsfall.“ Dafür gibt es mehrere Möglichkeiten. Das Team kann bessere Prompts schreiben, ein RAG-System entwickeln, das dem Modell relevante Daten bereitstellt, oder das Modell anhand von Beispielen aus der eigenen Domäne feinabstimmen.

Diese Optionen sind nicht austauschbar. Sie lösen unterschiedliche Probleme. Bei falscher Wahl investieren Sie drei Monate und ein beträchtliches Budget in Fine-Tuning, obwohl ein besserer Prompt genügt hätte. Oder Sie bauen eine aufwendige RAG-Infrastruktur, obwohl Fine-Tuning einfacher gewesen wäre. Oder Sie optimieren Prompts immer weiter, obwohl das Modell grundsätzlich nicht leisten kann, was Sie benötigen.

Dieser Artikel bietet einen Entscheidungsrahmen: wann welcher Hebel der richtige ist, wann Sie die Ansätze kombinieren sollten, welche realistischen Kosten jeweils entstehen und was im Produktivbetrieb typischerweise gelingt oder scheitert.

Was die einzelnen Ansätze tatsächlich bewirken

Eine klare Unterscheidung:

Prompting ändert, was das Modell gefragt wird. Sie geben dem Modell bessere Anweisungen, Beispiele, Formatanforderungen und Kontext. Das Modell selbst ändert sich nicht, sondern nur seine Eingabe.

RAG ändert, welche Daten das Modell sieht. Sie rufen zur Abfragezeit relevante Informationen ab und fügen sie dem Prompt hinzu. Das Modell erhält aktuelle, spezifische und dynamische Daten, ohne darauf trainiert zu werden.

Fine-Tuning ändert, was das Modell weiß oder wie es sich verhält. Sie trainieren das Modell anhand von Beispielen, indem Sie seine Gewichte anpassen. Das Modell selbst wird aktualisiert.

Diese Verfahren lösen unterschiedliche Probleme:

  • Anweisungslücke: Das Modell könnte die Aufgabe ausführen, wenn es die richtigen Anweisungen erhielte. → Prompting.
  • Wissenslücke: Das Modell benötigt Informationen, die es nicht hat. → RAG.
  • Fähigkeitslücke: Das Modell kann die Aufgabe nicht zuverlässig ausführen, selbst mit guten Prompts und Kontext. → Fine-Tuning.

Zu erkennen, welche Lücke vorliegt, ist die halbe Miete.

Diagnose der Lücke

Wenn die KI nicht tut, was Sie benötigen, fragen Sie:

Könnte ein intelligenter Mensch, wenn er nur den Prompt erhält, diese Aufgabe ausführen?

Wenn ja → Anweisungslücke. Ein besserer Prompt sollte sie schließen.

Wenn nicht, könnte er es tun, wenn man ihm relevante Referenzmaterialien gibt?

Wenn ja → Wissenslücke. RAG kann sie schließen.

Wenn nicht, könnte er es tun, nach umfangreicher Praxis und Feedback?

Wenn ja → Fähigkeitslücke. Fine-Tuning könnte sie schließen.

Wenn nicht → Vielleicht ist die Aufgabe nicht mit einem großen Sprachmodell lösbar. Überdenken Sie die Problemstellung.

Die meisten Probleme der Art „Die KI funktioniert nicht“ sind Anweisungslücken — besseres Prompting löst sie. Am zweithäufigsten sind Wissenslücken. Echte Fähigkeitslücken bilden die kleinste Kategorie, sind jedoch am schwierigsten zu beheben.

Prompting: der unterschätzte Hebel

Prompting ist am günstigsten, am schnellsten und oft die richtige Lösung. Dennoch überspringen Teams es und greifen direkt zu RAG oder Fine-Tuning.

Einige Dinge, die Sie mit Prompting allein tun können:

  • Ton, Format, Länge ändern.
  • Schlussfolgerungsmuster anwenden (Chain-of-Thought, Selbstkritik).
  • Einschränkungen kodieren (X tun, Y nicht tun).
  • Richtlinien und Schutzmechanismen kodieren.
  • Anwendungsfälle anpassen (verschiedene Prompts für verschiedene Funktionen).
  • Konsistenz durch Few-Shot-Beispiele verbessern.

Was Sie mit Prompting allein nicht tun können:

  • Das Modell faktenbasiertes Wissen vermitteln, das es nicht hat.
  • Ein kleines Modell dazu bringen, sich wie ein großes Modell zu verhalten.
  • Auf tiefer Ebene den Ton oder Stil des Modells grundlegend verändern.
  • Die Inferenzgeschwindigkeit des Modells erhöhen.

Eine vernünftige Regel lautet: Beginnen Sie mit Prompting und iterieren Sie mindestens eine Woche lang, bevor Sie zu RAG oder Fine-Tuning greifen. Meistens löst Prompting das Problem.

Prompt-Engineering-Aufwand

Eine Woche intensiver Prompt-Iteration kann dramatische Verbesserungen erbringen. Der typische Verlauf:

  • Tag 1: Baseline. Mittelmäßige Ergebnisse.
  • Tag 2–3: Strukturänderungen. Besseres Format, klarere Anweisungen. Große Verbesserungen.
  • Tag 4–5: Beispiele und Randfälle. Fehlerbilder werden abgedeckt.
  • Tag 6–7: Tonalität, Einschränkungen und Feinschliff. Die letzten 10 % Verbesserung.

Nach einer Woche haben Sie den größten Nutzen aus dem Prompting gezogen. Wenn Sie noch immer nicht zufrieden sind, liegt wahrscheinlich eine Wissens- oder Fähigkeitslücke vor.

Was gute Prompts ausmacht

Ein guter Prompt enthält typischerweise:

  • Klare Rolle und Aufgabe.
  • Spezifische Formatanforderungen.
  • 1–5 repräsentative Beispiele (wenn nötig).
  • Explizite Einschränkungen (was getan werden soll, was nicht).
  • Behandlung von Randfällen.
  • Ausgabeschema.

Üblich sind 5–10 Absätze. Nicht zu kurz, damit die Aufgabe ausreichend bestimmt ist, und nicht zu lang, damit das Modell den Fokus behält.

RAG: die Wissenslösung

RAG ist der richtige Hebel, wenn:

  • Das Modell faktenbasiertes Wissen benötigt, das es nicht hat.
  • sich die Informationen ändern (Live-Daten, aktuelle Ereignisse, kontospezifische Daten).
  • die Informationen spezifisch für Ihre Domäne oder Organisation sind.
  • Sie Quellenangaben oder eine nachweisbare Faktengrundlage benötigen.

Es ist der falsche Hebel, wenn:

  • Das Problem eine Anweisungslücke, nicht eine Wissenslücke ist.
  • Die Daten klein genug sind, um direkt in einen Prompt zu passen.
  • Sie das Modell dazu bringen müssen, etwas anders zu tun, nicht nur etwas anderes zu wissen.

Die realistischen Kosten

Ein RAG-System ist echtes Engineering:

  • Aufbau: 4–12 Wochen für ein ernsthaftes System (Ingestion, Chunking, Embedding, Retrieval, Reranking, Evaluierung).
  • Betrieb: laufend – den Index aktuell halten, Qualität überwachen, Probleme beheben.
  • Infrastruktur: Vektor-Datenbank, Embedding-API-Kosten, Reranking-Kosten. Typischerweise €200–2000/Monat für moderate Skalierung.
  • Kosten pro Abfrage: höher als beim reinen Prompting (zusätzliches Embedding, Retrieval und ein größerer Kontext). Typischerweise das Zwei- bis Fünffache eines klassischen API-Aufrufs.

Für die richtigen Probleme lohnt sich das. Verglichen mit Prompting ist es jedoch eine erhebliche Investition.

RAG-Qualität ist ein Prozess

Ein funktionierendes RAG-System erreicht in der ersten Woche typischerweise eine Qualität von 60–70 %. Der Weg zur Produktionsqualität von mindestens 85 % erfordert weitere 1–2 Monate Arbeit: Chunking verbessern, Reranking ergänzen, Fehlerbilder beheben und Evaluierungen aufbauen.

Planen Sie das ein. Veröffentlichen Sie das System nicht bereits in der ersten Woche, sonst werden Sie verärgerte Nutzer haben.

Fine-Tuning: wenn Prompting und RAG nicht ausreichen

Fine-Tuning ist der richtige Hebel, wenn:

  • Sie eine klare Fähigkeitslücke haben – das Modell kann die Aufgabe nicht zuverlässig ausführen, selbst mit guten Prompts und Kontext.
  • Sie über eine ausreichende Menge hochwertiger Trainingsbeispiele verfügen — mindestens einige Hundert für ein sehr eng begrenztes LoRA, typischerweise mindestens 1.000 für zuverlässiges allgemeines Verhalten. Die genauen Schwellenwerte je Technik finden Sie im Fine-Tuning-Artikel.
  • Sie ein konsistentes, eng umrissenes Verhalten benötigen (einen bestimmten Stil, ein bestimmtes Ausgabeformat oder eine bestimmte Domäne).
  • Inferenzkosten oder Latenz wichtig sind (ein kleineres, feinabgestimmtes Modell kann günstiger sein als ein generisches großes Modell).

Es ist der falsche Hebel, wenn:

  • Ihre Daten häufig geändert werden (das feinabgestimmte Modell wäre schnell veraltet).
  • Sie nicht zuerst Prompting und RAG erschöpft haben.
  • Sie keine guten Evaluierungen haben (Sie können nicht feststellen, ob Fine-Tuning geholfen hat).
  • Die Aufgabe sehr aktuelle Informationen benötigt (Fine-Tuning ist ein Snapshot).
  • Sie versuchen, Fakten zu vermitteln (RAG erledigt das zuverlässiger und mit Quellenangaben).

Arten von Fine-Tuning

Full Fine-Tuning: Alle Modellgewichte werden aktualisiert. Das ist der leistungsfähigste und teuerste Ansatz. Er erfordert erhebliche Rechenleistung und bleibt üblicherweise den Laboren vorbehalten, die Basismodelle entwickeln.

LoRA (Low-Rank Adaptation): Nur ein kleiner Teil der Gewichte wird trainiert. Das ist deutlich günstiger und liefert bei eng umrissenen Aufgaben häufig Ergebnisse, die mit Full Fine-Tuning konkurrieren können.

QLoRA: Quantisiertes LoRA. Noch günstiger. Bei großen Maßstäben ist die Qualität geringer, für viele Aufgaben aber ausreichend.

Prompt Tuning / Prefix Tuning: Noch schlanker; nur Soft Prompts werden trainiert. Der günstigste Ansatz, aber mit begrenzter Leistungsfähigkeit.

Instruction Tuning: Das Modell wird darauf trainiert, Anweisungen zu folgen. Dies geschieht üblicherweise auf Ebene des Basismodells und ist für Endnutzer selten sinnvoll.

RLHF / DPO / KTO: Das Modell wird anhand von Präferenzdaten (Antwort A gegenüber Antwort B) ausgerichtet. Leistungsfähig für Verhaltensänderungen, aber anspruchsvoll in der korrekten Umsetzung.

Im Jahr 2026 verwenden die meisten Teams für Fine-Tuning LoRA auf einem starken Basismodell. Für die meisten Anwendungsfälle bietet es den passenden Kompromiss zwischen Kosten und Leistungsfähigkeit.

Die realistischen Kosten

Die Fine-Tuning-Kosten hängen vom Ansatz und Umfang ab. Für ein typisches LoRA-Fine-Tuning eines mittelgroßen offenen Modells mit 5.000–10.000 Beispielen gilt:

  • Datenvorbereitung: 1–4 Wochen. Oft der größte Teil der Arbeit. Kuratieren, Reinigen, Formatieren von Beispielen.
  • Training: Stunden bis Tage, je nach Datengröße und Infrastruktur. €100–2000 in Rechenleistung.
  • Evaluierung: 1–2 Wochen. Evaluierungssuiten aufbauen und das feinabgestimmte Modell mit dem Basismodell vergleichen.
  • Iteration: 1–3 Zyklen, bevor etwas produktionsreif ist.
  • Bereitstellung: Bei Verwendung einer verwalteten API (OpenAI Fine-Tuning, Anthropic, Vertex) unkompliziert; beim Self-Hosting aufwendiger.
  • Wartung: Erneutes Training bei Datenaktualisierungen, Aktualisierungen des Basismodells oder Änderungen des Anwendungsfalls.

Gesamt: 6–12 Wochen Arbeit, €1K–€20K in Rechenleistung (je nach Skalierung), laufende Wartung.

Das ist eine erhebliche Investition. Stellen Sie sicher, dass sie sich lohnt.

Wann Fine-Tuning glänzt

Spezifische Szenarien, in denen Fine-Tuning klar gewinnt:

Strenge Formatanforderungen. Ausgaben müssen einem bestimmten Schema oder Stil konsistent folgen. Prompting kann Sie 95 % dorthin bringen; Fine-Tuning bringt Sie 99 %.

Spezialisierte Domänen. Medizinische Terminologie, juristische Formulierungen oder Code in einer internen DSL. Fine-Tuning vermittelt dem Modell Ihre spezifische Fachsprache.

Persönlichkeit und Stimme. Eine konsistente Stimme über Tausende von Interaktionen. Prompts können abdriften; Fine-Tuning verankert sie im Modell.

Latenz- und Kostenoptimierung. Ein feinabgestimmtes 7B-Modell, das Ihre konkrete Aufgabe bewältigt, kann günstiger und schneller sein als ein generisches 70B-Modell. Bei hohem Volumen zahlt sich das aus.

Verhaltenssicherheit. Ein Modell durch Fine-Tuning dazu zu bringen, bestimmte Anfragen abzulehnen oder spezifische Schutzmechanismen anzuwenden, kann robuster sein als promptbasierte Leitplanken.

Wann Fine-Tuning versagt

Häufige Gründe, weshalb Fine-Tuning enttäuscht:

Unzureichende Daten. Fine-Tuning auf 100 Beispielen hilft in der Regel nicht viel. Ein sehr enges LoRA kann manchmal mit ein paar hundert Beispielen funktionieren; für zuverlässiges allgemeines Verhalten planen Sie mit 1.000+ hochwertigen Beispielen.

Schlechte Daten. Garbage in, garbage out. Inkonsistente, minderwertige Beispiele erzeugen inkonsistente, minderwertige Modelle.

Katastrophales Vergessen. Intensives Fine-Tuning für eng begrenzte Aufgaben kann allgemeine Fähigkeiten beeinträchtigen. Das Modell wird bei Ihrer Aufgabe besser, aber bei allem anderen schlechter.

Veraltetes Wissen. Ein feinabgestimmtes Modell ist eine Momentaufnahme. Neue Informationen erfordern erneutes Training. Für dynamische Domänen verursacht das dauerhafte Kosten.

Verbesserungen des Basismodells überholen das Fine-Tuning. Das Basismodell verbessert sich so stark, dass die Feinabstimmung keinen Vorteil mehr bietet. Sie warten nun ein Fine-Tuning auf Basis eines veralteten Modells.

Evaluierungsprobleme. Ohne solide Evaluierungen wissen Sie nicht, ob Fine-Tuning geholfen, geschadet oder gar nichts bewirkt hat. Viele „erfolgreiche“ Fine-Tunings sind Scheinerfolge.

Die Kombinationsmuster

Im Produktivbetrieb kombinieren die besten Systeme alle drei Ansätze.

Kombination 1: Prompted RAG (am häufigsten)

Der Standard für wissensintensive Anwendungen.

  • Sorgfältig gestaltete Prompts kodieren Anweisungen, Format, Einschränkungen.
  • RAG liefert aktuelle, spezifische Informationen.
  • Kein Fine-Tuning; stattdessen wird ein starkes Basismodell eingesetzt.

Dies ist das häufigste Produktionsmuster im Jahr 2026. Es funktioniert für die meisten Anwendungsfälle.

Kombination 2: Fine-tuned Modell + RAG

Wenn Sie sowohl Verhaltensspezialisierung als auch dynamisches Wissen benötigen.

  • Fine-Tuning für Stimme, Format und Domäne.
  • RAG für aktuelle Informationen.
  • Prompts orchestrieren.

Beispiel: ein Modell, das auf die spezifische Stimme des Kundensupports eines Unternehmens feinabgestimmt wurde und über RAG auf aktuelle Richtlinien und Dokumentation zugreift. Das Fine-Tuning gewährleistet die konsistente Stimme, RAG liefert das sich ändernde Wissen.

Kombination 3: Spezialisierte Fine-Tunings für spezifische Aufgaben

Verschiedene Fine-Tunings für verschiedene Teile eines Systems.

  • Klassifizierungs-Fine-Tuning für Routing.
  • Zusammenfassungs-Fine-Tuning für Zusammenfassungen.
  • Generations-Fine-Tuning für Kundenantworten.
  • Jedes Modell ist kleiner, schneller und spezialisiert.

Dieses Muster wird eingesetzt, wenn Skalierung und Kostenoptimierung wichtig sind. Jedes feinabgestimmte Modell erledigt seine eng umrissene Aufgabe zuverlässig; die Orchestrierung ruft das jeweils passende auf.

Kombination 4: Fine-tuned Router + allgemeine Modelle

Der Router wird feinabgestimmt, um Abfragen zuverlässig zu klassifizieren. Anschließend werden die Abfragen für die eigentliche Verarbeitung an allgemeine Modelle weitergeleitet.

Das feinabgestimmte Router-Modell ist klein, schnell und eng spezialisiert. Die aufwendige allgemeine Verarbeitung übernehmen aktuelle, universell einsetzbare Modelle.

Dies kombiniert Wirtschaftlichkeit (ein kleines Fine-Tuning) mit Leistungsfähigkeit (allgemeine Modelle für die anspruchsvolle Arbeit).

Der Entscheidungsrahmen

Ein praktischer Entscheidungsfluss:

Frage 1: Ist das Problem mit dem aktuellen Modell und einem guten Prompt lösbar?

Wenn ja: Schreiben Sie den Prompt, iterieren Sie eine Woche lang und veröffentlichen Sie die Lösung.

Wenn nicht, gehen Sie zu Frage 2.

Frage 2: Bezieht sich das Problem auf Wissen, das das Modell nicht hat?

Wenn ja: Entwickeln Sie ein RAG-System. Investieren Sie die erforderlichen Monate, bringen Sie es auf Produktionsqualität und kombinieren Sie es mit starken Prompts.

Wenn nicht, gehen Sie zu Frage 3.

Frage 3: Betrifft das Problem ein konsistentes Format, eine eng begrenzte Domäne oder ein spezifisches Verhalten?

Wenn ja, UND Sie haben mindestens einige hundert (idealerweise 1.000+) hochwertige Beispiele: Fine-Tuning. Kombinieren Sie mit Prompting und möglicherweise RAG.

Wenn Sie keine Beispiele haben: Investieren Sie in deren Sammlung ODER optimieren Sie Prompting und RAG weiter, bevor Sie Fine-Tuning durchführen.

Frage 4: Haben Sie die erforderlichen Evaluierungen durchgeführt, um zu erkennen, welcher Ansatz tatsächlich hilft?

Diese Frage gilt bei jedem Schritt. Ohne Evaluierungen raten Sie lediglich.

Produktionsbeispiele

Einige reale Kombinationen:

Beispiel 1: KI-Kundensupport

Ausgangslage: Die Kundensupport-KI eines SaaS-Unternehmens bearbeitet Anfragen der ersten Supportstufe.

Komponenten:

  • Starke Prompts für Ton, Format, Eskalationsrichtlinien.
  • RAG über aktuelle Dokumentation, Richtlinien und den Ticketverlauf.
  • Leichtes Fine-Tuning auf die spezifische Stimme und die Eskalationsmuster des Unternehmens (1.500 kuratierte Beispiele aus früheren Tickets).

Ergebnis: Das System bearbeitet 65 % der Tickets autonom. Das Fine-Tuning gewährleistet eine konsistente Stimme, RAG sorgt für sachliche Genauigkeit und Prompts setzen die Richtlinien um.

Beispiel 2: Rechtsdokumentenprüfung

Ausgangslage: Ein Legal-Tech-Produkt prüft Verträge auf Risiken.

Komponenten:

  • Detaillierte Prompts, die kodieren, wonach gesucht werden soll (rechtliche Kategorien, Schweregrad-Rubrik).
  • RAG über relevante Rechtsprechung und Präzedenzfälle.
  • Kein Fine-Tuning; Reasoning-Modelle übernehmen die anspruchsvolle Analyse.

Ergebnis: Prompting + RAG funktioniert gut, weil das Modell bereits über juristisches Training verfügt. Fine-Tuning hätte nur marginal geholfen; die Investition war nicht gerechtfertigt.

Beispiel 3: Code-Vervollständigung in einer benutzerdefinierten DSL

Ausgangslage: Ein spezialisiertes Datenwerkzeug mit einer eigenen DSL.

Komponenten:

  • Prompts mit Beispielen.
  • Kein RAG (die DSL ist klein genug, um in den Kontext zu passen).
  • LoRA-Fine-Tuning auf 10.000 Beispielen der DSL.

Ergebnis: Fine-Tuning war entscheidend. Ohne es konnte das Modell nicht zuverlässig gültige DSL erzeugen. Prompts und Kontext allein waren nicht ausreichend.

Beispiel 4: Interner Unternehmens-Assistent

Ausgangslage: Ein allgemeiner Assistent für die Beschäftigten eines Unternehmens.

Komponenten:

  • Starke Systemprompts (Stimme, Verhalten, Ablehnungen).
  • RAG über das Unternehmens-Wiki, Slack und Dokumentation.
  • Kein Fine-Tuning; die „Stimme“ des Unternehmens wird in Prompts erfasst.

Ergebnis: RAG + Prompts decken die meisten Anwendungsfälle ab. Die Unternehmensstimme ist nicht ungewöhnlich genug, um dafür Fine-Tuning zu benötigen.

Fehler, die wir beobachten

Einige typische Fehlinvestitionen:

Fehler 1: Mit Fine-Tuning beginnen. Teams hören „Wir sollten unser eigenes Modell feinabstimmen“ und setzen dort an. In 90 % der Fälle wären Prompting + RAG schneller, günstiger und ebenso gut gewesen.

Fehler 2: RAG überspringen, wenn es die Lösung ist. Teams bauen umfangreiche Prompts, um das Modell an „Unternehmensinformationen“ zu erinnern, die offensichtlich zur Abfragezeit abgerufen werden sollten. Besser ist es, einfach abzurufen.

Fehler 3: Fine-Tuning ohne Evaluierungen. „Wir haben das Modell feinabgestimmt, jetzt ist es besser.“ Dafür gibt es keine Metriken. Häufig hat das Fine-Tuning nichts bewirkt oder sogar geschadet. Ohne Evaluierungen wissen Sie es nicht.

Fehler 4: Veraltete Fine-Tunings. Eine Feinabstimmung von vor sechs Monaten, als GPT-4 noch das beste Modell war. Heutige Frontier-Modelle ohne Fine-Tuning übertreffen das ältere, feinabgestimmte Modell. Fine-Tunings müssen neu bewertet werden, wenn sich das Feld weiterentwickelt.

Fehler 5: Fakten durch Fine-Tuning vermitteln. Teams versuchen, ein Modell so feinabzustimmen, dass es „unser Unternehmen kennt“. Das funktioniert schlecht — das Modell merkt sich einige Fakten und halluziniert andere. RAG ist für Fakten zuständig, Fine-Tuning für Verhalten.

Fehler 6: Prompts nicht lange genug iterieren. Zwei Tage Prompt-Iteration sind ein Ausgangspunkt. Nach zwei Wochen erhalten Sie ein belastbares Ergebnis.

Fehler 7: RAG überdimensionieren, obwohl Prompting genügt. Ein Unternehmensdokument mit 50.000 Tokens vollständig in den Prompt aufzunehmen ist mitunter einfacher als RAG — besonders bei kleinen Korpora.

Kosten- und Aufwandvergleich

Ein grober Vergleich für ein typisches mittelgroßes Projekt:

AnsatzAufwandKosten (einmalig)Kosten (pro Abfrage)Wartung
Prompting1–2 WochenminimalBasis-API-Kostengering
RAG6–12 WochenInfrastrukturaufbau (~€1K–5K)2–5x Basismoderat (Ingestion, Evaluierung)
Fine-Tuning (LoRA)6–12 WochenTrainingsrechenleistung (~€500–5K)Basis (mit kleinerem Modell oft günstiger)hoch (Daten, erneutes Training, Evaluierung)
Prompting + RAG8–14 WochenInfrastruktur2–5x Basismoderat
Alle drei12–20 WochenKombiniertvariierthoch

Die richtige Wahl hängt von Ihrem Problem und Ihren Ressourcen ab. Für die meisten Teams ist Prompting + RAG der beste Kompromiss — ein deutlicher Fähigkeitsgewinn ohne die vollständige Fine-Tuning-Investition.

Das Fazit

Prompting, RAG und Fine-Tuning lösen unterschiedliche Probleme. Die richtige Wahl erfordert eine ehrliche Diagnose: Liegt eine Anweisungs-, Wissens- oder Fähigkeitslücke vor?

Die ehrliche Reihenfolge, in der sie auszuprobieren sind:

  1. Prompting (1–2 Wochen Iteration). Am günstigsten, am schnellsten und meistens ausreichend.
  2. RAG, wenn eine klare Wissenslücke besteht. Erhebliche Investition, aber gut abgegrenzt.
  3. Fine-Tuning, wenn eine klare Fähigkeitslücke besteht, die Prompting + RAG nicht schließen können. Am teuersten; setzen Sie es zuletzt ein.
  4. Kombinationen für ausgereifte Produktivsysteme.

Erfolgreiche Teams beurteilen ehrlich, welche Lücke vorliegt, und evaluieren diszipliniert. Ohne Evaluierungen können Sie nicht feststellen, welcher Ansatz geholfen hat. Mit ihnen ist der Weg in der Regel klar.

Die meisten Projekte unter dem Motto „Wir müssen unser eigenes Modell feinabstimmen“ sollten bei näherer Betrachtung eigentlich „Wir müssen bessere Prompts schreiben und RAG ergänzen“ heißen. Reservieren Sie Fine-Tuning für die Fälle, die es wirklich benötigen.

Das Ergebnis sind bessere Systeme, die schneller und zu geringeren Kosten entstehen. Genau darum sollte es bei der produktiven Bereitstellung von KI gehen.

Weiterlesen

Fahren Sie mit demselben Lernpfad fort und lesen Sie die nächsten praktischen Artikel.