Generative KI & Large Language Models
Generative KI-Modelle: Foundation Model, Fine-tuning und RAG
Lernziele dieser Lektion
- Die drei Ebenen generativer KI-Modelle kennen
- Verstehen, was ein Foundation Model ist
- Den Unterschied zwischen Fine-tuning und RAG erklären können
- Einschätzen, welcher Ansatz für welchen Anwendungsfall geeignet ist
Drei Ebenen der Anpassung
Generative KI-Modelle wie ChatGPT, Gemini oder Claude können auf verschiedenen Ebenen angepasst werden. Diese Ebenen unterscheiden sich stark im Ressourcenaufwand – von extrem aufwändig bis sehr einfach:
Die Pyramide der KI-Anpassung (von aufwändig nach einfach)
Ebene 1 – Foundation Model erstellen: Sehr hoher Aufwand
Ebene 2 – Fine-tuning: Mittlerer Aufwand
Ebene 3 – RAG / Prompt: Geringer Aufwand
Ebene 1: Foundation Model (Basismodell)
Ein Foundation Model (Basismodell) ist das Grundmodell, auf dem alles andere aufbaut. Beispiele sind GPT-4, Gemini, Claude oder LLaMA.
Die Erstellung eines Foundation Models umfasst drei Schritte:
- Datensammlung und Pre-Processing: Riesige Textmengen aus dem Internet und anderen Quellen sammeln und aufbereiten
- Modelltraining: Das Modell mit diesen Daten trainieren (erfordert enorme Rechenleistung)
- Evaluation und Validierung: Die Qualität des Modells testen und bewerten
Warum ein eigenes Foundation Model erstellen?
Gründe dafür: Kein bestehendes Modell erfüllt die spezifischen Anforderungen; volle Kontrolle über Architektur, Trainingsdaten und Funktionsweise.
Überlegungen: Sehr hohe Kosten und Ressourcenbedarf; erfordert umfangreiches Datenmanagement und kontinuierliche Verwaltung. Nur für große Organisationen mit speziellem Bedarf sinnvoll.
Ebene 2: Fine-tuning
Fine-tuning bedeutet, ein bestehendes Foundation Model auf ein bestimmtes Fachgebiet zu spezialisieren. Dabei wird das vortrainierte Grundmodell mit zusätzlichen, aufgabenspezifischen Daten weitertrainiert.
Der Prozess: Vortrainiertes Grundmodell → Fine-tuning mit domänenspezifischen Daten → Spezialisiertes Modell
Vorteile von Fine-tuning
- Bestehendes Modell an spezifische Anforderungen anpassen
- Beschränkte Entwicklungszeit und -kosten (im Vergleich zum Foundation Model)
- Einsatz von domänenspezifischem Wissen
Überlegung
Fine-tuning liefert üblicherweise bessere Resultate in der spezifischen Domäne, aber schlechtere Resultate ausserhalb dieser Domäne. Das Modell wird quasi zum Spezialisten – auf Kosten seiner Allgemeinbildung.
Ebene 3: RAG (Retrieval Augmented Generation)
RAG (Retrieval Augmented Generation) ist ein Ansatz, bei dem ein KI-Modell nicht verändert wird, sondern bei jeder Anfrage zusätzliche Informationen aus einer externen Wissensdatenbank abruft.
Der Ablauf:
- Input: Der Nutzer stellt eine Frage
- Wissensdatenbank abfragen: Das System sucht relevante Informationen in einer externen Datenbank
- Spezifische Informationen zurückgeben: Die gefundenen Informationen werden dem Modell als Kontext mitgegeben
- Output: Das Modell generiert eine Antwort basierend auf dem Prompt UND den abgerufenen Informationen
Warum RAG?
- Aktualität und Genauigkeit: Das Modell hat Zugriff auf aktuelle Daten, nicht nur auf sein Trainingswissen
- Relevanz: Antworten können auf spezifische Anwendungsbereiche zugeschnitten werden
- Skalierbarkeit: Neue Informationen können einfach zur Wissensdatenbank hinzugefügt werden, ohne das Modell neu zu trainieren
Ebene 3: Prompt
Die einfachste Ebene ist die direkte Nutzung eines bestehenden Modells über Prompts – also Textanweisungen an ein vortrainiertes Modell. Das Modell erzeugt darauf basierend Antworten oder Inhalte.
Vorteile
- Einfach und flexibel
- Kein zusätzliches Training erforderlich
- Kostengünstig und niedrige Einstiegshürde
Dies ist nur ein kurzer Auszug. Die vollständige Lektion mit interaktiven Übungen und Lernfortschritts-Tracking gibt es nach Einlösung eines Einschreibeschlüssels.