Trainingsprozess, Overfitting und Deep Learning – KI – Themenpool

Lernziele dieser Lektion

Den Trainingsprozess eines neuronalen Netzes beschreiben können
Forward Propagation und Backpropagation erklären können
Overfitting und Underfitting unterscheiden und Gegenmassnahmen kennen
Deep Learning als Teilbereich von Machine Learning einordnen können

Wie lernt ein neuronales Netz?

Das Training eines neuronalen Netzes ist ein iterativer Prozess, bei dem die Gewichte der Verbindungen schrittweise angepasst werden, um den Fehler zwischen der Vorhersage und dem tatsächlichen Ergebnis zu minimieren.

Der Trainingsprozess neuronaler Netze: Forward Propagation, Fehlerberechnung, Backpropagation

Der Trainingszyklus

Zuerst werden relevante Daten gesammelt (z.B. Bilder, Texte, Zahlenreihen). Diese Daten werden bereinigt, normalisiert und in ein geeignetes Format gebracht. Fehlende Werte werden gelöscht oder durch Durchschnittswerte ersetzt.

Schritt 2: Daten aufteilen (Datensplitting)

Die Daten werden in drei Gruppen aufgeteilt:

Trainingsdaten (ca. 70–80%): Damit wird das Modell trainiert
Validierungsdaten (ca. 10–15%): Zur Überprüfung während des Trainings
Testdaten (ca. 10–15%): Für die abschliessende Bewertung des fertigen Modells

Schritt 3: Modellarchitektur definieren

Hier wird die Struktur des Netzes festgelegt: Welcher Netztyp wird verwendet (je nach Datentyp, z.B. GAN für Bilder, Transformer für Text)? Wie viele Schichten und Neuronen? Welche Aktivierungsfunktionen?

Schritt 4: Training (Forward & Backpropagation)

Das eigentliche Training besteht aus zwei sich wiederholenden Phasen:

Forward Propagation (Vorwärtsdurchlauf): Daten werden durch das Netz geschickt, und das Modell gibt eine Vorhersage aus
Loss berechnen: Die Loss-Funktion misst, wie weit die Vorhersage vom tatsächlichen Ergebnis entfernt ist
Backpropagation (Fehlerkorrektur): Der Backpropagation-Algorithmus passt die Gewichte im Netz so an, dass der Fehler beim nächsten Mal kleiner wird. Die Gewichte werden «ein Stück weit in die richtige Richtung» verändert.

Dieser Kreislauf wird viele Male wiederholt, bis das Modell gute Ergebnisse liefert.

Schritt 5: Validierung und Testen

Während des Trainings wird das Modell regelmässig mit den Validierungsdaten getestet (ohne die Gewichte anzupassen!). Nach dem Training erfolgt die finale Bewertung mit den Testdaten.

Schritt 6: Einsatz (Deployment)

Wenn die Ergebnisse zufriedenstellend sind, werden die Gewichte «eingefroren» und das Modell in eine Anwendung integriert (z.B. Produktempfehlung, Spracherkennung, Qualitätskontrolle).

Overfitting und Underfitting

Zwei häufige Probleme beim Training neuronaler Netze:

Overfitting (Überanpassung)

Overfitting bedeutet, dass das Modell die Trainingsdaten «auswendig lernt», anstatt allgemeine Muster zu erkennen. Es liefert hervorragende Ergebnisse bei den Trainingsdaten, versagt aber bei neuen, unbekannten Daten.

Gegenmassnahmen: Modell vereinfachen (verkleinern), Trainingszeit reduzieren, mehr Trainingsdaten verwenden.

Underfitting (Unteranpassung)

Underfitting bedeutet, dass das Modell noch nicht sein volles Potenzial erreicht hat. Es hat die zugrundeliegenden Muster noch nicht ausreichend erfasst und liefert auch bei den Trainingsdaten schlechte Ergebnisse.

Gegenmassnahmen: Modell komplexer machen (vergrössern, mehr Schichten), Trainingszeit erhöhen.

Das Ziel: Appropriate Fitting

Beim Training sucht man immer den «Sweet Spot» – die optimale Balance zwischen Overfitting und Underfitting. Das Modell soll allgemeine Muster gut erkennen, ohne die Trainingsdaten auswendig zu lernen.

Deep Learning

Deep Learning ist ein spezialisierter Teilbereich von Machine Learning. Es nutzt tiefe neuronale Netze – also Netze mit vielen Schichten (teilweise über 100 Hidden Layers) – und wird mit großen Datenmengen trainiert.