Beim überwachten Lernen (engl.: supervised learning; o.a. beobachtetes Lernen) wird anhand vorgegebener Daten (z.B. beobachtete Realisationen von Tupeln (i, t) in der Vergangenheit) geschätzt, wobei der Umstand ausgenutzt wird, dass zu jedem Eingabemuster i sein zugehöriges Ausgabemuster t bekannt ist. Das tatsächliche Ausgabemuster (Output) o des KNN bei anliegendem Eingabemuster i wird dann mit dem erwünschten Zielmuster t verglichen.
Es wird ein Fehlermaß eingeführt, dass den Unterschied zwischen o und t widerspiegelt. Eine beliebte Wahl ist der mittlere quadratische Fehler (MSE, mean square error) aller Trainingsdaten. Der Lernalgorithmus versucht nun, die Gewichte ω des Netzes (die freien Parameter) so zu verändern, dass die Abweichung (Fehler) abnimmt und sich die Leistung verbessert. Den Prozess der Parameterschätzung eines KNN unter Verwendung der Abweichung zwischen o und t bezeichnet man als überwachtes Lernen.
Insofern geht es bei allen drei Kategorien (Funktionsapproximation, Klassifikation, Assoziativspeicher) um die Abbildung vorgegebener Strukturen in einer Datenbasis (Strukturabbildung).
Ein Lernschritt könnte wie folgt aussehen:
- Anlegen der Eingabe
- Verarbeitung der Eingabe (Propagierung)
- Vergleich der Ausgabe mit dem erwünschten Wert (Fehler)
- Verkleinern des Fehlers durch Modifikation der Gewichte (z.B. mit Backpropagation)
Nach diesem Training bzw. Lernprozess sollte das Netz die Fähigkeit besitzen, zu einer unbekannten, den gelernten Trainingsdaten ähnlichen Eingabe, eine korrekte Ausgabe zu liefern. Um diese Fähigkeit zu testen, unterteilt man die verfügbaren Daten in ein Trainingsset und ein Testset. Das eigentliche Ziel ist es jetzt, den Fehler im Testset, mit dem nicht trainiert wird, zu minimieren.
Besitzt das Modell sehr viele Parameter (Gewichte) oder sind nur wenige Trainingsdaten vorhanden, kommt es leicht zur Überanpassung (Overfitting). Das zeigt sich, wenn der Fehler im Trainingsset zwar weiterhin sinkt, aber derjenige im Testset wieder zu steigen beginnt, weil die bekannten Daten einzeln gelernt werden (anstelle der allgemeinen Regel dahinter). Oft wird genau dieser Zeitpunkt abgewartet, um den Trainingsvorgang zu stoppen. Damit wird aber das Testset beim Training verwendet. Zur Beurteilung wird daher ein drittes Validierungsset eingeführt.
Weiter zu » Hebbsche Lernregel