Zusammenfassung
In diesem Abschnitt wurde anhand des Programms BACKPRO1.C die prinzipielle
Funktionsweise eines dreischichtigen Backpropagation-Netzes mit
Fermi-Transferfunktion in den verborgenen Neuronen demonstriert. Wichtig in
diesem Zusammenhang war die Erkenntnis,
dass die Initialisierung der Startgewichte
und -schwellwerte von entscheidender Bedeutung für die Qualität der
Ergebnisse war (Problem lokaler und globaler Minima beim Gradienten-Verfahren).
Für das XOR-Problem erhielt man mit Null-initialisierten
Startwerten selbst bei 10000 Lernzyklen völlig unbefriedigende Ergebnisse
(das Gradienten-Verfahren war in einem nicht-optimalen lokalen Minimum
"steckengeblieben"). Initialisierte man dagegen mit Hilfe von GEW02, dann
lieferte das Netz nach 10000 Lernzyklen ausgezeichnete Resultate für das
XOR-Problem. dass das Netz nach Initialisierung mit GEW02 und für einen
Stauchungsparameter beta=20 selbst nach nur einem oder sogar gar keinem
Lernzyklus optimal auf den XOR-Daten arbeitete, war natürlich kein
Wunder: Für beta=20 ist die gestauchte Fermi-Transferfunktion
T_F fast mit der Einschaltfunktion T_1 identisch und für diese
Transferfunktion hatten wir ja in Abschnitt 3.2 die GEW02-Parameter als
optimal nachgewiesen.
Burkhard Lenze
Im Februar 2009