Die einfachste Methode, Überanpassung zu verhindern

2 min read

Strategien zur Vermeidung von Überanpassung.

Die einfachste Methode, Überanpassung zu verhindern

Unserer Meinung nach ist die Dropout-Methode schwierig, aber praktisch. Der Begriff „Dropout“ wird für eine Regularisierungsmethode verwendet, bei der eine vorher spezifizierte Anzahl von Neuronen in jeder Schicht des Netzwerks ausgeschaltet wird. Dabei handelt es sich um ein vorübergehendes Deaktivieren oder Ignorieren von Neuronen des Netzwerks. Diese Methode wird beim Trainings verwendet, um die Gefahr von Überanpassung zu verringern.

Überanpassung

Unter Überanpassung versteht man einen Fehler, der vorkommt, wenn ein Netzwerk zu nah an eine begrenzte Anzahl von Eingabestichproben angepasst ist. Üblicherweise wird dies als Training einer flexiblen Darstellung bestimmt, um die Daten zu speichern und dieses Rauschen zu übertragen, wodurch die Vorhersage in der Zukunft unmöglich ist. Da eine vollständig verbundene Schicht die meisten Parameter besetzt, werden Neuronen während des Trainings voneinander abhängig. Dies führt zur Einschränkung individueller Leistung jedes Neurons und entsprechend zu einer Überanpassung der Trainingsdaten.

Dropout

Beschreiben wir diese Methode in einfachen Worten. Jeden Tag treffen Sie viele Menschen. Beim persönlichen Gespräch versehen Sie das Gesicht mit dem Namen. Irgendwann müssen Sie mit ihnen telefonieren. Dann können Sie nicht dieselbe Person erkennen, da Sie ihn/sie persönlich gesehen und das Gesicht mit seinem/ihrem Namen versehen haben. Wenn Sie sich aber vorstellen, dass Sie sich mit der Person nur per Telefon unterhalten können, dann sind Sie gezwungen, seine/ihre Stimme auf den Namen zu setzen. Beim Ausschalten von visuellen Merkmalen müssen Sie sich auf die Sprachmerkmale konzentrieren.

In künstlichen neuronalen Netzwerken ist die Regularisierung die Methode zum Verhindern der Überanpassung. Die Aufgabe der Regularisierung besteht darin, die Überanpassung zu reduzieren, indem man die Verlustfunktion mit einer Strafe belegt. Dropout ist eine Methode zur Regularisierung in neuronalen Netzwerken. Wenn beim Training des Netzwerkes bestimmte Knoten ausgeschaltet werden, werden diese Einheiten dann während eines bestimmten Vorwärts- oder Rückwärtsschritts nicht in Betracht gezogen.

Nitish Srivastava und andere: “Dropout: eine einfache Möglichkeit, die Überanpassung neuronaler Netzwerke zu verhindern.“

Die Abbildung oben zeigt, wie Dropout einige Neuronen im neuronalen Netzwerk zufällig ausschaltet. Bei jedem Trainingsschritt werden einzelne Knoten entweder mit einer Wahrscheinlichkeit von 1-p aus dem Netzwerk ausgeschaltet oder mit einer Wahrscheinlichkeit von p behalten, wodurch die Gesamtnetzgröße reduziert wird. Eingehende und ausgehende Kantenmengen in einem Dropout-Knoten werden auch gelöscht. In der Regel ist p der Muting-Neuronen oft auf 0,5 eingestellt. Wenn p 1 ist, werden keine Neuronen ausgeschaltet.

Wie verringert Dropout die Gefahr von Überanpassung?

Durch die Verwendung von Dropout wird ein neuronales Netzwerk dazu gezwungen, stabile Merkmale zu lernen, die in Verbindung mit vielen verschiedenen zufälligen Teilmengen der anderen Neuronen nützlich sind. Auf solche Weise können die Gewichtungen über die Eingabemerkmale verteilt werden, anstatt sich auf einige Merkmale zu konzentrieren.

Zusammenfassung

Bei der Überanpassung des Netzwerks erlaubt Dropout, viele Fehler zu reduzieren. Mit Hilfe von Dropout wird etwa die Anzahl der Iterationen, die für die Konvergenz notwendig sind, verdoppelt. Dabei wird die Trainingszeit für jeden Schritt reduziert. Bei der Methode Denoising autoencoders, die von Pascal Vincent, Hugo Larochelle und Yoshua Bengio entwickelt wurde, wurde Dropout auf der Eingabeschicht verwendet. In ähnlicher Weise wird diese Methode im Object recognition net (Objekterkennungsnetzwerk) von Alex Krizhevsky verwendet.

Möchten Sie mehr Überanpassung und Dropout als eine praktische Methode zum Verhindern von Überanpassung erfahren, so können Sie sich an das Team von AI-United.de per Mail oder Q&A wenden.

Quelle

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.