AI-United » Allgemein » XLNet: neue fortgeschrittene Methode bei der Verarbeitung natürlicher Sprache

XLNet: neue fortgeschrittene Methode bei der Verarbeitung natürlicher Sprache

XLNet ist ein vorläufig trainiertes Modell, das an jede Aufgabe der Textbearbeitung adaptiert werden kann. XLNet übertrifft BERT (das fortgeschrittene Modell) in 20 Aufgaben zur natürlichen Sprachverarbeitung. XLNet lieferte fortgeschrittene Resultate für 18 Aufgaben. Zu diesen Aufgaben gehören das Frage-Antwort-System, die Analyse vom Gefühlswert, Dokumentenranking usw.

Auf der Aufgabe der Kontextmodellierung haben sich die Ansätze mit dem vorläufigen Trainieren, die auf dem Autoencoder (BERT) basieren, besser etabliert als die Ansätze, die auf der autoregressiven Sprachmodellierung basieren. Doch die Methode mit dem Autoencoder hat seine Grenzen. Die Masken werden auf die Eingabefolge der Wörter verwendet, wobei die Unterschiede zwischen den versteckten Wörtern nicht in Betracht gezogen werden. Die Architektur von XLNet nimmt die Vor- und Nachteile von BERT in Betracht und enthält die Ideen von Transformer-XL.

Die Schlüsseleigenschaften

XLNet ist eine verallgemeinerte autoregressive Methode. Sie umfasst die Eigenschaften von autoregressiven Sprachmodellen und Autoencodern.

Das Neuronennetz verwendet keine fixierten direkt gerichteten und umgekehrt gerichteten Faktorisierungsordnungen. XLNet maximiert den erwarteten Logarithmus der Wahrscheinlichkeit der Wortfolge unter Beachtung aller Veränderungen der Wortfolge. Dank der Umstellungen kann der Kontext für jede Position aus den Wörtern auf der rechten und linken Seite bestehen. Das Wort auf jeder Position in der Sequenz lernt, die Kontextinformation aus allen anderen Positionen einzusetzen (bidirectional context).

XLNet maskiert die Wörter in der Reihenfolge nicht. Dieses Modell hat keine Probleme mit der Nichtübereinstimmung beim vorläufigen Trainieren und Tuning (für bestimmte Aufgaben). Dieses Problem ist charakteristisch für BERT.

XLNet verwendet die neue Zielfunktion. Die Ideen aus dem kürzlich publizierten Sprachmodell Transformer-XL werden teilweise eingesetzt.

XLNet in Experimenten

Wissenschaftler haben die Arbeit dieses Modells mit den fortgeschrittenen Methoden für 20 Aufgaben der natürlichen Sprachverarbeitung verglichen. RACE ist eine von ihnen. Im Nachstehenden sieht man die Resultate der Modelle für zwei Subsets von Daten (Middle und High). Die Modelle BERT und XLNet hatten 24 Schichten und waren von ähnlicher Größe. Für alle Experimente wurde BERT-Large eingesetzt (die Vollversion des Modells). XLNet verbessert die Resultate des besten Mittelwertkollektivs der Modelle um 7,6 Punkte in der Präzision.

Die Ergebnisse der Modelle auf der Aufgabe RACE

Die Forscher verglichen die Modelle auf einigen Datensätzen zur Textklassifizierung. XLNet erreichte bessere Resultate als andere Modelle.

Die Ergebnisse der Modelle auf der Aufgabe der Textklassifizierung
Quelle
AI-United-Redaktion

Kommentar hinzufügen

Your email address will not be published. Required fields are marked *

300-101   400-101   300-320   300-070   300-206   200-310   300-135   300-208   810-403   400-050   640-916   642-997   300-209   400-201   200-355   352-001   642-999   350-080   MB2-712   400-051   C2150-606   1Z0-434   1Z0-146   C2090-919   C9560-655   642-64   100-101   CQE   CSSLP   200-125   210-060   210-065   210-260   220-801   220-802   220-901   220-902   2V0-620   2V0-621   2V0-621D   300-075   300-115   AWS-SYSOPS   640-692   640-911   1Z0-144   1z0-434   1Z0-803   1Z0-804   000-089   000-105   70-246   70-270   70-346   70-347   70-410