AI-United » Allgemein » Recursive Neural Tensor Network

Recursive Neural Tensor Network

Recursive Neural Tensor Network

Bei den rekursiven neuronalen Tensor-Netzen (RNTNs) handelt es sich um neuronale Netze, die für die Verarbeitung natürlicher Sprache geeignet sind. Sie verfügen über eine Baumstruktur mit einem neuronalen Netz an jedem Knoten. Mit rekursiven neuronalen Tensor-Netzen zur Grenzsegmentierung können Sie bestimmen, welche Wortgruppen positiv und welche negativ sind.

Die Wort-Vektoren werden als Merkmale verwendet und dienen als Grundlage für die sequentielle Klassifizierung. Sie werden dann in Unterphrasen gruppiert, und die Unterphrasen werden zu einem Satz zusammengefasst, der nach Gefühl und anderen Metriken klassifiziert werden kann.

Rekursive neuronale Tensor-Netze erfordern externe Komponenten wie Word2vec. Um Text mit neuronalen Netzen zu analysieren, können Wörter als kontinuierliche Vektoren von Parametern dargestellt werden. Diese Wort-Vektoren enthalten nicht nurInformationen über das betrachtete Wort, sondern auch über die umgebenden Wörter, d.h. den Kontext, die Verwendung und andere semantische Informationen des Wortes. Obwohl Deeplearning4j Word2Vec implementiert, implementieren wir zur Zeit keine rekursiven neuronalen Tensor-Netze.

Word2Vec

Der erste Schritt bei der Erstellung eines funktionsfähigen RNTN ist die Wort-Vektorisierung, die mit einem Algorithmus namens Word2vec durchgeführt werden kann. Word2Vec wandelt einen Wort-Korpus in Vektoren um, die dann in einen Vektorraum geworfen werden können, um den Cosinus-Abstand zwischen ihnen zu bestimmen. Word2vec ist eine separate Pipeline von NLP.

NLP

In der Folge nimmt Ihre Pipeline zur Verarbeitung natürlicher Sprachen Sätze auf, tokenisiert sie und markiert die Token als Sprachkomponenten.

Um Sätze zu organisieren, verwenden rekursive neuronale Tensor-Netze das Constituency Parsing, das Wörter in größere Unterphrasen innerhalb des Satzes gruppiert; z.B. die Substantivphrase (NP) und die Verbphrase (VP). Dieser Prozess ist auf Machine Learning angewiesen und ermöglicht weitere linguistische Beobachtungen über diese Wörter und Phrasen. Durch das Analysieren der Sätze strukturieren Sie diese als Bäume.

Die Bäume werden später binarisiert, was die Mathematik vereinfacht. Binarisieren eines Baums bedeutet, dass jeder übergeordnete Knoten zwei untergeordnete Blätter hat.

Satzbäume haben oben eine Wurzel und unten Blätter, eine Top-Down-Struktur, die so aussieht:

In der Wurzel des Baumes (oben) kann man den ganzen Satz sehen; jedes einzelne Wort ist ein Blatt (unten).

Schließlich können Wort-Vektoren aus Word2vec übernommen werden und die Wörter in Ihrem Baum ersetzen. Zunächst werden wir uns damit befassen, wie man diese Wortvektoren mit neuronalen Netzen, mit Codeausschnitten kombiniert.

Zusammenfassung
  • [Word2vec Pipeline] Vektorisieren eines Wortkorpus
  • [NLP-Pipeline] Sätze tokenisieren
  • [NLP-Pipeline] Tag-Token als Wortarten
  • [NLP-Pipeline] Parsen Sie Sätze in ihre konstituierenden Unterbegriffe
  • [NLP-Pipeline] Binarisieren Sie den Baum.
  • [NLP-Pipeline + Word2Vec-Pipeline] Kombinieren Sie Wort-Vektoren mit neuronalen Netzen
  • [NLP-Pipeline + Word2Vec-Pipeline] Aufgabe ausführen (z.B. das Gefühl des Satzes klassifizieren)

Wie setzt man neuronale Netzwerke in Ihrem Umfeld ein?

Welche Fragen im Bereich KI werden Ihnen am häufigsten gestellt?

Diese und weitere Fragen beantwortet gerne das AI United Team per Email oder in dem Q&A Bereich.

Quelle

AI-United-Redaktion

Kommentar hinzufügen

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.