Textanalyse und Deep Learning

1 min read

Textanalyse und Deep Learning

Während Bilder mehrdeutig sind, gehören Wörter zu einer Reihe von semi-strukturierten Daten, die als Sprache bekannt sind und Informationen über sich selbst enthalten.

Man kann Sprache auch als eine Form der Datenkompression betrachten, bei der das Wissen über die Welt zu einem symbolischen Satz zusammengefasst wird. Wie eine verlorene Datei oder ein serialisierter Datensatz sind Wörter eine kompakte Darstellung von etwas Größerem. Man könnte also argumentieren, dass Wörter ein erfolgversprechenderer Bereich für Deep Learning als Bilder sind, weil man zur Essenz von ihnen kommen kann.

Allerdings hat die Textanalyse viele Herausforderungen für Machine Learning mit sich gebracht. Die mühsame, manuelle Merkmalsextraktion ist der Hauptnachteil der Anwendung dreilagiger neuronaler Netze bei der Textanalyse. In diesen Fällen müssen Datenwissenschaftler viel Zeit dem Algorithmus widmen, um ihm zu sagen, worauf er achten muss.

Einer der Hauptvorteile des Deep Learning besteht darin, dass die Erstellung von Feature weitgehend automatisiert ist. Um zu beschreiben, was es genau macht, werden wir zunächst die Feature-Extraktion genauer betrachten.

Der in ein neuronales Netzwerk eingespeiste Text durchläuft mehrere Analysephasen. Die erste ist die Satzsegmentierung, bei der die Software die Satzgrenzen im Text findet. Die zweite ist die Tokenisierung, bei der die Software einzelne Wörter findet. Im dritten Schritt werden an diese Wörter Sprachteile angehängt, und im vierten Schritt werden sie nach ihren Vorfahren oder Konzepten gruppiert, in einem Prozess, der als Lemmatisierung bekannt ist. Das heißt, Wörter wie be, been und is werden gruppiert, weil sie die gleiche Verb-Idee repräsentieren.

Das neuronale Netz namens Word2vec führt bis hin zur Lemmatisierung. Lemmas erweitern einfach Funktionen, die auf Stielen basieren, die einen Prozess darstellen, bei dem Deep Learning auf andere Weise automatisch vorkommt.

Welche Fragen im Bereich KI werden Ihnen am häufigsten gestellt?

Wie setzt man Deep Learning in Ihrem Umfeld ein?

Diese und weitere Fragen beantwortet gerne das AI United Team per Email oder in dem Q&A Bereich.

Quelle

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.