AI-United » Allgemein » U-Net: das Neuronennetz zur Segmentierung von Bildern

U-Net: das Neuronennetz zur Segmentierung von Bildern

U-Net gehört zu den standardmäßigen Architekturen von CNN zur Segmentierung von Bildern. Es wird verwendet, wenn man nicht nur die Klasse des Bilds gänzlich bestimmen, sondern auch seine Teile nach der Klasse segmentieren soll, d.h. eine Maske erstellen, die das Bild auf einige Klassen unterteilt. Die Architektur besteht aus einem schrumpfenden Pfad und und einem symmetrischen expandierenden Pfad.

Das Beispiel der Segmentierung des Gehirns

Das Neuronennetz wird mit der durchlaufenden Methode auf der geringen Anzahl der Bilder trainiert. Dies übertrifft die vorige beste Methode auf dem Wettbewerb ISBI zur Segmentierung der neuronalen Strukturen in den elektronenmikroskopischen Stapeln. Unter Einsatz des Neuronennetzes, das auf den Bildern der Lichtmikroskopie trainiert wurde, hat U-Net den ersten Platz im Wettbewerb ISBI 2015 belegt. Dieses Netzwerk funktioniert schnell. Die Segmentierung des Bildes 512×512 nimmt auf dem modernen Grafikprozessor weniger als eine Sekunde in Anspruch.

U-Net erzielt gute Ergebnisse in verschiedenen Aufgaben, besonders für die biomedizinischen Applikationen. Dabei wird die geringe Anzahl von Daten benötigt.

Die Architektur von U-Net

Bild 1. Die Architektur von U-net (das Beispiel des Bilds mit der Auflösung 32×32 Pixel). Jedes blaue Quadrat entspricht der mehrkanaligen Karte der Eigenschaften. Die Anzahl der Kanäle wird im oberen Teil des Quadrats angeführt. Die Größe x-y wird im unteren linken Teil des Quadrats angeführt. Die weißen Quadrate sind die Kopien der Karte der Eigenschaften. Die Zeiger bedeuten verschiedene Operationen.

Die Architektur des Netzwerks findet man auf dem Bild 1. Sie besteht aus dem schrumpfenden Pfad (links) und dem expandierenden Pfad (rechts). Der schrumpfende Pfad stellt die typische Architektur des faltenden neuronalen Netzwerks dar. Er besteht aus der wiederholten Anwendung von zwei Faltungen 3×3, ReLU und der Operation der maximalen Vereinigung (2×2 die Quadratzahl 2).

Auf jeder Etappe des Downsampling werden die Kanäle der Eigenschaften verdoppelt. Jeder Schritt im expandierenden Pfad besteht aus der Operation von Upsampling der Karte der Eigenschaften, dann folgen:

  • die Faltung 2×2, die die Anzahl der Kanäle der Eigenschaften senkt;
  • die Vereinigung mit dem entsprechenden Muster der abgeschnittenen Karte der Eigenschaften aus dem schrumpfenden Pfad; 
  • zwei 3×3 Faltungen, dann folgt ReLU.

Das Abschneiden wird durch den Verlust der Grenzpixel bei jeder Faltung benötigt.

Das Schema des Netzwerks U-net

Auf der letzten Schicht wird die Faltung 1×1 zum Vergleich jedes 64-Komponenten Vektors der Eigenschaften mit der erwünschten Anzahl der Klassen verwendet. Das Netzwerk enthält 23 faltende Schichten.

Das Training von U-Net

Das Neuronennetz wird mit Hilfe von der Methode des steilsten Abstiegs aufgrund der Eingangsbilder und der Karten der Segmentierung trainiert. Durch die Faltungen ist das Ausgangsbild kleiner als das Eingangssignal. Die Funktion soft-max errechnet die Energie auf der abschließenden Karte der Eigenschaften mit der Funktion der Cross-Entropie. Die Cross-Entropie, die in jedem Punkt berechnet wird, wird folgenderweise bestimmt:

Die Trenngrenze wird unter Einsatz der morphologischen Operationen berechnet. Dann berechnet man die Karte der Gewichtskoeffizienten:

wc — die Karte der Gewichte für die Balancierung der Frequenzen der Klassen, d1 — die Distanz zur Grenze der nächsten Zelle, d2 — die Distanz zur Grenze der zweiten nächsten Zelle.

Die Anwendungsbeispiele und die Realisation

U-net wurde mehrmals zur Segmentierung von Bildern eingesetzt. Im Folgenden findet man einige Anwendungsbeispiele:

Dieses Neuronennetz ist universell und kann für jede Aufgabe der Segmentierung der Bilder verwendet werden. Die hohe Präzision wird unter der Bedingung des angemessenen Trainings, der geeigneten Datenbasis und der richtigen Lehrzeit erreicht. U-net wurde auch in solchen Fällen gebraucht:

  • Wettbewerb für die Analyse von Satellitenbilder;
  • Ein weiterer Wettbewerb zum gleichen Thema;
  • Die Finalisten des Wettbewerbs zum Thema Lungenkrebs verwendeten U-net als Teil ihres Netzwerks.

Die Ergebnisse

Bild 2. Die Ergebnisse der Segmentierung (IOU) im Wettbewerb ISBI 2015 zum Tracking der Zellen.

U-Net wurde zur Segmentierung von Zellen auf Bildern aus einem Lichtmikroskop verwendet. Diese Aufgabe ist das Teil der Wettbewerbe ISBI 2014 und 2015 zum Tracking der Zellen.

Die Datenbasis PhC-U373 enthält Bilder der Zelle U373 Glioblastoma-astrocytoma auf der Polyakrylamid-Schichtunterlage, die mit Hilfe der Phasenkontrastmikroskopie aufgenommen wurden. Sie enthält 35 teilweise markierte Bilder für das Training. In diesem Fall hat U-Net den Durchschnittswert IOU von 92% erreicht, was erheblich besser ist als das vorige Resultat von 83% (das Bild 2).

Die zweite Datenbasis DIC-HeLa enthält Bilder der Zellen HeLa auf Flachglas. Sie wurden mit Hilfe der Differentialinterferenzkontrastmikroskopie (DIC) (die Bilder unten) aufgenommen. Sie enthält 20 teilweise markierte Bilder für das Training. In diesem Fall hat U-Net den Durchschnittswert IOU von 77,5% erreicht. Das ist viel besser, als der spätere Algorithmus (46%).

Die Resultate des Wettbewerbs ISBI zum Tracking der Zellen. (a) Das Teil des Eingangsbilds der Datenbasis PhC-U373. (b) Das Ergebnis der Segmentierung (die hellblaue Maske) und die Marke (die gelbe Grenze). (c) Das Eingangsbild der Datenbasis DIC-HeLa. (d) Das Ergebnis der Segmentierung (die farbigen Masken) und die Marken (der gelbe Rahmen).

Die Architektur von U-net weist die hervorragende Produktivität und Präzision in verschiedenen Fällen der biomedizinischen Segmentierung auf. Der Ansatz benötigt nur einige markierte Bilder für das Training. Er hat eine akzeptable Lehrzeit: nur 10 Stunden auf dem Grafikprozessor NVidia Titan (6 GB).

Quelle
AI-United-Redaktion

Kommentar hinzufügen

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.