Convolutional Neural Networks (CNNs)
Convolutional Neural Networks sind darauf konzipiert, Datenraster zu verarbeiten - insbesondere Bilder. Entsprechend stellen CNNs eine wichtige Komponente dar, wenn es darum geht, generative KI-Modelle wie Stable Diffusion zu entwickeln.
CNNs verwenden Matrixfilter, die sich wie eine Art Fenster über die zweidimensionalen Quelldaten bewegen, Daten extrahieren und diese miteinander in Beziehung setzen. Im Ergebnis entsteht ein detailliertes, zusammenhängendes Bild der Daten. Deswegen eignen sich Convolutional Neural Networks auch in besonderem Maße dazu, Bilder zu verarbeiten.
Dabei folgen die meisten CNNs einem zweistufigen Prozess: Auf die "Filterarbeit" folgt ein "Flattening", das in ein Feedforward-Netzwerk eingespeist wird. Die Filterphase erfolgt dabei häufig auf der Grundlage eines Datenrasters. Obwohl also ein Gradient-Descent-Algorithmus zur Anwendung kommt, um auf der Grundlage einer Verlustfunktion zu lernen, ist der Gesamtprozess nicht mit einem neuronalen Netz vergleichbar.
Ein weiterer wichtiger Aspekt bei CNNs ist das sogenannte "Pooling", bei dem die in der Filterphase erzeugten Daten aus Effizienzgründen komprimiert werden. Das dient dazu, die relevanten Aspekte des Outputs zu erhalten und gleichzeitig die Dimensionalität der Daten zu reduzieren.
Foto: IDG
Transformer-Netzwerke
Transformers sind im GenAI-Zeitalter ein brandheißes Thema, schließlich bilden sie die architektonische Grundlage für Large Language Models. Transformer-Netzwerke ermöglichen einen "Attention Mechanism" und nutzen dazu eine Encoder-Decoder-Struktur. Der Attention Mechanism markiert einen Durchbruch im Bereich Language Processing, weil er KI-Modellen ermöglicht, sich auf das Wesentliche "zu fokussieren". Transformers sind äußerst leistungsfähig, aber auch enorm komplex. Zudem erfordern sie erhebliche Rechenressourcen.
Weil sich das Konzept dieses neuronalen Netzes in Schriftform weniger gut erklärt, lagern wir diesen Task an die Experten von IBM aus:
Adversarial Networks
Eine der interessantesten, neueren Ideen im Bereich neuronale Netze ist das Adversarial Network, bei dem zwei Modelle gegeneinander antreten. Ein Modell versucht dabei, Vorhersagen zu treffen, das andere, herauszufinden, welche Prognosen falsch sind.
Auf hoher Ebene betrachtet, handelt es sich dabei um einen ausgeklügelten Loss-Mechanismus, bei dem das gegnerische Modell als Verlustfunktion fungiert. (fm)
Dieser Beitrag basiert auf einem Artikel unserer US-Schwesterpublikation Infoworld.