Neuronales Netzwerk – So funktionieren künstliche neuronale Netze

Ein neuronales Netzwerk ist ein mathematisches Modell, das Eingaben in Ausgaben umwandelt, indem es Zahlen durch Schichten einfacher Operationen leitet. Jede Schicht nimmt die vorherigen Werte, bildet gewichtete Summen, addiert Bias-Terme, wendet eine nichtlineare Aktivierungsfunktion an und gibt das Ergebnis weiter.

Diese Beschreibung klingt abstrakt, aber die Grundidee ist klein: Ein Netzwerk lernt viele anpassbare Gewichte, sodass nützliche Muster in der Eingabe zu nützlichen Vorhersagen in der Ausgabe führen.

Was ein neuronales Netzwerk ist

Für ein einzelnes Neuron mit Eingaben $x_1, x_2, \dots, x_n$ lautet die Grundrechnung

$$z = w_1x_1 + w_2x_2 + \dots + w_nx_n + b$$

gefolgt von einer Aktivierung:

$$a = g(z)$$

Hier sind $w_1, \dots, w_n$ Gewichte, $b$ ist ein Bias, und $g$ ist eine Aktivierungsfunktion wie ReLU, Sigmoid oder tanh.

Ein vollständiges Feedforward-Netzwerk wiederholt dieses Muster über mehrere Schichten hinweg. In kompakter Form schreibt man eine Schicht oft als

$$a^{(l)} = g\!\left(W^{(l)} a^{(l-1)} + b^{(l)}\right)$$

wobei $a^{(l-1)}$ die Ausgabe der vorherigen Schicht ist.

Die Intuition, mit der es meist klick macht

Jedes Neuron stellt eine gewichtete Frage über die Eingabe, die es sieht. Große positive Gewichte machen manche Merkmale wichtiger. Negative Gewichte können einem Muster entgegenwirken. Der Bias verschiebt den Schwellenwert. Die Aktivierungsfunktion entscheidet dann, wie stark dieses Neuron reagieren soll.

Durch das Stapeln von Schichten kann das Netzwerk Merkmale schrittweise aufbauen. Frühe Schichten erkennen einfache Muster. Spätere Schichten kombinieren diese zu nützlicheren internen Signalen für die endgültige Aufgabe.

Deshalb sind neuronale Netzwerke mehr als „viele Formeln auf einmal“. Sie sind Verkettungen einfacher Funktionen, und genau diese Verkettung gibt ihnen ihre Flexibilität.

Ein durchgerechnetes Beispiel

Betrachte ein kleines Netzwerk mit zwei Eingaben, einer versteckten Schicht und einer Ausgabe. Die Eingabe sei

$$x = \begin{bmatrix} 2 \\ 1 \end{bmatrix}$$

Angenommen, die versteckte Schicht hat zwei Neuronen und verwendet ReLU, wobei

$$\operatorname{ReLU}(z) = \max(0, z)$$

Nimm diese Berechnungen in der versteckten Schicht:

$$z_1 = 1 \cdot 2 + (-1) \cdot 1 + 0 = 1$$ $$h_1 = \operatorname{ReLU}(z_1) = 1$$ $$z_2 = 0.5 \cdot 2 + 0.5 \cdot 1 - 1 = 0.5$$ $$h_2 = \operatorname{ReLU}(z_2) = 0.5$$

Nun schicke diese versteckten Werte an das Ausgabeneuron:

$$s = 2h_1 - h_2 = 2(1) - 0.5 = 1.5$$

Wenn die Regel lautet „sage Klasse 1 vorher, wenn $s > 0$“, wird diese Eingabe als Klasse 1 klassifiziert.

Der wichtige Punkt sind nicht die konkreten Zahlen. Entscheidend ist die Struktur:

1. Eingaben nehmen
2. gewichtete Summen bilden
3. nichtlineare Aktivierungen anwenden
4. wiederholen
5. den endgültigen Score ablesen

Das ist ein neuronales Netzwerk bei einem Forward Pass.

Wie ein neuronales Netzwerk lernt

Ein Netzwerk zu verwenden ist das eine Problem. Es zu trainieren ist ein anderes.

Beim üblichen überwachten Lernen macht das Netzwerk zuerst eine Vorhersage. Eine Verlustfunktion misst dann, wie weit diese Vorhersage vom Ziel entfernt ist. Gradientengestütztes Training berechnet, wie sich der Verlust in Bezug auf jedes Gewicht und jeden Bias ändert, und aktualisiert sie dann so, dass der Verlust kleiner wird.

In der modernen Praxis bedeutet das meist Backpropagation plus Gradientenabstieg oder einen verwandten Optimierer. Dieses Vorgehen setzt ein Modell und einen Verlust voraus, die differenzierbar sind oder zumindest stückweise ausreichend differenzierbar, damit Gradientenmethoden funktionieren.

Die Kurzfassung ist:

$$\text{prediction} \to \text{loss} \to \text{gradients} \to \text{parameter update}$$

Über viele Beispiele hinweg verschieben sich die Gewichte in Richtung von Mustern, die der Aufgabe helfen.

Häufige Fehler

Zu denken, mehr Schichten bedeuteten automatisch bessere Ergebnisse

Das tun sie nicht. Mehr Schichten erhöhen die Kapazität, machen aber auch Optimierung, Datenanforderungen und die Kontrolle von Overfitting anspruchsvoller.

Zu vergessen, warum Nichtlinearität wichtig ist

Wenn jede Schicht nur linear ist, bleibt das gesamte Netzwerk trotzdem nur eine einzige lineare Abbildung. Erst die Aktivierungsfunktionen erlauben es tiefen Netzwerken, komplexere Zusammenhänge darzustellen.

Die Ausgabe als garantierte Sicherheit zu behandeln

Eine Netzwerkausgabe ist nur so nützlich wie das Modell, die Daten und das Trainingssetup dahinter. Ein hoher Score ist nicht dasselbe wie ein Beweis.

Die Eingabedarstellung zu ignorieren

Netzwerke lernen nicht aus roher Bedeutung. Sie lernen aus der numerischen Darstellung, die sie erhalten. Wenn die Eingaben schlecht, inkonsistent oder ohne wichtige Struktur sind, leidet die Leistung des Netzwerks meist.

Wann neuronale Netzwerke eingesetzt werden

Neuronale Netzwerke werden verwendet, wenn die Beziehung zwischen Eingabe und Ausgabe so kompliziert ist, dass handgeschriebene Regeln brüchig oder unvollständig sind. Häufige Einsatzgebiete sind Bilderkennung, Spracherkennung, Sprachmodellierung, Empfehlungssysteme und einige Prognoseaufgaben.

Sie sind nicht automatisch die beste Wahl für jedes Problem. Bei kleinen, strukturierten Datensätzen können einfachere Modelle leichter zu trainieren, leichter zu interpretieren und manchmal genauso effektiv sein.

Ein gutes mentales Modell

Stell dir ein neuronales Netzwerk als eine geschichtete Funktion mit vielen verstellbaren Reglern vor. Der Forward Pass macht aus einer Eingabe eine Ausgabe. Das Training verändert die Regler so, dass zukünftige Ausgaben für die Aufgabe nützlicher werden.

Das ist die klarste Art, beide Ideen gleichzeitig festzuhalten: Neuronale Netzwerke berechnen durch Verkettung, und sie lernen, indem sie Parameter anpassen, um den Fehler zu verringern.

Probiere deine eigene Variante

Behalte dasselbe kleine Netzwerk bei, aber ändere die Eingabe von $(2, 1)$ zu $(0, 3)$. Berechne $z_1$, $z_2$, $h_1$, $h_2$ und den endgültigen Score $s$ neu. Ändere dann ein Gewicht und beobachte, welcher Teil der Ausgabe sich verändert. Diese kleine Übung macht die Idee des Forward Pass viel greifbarer, als nur Definitionen auswendig zu lernen.