Wenn wir mit KI-Sprachmodellen wie ChatGPT, Llama oder DeepSeek interagieren, beschäftigen wir uns mit Systemen, die Milliarden von Parametern enthalten - aber was bedeutet das eigentlich? Heute werden wir uns eingehend mit der Struktur dieser riesigen neuronalen Netzwerke beschäftigen und faszinierende Möglichkeiten zur Visualisierung ihrer inneren Abläufe erkunden.

In ihrem Kern sind Sprachmodelle komplexe Netzwerke aus miteinander verbundenen künstlichen Neuronen. Jede Verbindung zwischen diesen Neuronen hat ein Gewicht, das wir als Parameter bezeichnen. Diese Gewichte bestimmen, wie Informationen durch das Netzwerk fließen und letztendlich die Ausgaben des Modells beeinflussen. Wenn wir sagen, dass ein Modell wie Llama-3 70 Milliarden Parameter hat, sprechen wir von 70 Milliarden einzelnen Zahlen, die zusammenarbeiten, um Text zu verarbeiten und zu generieren.

Diese Parameter sind keine zufälligen Zahlen - sie werden sorgfältig durch Training abgestimmt, um Muster in der Sprache zu erkennen. Man kann sie sich als winzige Knöpfe vorstellen, die das Modell beim Lernen anpasst, wobei jeder einzelne zu seinem Verständnis von Sprache, Kontext und Bedeutung beiträgt. Diese Parameter werden in Tensor-Dateien gespeichert.

Die Milliarden von Parametern in Sprachmodellen werden in spezialisierten Dateien namens Tensor-Dateien gespeichert (typischerweise mit der .safetensors-Erweiterung). Diese Dateien organisieren die Parameter in mehrdimensionalen Arrays, ähnlich wie Tabellenkalkulationen Daten in Zeilen und Spalten organisieren, aber mit der Möglichkeit, sich in mehrere Dimensionen zu erstrecken. Während die Rolle jedes Arrays für dieses kurze Experiment, das wir durchführen, nicht relevant ist, ist es wichtig zu bemerken, dass jede Menge von Arrays (innerhalb der Tensor-Dateien) eine spezifische Funktion in der Architektur des LLM hat.

Diese Dateien werden wir versuchen zu visualisieren. Typische Visualisierungstechniken für neuronale Netzwerke sind: Liniendiagramme, Histogramme, Netzwerkdiagramme, 3D-Oberflächendiagramme und Heatmaps. Aus diesen Optionen haben wir uns für das aktuelle Übung für Heatmaps entschieden.

Die Heatmap-Visualisierung verwendet speziell diese Matrixstruktur, um Gewichtsmuster zu zeigen, wobei:

Jede Zeile einen Parameter darstellt

Jede Spalte eine Dimension darstellt

Die Werte in den Zellen die tatsächlichen Gewichte sind

Beginnen wir mit unserem ersten Modell für die Analyse: Llama 3.2 - 3B Parameter. Zunächst können wir hauptsächlich ein "Rausch"-Muster erkennen, ohne dass sich deutliche Muster abzeichnen.