Unternehmen 13.10.2026 9 Min. Lesezeit

HBM-Speicher: Was ist das und warum braucht KI ihn?

HBM-Speicher ist der Turbo hinter KI-Chips. Du erfährst, wie gestapelter Speicher funktioniert, was HBM4 leistet und warum Bandbreite für KI so entscheidend ist.

UF

Ressorts Unternehmen · Fintech

Nahaufnahme eines Chips auf einer Leiterplatte, Sinnbild für HBM-Speicher neben dem Prozessor

Foto: Bermix Studio / Unsplash

HBM-Speicher ist einer der unscheinbarsten und zugleich wichtigsten Bausteine der aktuellen KI-Welle. Während alle über Grafikprozessoren und Rechenleistung sprechen, entscheidet oft der Speicher darüber, wie schnell ein KI-Modell tatsächlich antwortet. Ein Rechenchip ist nur so schnell, wie er mit Daten versorgt wird.

Kurz erklärt: HBM steht für High Bandwidth Memory. Dabei werden mehrere DRAM-Chips übereinandergestapelt, durch senkrechte Leitungen im Silizium verbunden und direkt neben dem Prozessor platziert. Durch die kurzen Wege und eine sehr breite Schnittstelle erreicht der Speicher eine viel höhere Bandbreite als klassischer Arbeitsspeicher und benötigt pro übertragenem Bit weniger Energie.

Genau hier setzt High Bandwidth Memory an. Die Technik stapelt Speicherchips übereinander und rückt sie so nah wie möglich an den Prozessor heran. Das Ergebnis ist eine Datenrate, die klassische Arbeitsspeicher weit hinter sich lässt.

In diesem Artikel erfährst du, was HBM ist, wie die Technik funktioniert, warum KI-Beschleuniger ohne sie ausgebremst würden und was das für Unternehmen bedeutet, die in KI-Hardware investieren.

Was ist HBM-Speicher?

HBM-Speicher (High Bandwidth Memory) ist ein Arbeitsspeicher, bei dem mehrere DRAM-Chips übereinandergestapelt und über vertikale Leitungen verbunden werden. Der Stapel sitzt direkt neben dem Prozessor im selben Gehäuse. Eine sehr breite Schnittstelle liefert so eine extrem hohe Bandbreite bei vergleichsweise geringem Energiebedarf, ideal für KI-Beschleuniger und Hochleistungsrechner.

So funktioniert HBM-Speicher

Der Trick von HBM liegt nicht in schnelleren Speicherzellen, sondern in der Architektur. Drei Bausteine machen den Unterschied.

Gestapelte DRAM-Chips

Statt Speicherchips nebeneinander auf einer Platine zu verteilen, legt HBM sie wie ein Hochhaus übereinander. Der JEDEC-Standard für HBM3 sieht Stapel mit vier, acht oder zwölf Lagen vor, HBM4 unterstützt zusätzlich 16 Lagen. So entsteht viel Kapazität auf kleiner Fläche.

Through-Silicon Vias

Damit die Lagen miteinander kommunizieren, führen winzige senkrechte Leitungen direkt durch das Silizium. Diese Through-Silicon Vias (TSVs) ersetzen lange Leiterbahnen und ermöglichen sehr viele parallele Verbindungen auf engstem Raum.

Breite Schnittstelle neben dem Prozessor

Der Speicherstapel sitzt nicht auf der Hauptplatine, sondern in unmittelbarer Nähe des Rechenchips, meist verbunden über eine Zwischenschicht, den sogenannten Interposer. Weil die Wege kurz sind, kann HBM-Speicher sehr viele Datenleitungen gleichzeitig nutzen. Beim aktuellen Standard HBM4 ist die Schnittstelle 2048 Bit breit.

Das Prinzip lässt sich mit einer Autobahn vergleichen: Klassischer Speicher fährt auf wenigen Spuren sehr schnell. HBM-Speicher fährt etwas gemächlicher, hat aber ein Vielfaches an Spuren. Unterm Strich kommen deutlich mehr Daten pro Sekunde an.

HBM-Speicher im Vergleich zu GDDR und DDR

HBM ist nicht der einzige schnelle Speicher. In Grafikkarten für Gamer steckt meist GDDR, in PCs und Servern DDR-Arbeitsspeicher. Die folgende Übersicht ordnet die Typen qualitativ ein.

MerkmalHBMGDDRDDR
Bauformgestapelt, neben dem Prozessor im Gehäuseeinzelne Chips auf der PlatineModule oder verlötete Chips
Bandbreitesehr hochhochmittel
Energie pro übertragenem Bitniedrighöhermittel
Kosten und Fertigunghoch, aufwendiges Packagingmittelniedrig
Typischer EinsatzKI-Beschleuniger, HochleistungsrechnenGrafikkarten, KonsolenPCs, Server

Die Wahl ist immer ein Kompromiss. Für Spiele genügt GDDR, weil die Kosten zählen. Für das Training und den Betrieb großer KI-Modelle lohnt sich der Aufpreis für HBM-Speicher dagegen fast immer.

Warum KI ohne HBM-Speicher ausgebremst wird

Große Sprachmodelle bestehen aus Milliarden von Parametern. Für jede Antwort muss der Beschleuniger einen großen Teil dieser Gewichte aus dem Speicher lesen, oft immer wieder. Die Rechenwerke moderner Chips sind dabei häufig schneller, als der Speicher Daten nachliefern kann.

Fachleute sprechen von der Speicherwand (Memory Wall). Ist die Bandbreite zu gering, warten teure Rechenkerne untätig auf Daten. Mehr Rechenleistung bringt dann kaum etwas, mehr Bandbreite dagegen sehr viel.

HBM-Speicher löst dieses Problem nicht vollständig, verschiebt die Grenze aber deutlich. Drei Effekte sind für KI entscheidend:

  • Bandbreite: Mehr Daten pro Sekunde bedeuten schnellere Antworten und besser ausgelastete Rechenkerne.
  • Kapazität nah am Chip: Größere Modelle passen ganz oder teilweise in den schnellen Speicher.
  • Effizienz: Kurze Wege senken den Energiebedarf pro übertragenem Bit, ein wichtiger Faktor in Rechenzentren.

Training und Inferenz stellen unterschiedliche Ansprüche

Beim Training lernt ein Modell aus riesigen Datenmengen, dabei werden Gewichte und Zwischenergebnisse ständig gelesen und geschrieben. Hier zählen Kapazität und Bandbreite gleichermaßen. Bei der Inferenz, also beim Beantworten einzelner Anfragen, ist vor allem das schnelle Lesen der Gewichte entscheidend.

Gerade bei der Inferenz großer Sprachmodelle ist der HBM-Speicher deshalb oft der eigentliche Taktgeber. Wie viele Wörter pro Sekunde ein Modell ausgibt, hängt stark davon ab, wie schnell die Gewichte aus dem Speicher kommen. Wer also über Antwortzeiten von KI-Diensten nachdenkt, sollte die Speicherbandbreite im Blick haben.

Gerade beim Energiebedarf zeigt sich, warum Speicherarchitektur auch ein Kostenthema ist. Mehr dazu, wie Unternehmen den Stromverbrauch ihrer IT senken, liest du in unserem Beitrag zu nachhaltiger IT.

Von HBM3 zu HBM4: Die Generationen im Überblick

Das Normungsgremium JEDEC legt fest, wie HBM-Speicher aufgebaut ist und kommuniziert. Mit jeder Generation steigen Bandbreite und Kapazität. Die Werte unten stammen aus den Veröffentlichungen von JEDEC zu HBM3 (Januar 2022) und HBM4 (April 2025).

MerkmalHBM3HBM4
Datenrate pro Pinbis 6,4 Gb/sbis 8 Gb/s
Bandbreite pro Stapelbis 819 GB/sbis 2 TB/s
Unabhängige Kanäle1632
Stapelhöhen4, 8, 12 Lagen4, 8, 12, 16 Lagen
Maximale Kapazität pro Stapelbis 64 GB (16 Lagen)bis 64 GB

Bei HBM3 waren 16 Lagen zum Start nur als künftige Option vorgesehen. HBM4 nutzt laut der JEDEC-Pressemitteilung zu HBM4 eine 2048 Bit breite Schnittstelle und erreicht so bis zu 2 TB/s pro Stapel. Auf einem KI-Beschleuniger sitzen meist mehrere solcher Stapel, die Bandbreiten addieren sich.

Zwischen HBM3 und HBM4 bieten Hersteller zudem weiterentwickelte Varianten an, die oft als HBM3E vermarktet werden. Für Käufer zählt am Ende weniger der Name als die tatsächliche Bandbreite und Kapazität im Datenblatt.

Wie es weitergeht: Varianten für mehr Flexibilität

Die Entwicklung bleibt nicht stehen. Im Juli 2026 hat JEDEC mit SPHBM4 einen weiteren Standard veröffentlicht. Er nutzt dieselben DRAM-Lagen wie HBM4, kommt aber mit 512 statt 2048 Datensignalen aus und erreicht durch Serialisierung dieselbe Gesamtbandbreite.

Der Vorteil: SPHBM4 lässt sich auf organischen Trägermaterialien montieren statt auf Silizium. Das soll längere Verbindungen zwischen Prozessor und Speicher erlauben und damit Platz für mehr Speicherstapel schaffen. Für dich als Anwender zeigt das vor allem eines: HBM-Speicher wird sich in den nächsten Jahren in mehreren Varianten auffächern, je nach Preis- und Leistungsklasse.

Nachteile und Engpässe von HBM

So beeindruckend die Technik ist, sie hat ihren Preis. Wer KI-Hardware mit HBM-Speicher plant, sollte die Schattenseiten kennen.

  • Kosten: Das Stapeln, die TSVs und das Packaging neben dem Prozessor sind deutlich aufwendiger als bei klassischem Speicher.
  • Fertigungsausbeute: Ein fehlerhafter Chip im Stapel kann das ganze Paket unbrauchbar machen.
  • Wärme: Viele Lagen auf engem Raum erschweren die Kühlung.
  • Kein Nachrüsten: HBM ist fest mit dem Prozessor verbunden, du kannst Speicher später nicht erweitern.
  • Begrenztes Angebot: Nur wenige Hersteller, vor allem SK hynix, Samsung und Micron, produzieren HBM-Speicher. Hohe Nachfrage aus KI-Rechenzentren macht ihn immer wieder knapp.

Die Lieferkette ist eng mit der gesamten Halbleiterindustrie verknüpft. Warum einzelne Zulieferer dabei eine Schlüsselrolle spielen, zeigt unser Porträt von ASML.

Serverschrank in einem Rechenzentrum
KI-Rechenzentren treiben die Nachfrage nach schnellem Speicher. Foto: Kevin Ache / Unsplash

Was HBM-Speicher für Unternehmen bedeutet

Du musst kein Chipdesigner sein, um von diesem Wissen zu profitieren. Wer KI-Infrastruktur einkauft oder mietet, trifft bessere Entscheidungen, wenn er den Speicher mitdenkt. Diese Schritte helfen dir bei der Bewertung:

  1. Anwendungsfall klären: Training großer Modelle, Inferenz oder klassische Datenanalyse stellen sehr unterschiedliche Anforderungen an den Speicher.
  2. Modellgröße abschätzen: Prüfe, ob dein Modell in den HBM-Speicher eines Beschleunigers passt oder auf mehrere Chips verteilt werden muss.
  3. Bandbreite vergleichen: Schau im Datenblatt nicht nur auf die Rechenleistung, sondern auf Speicherbandbreite und Kapazität.
  4. Cloud gegen Kauf abwägen: Bei knapper Hardware und schnellen Generationswechseln kann Mieten flexibler sein.
  5. Energie und Kühlung einplanen: Hochleistungsbeschleuniger stellen eigene Anforderungen an Rechenzentrum und Stromversorgung.

Für kleinere Projekte ist HBM oft gar nicht nötig. Viele Modelle laufen auch auf Hardware mit GDDR oder normalem Arbeitsspeicher, nur eben langsamer. Wann sich eigene Hardware lohnt, beleuchten wir im Artikel zu lokalen KI-Modellen.

Ein häufiger Denkfehler in Beschaffungsrunden: Zwei Beschleuniger mit ähnlicher Rechenleistung gelten als gleichwertig. In der Praxis kann der Chip mit mehr Speicherbandbreite und größerem HBM-Speicher bei Sprachmodellen spürbar schneller antworten. Lass dir von Anbietern deshalb Messwerte für deinen konkreten Anwendungsfall zeigen, statt dich auf Spitzenwerte aus dem Marketing zu verlassen.

Auch für die Budgetplanung lohnt der Blick auf den Speicher. Weil HBM aufwendig herzustellen ist und das Angebot begrenzt bleibt, schwanken Lieferzeiten und Preise. Plane Puffer ein und prüfe Alternativen wie Cloud-Kapazitäten.

Fazit: Der Speicher entscheidet über das KI-Tempo

HBM-Speicher ist der Grund, warum moderne KI-Beschleuniger ihre Rechenleistung überhaupt ausspielen können. Durch gestapelte Chips, TSVs und eine extrem breite Schnittstelle liefert er Bandbreiten, an die klassischer Speicher nicht heranreicht. Der Preis sind hohe Kosten und ein knappes Angebot. Meine Empfehlung: Wenn du KI-Hardware bewertest, schau zuerst auf Speicherbandbreite und Kapazität und erst danach auf die reine Rechenleistung.

FAQ: Häufige Fragen zu HBM-Speicher

Was ist HBM-Speicher einfach erklärt?

HBM steht für High Bandwidth Memory. Dabei werden mehrere DRAM-Chips übereinandergestapelt, durch senkrechte Leitungen im Silizium verbunden und direkt neben dem Prozessor platziert. Durch die kurzen Wege und eine sehr breite Schnittstelle erreicht der Speicher eine viel höhere Bandbreite als klassischer Arbeitsspeicher und benötigt pro übertragenem Bit weniger Energie.

Warum braucht KI so viel Speicherbandbreite?

KI-Modelle bestehen aus sehr vielen Parametern, die bei jeder Berechnung aus dem Speicher gelesen werden müssen. Die Rechenkerne moderner Beschleuniger sind oft schneller, als herkömmlicher Speicher Daten liefern kann. Dann warten sie untätig. Eine hohe Bandbreite sorgt dafür, dass die Rechenleistung tatsächlich genutzt wird und Antworten schneller entstehen.

Wie schnell ist HBM4?

Laut dem im April 2025 veröffentlichten JEDEC-Standard nutzt HBM4 eine 2048 Bit breite Schnittstelle mit bis zu 8 Gb/s pro Pin. Daraus ergeben sich bis zu 2 TB/s Bandbreite pro Speicherstapel. Zum Vergleich nannte JEDEC für HBM3 bis zu 819 GB/s pro Stapel. Auf einem Beschleuniger arbeiten meist mehrere Stapel parallel.

Welche Firmen stellen HBM-Speicher her?

HBM-Speicher wird von wenigen großen DRAM-Herstellern produziert, vor allem von SK hynix, Samsung und Micron. Die Fertigung ist aufwendig, weil Chips gestapelt, durchkontaktiert und eng mit dem Prozessor verpackt werden. Das begrenzte Angebot und die hohe Nachfrage aus KI-Rechenzentren führen dazu, dass HBM immer wieder knapp ist.

Was ist der Unterschied zwischen HBM und GDDR?

GDDR-Chips liegen einzeln auf der Platine einer Grafikkarte und arbeiten mit hohen Taktraten über eine vergleichsweise schmale Schnittstelle. HBM stapelt die Chips und setzt sie direkt neben den Prozessor, mit einer sehr breiten Schnittstelle. HBM liefert dadurch mehr Bandbreite bei geringerem Energiebedarf pro Bit, ist aber deutlich teurer.

Weiterlesen

Weitere Artikel aus dem Ressort

Nach oben scrollen