EaPU und Memristoren: Wie chinesische Forschung KI mit ~1.000.000 mal weniger Energie trainieren will

Während KI-Modelle immer weiter wachsen, kämpfen Forschungslabore gegen die Zeit – sonst wird die Stromrechnung schlicht untragbar.

Ein Team aus China hat dafür einen überraschenden Ansatz vorgestellt: Statt auf perfekte, rein digitale Rechenwerke zu setzen, nutzen sie bewusst ungenaue analoge Bauteile, tolerieren kleine Rechenfehler und senken so den Energiebedarf besonders schwerer KI-Systeme drastisch – vor allem bei tiefen neuronalen Netzen.

Das Energieproblem der KI, das niemand mehr übersehen kann

Das Training grosser KI-Modelle verschlingt heute erhebliche Mengen elektrischer Energie. Ganze Rechenzentren sind darauf ausgelegt, Milliarden von Parametern auf Supercomputern mit leistungsstarken GPUs zu bearbeiten. Jede Gewichtsaktualisierung in einem neuronalen Netz bedeutet neue Lese- und Schreibvorgänge im Speicher – und genau diese Abläufe kosten sowohl Zeit als auch Strom.

Mit der Verbreitung grosser Sprachmodelle und von Bildgeneratoren steigt der Bedarf weiter. Prognosen zufolge könnte der Energieverbrauch von KI ohne Architekturwechsel zu einem wirtschaftlichen und ökologischen Nadelöhr werden: Entweder bremst das die Expansion der Branche, oder es werden hohe Investitionen in die elektrische Infrastruktur nötig.

Die neue chinesische Herangehensweise deutet auf neuronale Netze hin, die beim Lernen bis zu eine Million Mal weniger Energie verbrauchen als GPU-basierte Systeme.

Ein solcher Sprung entsteht nicht allein durch Software-Feinschliff, sondern durch eine grundlegende Veränderung der Art, wie gerechnet wird – mit Hardware, die sich daran orientiert, wie das menschliche Gehirn Informationen verarbeitet.

Memristoren: Hardware-„Neuronen“, die an früher erinnern

Im Mittelpunkt der Arbeit steht der Memristor – ein elektronisches Bauteil, das ausserhalb technischer Fachkreise noch wenig bekannt ist. Anders als ein normaler Widerstand besitzt er eine Art Gedächtnis: Sein elektrischer Zustand hängt davon ab, welcher Strom in der Vergangenheit durch ihn geflossen ist. Man kann ihn sich wie eine künstliche Synapse vorstellen, die „weiss“, wie stark sie zuvor angeregt wurde.

Damit wird eine zentrale Idee möglich: Rechenoperationen der neuronalen Netze direkt dort auszuführen, wo die Daten gespeichert sind, statt fortlaufend Daten zwischen Prozessor und Arbeitsspeicher zu verschieben. Dieses Prinzip – analoges Rechnen im Speicher – reduziert einen der grössten Kostentreiber heutiger KI: das permanente Hin- und Herbewegen von Informationen innerhalb des Chips.

• Widerstand mit Gedächtnis: Der Memristor verändert seinen Zustand und behält diese Veränderung.
• Rechnen am Ort der Daten: Operationen finden dort statt, wo die Werte bereits liegen.
• Weniger interner Datenverkehr: Weniger Bit-Bewegung bedeutet weniger Energie.

Allerdings gibt es dabei ein gravierendes Problem: Solche Bauteile sind verrauscht und ungenau. Physikalische Schwankungen, elektrisches Rauschen und Materialgrenzen sorgen dafür, dass der gespeicherte Wert nie perfekt ist. In klassischen Architekturen kann diese Art von Imperfektion die Genauigkeit von KI-Modellen drücken und das Training instabil machen.

Wie die Technik EaPU Unvollkommenheit zum Vorteil macht

Forschende aus einem Labor in Zhejiang (China) schlugen deshalb eine ungewöhnliche Lösung vor: Statt die Defekte der Memristoren mit aller Kraft zu bekämpfen, werden sie in die Lernlogik eingebaut. Daraus entstand EaPU – kurz für eine fehlerbewusste probabilistische Aktualisierung.

Konkret werden nicht mehr bei jedem Trainingsschritt zwanghaft alle Parameter angepasst. Stattdessen berücksichtigt das System nur solche Änderungen, die tatsächlich relevant sind – also oberhalb eines Fehlerschwellwerts liegen, den die Memristoren tolerieren.

Mit EaPU werden pro Schritt weniger als 0,1% der Parameter aktualisiert, wodurch die Schreiboperationen – der energieintensivste Teil – drastisch sinken.

Das führt unmittelbar zu drei Effekten:

• Weniger Energie pro Training: Das Schreiben in Memristoren benötigt deutlich mehr Energie als reines Lesen. Wenn die Zahl der Schreibvorgänge fällt, wirkt sich das stark aus.
• Längere Lebensdauer: Jede Speicherung belastet das Bauteil. Weniger Updates erhöhen die Haltbarkeit spürbar.
• Stabileres Training: Das System reagiert nicht auf jede minimale Schwankung; dadurch werden Rauschanteile besser herausgefiltert und der Lernprozess stabilisiert.

Zahlen, die aufhorchen lassen

Die in der Fachzeitschrift Nature Communications veröffentlichten Resultate fallen im Vergleich zu anderen Memristor-basierten Verfahren deutlich aus:

Bewerteter Parameter	Vor EaPU	Mit EaPU
Trainingsenergie	Referenz	Bis zu 50 mal geringer
Lebensdauer des Bauteils	Referenz	Bis zu 1.000 mal höher
Präzision im Vergleich zu anderen Memristor-Schemata	Basis	Rund 60% besser
Energie gegenüber einem GPU-System	GPU = 1	~1.000.000 mal weniger Energie

Nach Angaben der Autoren nähert sich die erreichte Genauigkeit dem Niveau klassischer digitaler Supercomputer – bei einem energetischen Aufwand, der damit kaum vergleichbar ist.

Bildtests weisen den Weg zu grösseren Modellen

Um den Ansatz zu prüfen, nutzte das Team ein Memristor-Array in 180 Nanometern – also ein Fertigungsprozess, der nicht einmal zu den modernsten gehört. Darauf trainierten sie neuronale Netze für zwei klar umrissene Aufgaben: Bildentrauschung sowie Super-Resolution, bei der zusätzliche Details in Fotos und Videoframes rekonstruiert werden.

Die Ergebnisse lagen auf dem Niveau herkömmlicher Verfahren, allerdings bei deutlich geringerem Energieverbrauch. Das ist besonders für die Industrie interessant, weil Computer-Vision-Anwendungen am Rand des Netzes – etwa in intelligenten Kameras und Sensoren – stark von kompakten, effizienten Lösungen abhängen.

Neuronale Netze auf Memristoren können fortgeschrittene KI-Verarbeitung näher an die Datenquelle bringen, ohne ständig auf die Cloud angewiesen zu sein.

Kann die Methode auch bei grossen Sprachmodellen eingesetzt werden?

Eine zentrale Frage ist, ob EaPU auf LLMs skalieren kann – also auf grosse Sprachmodelle, wie sie in Chatbots und virtuellen Assistenten stecken. Die Forschenden halten das grundsätzlich für möglich. Der Engpass lag bislang vor allem an der im Labor verfügbaren Hardware, die riesige Netze nicht aufnehmen kann.

Das Prinzip hinter dem Verfahren ist nicht auf eine einzelne Aufgabenart zugeschnitten. Theoretisch kann jedes tiefe neuronale Netz mit sehr vielen Parametern von probabilistischen Updates und einer intelligenten Toleranz gegenüber kleinen Fehlern profitieren. Sollte sich das auch bei Sprachmodellen bestätigen, könnte das die Trainingskosten generativer KI spürbar verändern.

Zudem soll die Grundidee nicht exklusiv an Memristoren gebunden sein. Die Gruppe sieht die gleiche Denkweise auch bei anderen unkonventionellen Speichertechnologien, zum Beispiel:

• Ferroelektrische Transistoren, die Logik und Speicherung verbinden;
• magnetoresistiver Direktzugriffsspeicher (MRAM), der bereits von grossen Chip-Herstellern erprobt wird;
• weitere analoge, auf Rechnen im Speicher ausgerichtete, aufkommende Bauteile.

Risiken, Hürden und was noch zu belegen ist

So eindrucksvoll die Zahlen sind: Bis zu einem Einsatz in kommerziellen Rechenzentren bleiben etliche Herausforderungen. Die Massenfertigung von Memristoren mit stabilem Verhalten gilt weiterhin als schwierig. Schon geringe Schwankungen zwischen Produktionschargen können aufwendige Kalibrierung erfordern – mit Folgen für Kosten und Zuverlässigkeit.

Hinzu kommt die Frage der Flexibilität. Digitale GPUs und CPUs sind extrem vielseitig: Auf derselben Hardware laufen Training, Inferenz, wissenschaftliche Simulationen und auch Spiele. Analoge In-Memory-Architekturen sind dagegen häufig stärker spezialisiert – optimiert für bestimmte Netztypen und Operationen. Das macht neue Entwicklungswerkzeuge nötig und könnte die KI-Engineering-Community teilweise neu ausrichten müssen.

Warum Fehler-Toleranz Energie spart

Ein zentraler Gedanke dahinter: EaPU funktioniert, weil KI von Natur aus mit Ungenauigkeiten umgehen kann. Neuronale Netze benötigen nicht bei jedem Rechenschritt mathematisch exakte Ergebnisse; sie nähern sich an, indem sie über viele Beispiele hinweg die Fehler minimieren.

Vor diesem Hintergrund schaden kleine Abweichungen durch analoges Hardwareverhalten dem Modell nicht, solange sie innerhalb einer sinnvollen Grenze bleiben. Entscheidend ist das Gleichgewicht aus Fehlertoleranz und selektiven Updates – genau das versucht der probabilistische Ansatz zu treffen.

Im Kern ist es ein Tauschgeschäft zwischen Präzision und Energieaufwand: Man akzeptiert etwas Rauschen, um Netze deutlich günstiger trainieren und betreiben zu können. In Umgebungen, in denen jedes Watt zählt – etwa in grossen Serverfarmen oder batteriebetriebenen Geräten – ist dieser Kompromiss besonders naheliegend.

Mögliche Praxis-Szenarien und Folgewirkungen

Sollten sich solche Architekturen durchsetzen, rücken mehrere Szenarien in greifbare Nähe:

• KI-Rechenzentren mit deutlich geringerem Verbrauch, was sowohl die Stromrechnung senkt als auch die elektrische Infrastruktur entlastet.
• Generative Modelle, die häufiger trainiert werden können, weil der Energieaufwand weniger prohibitiv ist.
• Edge-Geräte – Smartphones, Router, industrielle Sensoren – die fortgeschrittene KI lokal ausführen, ohne alles in die Cloud zu verlagern.

Parallel tauchen neue Risiken und offene Fragen auf: Wie lassen sich Entscheidungen analoger, verrauschter Systeme prüfen? Wie wird Reproduzierbarkeit gewährleistet, wenn physische Umgebungen durch Temperatur, Alterung und Bauteiltoleranzen variieren? Für diese Punkte braucht es weitere Forschung und spezifische technische Standards.

Trotzdem wirkt die Richtung eindeutig: Hardware näher an den Mechanismus des Gehirns heranzuführen – mit Bauteilen, die zugleich rechnen und „merken“ – könnte die bisher enge Kopplung zwischen Spitzen-KI und explodierendem Energieverbrauch aufbrechen.