Die Leistungskapazitäten deutscher Rechenzentren haben sich nach Daten des Branchenverbandes Bitkom aus dem Jahr 2023 in den vergangenen zwölf Jahren nahezu verdoppelt – von 1131 MW im Jahr 2010, auf 2341 MW im Jahr 2022. Ein deutlich steilerer Leistungsanstieg steht bevor. Noch unmittelbarer aber wirkt sich der Anstieg der Leistungsdichten aus, insbesondere durch High Performance Computing und die schnelle Verbreitung von KI-Algorithmen. Denn um sie anzulernen, braucht es viel Rechenleistung, die neuartige Prozessoren (GPUs) auf engstem Raum erbringen. Dies bedeutet auch einen Umbruch bei der Kühltechnologie. Ab etwa 30 kW Leistung pro Rack reicht Luft nicht mehr. Dann hilft nur Flüssigkühlung, am besten direkt auf dem Prozessor. Diese dient – quasi als Nebeneffekt – auch der Nachhaltigkeit: Denn die Effektivität flüssiggekühlter Lösungen ist um ein Vielfaches höher als die luftgekühlter, weil Wasser eine um Dimensionen bessere Wärmespeicher- und -leitfähigkeit hat.

Auf der europäischen Tagung des Open Compute Project (OCP) im Juni präsentierte Rittal erstmals eine Coolant Distribution Unit (CDU) im OCP-Format. Im Open Compute Project arbeiten Hyperscaler, OEM und diverse Gewerke der Datacenter-Branche kollaborativ an hochgradig standardisierter IT-Infrastruktur.

Die CDU nutzt ein Wassergemisch für Single Phase Direct Liquid Cooling, die direkte Chipkühlung mit einer einphasigen (nicht verdampfenden) Kühlflüssigkeit. Zwei CDU-Varianten sind im Format des ‚Open Rack V3‘ (21 Zoll) vorgesehen, dessen Entwicklung Rittal bei OCP vorangetrieben hat: eine für den Einbau direkt in den zu kühlenden Racks, eine für die In-Row-Installation mit über 1 MW Kühlleistung für angereihte Racks. Liquid-to-Air-Varianten, die ohne Facility-Wasseranschluss auskommen, sind geplant, auch in einer 19-Zoll-Version mit voller Integration in die ‚RiMatrix‘ Systemplattform von Rittal.

Schneller Einstieg durch Liquid-to-Air-Version

Die redundant ausgelegten Coolant Circulation Units und andere Module stecken wie Server-Einschübe im Rack und lassen sich einfach im laufenden Betrieb tauschen.

© Rittal

Die Liquid-to-Liquid-Lösung werden voraussichtlich vor allem Hyperscaler und Betreiber von Groß-Rechenzentren in hoher Stückzahl verwenden und damit Standards setzen. Doch es sind noch viele Fragen für das Rechenzentrum als Gesamtsystem zu klären, technologisch und baulich. Dafür sind ausgiebige Tests nötig.

Die agile Colocation-Branche kann darauf aber nicht warten. Colocator stellen als Betreiber die Infrastruktur des Rechenzentrums zur Verfügung und verschiedene Unternehmen platzieren dort ihre eigenen IT-Systeme. Die meisten wollen ihren Kunden schnellstmöglich gute Voraussetzungen für KI und HPC bieten. Hier kommen die Liquid-to-Air-Versionen ins Spiel, die die Prozessoren mit Wasser kühlen, die Wärme dann aber über die Rücktür des Racks oder einen Seitenkühler an die Luft abgeben. Diese Lösungen erreichen zwar nicht die Kühlleistung und Effizienz der Liquid-to-Liquid-Lösungen, können aber schneller in Rechenzentren ohne Wasser- anschluss eingesetzt werden. Mit ihnen können Colocator eigene Tests mit weniger Aufwand und Investition bewerkstelligen oder für ihre Kunden einzelne ‚HPC-Inseln‘ (High Performance Computing) in luftgekühlten Rechenzentren schaffen. Damit fungieren diese Versionen als ‚Hebel‘, um Direct Liquid Cooling als Enabling Technology für KI in die Rechenzentren zu bringen.

Chancen für Abwärmenutzung steigen

Bis zu 1500 Liter Wassergemisch rauschen pro Minute durch das System, um die Wärme von 1 MW abzutransportieren.

© Rittal

Bei den Liquid-to-Liquid-Lösungen wiederum kann die Wärme besser an den Primärwasserkreislauf des Gebäudes oder an Abwärmenutzer weitergegeben werden, auch wegen deutlich höherer Abwärmetemperaturen. Dies verbessert die Effizienzwerte des Rechenzentrums noch stärker und ermöglicht Regelkonformität, ist doch die Abwärmenutzung in Rechenzentren durch das Energieeffizienzgesetz bald vorgeschrieben. Hierin sieht Rittal einen der Gründe, warum der Anteil solcher Lösungen mittelfristig zunehmen wird, obwohl sie größere Änderungen in der gesamten Infrastruktur erfordern.

Die In-Rack-Lösung mit Wasseranschluss gibt es für Kühlleistungen von 30, 60 und 100 kW und eine Temperaturspreizung von 8 Kelvin. Bei 1,5 bar schafft das System einen Durchfluss von 45, 90 oder 150 l/min. Die Pumpen sind redundant ausgelegt, die Kühlmittelverteilung befindet sich zuunterst im Rack. Über die standardisierte ‚DC Busbar‘ im Rack erfolgt die Stromversorgung. Oben befinden sich der modulare Controller sowie optional eine batteriebetriebene USV. Als Kühl-flüssigkeit kommt mit 25 % Polyglykol angereichertes Wasser zum Einsatz, ein in der Industrie und bei Fahrzeugkühlungen bewährtes Gemisch. Die Flüssigkeitsverteilung für den Zu- und Rückfluss ist in der Rückseite des Racks eingebaut. Rittal hat hier den OCP-Ansatz der standardisierten Stromverteilung im Rack mit einem Manifold für den Wasserkreislauf und tropffreien Verbindern im Rack weitergedacht. Die steckbaren Schnellkopplungen können mit Drucksensoren ausgerüstet werden, die im laufenden Betrieb auswechselbar sind. Auch Temperatursensoren können integriert werden. Die CDU wird über Wärmetauscher mit dem Wassersystem des Gebäudes verbunden.

Einfacher Service

Bei der In-Row-Variante befinden sich oberhalb des Plattenwärmetauschers bis zu fünf Coolant Circulation Units (CCUs, Kühlmittelverteilungen) mit jeweils drei Pumpen. Zusammen erbringen sie eine Durchflussleistung von bis zu 1500 l/min. Mit mehreren kleinen Pumpen lässt sich die Leistung feiner steuern als mit nur wenigen, größeren Pumpen, was wiederum der Energieeffizienz nutzt. Die Kühleffizienz der CDU liegt knapp über 1.

Da sie ihre Maximalleistung bereits mit vier Einschüben schafft, kann jeweils ein Einschub ohne Betriebsunterbrechung gezogen werden. Eventuell defekte Pumpen lassen sich einfach austauschen. Jeder Einschub hat eine eigene Verbindung zur Stromschiene und zur separaten Kontrolleinheit.

Alle Sensoren, beispielsweise für Temperatur, Druck und Leitfähigkeit, sind bei der In-Row-Lösung ohne Betriebsunterbrechung auswechselbar. Die Schnellkopplungen verlieren beim Koppeln nur wenige Tropfen Flüssigkeit, die über das Flüssigkeitsreservoir ausgeglichen werden. Dies erfolgt ebenso automatisch wie die Entlüftung.

Der Autor: Michael Nicolai ist Leiter Rittal IT Vertrieb Deutschland in Herborn.

© Rittal

Die konsequente Trennung von rackseitigem Sekundärkreislauf und gebäudeseitigem Primärkreislauf sorgt für die nötige Qualität des Kühlwassers im Rack, das die feinen Kapillaren der Kühlkörper auf den Prozessoren durchströmt. Für das Wasser im gebäudeseitigen Primärkreislauf reicht üblicherweise die Qualität des örtlichen Leitungswasserlieferanten.