KI-Nachhaltigkeitslabor der HNEE (KIN'L)

Die Rechen- und Speicherinfrastruktur (KIN'L-Core) besteht aus einem Rechensystem optimiert für das Trainieren von Deep Learning Modellen, aber auch andere Modelle aus dem Übergebiet des maschinellen Lernens können gerechnet werden. Die eingesetzte Hardware ist ein → Nvidia DGX H100 System mit 8 H100 GPUs (insgesamt 640 GB GPU-Hauptspeicher) und 112 Intel® Xeon® Kernen und 2 TB Hauptspeicher. Das System bietet 32 PetaFLOPS, das sind 32 10^15 Fließkommazahloperationen pro Sekunde, für 8-bit Fließkommazahlen (FP8). Sofern höhere Genauigkeiten notwendig sind, bietet das System weniger Rechenleistung bei 16 PetaFLOPS für FP16 und BF16, 8 PetaFLOPS für FP32 und 480 TFLOPS für FP64 (siehe → NVIDIA Hopper Architecture). Bei diesen Zahlen ist wichtig zu bemerken, dass es sich um die Peak-Performance und damit um eher theoretische Angaben hält. Bei der konkreten Umsetzung können diese Zahlen als Leitschnur zur Optimierung der Programmcodes für eine effiziente Nutzung der Hardware dienen.

Das Computer-System ist mit 400 Gbit/s InfiniBand/Ethernet an das Speichersystem angebunden. Dort können Modelle und Daten für den schnellen Zugriff abgelegt werden, sofern die ungefähr 30 TB NVMe Speicherplatz des DGX-Systems nicht ausreichen sollten. Das Speichersystem verfügt über 18 NVMe SSDs mit jeweils 30,72 TB, was rechnerisch ungefähr 550 TB ergibt, wovon aber nicht alles verfügbar ist, da die SSDs im Dateisystem redundant konfiguriert sind (beliebige zwei können ausfallen) und SSDs auch als Hot Spare dienen, um in diesem Fall gleich einzuspringen.

Aus früheren Beschaffungen für kleinere Berechnungen steht noch ein Server einer 32-Core AMD EPYC CPU, 256 GB Hauptspeicher und zwei Nvidia RTX A6000 GPUs zur Verfügung.

Insgesamt bilden diese Rechen- und Speichersysteme die Grundlage für Arbeiten mit dem KI-Nachhaltigkeitslabor.

Zur Nutzung der Infrastruktur gibt es zwei wesentliche Zugriffsmöglichkeiten. Einerseits ist der Zugang zum KIN'L-Core über JupyterLab demnächst möglich. Dabei handelt es sich um eine webbasierte Entwicklungsumgebung, die per Browser genutzt werden kann. Die Integration von JupyterLab als Teil von https://jupyter.hnee.de erfolgt in den nächsten Monaten. Mit Abschluss dieser Integration steht eine webbasierte einfache Nutzung des KIN'L-Core für das KIN'L OpenLabs zur Verfügung.
Bereits möglich ist der Zugriff per Secure Shell (SSH). SSH stellt eine in der Linux/Unix-Welt weitverbreitete und sehr gebräuchliche Möglichkeit zum Zugriff auf entfernte Systeme dar. Auf diese Weise können Rechner mittels einer Kommandozeile genutzt werden. Da dies jedoch für viele Benutzer*innen nicht einfach ist, bieten wir in Zukunft das OpenLab per JupyterLab an.

Auf diesen Wegen können die Rechen- und Speicherressourcen des KIN'L in der Lehre oder auch mit externen Partner*innen aus Forschung, Wirtschaft und Gesellschaft genutzt werden.

Die Satelliten im KIN'L ermöglichen die Durchführung von Forschungs- und Transferprojekten unter Verwendung des KIN'L-Core. Idealerweise kommt ein Projekt bereits bei der Beantragung von Fördermitteln auf uns zu. So können wir klären, ob und wie das KI-Nachhaltigkeitslabor in dem Projekt behilflich sein kann. Selbst vor der Beantragung von Projekten unter Verwendung von Methoden der künstlichen Intelligenz kann das KIN'L bei der Entwicklung und Ausgestaltung einer Projektidee mit seiner KI-Expertise helfen. Mit der Erfahrung in der Anwendung von künstlicher Intelligenz können wir Ideen schärfen und bezüglich Umsetzbarkeit einordnen.

Das KI-Nachhaltigkeitslabor bietet in unregelmäßigen Abständen Veranstaltungen an. So haben wir bereits Veranstaltungen zur Auslotung von KI in der Forschung an der Hochschule durchgeführt. Weitere werden folgen, da uns das Thema KI nicht so bald loslassen wird.

Im Rahmen des KI-Nachhaltigkeitslabors haben wir folgende Dokumente und Lernressourcen entwickelt:

• Einführungspräsentation zum KIN'L (in Englisch) (Juli 2025)

• Dokument zum Onboarding von KINL Nutzer*innen (in English)

• Jupyter Notebook zur Klassifizierung von Sound (Einführungsbeispiel)

• Jupyter Notebook für Sentiment-Analyse von Filmbewertungen (fortgeschritten)

• Jupyter Notebook für die Klassifizierung von handgeschriebenen Zahlen (fortgeschritten)