ParTec in den SEA-Projekten - Europa für die Zukunft des Supercomputings gut gerüstet

München, 18. März 2024 - Zahlreiche europäische Partner, darunter die ParTec AG, haben in den Projekten DEEP-SEA, IO-SEA und RED-SEA zusammengearbeitet und wichtige Ergebnisse erzielt, die Europa auf die Exascale-Ära im Supercomputing vorbereiten.

Die HPC-Forschungsprojekte DEEP-SEA, IO-SEA und RED-SEA enden diesen Monat nach einer dreijährigen Projektlaufzeit. Die drei Projekte arbeiteten zusammen, um Schlüsseltechnologien für europäische Exascale-Supercomputer zu entwickeln, die auf der von ParTec in Zusammenarbeit mit dem Jülich Supercomputing Centre (JSC) entwickelten und patentierten dynamischen modularen Systemarchitektur (dMSA) basieren, einer Blueprint-Architektur für hocheffiziente und skalierbare heterogene Exascale HPC-Systeme.

Um dies zu erreichen, haben die drei Projekte gemeinsam an Systemsoftware und Programmierumgebungen, Datenmanagement und -speicherung sowie an für diese Architektur speziell angepasste Interconnects gearbeitet. Die Ergebnisse ihrer gemeinsamen Arbeit werden in einem Co-Design-Workshop und einer Sitzung auf dem EuroHPC Summit (Antwerpen, 18.-21. März, www.eurohpcsummit.eu) vorgestellt.

Die Zukunft des Supercomputing ist Exascale

DEEP-SEA, IO-SEA und RED-SEA sind Teil einer größeren Familie von Forschungs- und Innovationsprojekten, die vom EuroHPC Joint Undertaking kofinanziert werden, um Schlüsseltechnologien und Lösungen für die "Exascale-Ära" im Supercomputing vorzubereiten. Diese Exascale-Generation ist in der Lage, mindestens 10¹⁸ Gleitkommaoperationen pro Sekunde auszuführen und ermöglicht neuartige und genauere wissenschaftliche Anwendungen. Exascale-Supercomputer sind wesentlich komplexer als frühere Generationen langsamerer Systeme und vereinen eine Vielzahl unterschiedlicher Hardwarekomponenten, die für bestimmte Zwecke eingesetzt werden. Sie müssen Ressourcen wie CPUs, GPUs und andere Beschleuniger sowie Kommunikations-, Speicher- und Storage-Technologien so in ein System integrieren, dass sie sowohl traditionelle HPC-Simulationen als auch künstliche Intelligenz und Big-Data-Analysen unterstützen.

Eine modulare Supercomputing-Architektur für europäische Exascale-Supercomputer

Das MSA-Paradigma wurde genau für diesen Zweck entwickelt. Es basiert auf einem neuartigen Systemdesign zur Integration heterogener Ressourcen und Technologien und zur Erfüllung der Anforderungen eines breiten Spektrums von Anwendungsbereichen, von rechenintensiven, hoch skalierbaren Simulationscodes bis hin zu datenintensiven Workflows der künstlichen Intelligenz. Verschiedene Workload-Komponenten laufen auf dem für sie am besten geeigneten Modul, was die Zeit bis zur Lösung und die Energieeffizienz verbessert. Der neue Supercomputer JUPITER des Jülich Supercomputing Centre (JSC) wird auf dieser Architektur basieren. JUPITER, dessen Installation im Jahr 2024 beginnt, wird vom EuroHPC JU, dem Bundesministerium für Bildung und Forschung und dem Ministerium für Kultur und Forschung des Landes Nordrhein-Westfalen kofinanziert.

Um die dMSA zu implementieren, zu erweitern und zu verbessern, arbeiteten die drei SEA-Projekte an unterschiedlichen Aufgaben: DEEP-SEA, unter der Leitung des JSC, konzentrierte sich auf die Programmierumgebung und den HPC-Software-Stack. IO-SEA, geleitet vom CEA, entwickelte einen Prototyp für eine neuartige Datenverwaltungs- und Speicherplattform. RED-SEA, unter der Leitung von Eviden, bereitete die nächste Generation des europäischen BXI (Bull eXascale Interconnect) und den dazugehörigen Software-Stack vor. Die drei SEA-Projekte sind zwar unabhängig voneinander, aber sie sind miteinander verbunden und arbeiten eng zusammen, um durch die Umsetzung der MSA effiziente Systeme zu ermöglichen. Sie bauen auf den Ergebnissen anderer, früherer Projekte auf, die von der Europäischen Kommission kofinanziert wurden, und stützen sich auf ein umfangreiches Netz von laufenden Partnerprojekten, Institutionen und Privatunternehmen aus ganz Europa.

Der EuroHPC Summit 2024 - eine gute Gelegenheit, die Projektergebnisse zu präsentieren

Der integrierte Software-Stack, der von DEEP-SEA entwickelt wurde, ist eines der wichtigsten Ergebnisse der Projekte, neben der Etablierung der dMSA in großen, in Betrieb befindlichen Systemen wie JUWELS von JSC und dem MeluXina-System in Luxemburg und bald auch im JUPITER-System bei JSC. Der Stack integriert "Best-of-Breed"-Programmiermodelle, APIs, Tools und Bibliotheken, die auch für nicht-modulare HPC-Systeme relevant sind. Insbesondere die Abstraktion von Optimierungszyklen, die Unterstützung von hierarchischen Speichersystemen und der Einsatz moderner CI/CD-Techniken werden für solche Systeme direkte Vorteile bringen. Dies gilt auch für die Pionierarbeit auf dem Gebiet der Malleability. Der Stack ist als Open Source für alle Interessierten frei verfügbar.

IO-SEA entwickelte einen für die dMSA geeigneten Speicher- und E/A-Stack, der Datenbewegungen über hierarchische Speichersysteme hinweg bewältigt, darunter neuartige non-volatile Speicher, Festkörpergeräte, Festplattenlaufwerke und Bandspeicher. IO-SEA entwickelte auch das Konzept der kurzlebigen "ephemeren Speicherdienste", die nach Bedarf erstellt werden und den Benutzern einen flexiblen Betrieb des Systems ermöglichen. Im Rahmen des Projekts wurden auch die umfassende Nutzung und Verwertung von Instrumenten und Telemetrie im gesamten I/O-Stack sowie neue I/O-APIs eingeführt, die die tatsächliche Semantik der Daten offenlegen.

Das RED-SEA-Projekt hat den Grundstein für die Entwicklung und Industrialisierung der dritten Generation des europäischen BXI-Interconnects gelegt. Das Projekt trug dazu bei, BXI auf die Exascale-Ebene zu bringen, mit verbesserter Skalierbarkeit und Ausfallsicherheit, um weit über 100.000 Endpunkte zu erreichen, während die Latenz und die für jeden Endpunkt verfügbare Bandbreite deutlich verbessert wurden. RED-SEA befasste sich auch mit der realen Netzwerkleistung mit Überlastungsmanagement und adaptiven Routing-Mechanismen. Schließlich öffnete RED-SEA die Kompatibilität zwischen BXI und Ethernet, indem eine nahtlose Schnittstelle zwischen BXI und Ethernet über eine neue Gateway-Lösung mit geringer Latenz entwickelt wurde.

Die ParaStation Modulo Software Suite und insbesondere ParaStation MPI mit seiner Laufzeit- und Ausführungsumgebung sind Schlüsselkomponenten aller drei Projekte. Sie wurden erweitert und optimiert, um die neuen Konzepte (z.B. Malleability), Interconnects (BXI) und Dienste (wie die IO-SEA ephemeral storage services) zu unterstützen.

Der EuroHPC-Gipfel, der vom 18. bis 21. März in Antwerpen, Belgien, stattfindet, bietet Interessierten die Möglichkeit, sich über die Ergebnisse zu informieren. Die Projekte werden ihre Ergebnisse in einer Sitzung vorstellen und am Workshop "Co-Designing the Future of European HPC: Eco-friendly Technologies, Systems and Software" teilnehmen, in dem Technologiebereiche vorgestellt werden, die in Europa als Ergebnis eines erfolgreichen Co-Designs entwickelt wurden, darunter auch die Ergebnisse der SEA-Projekte. Der Workshop wird von Sai Narasimhamurthy organisiert, und Hans-Christian Hoppe wird die wichtigsten Ergebnisse der SEA-Projekte vorstellen. Beide sind Mitarbeiter der ParTec AG.

Die ParaStation Modulo Software Suite unterstützt neuartige Konzepte im Exascale Computing, die in diesen SEA-Projekten entwickelt wurden, und unterstützt gleichzeitig alle Projektpartner bei der Wartung des dMSA-Prototyp-Clusters am Jülicher Supercomputing Centre.

Zitate:

"Durch die erfolgreiche Durchführung der SEA-Projekte bleibt ParTec weiterhin an der Spitze der Innovation im Extreme Scale Computing und ebnet den Weg für europäische Exascale- und Post-Exascale-Systeme und Software-Technologien", sagt Bernhard Frohwitter, CEO der ParTec AG.

Prof. Thomas Lippert, Direktor des JSC: "Basierend auf den bahnbrechenden Ergebnissen der vorangegangenen DEEP-Projekte macht der solide, umfassende HPC-SW-Stack, der von DEEP-SEA entwickelt wurde, Systeme, die auf der modularen Supercomputing-Architektur (MSA) basieren, für HPC-Anwendungsentwickler und Endanwender leicht nutzbar und ist daher von größter Bedeutung für die Zukunft von MSA im Allgemeinen und insbesondere für das kommende JUPITER-Exascale-System am JSC und andere modulare Systeme in aller Welt."

Über die SEA-Projekte:

Die SEA-Projekte DEEP-SEA, RED-SEA und IO-SEA verwirklichen die gemeinsame Vision des Jülich Supercomputing Centre (JSC), der französischen Kommission für alternative Energien und Atomenergie (CEA), Eviden und der ParTec AG für eine dynamische modulare Systemarchitektur (dMSA) für zukünftige Exascale High-Performance Computing (HPC) Systeme. Die vier Kernpartner haben das beste europäische akademische und industrielle Know-how zusammengebracht, um die Technologien für die nächste Generation von Supercomputern zu entwickeln. DEEP-SEA konzentriert sich auf die Programmierumgebung und den Software-Stack für Exascale-Systeme. IO-SEA bietet eine Datenverwaltungs- und Speicherplattform für diese Systeme, und RED-SEA verbessert die europäische Verbindungstechnologie BXI und die dazugehörige Low-Level-Software.

Die SEA-Projekte wurden vom EuroHPC Joint Undertaking (JU) im Rahmen der Finanzhilfevereinbarungen Nr. 955606, 95811 und 955776 finanziert und von Frankreich, der Tschechischen Republik, Deutschland, Spanien, Irland, Schweden, der Schweiz, Italien und Griechenland unterstützt.

Weitere Informationen unter www.sea-projects.eu