Die Open Edge and HPC Initiative (OEHI) und die Gesellschaft für wissenschaftliche Datenverarbeitung mbH Göttingen (GWDG) haben ein gemeinsames Proof of Concept (PoC)-Projekt gestartet, um die Datenverwaltung in Compute Continuum-Infrastrukturen zu untersuchen, die HPC-Knoten, Cloud- und Edge-Umgebungen nahtlos integrieren. Traditionell greifen HPC-Knoten über ein POSIX-Dateisystem auf Daten zu, während Cloud- und Edge-Knoten über eine Objektspeicherschnittstelle interagieren. Ziel dieser Initiative ist die Entwicklung und das Benchmarking eines einheitlichen Software-Stacks, der es HPC-Knoten ermöglicht, über ein POSIX-Dateisystem auf Daten zuzugreifen, während Cloud- und Edge-Knoten über eine Objektspeicherschnittstelle interagieren. Die Hauptziele sind die Verbesserung der Datenverwaltung für komplexe Arbeitsabläufe wie KI-Anwendungen, die in verschiedenen Rechenumgebungen eingesetzt werden, die Förderung einer wachsenden Gemeinschaft von Expert*innen für das Datenmanagement im Compute Continuum und die Gewinnung tieferer Einblicke in die I/O-Muster von KI-Arbeitslasten auf HPC-Systemen.

Der Schwerpunkt des Projekts liegt auf der Entwicklung, Implementierung und dem Benchmarking von Arbeitsabläufen, die das Potenzial dieser vereinheitlichten Architektur aufzeigen. Zu den wichtigsten Zielen gehören die Dokumentation der Anforderungen an das Datenmanagement, die Ermittlung von Systemlücken und die Optimierung der Leistung für KI-Aufgaben. Zu den Ergebnissen gehören technische Whitepaper, wissenschaftliche Veröffentlichungen und Präsentationen auf wichtigen Konferenzen. Ein weiterer Schwerpunkt der Zusammenarbeit ist die Einbindung der Community durch Webinare, Workshops und Veranstaltungen zum Wissensaustausch, um ein offenes Ökosystem von Forschenden und Unternehmen zu schaffen, die sich auf Datenmanagement spezialisiert haben.