Der GWDG-LLM-Service – Generative KI für die Wissenschaft

Die GWDG bietet ab dem 22.02.2024 einen eigenen ChatGPT-Dienst an, der auf einer hauseigenen Hardware läuft. Auf der Webseite können alle Nutzer*innen mit einem AcademicCloud-Account mit einer generativen KI chatten und sich bei ihrer Arbeit unterstützen lassen. Der Service basiert zurzeit auf Intel’s NeuralChat 7b v3.1 und wird über die HPC-Infrastruktur der GWDG ausgeführt. Durch ein selbstentwickeltes System ist der Webdienst in der Lage, sich dynamisch an verschiedene Anfragevolumen anzupassen und zu skalieren, um möglichst vielen Nutzer*innen gleichzeitig eine schnelle Antwort des Chatbots zu garantieren.

Besonderer Wert wurde bei der Konzipierung auf den Datenschutz gelegt. Um die Anfragen von Nutzer*innen zu schützen, werden die Eingaben und Antworten nur lokal beim Nutzenden innerhalb einer Sitzung gespeichert. Beim Schließen der Webseite werden alle Eingaben und Antworten gelöscht. Einzig und allein die Anzahl der Anfragen pro Nutzer*in wird erfasst, um den Bedarf dieses neuen Dienstes ermitteln zu können. Der Service wird aktiv entwickelt, sodass in Zukunft weitere, vor allem komplexere Modelle angeboten werden und Integrationen mit anderen Plattformen ermöglicht werden. Bei Fragen oder Rückmeldungen können Sie sich gerne an support@gwdg.de wenden.

Kategorien

Archive

--