Durchbruch für Generative KI-Forschung in Deutschland und Europa

Fraunhofer IAIS gewinnt zusammen mit AI Sweden Rechenkapazitäten in großem Umfang für das Training großer KI-Sprachmodelle

Das Fraunhofer-Institut für Intelligente Analyse- und Informationssysteme IAIS und die NLU-Gruppe von AI Sweden haben gemeinsam Rechenzeit am neuen Hochleistungsrechner MareNostrum 5 im Barcelona Supercomputing Center erhalten. Es handelt sich um eines der größten Kontingente, die seitens des Gemeinsamen Unternehmens für europäisches Hochleistungsrechnen (GU EuroHPC) für die Entwicklung europäischer großer KI-Sprachmodelle (LLMs) auf der EuroHPC-Infrastruktur gewährt wurden. Ab Ende Mai 2024 starten die Partner damit, die ersten multilingualen Modelle zu rechnen. Laufzeit des Projekts »EuroLingua-GPT« ist ein Jahr. Damit rücken nun auch große europäische multilinguale Open-Source-Modelle in greifbare Nähe.

Das über einen EuroHPC »Extreme Scale Access« bewilligte Kontingent umfasst 8,8 Millionen GPU-Stunden auf H100-Chips und steht seit Mai bereit. »Die gewonnenen Rechenkapazitäten sind ein Meilenstein für Deutschland und Europa. Die damit trainierten Modelle werden den Einsatz generativer KI in Unternehmen massiv beschleunigen und sowohl Wirtschaft als auch Wissenschaft einen Boost geben – GenAI ‚made in Europe‘ wird damit konkret«, so Dr. Joachim Köhler, Abteilungsleiter NetMedia am Fraunhofer IAIS. Mit den neuen Rechenkapazitäten können kleine Modelle im Bereich von 7 bis 34 Milliarden Parametern, und große Modelle mit bis zu 180 Milliarden Parametern von Grund auf trainiert werden.

Eine Modellfamilie, alle europäischen Sprachen – Fraunhofer IAIS und AI Sweden bündeln ihre Expertise

Die neuen EuroLingua-Modelle bauen auf einem Trainingsdatensatz auf, der aus 45 europäischen Sprachen, Dialekten und Code besteht, einschließlich der 24 euro­päischen Amtssprachen. Damit liegt eine signifikante Gewichtung auf europäischen Sprachen und Werten – bisher sind multilinguale KI-Sprachmodelle noch selten. Das Training startet Ende Mai 2024. Die Veröffentlichung erster gemeinsamer Modelle soll im Laufe der kommenden Monate erfolgen.

Projektleiter Dr. Nicolas Flores-Herr, Teamleiter Conversational AI am Fraunhofer IAIS, sagt: »Das Ziel unserer Zusammenarbeit mit AI Sweden ist es, eine Familie von großen KI-Sprachmodellen von Grund auf zu trainieren, die Open Source veröffentlicht werden sollen.« Magnus Sahlgren, Head of Research NLU bei AI Sweden, ergänzt: »Sowohl der öffentliche als auch der private Sektor in der EU verlangen nach offenen, leistungsfähigen Sprachmodellen, die für europäische Sprachen trainiert sind. EuroLingua ist eine Möglichkeit, diesen Bedarf zu adressieren.«

Die Modelle, die auf der EuroHPC-Infrastruktur entwickelt werden, sollen zum einen als generalistische Basismodelle Forschung und Wissenschaft fördern, zum anderen – etwa in gemeinsamen Transfer-Projekten – auch auf bestimmte Branchen oder Themengebiete spezialisiert für den produktiven Einsatz in Unternehmen oder öffentlichen Verwaltungen trainiert werden.

Dafür bündeln beide Organisationen ihre Expertise: Das Fraunhofer IAIS und die NLU-Gruppe von AI Sweden sind zwei der führenden LLM-Labore in Europa mit ausgewiesener Expertise und jahrelanger Erfahrung in der Entwicklung von LLMs. So leitet Fraunhofer das vom Bundesministerium für Wirtschaft und Klimaschutz (BMWK) geförderte Konsortialprojekt OpenGPT-X, in der ebenfalls große europäische, multilinguale Open-Source-Modelle entwickelt werden. Die NLU-Gruppe von AI Sweden hat das LLM GPT-SW3 für die skandinavischen Sprachen entwickelt. Die beiden Teams arbeiten auch gemeinsam an weiteren Open-Source-Community-Projekten. Zudem ist EuroLingua-GPT eines von drei großen laufenden EU-Projekten zu Sprachmodellen, an denen Fraunhofer IAIS und AI Sweden beteiligt sind. Die beiden anderen sind TrustLLM und Deploy AI.

Bild: © Foto: By courtesy of Barcelona Supercomputing Center – www.bsc.es
8,8 Millionen Stunden Rechenkapazität für Fraunhofer IAIS und AI Sweden am neuen Hochleistungsrechner MareNostrum 5 im Barcelona Supercomputing Center: Es handelt sich um eines der größten Kontingente, die für die Entwicklung europäischer großer KI-Sprachmodelle (LLMs) auf der EuroHPC-Infrastruktur gewährt wurden.

Quelle Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V.

Erhalte regelmäßig die wichtigsten News zur Künstlichen Intelligenz bequem in dein Postfach!

Wir senden keinen Spam! Erfahre mehr in unserer Datenschutzerklärung.

More from this stream

Recomended

Kaum ein Startup kommt noch ohne Künstliche Intelligenz aus

Startups setzen auf Künstliche Intelligenz. Inzwischen nutzen drei Viertel (76 Prozent) KI, vor einem Jahr waren es nur 49 Prozent

100 Mio. USD für Cognigy: Düsseldorfer KI-Champion schließt Series-C-Runde erfolgreich ab

Cognigy, ein weltweit führender Anbieter von KI-gestützter Kundenservice-Automatisierung („KI-Agenten“), hat eine Series-C-Finanzierungsrunde in Höhe von 100 Millionen US-Dollar erfolgreich abgeschlossen.

OpenAI entscheidet sich für Oracle Cloud Infrastructure zur Erweiterung der Microsoft Azure AI-Plattform

Die führende KI-Infrastruktur von OCI treibt KI-Innovation voran. OpenAI wird sich Tausenden von KI-Innovatoren aus allen Branchen weltweit anschließen, die ihre KI-Workloads auf der OCI KI-Infrastruktur ausführen.

Europas erstes AR-Startup lanciert KI-Assistent für die Industrie

Künstliche Intelligenz (KI) ist in aller Munde, doch selten wird verdeutlicht, wie tiefgreifend sie die Arbeit in Industrien wie Logistik und Fabrikation verändern kann.

coeo Group revolutioniert das Forderungsmanagement und eröffnet AI-Lab in Berlin

Die coeo Group GmbH, das führende digitale und AI-basierte Inkassounternehmen in Europa, freut sich, die Eröffnung ihres neuen AI-Labs in Berlin bekannt zu geben.

Wie künstliche Intelligenz die Industrie verändert

Künstliche Intelligenz ist nach wie vor das größte Thema der Tech-Branche – und der Trend wird sich fortsetzen: Kaum eine andere technologische Errungenschaft verändert sich aktuell schneller. Der globale Technologieanbieter Zoho hat sich die wichtigsten Entwicklungen in Sachen KI angesehen und gibt einen Ausblick auf das Restjahr.