OVHcloud startet Olala mini 7A1B, sein erstes Open-Source-LLM mit 1 Milliarde aktiven Parametern

OVHcloud hat am Dienstag (17.) Olala mini 7A1B angekündigt, das erste Modell seiner neuen LLM-Familie Olala. Das kompakte Modell wurde vom französischen Unternehmen von Grund auf trainiert und wird als Open Source auf Hugging Face unter der Apache-2.0-Lizenz veröffentlicht. Der offizielle Start findet am 19. November auf dem OVHcloud AI Summit statt.

Olala mini basiert auf einer Architektur mit 7 Milliarden Parametern, nutzt aber nur 1 Milliarde aktive Parameter pro Anfrage: Die aktiven Parameter verteilen sich auf 256 Experten pro Schicht, im sogenannten Mixture-of-Experts-Design. Die hybride Aufmerksamkeit kombiniert Differential-TPA und Mamba-3 im BF16-Format — und da pro Anfrage nur ein Bruchteil des Modells genutzt wird, ist es schneller und speicherschonender.

In der Praxis läuft das Modell auf einer GPU mit nur 8 GB Speicher und erreicht 160 Token pro Sekunde auf einer RTX A4500 — und sogar ohne GPU, auf einem Standardprozessor, 50 Token pro Sekunde. Das aktuelle Kontextfenster beträgt 32.000 Token.

Trainiert auf europäischen öffentlichen Supercomputern

Olala mini wurde auf drei europäischen öffentlichen Supercomputern trainiert — Jupiter, MeluXina und Jean Zay — ausgestattet mit GH200-, A100- und H100-GPUs. Laut OVHcloud entspricht die öffentliche Förderung 7 Millionen Euro an Rechenstunden und war entscheidend für das Projekt, aus dem auch das KI-Labor des Unternehmens, OVHai LLM, hervorging.

Das Release-Paket enthält die Modellgewichte, das vortrainierte Basismodell, den technischen Bericht und die Konformitätsdokumentation zum AI Act, der EU-Gesetzgebung zur künstlichen Intelligenz.

Das Modell hat bereits einen ersten Nutzer im Produktivbetrieb: Die französische Suchmaschine Qwant setzt Olala mini für ihre Schnellantwort-Funktion ein — mit 20 % schnelleren Antworten und auf ein Drittel gesunkenen Kosten im Vergleich zum bisher verwendeten Modell, so OVHcloud.

Wie es weitergeht

Bis Ende des Jahres soll Version 1.1 das Kontextfenster auf 128.000 Token erweitern und die Leistung beim mathematischen Schlussfolgern verbessern. Version 2.0 mit mehr als 100 Milliarden Parametern wird Modelle für drei Bereiche bringen: agentische KI für Unternehmen, Cloud-DevOps und Cybersicherheit.

Für OVHcloud-CEO Octave Klaba ist die Entscheidung, eigene Modelle zu trainieren, strategisch: Das Unternehmen will nicht allein von der Großzügigkeit anderer Labore abhängen, die LLMs als Open Source teilen. Seiner Aussage nach sind die Trainingskosten in drei Jahren um das Zwanzigfache gesunken, und es ist heute möglich, LLMs profitabel zu entwickeln.

OVHcloud ist Europas führender Cloud-Anbieter mit 46 Rechenzentren und 1,7 Millionen Kunden in mehr als 140 Ländern. Die Wette auf ein eigenes, offenes Modell, das auf europäischer öffentlicher Infrastruktur trainiert wurde, unterstreicht die Botschaft technologischer Souveränität des Unternehmens — dasselbe Thema wie die heute angekündigte souveräne KI-Partnerschaft zwischen HCLTech und Cohere, über die wir ebenfalls auf Geekiki berichtet haben.

Bildnachweis: OVHcloud-Hauptsitz in Roubaix, Frankreich; Foto von Velvet, Lizenz CC BY-SA 4.0, via Wikimedia Commons.

Quellen

Dieser Artikel wurde mit Unterstützung künstlicher Intelligenz erstellt, auf Grundlage öffentlicher Veröffentlichungen und Internetquellen. Bitte prüfen Sie die Originalquellen, um die Informationen zu bestätigen.

Por Muse