Möve: So findet die Bundesdruckerei das passende KI-Modell für Behörden

Welches KI-Modell soll eine Behörde eigentlich einsetzen? Die üblichen Ranglisten helfen da kaum, die messen englisches Textverständnis oder Mathe-Skills. Die Bundesdruckerei hat deshalb mit dem Projekt Möve einen eigenen Vergleich aufgebaut, der genau auf deutsche Verwaltungsanforderungen zugeschnitten ist.

Was Möve macht

Möve steht für „Modelle für die öffentliche Verwaltung evaluieren“. Seit 2025 läuft das Projekt bereits, jetzt wurde es öffentlich vorgestellt. Getestet werden über 50 Sprachmodelle, darunter GPT, Gemma, Llama, Claude, DeepSeek und Mistral. Grundlage sind neun eigens entwickelte deutschsprachige Testdatensätze aus echten juristischen Texten, Verwaltungsdokumenten und Ministeriumspublikationen.

Bewertet wird nach sieben Kriterien:

• Zusammenfassen langer Dokumente
• korrektes Beantworten von Fragen
• Analyse über mehrere Dokumente hinweg
• Neigung zu Halluzinationen (also erfundenen, aber plausibel klingenden Antworten)
• Ressourcenverbrauch
• Einhaltung der Transparenzpflichten aus der KI-Verordnung
• Vereinbarkeit mit EU-Grundwerten

Aktuell liegen Gemma und GPT-4o im Gesamtvergleich vorn, mit Mistral Small 3.1 schafft es gerade noch ein europäisches Modell in die Top Ten. Alle Ergebnisse lassen sich auf der Möve-Webseite der Bundesdruckerei einsehen und nach Kriterium filtern.

Sicherheit als eigenes Feld

Besonders spannend wird der Bereich IT-Sicherheit, an dem die Bundesdruckerei zusammen mit dem BSI und dem Fraunhofer AISEC arbeitet. Der Hintergrund: Leistungsstarke Modelle helfen zwar bei der Cyberabwehr, lassen sich aber genauso für automatisierte Angriffe missbrauchen. Eine frühzeitige Risikoanalyse soll hier verhindern, dass Behörden ein Modell einsetzen, das sich später als Sicherheitsrisiko entpuppt.

Die komplette Methodik ist als Open-Source-Repository frei einsehbar und in einem Forschungspapier dokumentiert. Wichtig dabei: Die Bundesdruckerei selbst weist darauf hin, dass die Bewertungen keine rechtsverbindliche Prüfung auf Gesetzeskonformität ersetzen.

Kriterium	Wozu es dient
Faktentreue	Erkennt Halluzinationen bei Verwaltungstexten
EU-Grundwerte	Prüft Vereinbarkeit mit demokratischen Werten
Transparenz	Bewertet Einhaltung der KI-Verordnung
IT-Sicherheit	Analysiert Risiko für Missbrauch und Angriffe
Ressourcenverbrauch	Misst Effizienz und Nachhaltigkeit

Meine Einschätzung

Ich finde es überfällig, dass es so einen Vergleich überhaupt erst jetzt gibt. Wer in einer Behörde arbeitet und ein Sprachmodell einführen will, stand bisher vor einem Berg aus Marketing-Versprechen und englischsprachigen Benchmarks, die für den deutschen Verwaltungsalltag praktisch nichts aussagen. Dass jemand testet, wie ein Modell mit echten Amtsdeutsch-Texten und Gesetzestexten umgeht, statt nur mit Mathe-Aufgaben, ist genau der richtige Ansatz.

Was mir gefällt: Die Methodik ist offen einsehbar, nicht nur ein hübsches Ranking-Dashboard. Das schafft Vertrauen und lässt sich nachprüfen. Auch dass Sicherheit als eigenes Kriterium mitläuft, statt als nachträglicher Gedanke, ist klug – gerade weil dieselben Modelle, die beim Formulieren von Bescheiden helfen, theoretisch auch für Phishing-Texte taugen.

Der Haken bleibt der Disclaimer der Bundesdruckerei selbst: Das Ranking ersetzt keine rechtliche Prüfung. Für kleinere Kommunen oder Ämter ohne eigene IT-Abteilung bringt so ein Vergleich trotzdem enorm viel, weil er wenigstens eine erste, fundierte Orientierung gibt, statt komplett im Blindflug zu entscheiden.

Quelle der Meldung: heise online