Effektiv und Diskriminierungsfrei? KI-gestützte Anwendungen in Antragstellung und Beratung staatlicher Leistungen

Im Fachforum wurden Forschung und Praxis zum KI-Einsatz in Antragstellung und Beratung zusammengeführt. Dr. Carsten Orwat betonte: Diskriminierung entstehe nicht nur aus „schlechten Daten“, sondern entlang einer ganzen Kette – Repräsentationslücken, ungeeignete Messgrößen, fehlerhafte Evaluation, riskante Anwendung. Mit verbreiteten, ähnlichen Modellen drohen systemische Risiken: Schon kleine Fehlerraten können viele treffen; nötig sind klare Metriken, Risikomanagement und Grenzen für Restrisiken.

Emma Hughes zeigte, dass Automatisierung im Wohlfahrtsstaat zwischen Entlastung und Vertrauensfragen pendelt: Die Toeslagenaffäre mahnt Transparenz; die Fallstudie „Mutterschaftsgeldstelle“ steht für Human-in-the-Loop – die Software sortiert, der Mensch entscheidet. Erforderlich sind Kompetenzen, laufendes Monitoring und ein Rechtefokus.

In der Praxis demonstriert Dr. Larbi Abdenbaoui (OFFIS/BUKI), wie wertebasierte, partizipative Entwicklung Sprach- und Prozessbarrieren beim Ausfüllen komplexer Anträge senken kann. Das von Fabian Pareigis geleitet Projekt „Digitaler Erstkontakt“ (pro familia) setzt bewusst auf regelbasierte Bots, redaktionell kuratierte Antworten und Mehrsprachigkeit, um diskriminierungsarme Zuweisung statt Beratung durch KI zu sichern.

Wenn Regeln, Zuständigkeiten und regelmäßige Prüfungen stehen, kann KI den Zugang zu Leistungen erleichtern. Ohne diese Kontrollmechanismen kann sie neue Benachteiligungen erzeugen.