Немецкое ведомство запускает проект по изучению влияния ИИ-модерации на социальные сети

Wenn KI soziale Medien moderiert Um Ressourcen zu sparen, setzen soziale Netzwerke bei der Moderation von Inhalten zunehmend auf KI-gestützte Systeme. Diese so genannten sozialen KI-Agenten können eigenständig Inhalte bewerten, Entscheidungen über Sichtbarkeit von Beiträgen treffen und mit Nutzenden interagieren. „Öffentliche Debatten werden damit zunehmend durch Systeme strukturiert, die selbst nicht rechenschaftspflichtig sind“, so Dana Mahr, die das Projekt AGORA-KI am ITAS leitet. Das seit Juni 2026 vom Bundesministerium für Forschung, Technologie und Raumfahrt geförderte Verbundvorhaben untersucht diese Entwicklung. Forschende des ITAS arbeiten dabei zusammen mit Partnern aus Sozialforschung, Rechts- und Politikberatung sowie Technologieentwicklung. Ziel ist es, die Folgen automatisierter Moderation empirisch zu erfassen und überprüfbare Regeln für den verantwortungsvollen Einsatz solcher Systeme zu entwickeln. Einbindung marginalisierter Gruppen Das ITAS-Team führt dazu Interviews mit menschlichen Moderatorinnen, Entwicklern, Behördenvertreterinnen sowie Menschen, die von Hassrede oder fälschlicher Inhaltsentfernung betroffen sind. „Wir wollen erfahren, wie automatisierte Moderationsentscheidungen zustande kommen, wie sie wahrgenommen werden und wem die Beteiligten die Verantwortung dafür zuschreiben“, erklärt Dana Mahr. Gezielt einbezogen werden dazu auch Menschen aus marginalisierten Communities wie LGBTQIA+, BIPoC und neurodiverse Personen. Sie sind besonders häufig von fehlerhaften Moderationsentscheidungen betroffen und können so wertvolle Erfahrungen mit Hate Speech, Overblocking (dem fälschlichen Filtern von Inhalten) oder fehlenden Widerspruchsmöglichkeiten einbringen. Prüfinstrument für Moderationssysteme Darauf aufbauend sollen bei AGORA-KI Betroffene, Fachleute und Aufsichtsbehörden gemeinsam Anforderungen an künftige, mit demokratischen Standards vereinbare Moderationssysteme entwickeln. In Zukunftsworkshops wiederum beleuchten die Forschenden die Frage, ob diese Anforderungen auch dann noch greifen, wenn sich die Technologie weiterentwickelt. Alle Ergebnisse fließen in ein strukturiertes Prüfinstrument. Dieses soll erstmals zusammenführen, was verschiedene Akteure von automatisierter Moderation erwarten und woran sich messen lässt, ob ein System diesen Erwartungen gerecht wird. (16.07.2026) Weiterführende Links oder Dokumente: - Projektseite AGORA-KI - Artikel The algorithm that hates for our own good von Dana Mahr