Haben Sie sich schon einmal Gedanken darüber gemacht, was Sie in sozialen Netzwerken wie Instagram, TikTok, YouTube, Facebook oder LinkedIn NICHT sehen? Oder überlegt, wer oder was Ihren Feed im Hintergrund von problematischen Inhalten und Spam befreit?
Laut Univ.-Prof. Matthias C. Kettemann vom Institut für Theorie und Zukunft des Rechts werden Online-Plattformen zu 95 Prozent vollautomatisch und mithilfe von KI moderiert, wenngleich die Zahlen aus der EU-Transparenzdatenbank des Gesetzes über digitale Dienste (DSA) einen deutlich niedrigeren Automatisierungsgrad zeigen.
„Der DSA schreibt vor, dass Moderationsentscheidungen auf großen Plattformen einer Kontrolle durch Menschen unterliegen müssen. In der Realität erhalten menschliche Moderator:innen innerhalb von Minuten tausende Einzelfälle vorgelegt, und es findet keine wirkliche Nachprüfung statt“, erklärt der Experte. Eine Moderation gilt jedoch nicht mehr als vollautomatisch, sobald ein Mensch irgendwo im Prozess beteiligt ist.
„Grundsätzlich bringt die Automatisierung viele Mehrwerte, denn größtenteils handelt es sich einfach nur um digitale Müllabfuhr, die Spam, Betrugsversuche oder Gewaltvideos entfernt“, stellt Kettemann klar und ergänzt: „Automatisierte Filter sind schnell, skalierbar und psychologisch unverwundbar.“ Allerdings gibt es Bereiche, in denen die Stärken und Fähigkeiten menschlicher Moderator:innen notwendig sind, um den manchmal schmalen Grat zwischen Moderation und Zensur zu bewältigen, Pornographie von Kunst zu unterscheiden oder ein Austricksen automatischer Filter zu vermeiden.
„Auch wenn es um das Erkennen von Humor oder politischer Satire geht oder Begriffe verwendet werden, die in unterschiedlichen Kontexten ganz unterschiedliche Bedeutung haben, braucht es Menschen, die kontextsensibel und mit kulturellem Wissen eingreifen“, erklärt Kettemann. Werden legitime Inhalte fälschlicherweise blockiert, kann dies Grundrechte wie Informationsfreiheit oder das Recht auf freie Meinungsäußerung verletzen und wichtige demokratische Prozesse behindern. Werden schädliche Inhalte hingegen nicht erkannt, kann dies beispielsweise zur schnellen Verbreitung von Hassreden sowie zur Bedrohung für marginalisierte Gruppen führen oder auch den Kinder- und Jugendschutz gefährden.
In der Automatisierung liegt außerdem ein weiteres Risiko: Die Europäische Kommission hat kürzlich bei TikTok „suchterzeugendes Design“ festgestellt, dazu gehören auch automatisierte, hochgradig personalisierte Empfehlungssysteme und automatische Push-Benachrichtigungen. „Wenn man die Algorithmen nicht ausreichend überwacht“, so Kettemann, „dann besteht die Gefahr, dass sie immer besser werden und das einprogrammierte Ziel – das Engagement zu maximieren – auf Kosten der Gesundheit der Nutzer:innen, gerade junger Menschen, zu erreichen versuchen. Es braucht den Menschen, um die Maschinen zu zügeln.“
Einladung an Plattformen
Um Plattformen und Akteuren einen Leitfaden für gute Moderation an die Hand zu geben, hat ein internationales Team von Wissenschaftler:innen unter der Mitwirkung von Matthias Kettemann einen zehn Punkte umfassenden Verhaltenskodex (siehe Box) entwickelt, der sich als Ergänzung zum DSA versteht.
10 Verhaltensregeln für mehr Vertrauen
Der sogenannte Code of Conduct (Verhaltenskodex) wurde von Wissenschaftler:innen und Expert:innen aus der Praxis im Rahmen eines von der Stiftung Mercator geförderten Projekts am Humboldt-Institut für Internet und Gesellschaft entwickelt. Er umfasst 10 Punkte und soll Onlineakteuren dabei unterstützen, den Umgang mit problematischen oder illegalen Inhalten fair, transparent und nachvollziehbar umzusetzen und die Zusammenarbeit von Mensch und Maschine sinnvoll gestalten.
Weitere Informationen: https://graphite.page/coc-vertrauen-schaffen/#index
Er gibt Empfehlungen für die Zusammenarbeit zwischen Mensch und Maschine und identifiziert sensible Kontexte, die menschliche Entscheidungen erfordern. „Wir verstehen den Kodex als Einladung an die Plattformen, die einzelnen Punkte als Verhaltensstandards aufzunehmen. Wir arbeiten dabei aktiv mit jenen Behörden zusammen, die für die Durchsetzung des DSA zuständig sind“, schildert Kettemann.
So konnten die Autor:innen das Papier kürzlich bei der Kommunikationsbehörde Austria (KommAustria) vor wichtigen Verantwortlichen aus dem In- und Ausland präsentieren; Gespräche mit Stakeholdern in Brüssel sind bereits angesetzt.
In Hinblick auf die Umsetzung der ausformulierten Regeln zeigen sich Matthias C. Kettemann und seine Kolleg:innen optimistisch: Das EU-Gesetz über digitale Dienste enthält nämlich auch eine Empfehlung an Plattformen und Akteure, gemeinsame Verhaltensregeln zu entwickeln und umzusetzen. Der Gesetzgeber setzt dabei nicht auf konkrete rechtliche Vorgaben, sondern auf Selbstverpflichtung. „Im Bereich Desinformation gibt es bereits solche Verhaltensstandards, die sehr erfolgreich wirken. Wir sind zuversichtlich, dass es in Hinblick auf Online-Moderation auch funktioniert.“
„Wir sind für demütige Systeme.“
Universitätsprofessor Matthias C. Kettemann
Im Verhaltenskodex wird unter anderem empfohlen, dass automatisierte Prozesse jederzeit gestoppt werden können. Dafür soll es Mechanismen geben, die wie eine Art Stopp-Button funktionieren und menschliches Eingreifen unmittelbar ermöglichen.
Ein System sollte außerdem selbst in der Lage sein, proaktiv und rechtzeitig auf mögliche Notfälle und komplexe Situationen hinzuweisen. „Wir sind für demütige Systeme“, stellt Kettemann klar und ergänzt: „Die Software muss so programmiert sein, dass sie bei Unsicherheiten keine Default-Entscheidung trifft, sondern die Entscheidung an den Menschen übergibt.“ Auch der technische Reifegrad eines Systems – so eine weitere Richtlinie – ist zu evaluieren, bevor es eingesetzt wird.
Schutz für Content-Moderator:innen
Im Verhaltenskodex wird auch der Umgang mit den menschlichen Moderator:innen zum Thema gemacht, deren Arbeit nicht nur verantwortungsvoll, sondern auch hochbelastend ist. Insbesondere englischsprachiger Content wird hauptsächlich von unterbezahlten, oft minderjährigen Arbeitskräften in Entwicklungs- oder Schwellenländern moderiert.
Aber auch deutschsprachige Inhalte werden zunehmend automatisch übersetzt, um die Moderation auszulagern und deutsche Rechtsstandards zu umgehen. „Content-Moderator:innen haben große Verantwortung für unsere Online-Kommunikation. Die Respektlosigkeit, mit der mit diesen Menschen umgegangen wird, sehen wir mit großer Sorge“, gibt Matthias C. Kettemann zu bedenken.
Aus diesem Grund fordern die Autor:innen des Verhaltenskodex nicht nur entsprechende Arbeitsbedingungen, sondern auch eine einschlägige Aus- und Weiterbildung sowie psychologische Betreuung. „Die Zusammenarbeit von Mensch und Maschine ist unserer Meinung nach eine der am meisten unterschätzten Zukunftsfragen“, macht Matthias C. Kettemann in Hinblick auf die Bedeutung des Verhaltenskodex deutlich.
Dieser Beitrag erschien in der Februar-Ausgabe von wissenswert, einer Beilage der Universität Innsbruck zur Tiroler Tageszeitung. Sie finden ihn hier zum Download.