Menschen verstehen sich gerne als rationale Wesen. Doch tatsächlich sind unsere Entscheidungen von weit mehr als objektiven Erwägungen geleitet. Verhaltenswissenschaftliche Untersuchungen haben immer wieder gezeigt: Der aktuelle Gemütszustand, persönliche Erfahrungen, Vorurteile, ja sogar das Wetter beeinflussen unser Handeln – meistens ohne dass uns das überhaupt bemerken. Zugleich ist es eine der größten menschlichen Stärken, sich der eigenen Schwächen bewusst zu werden und technische Hilfsmittel zu entwickeln, um diese auszugleichen. Der Rechenschieber ist dafür ein Musterbeispiel, die Dampfmaschine ein anderes. Algorithmische Systeme können uns helfen, konsistentere, effizientere und fairere Entscheidungen zu treffen und uns dadurch im Idealfall zu einer besseren Gesellschaft verhelfen. Doch um diese Chancen zu nutzen, müssen wir auch die Grenzen der Technologie erkennen. Sie ist kein Allheilmittel und wird nie fehlerfrei sein. Diskriminierende Muster können sich über die einer Software zugrundliegenden Ziele, ihre Datenbasis, die Programmierung oder ihre konkrete Anwendung in einem sozialen Kontext einschleichen. In all diesen Fällen drohen algorithmische Systeme, soziale Ungleichheit zu reproduzieren und gar zu verstärken.
In der Auseinandersetzung mit ethischen Fragen algorithmischer Systeme werden Chancen, Risiken und Lösungsansätze häufig abstrakt diskutiert. Der fehlende Praxisbezug stellt ein Hindernis für die Umsetzung von Lösungen dar. Um Abstraktes zu konkretisieren und den Einsatz von Algorithmen im Sinne des Gemeinwohls gestalten zu können, müssen wir den Blick in die verschiedenen gesellschaftlichen Sektoren werfen und möglichst viele Perspektiven in die Debatte einbinden. Im Kooperationsprojekt „Algorithmen fürs Gemeinwohl“ von Stiftung Neue Verantwortung und Bertelsmann Stiftung haben wir daher in den letzten zwei Jahren in fünf Workshops, mit insgesamt über 60 Beteiligten die Anwendungsbereiche Predictive Policing, Robo Recruiting und Gesundheitsapps sowie das Querschnittsthema Nachvollziehbarkeit für Betroffene behandelt.
Das Ergebnis: Ein großes Netzwerk diverser Akteure, fünf übergreifende Erkenntnisse für die weitere Diskussion über ethische Fragen algorithmischer Systeme und fünf konkrete Empfehlungen für deren Einsatz. Wir bedanken uns an dieser Stelle noch einmal ausdrücklich und herzlich bei allen Workshop-Teilnehmer:innen für ihre Zeit, ihre Expertise und nicht zuletzt für ihre Bereitschaft, sich an diesem interdisziplinär-lösungsorientierten Dialog zu beteiligen!
Fünf übergreifende Erkenntnisse aus dem Prozess:
1) Die vergleichende Analyse verschiedener Anwendungsbereiche schärft das Verständnis des technologischen Wandels
Die Etablierung algorithmischer Entscheidungsprozesse schafft sozio-technische Strukturen. Ihre Auswirkungen lassen sich nur durch die gesamthafte Betrachtung des kulturellen, organisationalen und sozialen Kontextes verstehen, in dem algorithmische Systeme angewendet werden. Im Projekt „Algorithmen fürs Gemeinwohl“ bewegten wir uns daher vom Konkreten zum Allgemeinen: Durch den Blick auf spezifische Anwendungsbeispiele identifizierten wir wichtige Handlungsfelder der Algorithmengestaltung, verglichen diese miteinander und konkretisierten so übergreifende Erkenntnisse und Handlungsbedarfe. Nur durch solche vergleichenden Analysen lässt sich ein umfassendes Verständnis für den Zusammenhang von technologischen Entwicklungen und gesellschaftlichem Wandel aufbauen.
2) Die Realisierung algorithmischer Chancen für das Gemeinwohl beginnt bei der Analyse analoger Probleme
Innovationen im Bereich algorithmischer Systeme werden häufig durch wirtschaftliche Interessen getrieben. Es braucht dringend Räume, in denen auch die Chancen der Technologie für das Gemeinwohl herausgearbeitet und Zukunftsvisionen entwickelt werden können. Um dabei den Blick auf das gesellschaftlich Sinnvolle statt das technisch Mögliche zu fokussieren, ist es essenziell, zuerst die analogen Herausforderungen in den möglichen Anwendungsbereichen zu verstehen und die unterschiedlichen Stärken menschlicher und algorithmischer Entscheidungsprozesse herauszuarbeiten. So bieten sich beispielsweise nicht alle Abläufe gleichermaßen für eine algorithmische Automatisierung an. Besonders jene Prozesse, die eine hohe Variabilität und Abweichungen von Routinen aufweisen, erfordern nach wie vor starke menschliche Entscheider:innen.
3) Die interdisziplinäre Zusammenarbeit und der Austausch zwischen Wissenschaft, Zivilgesellschaft, Wirtschaft und Politik muss fortgeführt werden
Das Projekt „Algorithmen fürs Gemeinwohl“ hat den Grundstein für den Aufbau einer interdisziplinären Community und den Austausch zwischen Wissenschaft, Zivilgesellschaft, Wirtschaft und Politik gelegt. Eine Auseinandersetzung mit Perspektiven außerhalb der eigenen „Blase“ ist oft aufwändig, aber häufig förderlich, insbesondere wenn dieser Austausch verstetigt wird. Die Wissenschaft bekommt so die Möglichkeit, ihre Theorien in der Praxis zu testen und diverse Perspektiven in ihre Arbeit einzubeziehen. Auch Vertreter:innen aus der Zivilgesellschaft, Politik und Wirtschaft profitieren, weil sie die Sichtweisen und spezifischen Herausforderungen anderer Akteursgruppen besser nachvollziehen und Zugang zu neuesten wissenschaftlichen Erkenntnissen erhalten können. Im nächsten Schritt müssen daher Foren für den regelmäßigen, verstetigten Austausch geschaffen werden. Dabei sollten auch technische Laien, die thematisch betroffen sind, einbezogen werden. Dadurch wird aus dem interdisziplinären Kontext ein transdisziplinärer. Wissenschaft und technische Fachebene haben so die Möglichkeit, gewissermaßen über sich hinauszuwachsen und eine unmittelbare realweltliche Wirkung zum Wohl der Gesellschaft zu erzielen.
4) Automatisierung zwingt zum Hinterfragen bestehender Strukturen
Die bloße Absicht zur Automatisierung führt zu Prozess-, Struktur- und Systemkritik. Überlegungen zur Anwendung algorithmischer Systeme sind –unabhängig von der tatsächlichen Implementierung – häufig Ausgangspunkt einer grundlegenden Reflektion und Revision bestehender Strukturen, Prozesse und Organisationsprinzipien. Da Strukturen, Prozesse und Organisationen niemals perfekt sind, ist das ein Wert an sich. Tradierte Handlungsvorschriften, zugrundeliegende Informationsquellen und bestehende Routinen werden hinterfragt: Sind die etablierten Abläufe effektiv? Dienen sie dem richtigen Ziel? Was ist das Ziel? Welche Prozesse können und sollen überhaupt automatisiert werden? Welche Personen sind bislang an Entscheidungsabläufen beteiligt und welche sollten im Zuge zunehmender Automation künftig beteiligt werden? Eine ehrliche Auseinandersetzung mit diesen Fragen kann auch unabhängig von tatsächlichem Technikeinsatz zu Verbesserungen führen. Alle im intersektoralen Diskurs näher betrachteten Anwendungsbeispiele haben diesen “Kollateralnutzen“ bestätigt.
5) Die entscheidenden Fragen sind nicht-technischer Natur.
Ob ein algorithmisches System Chancengerechtigkeit fördert oder soziale Ungleichheit verstärkt, hängt zuallererst von seinen zugrundeliegenden Zielen ab. Wenn es um gesellschaftliche Teilhabe-Effekte geht, sind technische Fragen wichtig, aber nicht entscheidend. Auch gute Technik kann schlechte gesellschaftliche Verhältnissere produzieren. Der Fokus auf technische Lösungen kann sogar dazu führen, dass die darunterliegenden Wertentscheidungen verschleiert und Verantwortung auf die Technologie abgeschoben wird. Der Computer ist aber niemals schuld, sondern immer nur Menschen und deren Entscheidungen.
Fünf sektorübergreifende Empfehlungen für Organisationen, die algorithmische Systeme entwickeln und einsetzen:
1) Interdisziplinarität und Diversität in der Entwicklung von Algorithmen fördern
Der systematische Einbezug von Sozial- und Geisteswissenschaftlern in einer frühen Entwicklungs- und Projektphase trägt zur Verbesserung algorithmischer Systeme bei. Das ist so lapidar festgestellt, wie in der Praxis schwierig umzusetzen, da für IT-Projekte nach wie vor meistens nur Fachexperten und Techniker vorgesehen sind. Dies muss sich ändern, damit die Wirkung eines Systems auf die Gesellschaft schon im Entwicklungsprozess analysiert und die Technik entsprechend angepasst werden kann. Stellenpläne und die Planungen von Projektressourcen müssen erweitert, sozial-ethische Ansätze in die Ausbildung von Informatiker:innen und Data Scientists integriert werden. Darüber hinaus sollten andere Dimensionen von Diversität in der Entwickler:innen-Community gefördert werden. Personen, die algorithmische Systeme entwickeln, sollten so divers aufgestellt sein wie die Gesellschaft, die vom Einsatz der Technologie betroffen ist.
2) Kooperative Evaluierung und Aufsicht frühzeitig ermöglichen
Frühzeitige Folgenabschätzung und regelmäßige Evaluierung sind notwendige Mittel, um eine positive Wirkung algorithmischer Systeme sicherzustellen. Die Workshops zeigten, dass in der Regel ein Konsens darüber besteht, dass irgendeine Art regelmäßiger, unabhängiger Begutachtung algorithmischer Systeme und ihrer Datengrundlagen notwendig ist. Bei Systemen, die in sensiblen Bereichen eingesetzt werden, sollte die Beweislast umgekehrt werden und eine Nutzung erst ermöglicht werden, wenn ihre Unbedenklichkeit belegt wurde. Im Projekt hat sich in allen Anwendungsbereichen ein dringender Bedarf an Instanzen zur Qualitätssicherung, Auditierung, Aufsicht und Kontrolle der Entwicklung und des Einsatzes algorithmischer Systeme gezeigt. Einsetzende und entwickelnde Organisationen sollten zur Evaluation ihrer Systeme mit Kontrollinstitutionen und wissenschaftlichen Organisationen kooperieren.
3) Kompetenzaufbau bei anwendenden Organisationen fördern
Nicht jeder Fachexperte muss Data Scientist werden, damit gesellschaftsverträgliche algorithmische Systeme in die Welt kommen. Doch insbesondere bei Assistenzsystemen, mit deren Hilfe Menschen Entscheidungen treffen, ist ein gewisser technischer Kompetenzaufbau auch auf den Fachebenen unerlässlich, um eine richtige Anwendung sicherzustellen. Durch das Outsourcing von technologischer Entwicklung besteht eine gewisse Gefahr, dass das notwenige Verständnis für die Funktionsweise der algorithmischen Systeme innerhalb der einsetzenden Organisation nicht aufgebaut wird. Wo immer möglich, sollte daher bereits die Entwicklung algorithmischer Systeme durch diejenigen Organisationen und Akteure, die sie später einsetzen, eng begleitet werden. Das fördert den Wissenstransfer in beide Richtungen und nützt letztlich der Gesellschaft.
4) Aktive Kommunikation zum Algorithmeneinsatz betreiben
Wenn algorithmische Systeme über Menschen entschieden, müssen diese darüber informiert werden. Eine passive, zögerliche, zurückhaltende Kommunikation über den Einsatz und die Ziele algorithmischer Systeme steht einer gelingenden gesellschaftlichen Einbettung im Weg. Mitunter kommt es zu politischer und medialer Überaufmerksamkeit aus reiner Furcht vor dem Unbekannten. In der Debatte um die Transparenz algorithmischer Systeme geht es im Kern um die Frage, ob uns die Entscheidung eines Algorithmus überzeugt. Ein rechtzeitiger, aktiver, öffentlich geführter Dialog über diese und angrenzende Fragen erhöht die gesellschaftliche Akzeptanz und ist im wirtschaftlichen Kontext ein Verkaufsargument. In Business-to-Business- bzw. Business-to-Government-Kontexten sind solche Informationen zudem wichtig, um Beschaffern in einem für sie meist unübersichtlichen Markt Auswahlkriterien an die Hand zu geben.
5) Algorithmische Systeme nachvollziehbar gestalten
Nachvollziehbarkeit ist notwendig, um informationelle Selbstbestimmung von Betroffenen zu gewährleisten, ihnen zu ermöglichen, Fehler aufzudecken und Entscheidungen anzufechten. Zudem kann sie dazu beitragen, die richtige Anwendung und das zuvor genannte Vertrauen in algorithmische Systeme zu fördern. Einfach nachvollziehbare algorithmische Systeme (z.B. Entscheidungsbäume) haben somit einen Eigenwert gegenüber schwieriger nachvollziehbaren Systemen (z.B. tiefen Neuronalen Netzen). Zugleich führt ein Mehr an Informationen, gerade was technische Details angeht, nicht zwangsläufig zu einem Wissenszuwachs bei Betroffenen. Die Frage, welche Informationen den Betroffenen wie zur Verfügung gestellt werden sollten, hängt somit vom jeweiligen Anwendungsfall ab. Wie viel Zeit haben Betroffene, um sich mit den Informationen zu beschäftigen, über wie viel Vorwissen verfügen sie? Welche primäre Funktion soll die Nachvollziehbarkeit erfüllen? Diese Fragen müssen mitgedacht und Erkenntnisse aus nutzerorientiertem Design und verhaltenswissenschaftlicher Forschung herangezogen werden (Siehe unser Arbeitspapier zu Nachvollziehbarkeit).
