Über das Buch

Dieses Buch ist ein dringend notwendiger Appell. Algorithmen werden von Jobportalen, Versicherungen und Banken eingesetzt und manipulieren über soziale Netzwerke und Mikrotargeting sogar die Demokratie. Sie sind dabei, das Fundament unserer Gesellschaft zu erschüttern. In den USA wurde Cathy O’Neil zur Big-Data-Whistleblowerin. Die ehemalige Hedgefonds-Managerin engagiert sich heute in der Occupy-Bewegung. Ihr Buch erklärt, wie Algorithmen in der Theorie objektive Entscheidungen ermöglichen, im wirklichen Leben aber mächtigen Interessen folgen. Sie gefährden nicht nur freie Wahlen, sondern nehmen Einfluss auf zentrale Aspekte des Lebens: Ob man etwa einen Kredit für sein Haus erhält und wie viel man für die Krankenversicherung bezahlt. Cathy O’Neil zeigt anschaulich wie niemand zuvor, dass Algorithmen Diskriminierung und Ungleichheit verstärken und so zu gesellschaftsgefährdenden Waffen werden.

Hanser E-Book

Einführung

Als kleines Mädchen habe ich oft aus dem Fenster unseres Autos geschaut und auf die Nummernschilder der anderen geachtet. Es machte mir Spaß, jede Zahl, die ich dabei sah, in ihre Elemente zu zerlegen – in die Primzahlen, aus denen sie bestand: 45 = 3 × 3 × 5. Das nennt man »faktorieren«, und es war meine liebste Denksport-Freizeitbeschäftigung. Als angehender Mathe-Freak war ich von den Primzahlen ganz besonders fasziniert.

Meine Vorliebe für die Mathematik wurde bald zur Leidenschaft. Als ich 14 war, nahm ich an einem Mathcamp (einem Sommerlager für mathematisch begabte Schüler^*1) teil und kam mit einem Zauberwürfel nach Hause, mit dem ich mich stundenlang beschäftigen konnte. Die Mathematik bot mir eine wohlgeordnete Zuflucht aus der Unordnung der realen Welt. Das mathematische Wissen wurde ständig erweitert, um einen Beweis nach dem anderen; die Mathematik schritt unaufhaltsam voran. Und ich konnte etwas dazu beitragen. Ich studierte Mathematik und promovierte dann auch. In meiner Doktorarbeit ging es um algebraische Zahlentheorie, ein Gebiet, das auf den Primfaktoren aufbaut, die ich als Kind so gerne ausgetüftelt hatte. Bald erhielt ich eine unbefristete Professur am Barnard College, das eine gemeinsame mathematische Fakultät mit der Columbia University betreibt.

Aber dann schlug ich einen ganz anderen Weg ein. Ich kündigte meinen Job und begann, als »Quant« (quantitative Analystin) für D. E. Shaw zu arbeiten, einen führenden Hedgefonds. Indem ich von der akademischen Welt in den Finanzsektor wechselte, setzte ich die vorher für mich rein abstrakte, theoretische Mathematik nun auch in der realen Praxis ein. Die mathematischen Operationen, die wir dort mit Zahlen vollführten, bewirkten, dass Billionenbeträge zwischen verschiedenen Konten hin und her schwappten. Am Anfang war es spannend und aufregend für mich, in diesem neuen Labor – der globalen Wirtschaft – zu arbeiten. Aber im Herbst 2008, nachdem ich etwas länger als ein Jahr dort gearbeitet hatte, kam der große Crash.

Dieser Crash machte mir nur allzu bewusst, dass die Mathematik, meine einstige Zuflucht, nicht nur zutiefst in die Probleme der Welt verstrickt war, sondern sogar für viele von ihnen den Nährboden bereitet hatte. Die Immobilienkrise, der Zusammenbruch großer Finanzinstitutionen, die zunehmende Arbeitslosigkeit – all diese Entwicklungen waren von Mathematikern mit ihren Zauberformeln begünstigt und vorangetrieben worden. Hinzu kam, dass die Mathematik dank ihrer außergewöhnlichen Macht, die mich so sehr faszinierte, in der Lage war, sich mit der Technologie zu verbünden und so Chaos und Unglück um ein Vielfaches zu verschlimmern; sie machte Systeme, die ich inzwischen als fehlerhaft erkannt hatte, noch effizienter und größer.

An diesem Punkt wäre es eigentlich ein Gebot der Vernunft gewesen, einen Schritt zurückzutreten und darüber nachzudenken, auf welche Weise die Mathematik missbraucht worden war und wie wir eine ähnliche Katastrophe in Zukunft würden vermeiden können. Aber stattdessen waren die neuen mathematischen Verfahren nach der Krise noch gefragter als je zuvor, und sie wurden in noch mehr Bereichen eingesetzt. Rund um die Uhr pflügten sie durch Petabytes an Daten, die meistenteils auf Websites von sozialen Medien oder Online-Händlern eingesammelt worden waren. Und immer stärker konzentrierten sie sich nicht mehr nur auf die Entwicklungen an den globalen Finanzmärkten, sondern auch auf menschliche Wesen – also auf uns. Mathematiker und Statistiker analysierten unsere Wünsche, Bewegungsprofile und Kaufkraft, sie prognostizierten unsere Vertrauenswürdigkeit und berechneten, welches Potenzial wir als Schüler und Studenten, Arbeitskollegen, Liebhaber oder Kriminelle hätten.

Dies ist die sogenannte »Big Data-Wirtschaft«, und sie verspricht spektakuläre Gewinne. Ein Computerprogramm kann in Sekundenschnelle Tausende von Bewerbungen oder Kreditanträgen auswerten und sie zu wohlgeordneten Listen zusammenstellen, mit den vielversprechendsten Kandidaten ganz oben. Das spart nicht nur Zeit, sondern wird auch als fair und objektiv vermarktet – schließlich würden sich ja nicht mehr voreingenommene Menschen durch Papierstapel wühlen, sondern neutrale Maschinen nüchterne Zahlen auswerten. Schon im Jahr 2010 spielte die Mathematik eine größere Rolle in den Angelegenheiten der Menschen als jemals zuvor, und die Öffentlichkeit begrüßte das sogar weitgehend.

Aber ich sah Probleme auf uns zukommen. Die auf mathematischen Verfahren beruhenden Anwendungen, die die Datenwirtschaft antreiben, basieren auf Entscheidungen, die von fehlbaren Menschen getroffen wurden. Manche dieser Entscheidungen werden zweifellos mit den besten Absichten getroffen, aber dennoch fließen oft genug menschliche Vorurteile, Missverständnisse und Voreingenommenheiten in diese Softwaresysteme ein, die in immer höherem Maße unseren Alltag bestimmen. Solche mathematischen Modelle sind undurchschaubar wie Götter, und ihre Funktionsweise ist nicht zu erkennen, außer für ihre Hohepriester: die Mathematiker und Computerspezialisten. Deren Ratschlüsse, so falsch oder schädlich sie manchmal auch sein mögen, sind erhaben über jegliche Diskussion oder Einwände. Und sie tendieren dazu, die Armen und Unterdrückten unserer Gesellschaft noch stärker zu benachteiligen und die Reichen noch reicher zu machen.

Ich fand eine Bezeichnung für solche schädlichen Modelle: »Weapons of Math Destruction«, abgekürzt »WMDs« (»Mathe-Vernichtungswaffen«). Ich möchte Ihnen ein ausführliches Beispiel einer solchen WMD schildern, um ihre zerstörerischen Eigenschaften aufzuzeigen.

Wie so oft begann auch dieser Fall mit einem lobenswerten Ziel. Im Jahr 2007 beschloss Adrian Fenty, der neue Bürgermeister von Washington, D. C., die schlechten Leistungen der Schulen in der Hauptstadt zu verbessern. Die Probleme lagen auf der Hand: Damals schaffte kaum die Hälfte die High School von der neunten Klasse bis zum Abschluss¹, und nur acht Prozent der Achtklässler genügten den Anforderungen ihrer Klassenstufe in Mathematik.² Fenty engagierte eine Schulreformerin namens Michelle Rhee und schuf für sie einen neuen Posten mit weitreichenden Kompetenzen: Chancellor of Washington’s Schools.

Nach der damals gängigen Theorie lernten die Schüler nicht genug, weil die Lehrer ihren Job nicht gut machten. Also nahm Rhee im Jahr 2009 einen Plan in Angriff, um Lehrer mit schlechten Leistungen erkennen und aus dem Schuldienst entfernen zu können. Im ganzen Land ist dies in Schulbezirken, die in Schwierigkeiten sind, mittlerweile der vorherrschende Trend. Aus systemtechnischer Sicht ergibt diese Theorie Sinn: Man bewerte die Leistungen der Lehrer, eliminiere die Schlechtesten und setze die Besten dort ein, wo sie die größte positive Wirkung erzielen können. Im Jargon von Data Scientists wird auf diese Weise das Schulsystem »optimiert«, was wiederum den Kindern zugute kommen sollte. Wer könnte dagegen schon etwas einzuwenden haben, außer den »schlechten« Lehrern natürlich? Rhee entwickelte ein Assessment-Tool für Lehrer namens IMPACT³, und zum Ende des Schuljahrs 2009/10 entließ die Schulbehörde alle Lehrer, die aufgrund ihrer Scores in den unteren zwei Prozent gelandet waren.⁴ Und zum Ende des darauf folgenden Schuljahrs wurden weitere fünf Prozent gefeuert, nämlich 206 Lehrer.⁵

Sarah Wysocki unterrichtete in der fünften Klassenstufe und schien keinen Grund zu haben, sich Sorgen zu machen. Sie war zwar erst seit zwei Jahren an der MacFarland Middle School, hatte aber schon hervorragende Beurteilungen vom Schuldirektor und den Eltern ihrer Schüler erhalten.⁶ In einer davon wurde gelobt, dass sie sehr aufmerksam mit den Kindern umgehe; in einer anderen hieß es, sie sei »eine der besten Lehrerinnen, denen ich jemals begegnet bin«.⁷

Dessen ungeachtet erhielt Wysocki am Ende des Schuljahrs 2010/11 einen miserablen Score in ihrer IMPACT-Beurteilung.⁸ Ihr Problem war ein neues Scoringsystem, das als »value-added modeling« (»Mehrwert-Modellieren«) bezeichnet wird und angeblich ihren Erfolg beim Unterrichten von mathematischen und sprachlichen Fertigkeiten maß. Dieser von einem Algorithmus produzierte Score machte die Hälfte ihrer Gesamtbeurteilung aus und wurde stärker gewichtet als die positiven Beurteilungen von Schulverwaltung und Eltern.⁹ Daher blieb dem Schulbezirk keine andere Möglichkeit, als sie zu entlassen, zusammen mit 205 anderen Lehrern, die ebenfalls IMPACT-Scores unterhalb des Grenzwerts erhalten hatten.

Das Ganze schien aber keine Hexenjagd oder das Begleichen alter Rechnungen zu sein. Tatsächlich entbehrt das Vorgehen des Schulbezirks keineswegs einer gewissen Logik, denn schließlich könnte doch zum Beispiel ein Schuldirektor mit einer miserablen Lehrerin befreundet sein – vielleicht bewundert er ihren Unterrichtsstil oder ihren vermeintlichen Einsatz. Auch ein schlechter Lehrer kann einen guten Eindruck machen. Darum wollte die Stadt Washington, wie so viele andere Schulbezirke auch, den Einfluss solcher zutiefst menschlichen Neigungen minimieren und sich stärker von Leistungsscores leiten lassen, die auf harten Tatsachen beruhen. Die Zahlen würden eine klare Sprache sprechen, versprachen die Verantwortlichen – sie würden gerechter sein.

Wysocki fand ihre Scores natürlich furchtbar ungerecht, und deshalb wollte sie wissen, wie sie zustande gekommen waren. »Ich glaube, dass niemand die Scores wirklich nachvollziehen kann«, erzählte sie mir später. Wie konnte eine gute Lehrerin nur so abgrundtief schlechte Scores bekommen? Wie waren die Messungen des Mehrwert-Modells zustande gekommen?

Nun, so wurde ihr gesagt, das sei kompliziert. Der Schulbezirk hatte ein Beratungsunternehmen beauftragt, das Assessmentsystem zu entwickeln, nämlich die in Princeton ansässige Firma Mathematica Policy Research.¹⁰ Ihr Auftrag bestand darin, die schulischen Fortschritte der Schüler zu messen und dann zu berechnen, welcher Anteil ihres Erfolgs oder Misserfolgs auf ihre Lehrer zurückzuführen war. Das war natürlich nicht so einfach. Die Spezialisten von Mathematica wussten, dass zahlreiche Variablen den Erfolg eines Schülers beeinflussen können, von seinem sozioökonomischen Hintergrund bis hin zu Lernstörungen. Die eingesetzten Algorithmen mussten all diese Variablen berücksichtigen, was einer der Gründe dafür ist, dass sie so komplex sind.

In der Tat ist es keine leichte Aufgabe, das Verhalten, die Leistungen und das Potenzial von Menschen auf Algorithmen zu reduzieren. Um zu verstehen, mit welchen Problemen Mathematica zu kämpfen hatte, stellen Sie sich einmal ein zehnjähriges Mädchen vor, das in einer armen Wohngegend im Südosten von Washington lebt. Am Ende des Schuljahres absolviert sie die Standardprüfung für Fünftklässler. Aber dann geht ihr Leben weiter: Vielleicht gibt es Probleme in der Familie, Geldsorgen oder dergleichen. Vielleicht zieht sie um oder macht sich Sorgen um einen älteren Bruder, der mit dem Gesetz in Konflikt geraten ist. Vielleicht ist sie unglücklich wegen ihres Übergewichts oder sie wird in der Schule schikaniert. Auf jeden Fall legt sie im folgenden Jahr eine weitere Standardprüfung ab, dieses Mal die für Sechstklässler.

Wenn man die Ergebnisse der beiden Tests vergleicht, sollten die Scores stabil bleiben oder – idealerweise – steigen. Falls jedoch ihre Ergebnisse schlechter werden, lässt sich das Defizit zwischen ihrer Leistung und derjenigen von erfolgreichen Schülern leicht berechnen.

Aber wie viel von diesem Defizit ist tatsächlich ihrer Lehrerin anzulasten? Das ist schwer zu sagen, und die von Mathematica verwendeten Modelle haben nur einige wenige Zahlen zur Verfügung, die sie vergleichen können. Bei Big Data-Unternehmen wie Google lassen die Statistiker dagegen rund um die Uhr Tests laufen und beobachten dabei Tausende von Variablen. Sie können beispielsweise die Schriftfarbe einer Anzeige von Rot auf Blau ändern, beide Versionen zehn Millionen Leuten servieren und aufzeichnen, welche davon öfter angeklickt wird. Dieses Feedback nutzen sie, um ihre Algorithmen zu optimieren und deren Aktivitäten sehr genau zu steuern. Zwar habe ich an Google eine Menge auszusetzen (worauf ich noch zu sprechen kommen werde), aber diese Art von Test ist eine effektive Anwendung statistischer Methoden.

Der Versuch, den Einfluss zu messen, den eine Person im Laufe eines Schuljahres auf eine andere hat, ist dagegen sehr viel komplexer. »Es gibt so viele Faktoren, die das Lernverhalten und das Unterrichten beeinflussen, dass es extrem schwierig wäre, sie alle zu messen«, sagt Wysocki.¹¹ Hinzu kommt, dass es statistisch fragwürdig – wenn nicht gar lächerlich – wäre, den Erfolg eines Lehrers ermitteln zu wollen, indem man die Testergebnisse von nur 25 oder 30 Schülern auswertet. In Anbetracht dessen, was alles falsch laufen kann, ist eine solche Stichprobe viel zu klein. Tatsächlich müssten wir, wenn wir die Leistung von Lehrern mit der statistischen Stringenz einer Suchmaschine analysieren wollten, sie aufgrund von Tausenden oder gar Millionen von zufällig ausgewählten Schülern testen. Statistiker arbeiten mit großen Testgruppen, um Ausnahmen und Anomalien auszugleichen. (Und wie wir noch sehen werden, benachteiligen WMDs häufig gerade die Personen, die zufälligerweise genau eine solche Ausnahme sind.)

Ebenso wichtig ist, dass statistische Systeme Feedback benötigen – etwas, das erkennen lässt, wenn sie falschen Annahmen folgen. Statistiker nutzen Fehler, um ihre Modelle zu trainieren und sie »intelligenter« zu machen. Wenn Amazon aufgrund einer falschen Verknüpfung plötzlich anfangen würde, Mädchen im Teenageralter Bücher über Rasenpflege zu empfehlen, würde die Anzahl der Klicks abstürzen und der Algorithmus dann so lange optimiert werden, bis er es richtig macht. Dagegen kann ein statistisches System ohne Feedback immer weiter falsche und schädliche Analysen produzieren, ohne jemals aus seinen Fehlern zu lernen.

Viele der WMDs, über die ich in diesem Buch sprechen werde, zum Beispiel auch das Mehrwert-Modell des Schulbezirks Washington, verhalten sich so. Sie definieren ihre eigene Realität und verwenden diese dann, um ihre Ergebnisse zu rechtfertigen. Diese Art von Modell erhält sich selbst am Leben, ist extrem schädlich – und kommt sehr häufig vor.

Wenn Mathematicas Scoringsystem Sarah Wysocki und 205 andere Lehrer als »Versager« kennzeichnet, werden sie von der Schulbehörde entlassen. Aber wie soll dieses System jemals erfahren, ob es richtige Ergebnisse geliefert hat? Das kann es nicht. Das System selbst hat bestimmt, dass diese Menschen »Versager« sind, und als solche werden sie dann auch gesehen. 206 »schlechte« Lehrer sind aus dem Verkehr gezogen worden. Diese Tatsache allein scheint zu zeigen, wie effektiv das Mehrwert-Modell ist – es befreit den Schulbezirk von Lehrern, die unterdurchschnittliche Leistungen erbringen. Anstatt die Wahrheit herauszufinden, wird der Score selbst zur Wahrheit.

Dies ist nur ein Beispiel einer WMD-Feedbackschleife; in diesem Buch werden wir noch eine Menge davon zu sehen bekommen. So verwenden zum Beispiel immer mehr Arbeitgeber Bonitätsscores, um Bewerber zu beurteilen. Sie glauben, dass Kandidaten, die ihre Rechnungen pünktlich bezahlen, mit größerer Wahrscheinlichkeit auch pünktlich zur Arbeit erscheinen und die Regeln befolgen werden. Tatsächlich gibt es jedoch eine Menge verantwortungsvolle Menschen, die gute Mitarbeiter sind, aber durch unglückliche Umstände eine Verschlechterung ihrer Bonität erlitten haben. Aufgrund der Überzeugung, dass schlechte Bonität mit schlechter Leistung korreliert, werden Menschen mit weniger guter Kreditwürdigkeit es allerdings schwerer haben, Arbeit zu finden. Die Arbeitslosigkeit drängt sie in die Armut, wodurch ihre Bonität noch mehr unter Druck gerät und es noch schwieriger für sie wird, Arbeit zu finden. Es ist eine Abwärtsspirale. Und die Arbeitgeber erfahren nie, wie viele gute potenzielle Mitarbeiter sie fortgeschickt haben, weil sie auf deren Kreditwürdigkeit fixiert waren. Im Hinblick auf WMDs werden viele toxische Annahmen durch mathematische Verfahren verschleiert und ungeprüft hingenommen.

Das unterstreicht eine weitere, häufig anzutreffende Eigenschaft von WMDs: Sie tendieren dazu, die Armen zu benachteiligen. Das liegt unter anderem daran, dass sie darauf ausgelegt sind, Menschen in großer Zahl einzuschätzen. Sie sind auf Massen spezialisiert, und sie sind billig – das macht einen Teil ihrer Attraktivität aus. Dagegen profitieren Wohlhabende in vielen Fällen von persönlichem Input. Eine elitäre Anwaltskanzlei oder Privatschule wird viel mehr Wert auf Empfehlungen und persönliche Interviews legen als eine Fast-Food-Kette oder ein innerstädtischer Schulbezirk, der ständig knapp bei Kasse ist. Die Privilegierten, das werden wir immer wieder sehen, werden häufiger von Menschen bedient, die Massen dagegen von Maschinen.

Auch der Umstand, dass es Wysocki nicht gelungen ist, jemanden zu finden, der ihr ihren miserablen Score hätte erklären können, ist vielsagend. Das Urteil einer WMD kommt hernieder wie ein unergründlicher Ratschluss der algorithmischen Götter. Das Modell selbst ist eine Blackbox, deren Inhalt ein grimmig gehütetes Geschäftsgeheimnis. Das erlaubt Beraterfirmen wie Mathematica Policy Research, höhere Rechnungen zu stellen, aber es dient auch noch einem anderen Zweck: Wenn die zu beurteilenden Menschen im Dunkeln gelassen werden, so glaubt man, dann würden sie weniger versucht sein, das System auszutricksen. Stattdessen würden sie einfach hart arbeiten, die Regeln befolgen und darum beten müssen, dass das Modell ihre Bemühungen registriert und honoriert. Aber wenn die Details im Dunkeln bleiben, ist es auch schwieriger, den Score infrage zu stellen oder dagegen zu protestieren.

Jahrelang haben die Lehrer in Washington über solche willkürlichen Scores geklagt und immer wieder Einblick in das dahintersteckende System verlangt. Es sei ein Algorithmus, wurde ihnen gesagt, das sei alles sehr komplex. Das entmutigte viele von ihnen, weiter Druck zu machen. Leider werden viele Menschen durch Mathematik eingeschüchtert. Nicht so die Mathematiklehrerin Sarah Bax. Sie bedrängte weiterhin den Verwaltungsleiter des Schulbezirks, einen ehemaligen Kollegen namens Jason Kamras, die Einzelheiten offenzulegen.¹² Nach einem monatelangen Hin und Her sagte Kamras ihr, sie solle einen in Kürze anstehenden technischen Bericht abwarten. Bax antwortete: »Mit welchem Recht beurteilen Sie Menschen aufgrund eines Scores, den Sie selbst nicht erklären können?« Aber das liegt im Wesen von WMDs. Die eigentliche Analysearbeit wird an Programmierer und Statistiker delegiert. Und in der Regel lassen diese dann die Maschinen sprechen, statt sich selbst zu äußern.

Dessen ungeachtet war es Sarah Wysocki sehr wohl bewusst, dass die Standardtestscores ihrer Schüler in der Formel eine gewichtige Rolle spielten. Und in dieser Hinsicht hatte sie einen Verdacht. Als sie das Schuljahr an der MacFarland Middle School begann, das sich dann als ihr letztes erweisen sollte, freute sie sich darüber, dass ihre neu auf die Schule gekommenen Fünftklässler in den Jahresabschlusstests erstaunlich gut abgeschnitten hatten. An der Barnard Elementary School, von der viele ihrer neuen Schüler kamen, waren 29 Prozent der Schüler mit »fortgeschrittenen Lesekenntnissen« eingestuft worden.¹³ Das waren fünfmal so viele wie der Durchschnitt in diesem Schulbezirk.

Aber als der Unterricht begann, stellte sie fest, dass viele ihrer Schüler Schwierigkeiten hatten, selbst einfache Sätze zu lesen. Deutlich später ergaben Recherchen von Washington Post und USA Today, dass die Standard-Testbögen, die an 41 Schulen in diesem Bezirk – auch an der Barnard Elementary School – abgegeben worden waren, zahlreiche Korrekturen durch Radieren aufwiesen.¹⁴ Wenn viel radiert wurde, deutet das darauf hin, dass mit großer Wahrscheinlichkeit geschummelt worden war. An manchen Schulen waren bis zu 70 Prozent der Klassen unter Verdacht.

Aber was hat das mit WMDs zu tun? Zweierlei. Erstens sind Algorithmen zur Beurteilung von Lehrern ein mächtiges Werkzeug, um Verhaltensänderungen zu bewirken. Das ist ihr Zweck, und in den Washingtoner Schulen setzten sie sowohl Zuckerbrot als auch Peitsche ein. Jeder Lehrer wusste, dass sein Job in Gefahr war, wenn seine Schüler bei den Standardtests schlecht abschnitten. Dadurch hatten die Lehrer ein starkes Motiv, dafür zu sorgen, dass ihre Schüler die Tests bestanden, vor allem auch angesichts des darniederliegenden Arbeitsmarkts infolge der Weltwirtschaftskrise ab 2007, der sogenannten »Großen Rezession«. Und zweitens konnten Lehrer und Schuldirektoren einen Bonus von bis zu 8000 Dollar einstreichen, wenn ihre Schüler besser als diejenigen anderer Schulen abschnitten.¹⁵ Wenn man diese starken Anreize zu den Indizien in diesem Fall hinzunimmt – die hohe Zahl von Korrekturen durch Radieren und die abnorm hohen Testscores –, begründen sie den Verdacht, dass die Lehrer der vierten Klassenstufe, sei es aus Angst oder aus Gier, die Testbögen ihrer Schüler korrigiert hatten.¹⁶

Und so ist es durchaus denkbar, dass Sarah Wysockis Fünftklässler das Schuljahr mit künstlich hochgetriebenen Scores begannen. Sollte es tatsächlich so gewesen sein, würden die Testergebnisse aus dem Folgejahr es so aussehen lassen, als seien sie im fünften Schuljahr schlechter geworden – und als würde ihre Lehrerin unterdurchschnittliche Leistungen erbringen. Wysocki ist davon überzeugt, dass ihr genau das widerfahren ist. Diese Erklärung würde auch zu der Feststellung von Eltern, Kollegen und Schuldirektor passen, dass sie in Wirklichkeit eine gute Lehrerin sei. Diese Erklärung könnte die Verwirrung beenden; in jedem Fall liefert sie Sarah Wysocki starke Argumente, die für sie sprechen.

Aber gegen eine WMD kann man nicht in Revision gehen – das ist Teil ihrer beängstigenden Macht. Sie hört nicht zu, sie gibt nicht nach. Sie reagiert nicht, weder auf Charme noch Drohungen, Bitten oder Betteln, ja nicht einmal auf Logik – selbst wenn es gute Gründe gibt, die Daten anzuzweifeln, auf denen ihr Urteil beruht. Sicher, sollte sich tatsächlich einmal herausstellen, dass ein automatisiertes System auf peinliche und systematische Weise falsche Ergebnisse produziert, werden die Programmierer dem Problem auf den Grund gehen und die Algorithmen optimieren. Aber meistens liefern die Programme unwiderrufliche Urteile, und die Menschen, die sie einsetzen, können nur mit den Schultern zucken, als wollten sie sagen: »Tja, was soll man da machen?«

Und das ist auch genau die Antwort, die Sarah Wysocki schließlich von der Schulverwaltung bekam. Jason Kamras sagte später der Washington Post, die Korrekturen durch Radieren seien ein »Indiz« dafür, dass die Testergebnisse verfälscht gewesen sein könnten. Aber es lägen eben keine eindeutigen Beweise vor. Er sagte, Wysocki sei fair behandelt worden.

Sehen Sie den Widerspruch? Ein Algorithmus verarbeitet einen Haufen Daten und errechnet daraus eine Wahrscheinlichkeit, dass eine bestimmte Person ein schlechter Mitarbeiter, ein Kreditrisiko, ein Terrorist oder eine miserable Lehrerin sein könnte. Aus dieser Wahrscheinlichkeit wird ein Score destilliert, der das Leben eines Menschen auf den Kopf stellen kann. Aber wenn diese Person sich dagegen wehrt, ist ein »Indiz«, das auf das Gegenteil hindeutet, einfach nicht gut genug. Ihre Beweise müssen eindeutig sein. Die menschlichen Opfer von WMDs, das werden wir immer wieder sehen, müssen wesentlich stichhaltigere Beweise erbringen als die Algorithmen selbst.

Nach dem Schock ihrer Entlassung war Sarah Wysocki nur ein paar Tage arbeitslos.¹⁷ Sie hatte zahlreiche Menschen, darunter auch ihren Schuldirektor, die sich für ihre Qualitäten als Lehrerin verbürgten, und sehr bald fand sie eine neue Stellung an einer Schule in einem wohlhabenden Schulbezirk im nördlichen Virginia. Das heißt, dass eine arme Schule aufgrund eines äußerst fragwürdigen Modells eine gute Lehrerin verlor und eine reiche Schule, die niemanden aufgrund der Testscores ihrer Schüler feuerte, eine weitere hinzugewann.

■ ■ ■

Nach dem Crash am Immobilienmarkt erkannte ich, in welchem Ausmaß WMDs im Bankensektor Einzug gehalten hatten und welche Gefahr sie für unsere Wirtschaft darstellen. Anfang 2011 kündigte ich meinen Job bei dem Hedgefonds. Später, nachdem ich mir einen Ruf als Data Scientist erarbeitet hatte, fing ich bei einem Start-up im Online-Handel an. Von dieser Position aus konnte ich sehen, dass unzählige andere WMDs in jeder nur denkbaren Branche ihr Unwesen treiben, von denen ein großer Teil die Ungleichheit verschärft und die Armen benachteiligt. Sie sind das Herz der boomenden Datenwirtschaft.

Um meine Botschaft über WMDs zu verbreiten, rief ich den Blog Mathbabe.org ins Leben. Auf diesem Wege wollte ich meine Mathematiker-Kollegen gegen den Einsatz schlampiger Statistiken und tendenziöser Modelle, die ihre eigenen toxischen Feedbackschleifen erzeugen, mobilisieren. Vor allem Datenspezialisten interessierten sich für meinen Blog und wiesen mich darauf hin, dass WMDs auch in anderen Bereichen immer mehr um sich griffen. Als Anfang 2012 in Lower Manhattan die Occupy-Wall-Street-Bewegung entstand, wurde mir klar, dass wir eine breitere Öffentlichkeit erreichen mussten, um wirklich etwas zu bewegen. Tausende hatten sich zusammengefunden, um wirtschaftliche Gerechtigkeit und Rechenschaftspflicht einzufordern. Aber als ich Interviews mit den Occupiers hörte, schienen viele von ihnen im Hinblick auf die zugrunde liegenden Probleme im Finanzsektor völlig ahnungslos zu sein – wahrscheinlich hatten sie meinen Blog nicht gelesen. (Ich sollte allerdings hinzufügen, dass man nicht sämtliche Details eines Systems verstehen muss, um zu erkennen, dass es versagt hat.)

Bald wurde mir klar, dass ich sie entweder kritisieren oder mich ihnen anschließen konnte – also schloss ich mich ihnen an. Ich organisierte Meetings der Alternative Banking Group an der Columbia University, wo wir darüber diskutierten, das Finanzwesen zu reformieren. Dabei erkannte ich, dass meine zwei Tätigkeitsfelder außerhalb der akademischen Welt – das eine im Finanzsektor, das andere im Bereich Data Science – mir einen hervorragenden Zugang zu der Technologie und der Kultur eröffneten, die WMDs ihre Macht verleihen.

Heute mikromanagen schlecht konzipierte mathematische Modelle die Wirtschaft, angefangen bei der Werbung bis hin zur Verwaltung von Gefängnissen. Diese WMDs haben viele Eigenschaften mit dem Modell gemein, das Sarah Wysockis Karriere im Schulbezirk Washington aus der Bahn warf. Sie sind undurchschaubar, werden nicht infrage gestellt, sind niemandem Rechenschaft schuldig und operieren in einem Maßstab, der groß genug ist, um Millionen von Menschen zu kategorisieren, ins Visier zu nehmen oder zu »optimieren«. Da sie ihre Erkenntnisse für die Realität halten, erzeugen die meisten von ihnen bösartige WMD-Feedbackschleifen.

Aber es gibt einen wichtigen Unterschied zwischen dem Mehrwert-Modell eines Schulbezirks und beispielsweise einer WMD, die potenzielle Interessenten für wucherische »payday loans« (»Kurzzeitkredite«) ausfindig macht: Sie erbringen verschiedenartige Erträge. Für die Schulverwaltung ist der Ertrag eine Art politischer Währung – nämlich das Gefühl, dass ein Problem gelöst wurde. Aber für die Unternehmen ist der Ertrag einfach nur die Standardwährung, nämlich Geld. Für viele der Unternehmen, die solche bösartigen Algorithmen einsetzen, scheint das hereinströmende Geld zu beweisen, dass ihre Modelle funktionieren. Aus ihrer Sicht ergibt das auch Sinn. Wenn sie statistische Systeme entwickeln, um Kunden zu finden oder verzweifelte Kreditnehmer zu manipulieren, scheinen die wachsenden Einnahmen ja zu belegen, dass sie auf dem richtigen Weg sind. Die Software tut ihre Arbeit. Das Problem dabei ist jedoch, dass die Profite letzten Endes zum Ersatz für Wahrheit werden. Wir werden noch sehen, dass diese gefährliche Begriffsverwirrung immer wieder zutage tritt.

Das geschieht, weil Data Scientists nur allzu oft die Menschen auf der anderen Seite der Transaktion aus den Augen verlieren. Zweifellos wissen sie, dass ein Data-Crunching-Programm zwangsläufig einen gewissen Prozentsatz der Menschen in eine falsche Kategorie einordnen wird, wodurch sie dann keinen Arbeitsplatz finden oder den Traum vom eigenen Heim begraben müssen. Aber in der Regel halten sich die Leute, die WMDs betreiben, nicht lange mit solchen Fehlern auf. Ihr Feedback ist der Profit, den sie erwirtschaften, und der ist auch ihre Motivation. Ihre Systeme sind darauf ausgelegt, immer mehr Daten aufzusaugen und die Analyseverfahren so zu optimieren, dass immer mehr Geld hereinströmt. Investoren erfreuen sich natürlich an solchen sprudelnden Einnahmen und überschütten die WMD-Unternehmen mit noch mehr Geld.

Und die Opfer? Nun, der Data Scientist eines WMD-Unternehmens würde vielleicht sagen, ein statistisches System könne niemals perfekt sein. Die Opfer seien Kollateralschäden. Und in vielen Fällen werden sie – wie Sarah Wysocki – für unwürdig und entbehrlich gehalten. Vergessen wir sie einstweilen, würden sie vielleicht sagen, und konzentrieren wir uns lieber auf all die Menschen, denen die Empfehlungsdienste nützliche Hinweise liefern: sei es auf ihre neue Lieblingsmusik auf Pandora Radio, den optimalen Job auf LinkedIn oder sogar die Liebe ihres Lebens auf Match.com. Besser die enorme Zahl zufriedener Menschen bedenken und die Unzulänglichkeiten des Systems hinnehmen.

Big Data hat eine Menge glühende Befürworter, aber ich zähle nicht zu ihnen. In diesem Buch werde ich mich sehr entschieden gegen WMDs aussprechen und die Schäden und Ungerechtigkeiten anprangern, die von ihnen angerichtet und aufrechterhalten werden. Wir werden WMDs kennenlernen, die Menschen in kritischen Phasen ihres Lebens schädigen: wenn sie vorhaben zu studieren oder einen Kredit aufzunehmen, zu einer Haftstrafe verurteilt werden oder wenn sie einen Job finden und halten wollen. All diese Lebensbereiche werden in zunehmendem Maße von geheimnisvollen Modellen kontrolliert, die willkürliche Strafen austeilen.

Willkommen auf der finsteren Seite von Big Data.

1  Bombenteile

Was ist ein Modell?

Es war ein heißer Nachmittag im August 1946. Für Lou Boudreau, den Teamkapitän des Baseball-Clubs Cleveland Indians, war es ein miserabler Tag. Im ersten Match eines Doubleheaders hatte Ted Williams beinahe im Alleingang Boudreaus Mannschaft deklassiert. Williams, der wahrscheinlich größte Hitter seiner Zeit, hatte drei Homeruns abgewehrt und acht eigene zum Erfolg geführt. Die Indians verloren das Spiel 10:11.

Boudreau musste etwas tun. Als Williams im zweiten Spiel zum ersten Mal auflief, formierten sich die Spieler der Indians neu. Boudreau, der Shortstop, lief hinüber an die Position, wo normalerweise der Second Baseman steht, und der Second Baseman zog sich ins Short Right Field zurück. Der Third Baseman wiederum ging nach links, um die entstandene Lücke zu füllen. Es war klar, dass Boudreau – vielleicht aus Verzweiflung – die gesamte Ausrichtung seiner Defensive verlagerte, um die Hits von Ted Williams in Outs zu verwandeln.¹

Mit anderen Worten: Er dachte wie ein Data Scientist. Er hatte Rohdaten analysiert, die er zum größten Teil aus Beobachtungen gewonnen hatte: Meistens schlug Ted Williams den Ball ins Right Field. Boudreau passte seine Spieltaktik an – und es funktionierte. Die Fielders konnten eine größere Anzahl der mörderischen Line Drives von Ted Williams abfangen als im ersten Spiel (obwohl sie natürlich nichts gegen die Homeruns ausrichten konnten, die über ihre Köpfe hinwegsegelten).

Wenn man sich heute ein Major-League-Baseballspiel ansieht, wird man feststellen, dass die Defensive sich auf fast jeden Spieler so einstellt, als sei er Ted Williams. Während Boudreau nur beobachtet hatte, wohin Williams den Ball meistens schlug, weiß heute jeder Teammanager ganz genau, wohin jeder Spieler jeden Ball geschlagen hat, und zwar in der vergangenen Woche, im letzten Monat, in seiner gesamten Karriere, gegen Linkshänder, wenn er zwei Strikes hatte, und so weiter. Anhand solcher historischen Daten analysiert der Teammanager die aktuelle Lage und kalkuliert, welche Aufstellung die besten Erfolgschancen bringt. Und das hat manchmal zur Folge, dass ein Spieler weit auf die andere Seite des Spielfelds geschickt wird.

Die Defensive zu verlagern ist nur ein Teil einer viel größeren Frage: Was kann ein Baseball-Team tun, um die Wahrscheinlichkeit zu maximieren, ein Spiel zu gewinnen? Bei ihrer Jagd nach Antworten nehmen Baseball-Statistiker jede Variable, die sie quantifizieren können, genau unter die Lupe. Wie viel mehr ist ein Double wert als ein Single? Lohnt es sich, einen Bunt zu schlagen, um einen Runner von der First Base auf die Second Base zu bekommen – und wenn ja, wann?

Die Antworten auf solche Fragen werden gesammelt und fließen dann in ein mathematisches Modell eines Baseball-Spiels ein. Ein solches Modell ist ein Paralleluniversum der Baseball-Welt, jedes von ihnen ist ein komplexes Gewebe von Wahrscheinlichkeiten. Es berücksichtigt jedwede messbare Beziehung zwischen allen Elementen des Sports, von Walks über Homeruns bis hin zu den Spielern selbst. Der Zweck des Modells ist, in jeder kritischen Spielphase verschiedene Szenarien durchspielen und die optimale Taktik finden zu können. Wenn die Yankees einen rechtshändigen Pitcher ins Spiel schicken, um Mike Trout, dem Slugger der Angels, Kontra zu bieten, anstatt den aktuellen Pitcher im Spiel zu lassen, wie viel wahrscheinlicher ist es dann, dass sie damit Erfolg haben? Und wie wirkt sich das auf ihre Gewinnchancen insgesamt aus?

Baseball ist eine ideale Domäne für prädiktives mathematisches Modellieren. In seinem 2003 erschienenen Bestseller Moneyball schreibt Michael Lewis, dieser Sport habe schon immer Computer-Nerds angezogen.² In früheren Jahrzehnten brüteten die Fans über den Daten auf der Rückseite von Baseball-Sammelkarten, analysierten die Muster von Carl Yastrzemskis Homeruns oder verglichen, wie viele Strikeouts Roger Clemens und Dwight Gooden zu verzeichnen hatten. Seit den 1980er-Jahren begannen dann professionelle Statistiker, ernsthaft zu untersuchen, was diese Zahlen – neben einer Lawine von anderen, die neu hinzugekommen waren – wirklich bedeuten: in welchem Zusammenhang sie zu gewonnenen Spielen stehen und wie ein Clubmanager bei minimalen Kosten den maximalen Erfolg seines Vereins erreichen kann.

Das Kunstwort »Moneyball« ist heute zu einer Chiffre für das Anwenden statistischer Verfahren in Zusammenhängen geworden, an die man lange Zeit eher mit Intuition und Bauchgefühl heranging. Doch Baseball kann als fundierte Fallstudie dienen – und es bildet einen nützlichen Kontrapunkt zu den toxischen Modellen der WMDs, die in immer mehr Bereichen unseres Alltags auftauchen. Baseball-Modelle sind fair, und zwar unter anderem, weil sie transparent sind. Jedermann hat Zugang zu den Daten und kann – mehr oder weniger – verstehen, wie sie interpretiert werden. Das Modell des einen Teams wird vielleicht Homerun-Hitter höher gewichten, ein anderes dagegen etwas niedriger, weil Slugger dazu neigen, sehr häufig Strikeouts zu schlagen. Aber in beiden Fällen ist die Anzahl von Homeruns und Strikeouts öffentlich zugänglich, sodass jede interessierte Person sie einsehen kann.

Baseball bietet außerdem statistische Stringenz. Seine Gurus können auf einen enormen Datenbestand zurückgreifen, der sich fast gänzlich auf die Performance der Spieler bezieht. Darüber hinaus sind diese Daten hochgradig relevant für die Ergebnisse, die sie vorhersagen wollen. Das mag offensichtlich klingen, aber wie wir im weiteren Verlauf dieses Buches noch sehen werden, fehlen den WMD-Entwicklern sehr häufig die Daten für genau die Verhaltensweisen, die sie am meisten interessieren. Also verwenden sie ersatzweise Näherungswerte oder Indikatoren. Sie errechnen statistische Korrelationen zwischen der Postleitzahl oder gewissen Mustern in der Ausdrucksweise einer Person und der Wahrscheinlichkeit, dass sie einen Kredit zurückzahlen oder einen Job gut erledigen wird. Solche Korrelationen sind diskriminierend, und manche von ihnen sind sogar illegal. Baseball-Modelle nutzen dagegen in der Regel keine Näherungswerte, weil sie auf Originaldaten wie Balls, Strikes und Hits zurückgreifen können.

Am wichtigsten ist jedoch, dass durch die durchschnittlich zwölf oder 13 Spiele pro Tag, die in der Saison zwischen April und Oktober stattfinden, ständig neue Daten produziert werden. Die Statistiker können die Ergebnisse dieser Spiele mit den Vorhersagen ihrer Modelle vergleichen, sodass sie sehen können, wo sie falsch lagen. Vielleicht sagten sie voraus, dass ein linkshändiger Reliever eine Menge Hits an rechtshändige Batter abgeben würde – aber trotzdem hat er sie fertiggemacht. In einem solchen Fall muss das Statistikteam sein Modell optimieren und den Grund für die falschen Prognosen finden. Hat die neue Wurftechnik des Pitchers seine Ergebnisse beeinflusst? Pitcht er abends besser? Was immer sie herausfinden, können sie wieder in das Modell einspeisen und es dadurch verbessern. Das ist die Funktionsweise eines vertrauenswürdigen Modells – es erhält ständige Rückmeldungen von dem jeweiligen Vorgang aus der realen Welt, den es zu verstehen oder vorherzusagen versucht. Die Umstände ändern sich ständig, und deswegen muss auch das Modell ständig angepasst werden.

Jetzt könnten Sie sich das Baseball-Modell ansehen, mit seinen Tausenden, unaufhörlich sich verändernden Variablen, und sich fragen, wieso wir es überhaupt mit dem Modell zur Beurteilung von Lehrern an den Schulen in Washington, D. C. vergleichen wollen. In dem einen wird eine ganze Sportart akribisch modelliert, und es wird ständig aktualisiert. Das andere Modell ist zwar nebulös, scheint aber doch hauptsächlich auf einer Handvoll Testergebnisse zu beruhen. Ist das wirklich ein Modell?

Ja, das ist es. Ein Modell ist letztlich nichts anderes als eine abstrakte Simulation eines wie auch immer gearteten Prozesses, sei es ein Baseball-Spiel, die Versorgungskette eines Ölkonzerns, die Aktionen einer ausländischen Regierung oder die wechselnden Besucherzahlen eines Kinos. Ganz gleich, ob das Modell in einem Computerprogramm abläuft oder in unserem Kopf – es nimmt das vorhandene Wissen und nutzt es, um in diversen Situationen die entsprechenden Reaktionen vorherzusagen. Jeder Mensch trägt in seinem Kopf Tausende Modelle mit sich herum. Sie sagen ihm, was er zu erwarten hat, und sie lenken seine Entscheidungen.

Hier ist ein formloses Modell, das ich jeden Tag anwende. Zu Hause bin ich dafür zuständig, das Essen für uns und unsere drei Kinder zu kochen – denn mein lieber Mann schafft es leider nie, daran zu denken, das Kochwasser für die Pasta zu salzen. Jeden Abend, wenn ich anfange zu kochen, modelliere ich innerlich und intuitiv die Vorlieben eines jeden Einzelnen meiner Lieben. Ich weiß, dass einer meiner Söhne sehr gerne Huhn mag (aber Hamburger nicht ausstehen kann), während ein anderer ausschließlich Pasta isst (mit reichlich Parmesan). Aber ich muss dabei auch bedenken, dass die Vorlieben von Menschen sich von einem Tag auf den anderen ändern können, was bedeutet, dass jede Veränderung mein Modell komplett aus der Bahn werfen kann. Eine gewisse Unsicherheit lässt sich nie ganz vermeiden.

Der Input für mein internes Koch-Modell sind mein Wissen über meine Familie, die Zutaten, die ich zur Hand habe, sowie meine eigene Energie, Zeit und Ambition. Der Output ist die Entscheidung, was ich kochen will und wie. Ich messe den Erfolg einer Mahlzeit daran, wie zufrieden meine Familie danach zu sein scheint, wie viel sie gegessen haben und wie gesund das Essen war. Wenn ich sehe, wie gut die Mahlzeit ankommt und wie viel davon gegessen wurde, kann ich mein Modell für das nächste Mal aktualisieren. Diese Updates und Anpassungen machen es zu dem, was Statistiker ein »dynamisches Modell« nennen.

Im Laufe der Jahre bin ich ziemlich gut darin geworden, Mahlzeiten für meine Familie zuzubereiten, das kann ich mit einem gewissen Stolz sagen. Aber was passiert, wenn mein Mann und ich für eine Woche verreisen und ich meiner Mutter mein System erklären muss, damit sie für mich einspringen kann? Oder wenn meine Freundin, die ebenfalls Kinder hat, etwas über meine Methode erfahren will? Dann fange ich an, mein Modell zu formalisieren, indem ich es wesentlich systematischer mache, und in einem gewissen Sinne auch mathematischer. Und wenn ich den entsprechenden Ehrgeiz hätte, könnte ich daraus sogar ein Computerprogramm machen.

Idealerweise würde dieses Programm sämtliche möglichen Mahlzeiten kennen, ihren Nährwert, ihre Zutaten und deren Kosten, sowie eine komplette Datenbank der Neigungen meiner Familienmitglieder: die Vorlieben und Abneigungen jedes Einzelnen. Allerdings wäre es schwierig für mich, all diese Informationen aus dem Handgelenk zu schütteln; ich habe jede Menge Erinnerungen daran, dass vielleicht der eine sich öfter mal eine zweite Portion Spargel genommen hat oder die andere die Brechbohnen hat liegen lassen. Aber diese Erinnerungen sind bruchstückhaft und nur schwer in Form einer umfassenden Liste zu organisieren.

Eine bessere Lösung wäre, das Modell im Laufe der Zeit zu trainieren, indem ich jeden Tag Daten eingebe über das, was ich gekocht habe und wie jedes Familienmitglied darauf reagiert hat. Ich würde auch bestimmte Parameter als Randbedingungen berücksichtigen, zum Beispiel Obst und Gemüse auf das beschränken, was je nach Saison gerade zu bekommen ist. Ich würde vielleicht auch eine gewisse Menge an Pop-Tarts austeilen, aber nur gerade eben genug, um eine offene Rebellion zu unterdrücken. Ich würde auch eine Reihe von Regeln aufstellen: Diese Person mag Fleisch, jene zieht Brot und Pasta vor, die dritte trinkt viel Milch und lässt es sich nicht nehmen, auf alles Nutella zu schmieren.

Wenn ich diese Arbeit zu meiner Hauptbeschäftigung machen würde, könnte ich wahrscheinlich ein sehr gutes Modell entwickeln. Ich hätte aus dem Mahlzeiten-Management in meinem Kopf, aus meinem formlosen internen Modell, ein formales externes Modell gemacht. Durch das Entwickeln dieses Modells würde ich meine Macht und meinen Einfluss in dieser Welt vergrößern. Ich würde ein automatisiertes Alter Ego konstruieren, das selbst dann von anderen genutzt werden könnte, wenn ich nicht dabei wäre.

Das Modell würde allerdings zwangsläufig auch Fehler machen, da ein Modell von seinem ganzen Wesen her eine Vereinfachung sein muss. Kein noch so gutes Modell kann der gesamten Komplexität der Welt oder den feinen Nuancen zwischenmenschlicher Kommunikation gerecht werden – unweigerlich wird die eine oder andere wichtige Information außen vor bleiben. Vielleicht habe ich es versäumt, meinem Modell mitzuteilen, dass die Junk-Food-Verbotsregeln an Geburtstagen gelockert werden, oder dass rohe Karotten beliebter sind als gekochte.

Ein Modell zu entwickeln bedeutet also zu entscheiden, was wichtig genug ist, um berücksichtigt zu werden. Wir müssen die reale Welt zu einer Art Spielzeugversion herunterbrechen, die leicht zu verstehen ist und aus der wir wichtige Fakten und Aktionen ableiten können. Wir wissen, dass unser Modell nur eine Aufgabe bewältigen kann, und wir akzeptieren, dass es sich hin und wieder wie eine völlig ahnungslose Maschine mit enormen Wissenslücken benehmen wird.

Aber manchmal spielen diese Wissenslücken auch überhaupt keine Rolle. Wenn wir etwa wollen, dass Google Maps uns den Weg zeigt, modelliert das Programm die Welt als eine Sammlung von Straßen, Tunneln und Brücken. Es ignoriert die Gebäude, weil sie für seine Aufgabe nicht relevant sind. Wenn ein Flugzeug vom Autopiloten gesteuert wird, modelliert die Software den Wind, die Fluggeschwindigkeit und die herannahende Landebahn, aber nicht die Straßen, Tunnel, Gebäude und Menschen.

Die Wissenslücken eines Modells reflektieren die Einschätzungen und Prioritäten der Menschen, die es geschaffen haben. Während die Entscheidungen in Google Maps oder einem Autopiloten-Programm relativ einfach zu sein scheinen, sind andere weit problematischer. Das Mehrwert-Modell an den Schulen in Washington, D. C., um zu diesem Beispiel zurückzukehren, beurteilt Lehrer weitgehend auf der Basis von Testergebnissen ihrer Schüler, ignoriert jedoch, inwieweit ein Lehrer seine Schüler motiviert, mit ihnen an bestimmten Fertigkeiten arbeitet, den Unterricht organisiert oder ihnen bei persönlichen oder familiären Problemen hilft. Das Modell ist zu einfach, es opfert Richtigkeit und Wissen zugunsten der Effizienz. Aber aus Sicht des Administrators ist es eben ein effektives Werkzeug, um Hunderte von Lehrern ausfindig zu machen, die vermeintlich schlechte Leistungen erbringen, selbst auf die Gefahr hin, einige von ihnen falsch zu beurteilen.

An diesem Beispiel können wir erkennen, dass Modelle – obwohl sie den Ruf haben, unparteiisch zu sein – bestimmte Ziele und Ideologien reflektieren. Indem ich die Möglichkeit ausschließe, bei jeder Mahlzeit Pop-Tarts zu essen, drücke ich dem Mahlzeiten-Modell meine Grundüberzeugungen, meine Ideologie auf. Das ist etwas, was wir tun, ohne lange darüber nachzudenken. Unsere eigenen Wertvorstellungen und Wünsche beeinflussen unsere Entscheidungen, angefangen bei der Auswahl der Daten, die zu sammeln wir uns entscheiden, bis hin zu den Fragen, die wir stellen. Modelle sind in Mathematik eingebettete Meinungen.