Discrimineert gezichtsherkenning mensen van kleur?

Mensen met een donkere huidskleur worden in New York meer en vaker gecontroleerd via camera’s met gezichtsherkenning dan hun witte medeburgers. Dat blijkt uit onderzoek van Amnesty International. Volgens de mensenrechtenorganisatie staan er in New Yorkse buurten Brooklyn, The Bronx en Queens, waar meer niet-witte mensen wonen, meer camera’s dan elders in de stad.

‘Door het gebruik van gezichtsherkenning in niet-witte wijken worden bruine en zwarte inwoners van New York gediscrimineerd door de politie’, aldus Matt Mahmoudi, onderzoeker bij Amnesty International, in een recent persbericht.

Het onderzoek dat de mensenrechtenorganisatie in New York deed, kadert in een bredere campagne genaamd Ban the Scan. Amnesty International wil daarmee de aandacht vestigen op de impact van gezichtsherkenningstechnologieën wereldwijd.

Zo stelde Amnesty vast dat de meeste camera’s op plekken staan waar de politie van New York (NYPD) het vaakst mensen tegenhoudt en fouilleert. Dat mag wettelijk gezien in New York onder het zogenaamde stop-and-friskprogramma, een praktijk die al langer op kritiek stuit.

Zo bleek in 2019 uit onderzoek van burgerrechtenbeweging The New York Civil Liberties Union dat 59% van de mensen die bij die politieacties worden tegengehouden van Afro-Amerikaanse afkomst is. Volgens de laatste data van The United States Census Bureau uit juli 2021 maakten Afro-Amerikanen slechts 24,3% uit van de bevolking van New York.

Algoritmes discrimineren

De foutenmarge ligt bij donker gekleurde vrouwen op maar liefst 34,7% terwijl dat bij witte mannen op 0,8% ligt.

Vandaag is er dus ook bezorgdheid over de impact van gezichtsherkenning. Mensen van kleur zouden meer risico lopen om verkeerd geïdentificeerd te worden met de bestaande software. Dat zou te maken hebben met de manier waarop algoritmes geprogrammeerd worden.

Volgens onderzoek van Timnit Gebru van Microsoft Research en Joy Buolamwini van het Massachusetts Institute of Technology worden die algoritmes getraind met bevooroordeelde data, wat zorgt voor discriminerende algoritmes. Zo concluderen de onderzoekers dat Afro-Amerikanen vaker door de politie worden gestopt en meer kans hebben om blootgesteld te worden aan gezichtsherkenning dan andere groepen in de VS.

Ook worden donkere vrouwen het vaakst verkeerd geïdentificeerd. De foutenmarge ligt bij hen op maar liefst 34,7% terwijl dat bij witte mannen op slechts 0,8% ligt. Ook andere groepen die ondervertegenwoordigd zijn in de algoritmes worden vaker het slachtoffer van verkeerde identificatie.

De discriminatie van algoritmes uit zich ook op banale en minder bedreigende manieren. ‘De draaideur opende wel voor mijn witte collega’s, maar niet voor mij’, getuigde neuro-informaticus aan de Universiteit van Amsterdam Sennay Ghebreab eerder aan MO*. Ook hij legt de oorzaak bij de datasets. Die bevatten te weinig mensen van kleur, waardoor het systeem sommige mensen niet evengoed herkent en sociale ongelijkheid vergroot.

Bij de New Yorkse politie klinkt kritisch tegengeluid over het onderzoek van Amnesty International. Adjunct-commissaris John Miller verklaarde aan ABC News dat de organisatie maar een deel van het verhaal vertelt en noemt de beschuldigingen misleidend. Hij wijst erop dat de camera’s net in die wijken staan omdat ook een groot deel van de slachtoffers van geweld mensen van kleur zijn en dat er meer zaken door worden opgelost. ‘Ze verdienen het niet alleen, maar vragen ook dat de politie reageert op misdaad en de verantwoordelijkheden vat.’

Sinds 2019 zijn er ook grootsteden, zoals San Francisco, Boston en Portland, die camera’s met gezichtsherkenning bannen.

Er zouden al zes klachten ingediend zijn tegen de gezichtsherkenningstechnologie die de NYPD gebruikt. Ook de burgemeester van New York, Eric Adams, verdedigt het gebruik ervan. ‘Ook op Facebook, Twitter en Instagram kan je geïdentificeerd worden zonder dat je mensenrechten worden geschonden’, verklaarde hij bij de aankondiging van een nieuw plan om wapengeweld aan te pakken. Al is de openbare ruimte natuurlijk geen sociaal netwerk wat je ook perfect links kunt laten liggen.

Wereldwijd probleem

Amnesty-medewerker Mahmoudi wijst erop dat de camera’s langs verschillende routes van de Black Lives Matter-protesten uit 2020 stonden. Dat was al zo voor de protesten er waren, maar daardoor waren betogers wel zichtbaarder voor de New Yorkse politie. Volgens Amnesty International ontmoedigt dat betogers om nog te protesteren omdat ze herkend konden worden door de camera’s. Zo werd het recht op vrije meningsuiting ingeperkt, aldus Amnesty International, maar ook het recht op privacy komt met deze technologie in het gedrang.

Het probleem beperkt zich niet tot New York. Zo geeft Amnesty het voorbeeld van twee mannen in Detroit die een klacht indienden tegen de Detroit Police Department omdat zij verkeerd geïdentificeerd werden. Want niet alleen New York, maar ook andere steden in de Verenigde Staten gebruiken gezichtsherkenningtechnologie. Sinds 2019 hebben enkele grootsteden, zoals San Francisco, Boston en Portland, camera’s met gezichtsherkenning expliciet verboden. De staat New York bande gezichtsherkenning op school in 2020.

Amnesty pleit voor een volledige ban in de staat en de stad. Ze wijst erop dat er al meermaals sprake was van discriminatie. Burgerrechtenbeweging ACLU (American Civil Liberties Union) maant het Amerikaanse Congres aan om zo’n verbod ook op federaal niveau in te voeren.

Gezichtsherkenning strookt volgens het Europees Parlement niet met fundamentele rechten rond privacy en menselijke waardigheid.

Ook in andere landen wint de technologie aan populariteit. In India wordt gezichtsherkenning gebruikt tegen minderheidsgroepen. Indiase producenten geven hun software aan de Indiase veiligheidsdiensten.

Op de Westelijke Jordaanoever worden camera’s van het bedrijf AnyVision gebruikt om de Palestijnse bevolking te controleren. Dat gebeurt ook al met de corona-app Al Munasiq, bedoelt voor contact tracing. De app is ontwikkeld in samenwerking met de Israëlische veiligheidsdiensten en zorgt voor toegang tot privé-informatie op het toestel, de camera en de microfoon. In maart 2021 hadden 50.000 Palestijnen de app geïnstalleerd. Om naar andere Palestijnse regio’s te reizen hebben ze toelating van Israël nodig, en door de pandemie is de aanvraag daarvoor gedigitaliseerd. Die aanvraag kon zo alleen nog gebeuren via de app.

Ook bij onze noorderburen doken problemen op met het gebruik van software met zogenaamde artificiële intelligentie. Zo werd bij de toeslagenaffaire die de vorige regering ten val bracht, gewerkt met een geautomatiseerd risicosysteem. Het systeem bepaalde welke toeslagenaanvragen extra controle vereisten. Aanvragers met een dubbele nationaliteit werden sneller en vaker gecontroleerd. De discriminatie vervat in de dataset werd gereproduceerd. ‘Racisme van de staat’, noemde onderzoeksjournalist Thomas Muntz dat op de Nederlandse NPO Radio 1.

Hoe zit het in België?

Camera’s met gezichtsherkenning zijn illegaal in België. Toch bleek in oktober 2021 dat de Belgische politie zich beriep op de diensten van Clearview AI, een bedrijf dat gezichtsherkenningssoftware ontwikkelt. Volgens Le Soir had de Belgische politie de beelden enkel voor tests gebruikt, maar het Comité P, het interne controleorgaan van de Belgische politie, concludeerde dat de software ook voor consultaties werd toegepast.

Clearview AI verzamelde zonder toestemming beelden van socialemediaplatformen wat ingaat tegen de servicevoorwaarden en het privacybeleid van onder andere Meta (Facebook) en Twitter. Het werd daarvoor al aangeklaagd in de Verenigde Staten en Canada. Volgens de Britse privacytoezichthouder ICO beschikt Clearview over een database van tien miljard verzamelde afbeeldingen.

Hoan Ton-That, ceo van Clearview AI, zou bovendien gelinkt worden aan extreemrechtse figuren zoals holocaustontkenner Charles Johnson. Ook Richard Spencer, de oprichter van National Policy Institute, wordt aan Ton-That gelinkt. Zijn denktank verspreidt extreemrechtse standpunten om ‘de witte cultuur en identiteit te vrijwaren’.

In oktober vorig jaar keurde het Europese Parlement een resolutie goed die geautomatiseerde gezichtsherkenning moet verbieden. Volgens het parlement strookt gezichtsherkenning namelijk niet met fundamentele rechten rond privacy en menselijke waardigheid.