Digitaal geweld
Als designonderzoeker en mensenrechtentechnoloog houd ik me bezig met haatberichten, online intimidatie en digitaal geweld. Zo onderzoek ik witte suprematie en de opkomst van het nieuwe Amerikaanse extreemrechts op sociale netwerken en digitale platforms. Hierbij focus ik me vooral op intersectionaliteit, hoe iedereen, van welke achtergrond dan ook, vanuit verschillende hoeken te maken kan krijgen met digitaal geweld, hoewel sommige mensen er vanwege hun identiteit en/of beroep vaker mee geconfronteerd worden dan andere.
In 2018 bleek uit het rapport Troll Patrol and Twitter Toxicity van Amnesty International dat zwarte vrouwen vaker met intimidatie te maken krijgen dan andere vrouwen, en dat vrouwen überhaupt vaker intimidatie ervaren dan mannen. Journalisten, vooral vrouwelijke, worden geconfronteerd met allerlei soorten bedreigingen, van online intimidatie tot aanvallen op een veel breder niveau. Dit gebeurt op socialmediaplatforms, en de bedenkers, bouwers, designers, technici en eigenaars van deze platforms dragen hier een verantwoordelijkheid in.
Door mensen vormgegeven
Als designonderzoeker worstelde ik met de vraag of design schuldig kan zijn, maar op een gegeven moment besefte ik dat ik de vraag op een al te empathische manier benaderde. In mijn streven om het probleem ‘neutraal’ te bekijken, pleitte ik mijn branche vrij van haar rol in het faciliteren en creëren van dit probleem. De illusie van neutraliteit is precies het issue met moderne technologie: omdat technologie niet menselijk is, ontstaat het idee dat ze onpartijdig is.
Maar dat is niet waar: technologie is door mensen gemaakt, door mensen vormgegeven; menselijke vooringenomenheid is er inherent aan. Technologie weerspiegelt en versterkt de menselijkheid; technologie is dus verre van neutraal. Sociale netwerken hebben hun gebreken en zorgen voor veel schade – maar sociale netwerken an sich zijn het probleem niet. Het zijn mensen die voor sociale netwerken werken en de beslissingen nemen; zijn zij niet ook verantwoordelijk?
Impact, niet intentie
Ik blijf peinzen over de vraag bij wie de verantwoordelijkheid ligt. In elk geval niet bij één persoon, maar bij veel personen, en veel platforms. Bij het beoordelen en doorgronden van online intimidatie gaat het om de impact, niet om de intentie, is mijn stelregel. Het is niet relevant als de dader niet de intentie had iemand lastig te vallen, feit is dat hij dat heeft gedaan. De regel van ‘impact, niet intentie’ die voorop staat in mijn onderzoek zou ook voorop moeten staan in de discussie over de verantwoordelijkheid voor het design van platforms.
Maar al te vaak maken grote techbedrijven hun excuses als hen bewijs voor de voeten wordt geworpen waaruit blijkt dat hun platforms schade toebrengen aan individuen, zoals aan journalisten die doodsbedreigingen ontvangen, dat hun platforms genocides steunen of aanmoedigen, en als middel fungeren voor het delen van extremistische content en het radicaliseren van gebruikers. Het was niet de intentie, zeggen ze dan, het zijn onvoorziene gevolgen. En toch is het de impact die ze hebben.
Wicked design
In mijn werk heb ik regelmatig intern met specifieke teams van deze bedrijven gesproken, en wat ik vaak te horen kreeg was dat het niet de bedoeling was om schade te veroorzaken, dat hun taak moeilijk, of zelfs onmogelijk is, dat de platforms een algemeen belang dienen door mensen met elkaar in contact te brengen, et cetera. Dit is een wicked design-probleem; wicked design is een term die in de designwereld wordt gebruikt voor een extreem ingewikkeld en complex probleem.
Socialmediaplatforms zijn wicked design-problemen, maar de platforms creëren die problemen zelf. Door op te schalen tot onmogelijke proporties ten gunste van de winstcijfers en kapitalisme zijn sociale netwerken een wicked design van hun eigen creatie geworden. Facebook is immens groot, en het verbindt mensen met community’s op manieren waar behoefte en noodzaak aan is. Maar ondanks die verbondenheid en de belangrijke rol van Facebook, Instagram en WeChat voor community’s mogen we niet voorbijgaan aan het feit dat het immense Facebook onmogelijk ethisch, rechtvaardig en verantwoord te beheren is, vooral niet zonder betekenisvolle transparantie, bewust gegevensbeheer en zeggenschap voor gebruikers.
Facebook kan verbeteren als het Europese regelgeving volgt en alle vormen van transparantie toestaat, inclusief (maar niet beperkt tot) transparantie met betrekking tot algoritmes, design- en technische processen en besluitvorming, inclusief het modereren van content.
Verantwoordelijkheid tegenover gebruikers
De ethicus Cennydd Bowles en anderen die zich bezighouden met verantwoord design hebben gewezen op de behoefte aan een ethische code voor ontwerpers, iets zoals de eed van Hippocrates voor artsen. Misschien bestaat zoiets al: grote technologiebedrijven en ontwerpers kunnen kiezen voor op mensenrechten gebaseerd design en ontwerpen met digitale rechten in het achterhoofd, oftewel, een mensenrechtenbeleid voeren. Afsaneh Rigot, deskundige op het gebied van mensenrechtenbeleid, verdedigt in haar werk Design from the Margins een vergelijkbare aanpak. Er zijn tal van voorbeelden te vinden; de methodieken Data Feminism en Design Justice worden inmiddels breed toegepast.
Er is een verschuiving in de focus nodig. In de designwereld lijkt het alsof wij als designers leren om optimistisch te denken over de manier waarop onze producten gebruikt zullen worden. In mijn designopleiding werd haast altijd over bestcasescenario’s gesproken, de worstcasescenario’s werden achterwege gelaten. Deze mindset in de design- en technologiewereld moet veranderen. Ik benader design vanuit het idee dat ik een verantwoordelijkheid heb tegenover gebruikers van het platform, ook als ze er schade van ondervinden. Ik ben verantwoordelijk voor en dus ook schuldig aan die schade, en iedereen die aan dat product of voor dat bedrijf werkt, deelt in die schuld.
Ethisch design
Als ethisch design en verantwoord design aan populariteit winnen, dan moet dat ook gelden voor het beginsel van ‘schuldig design’, en ontwerpers en designtechnologen moeten eigenaarschap tonen en verantwoordelijkheid nemen voor de schade die producten veroorzaken. Er zijn veel dingen, te veel dingen, die designers kunnen doen om de verspreiding van haatberichten, onjuiste informatie, haatsymbolen en intimidatie tegen te gaan. Zo kunnen ze niet alleen druk uitoefenen op het management, maar ook een bijdrage leveren aan de verschuiving van het hele ethos van design in de richting van preventie en beperking.
Hoewel CEO’s en leidinggevenden uiteindelijk de meeste macht hebben, is het tijd voor designers om zich te verenigen en hun stem te laten horen. Er zijn veel dingen waar belangenorganisaties al tien jaar onvermoeibaar om vragen. Platforms kunnen zich bijvoorbeeld meer focussen op transparantie en werkelijke samenwerking, zodat belangenorganisaties, community’s en experts hen kunnen helpen om schadelijk gebruik beter en sneller te identificeren.
Het jaar van schuldig design
In 2021 publiceerde ik een reeks design- en productaanvragen uit een co-designproject met journalisten om intimidatie en digitaal geweld op sociale netwerken tegen te gaan. Slechts een handjevol van deze producten is daadwerkelijk gemaakt en gebruikt door platforms. Het voelt alsof ikzelf, mijn vakgenoten en mijn community van designers al jarenlang van de daken schreeuwen dat platforms bepaalde veranderingen in hun beleid, technologie en design moeten doorvoeren om hun gebruikers beter te beschermen. Waarom zijn onze verzoeken aan dovemansoren gericht?
Misschien zou 2024 het jaar van schuldig design moeten worden, nu een groot deel van de wereld een verkiezingsjaar ingaat, vol zorgen over desinformatie, de toename in haatberichten en propaganda op populaire platformen als X (voorheen Twitter). Designers hebben impact.
Designers, ontwikkelaars, productmanagers, leidinggevenden en platformeigenaars hebben allemaal impact, en ze zijn allemaal schuldig aan de vroegere, huidige en toekomstige schade die gebruikers en community’s aan hun platforms ondervinden.
