ݺߣ

ݺߣShare a Scribd company logo
ETHIEK EN ICT ARCHITECTUUR
Dilemma’s en vragen
Dr. Ir. Anke van Gorp
Instituut voor Veiligheid
Lectoraat Kennisanalyse Sociale Veiligheid
2
INLEIDING
 Techniek en systemen zijn niet neutraal
 In ontwerp al waarden
 Ontwerp stimuleert en laat bepaald gebruik toe
 Interoperability
 Standaardisatie
 Algoritmen
 Zelflerende systemen
 Maakbaarheidsillusie
3
INTEROPERABILITY
 Niet interoperable: ICT in de gezondheidszorg,
dit leidt tot fouten
 Wel interoperable: Data gaan door geschakelde
systemen “reizen”
 Fouten bijna niet meer te herstellen
4
STANDAARDISERING EN DE NIET ZO PRECIEZE
WERKELIJKHEID
 Standaardisering en precieze definities nodig voor
digitalisering
 Werkelijkheid vaak niet zo zwart/wit
 Gebruikte begrippen anders gedefinieerd bijv woonadresbegrip
of inkomen
5
ALGORITMEN
 Selectiviteit in data
 Ook in algoritmen keuzes, bijv. in wegingsfactor of wat
relevant is om te includeren
 Gevolg: mogelijk grotere stratificatie van groepen mensen;
discriminatie;
 C5 Catholijn Jonker
6
ZELFLERENDE SYSTEMEN EN MACHINE LEARNING
 Herhaling of versterking bias in trainingsset
 Geen echte uitleg meer mogelijk
 C5 Catholijn Jonker
7
AMAZON SOLLICITATIEROBOT
 Selectie van sollicitatieformulieren tot top 5
 Getraind op cv’s van mensen die sinds 2004 waren
aangenomen
 Vrouwen benadeeld
 Ongeschikte kandidaten
8
GOOGLE SEARCH “INTERESSANTE MENSEN”19 SEPT 2018
9
ALGORITME, DATA EN OVERHEID
 Het is voor niet-ICT-specialisten onmogelijk te controleren of er geen
fouten in algoritme staan
 Regels en wetten moeten geïnterpreteerd worden naar de specifieke
situatie
 Gevolgen erg groot als je niet binnen de gestelde categorieën past
 Fouten werken als olievlek door systemen maar correcties niet
 Burger achteraf laten controleren kan maar beperkt oplossing bieden
 Al bij ICT architectuur ontwerp werken vanuit burger en publiek
perspectief
 C4 Jos van Dijk
 Raad van State Ongevraagd advies over de effecten van de digitalisering voor de rechtsstatelijke
verhoudingen en reactie erop door Widlak en Peeters NRC van 28 sept 2018
10
MAAKBAARHEIDSIDEAAL
 Kan je door gebruik van data het leven en de samenleving wel
sturen of in de hand houden?
 Alleen levensverzekering onder Vitality Program
 Korting bij het behalen van doelen mbt beweging (bijv Fitbit,
Apple Watch etc)
 Gift cards als ze hun workouts en gezonde voeding bijhouden
in een app
 https://venturebeat.com/2018/09/19/john-hancock-will-require-fitness-tracking-for-all-life-insurance-
policies/

More Related Content

Ethiek en ICT-architectuur: dilemma’s en vragen (presentatie LAC 15/11/18)

  • 1. ETHIEK EN ICT ARCHITECTUUR Dilemma’s en vragen Dr. Ir. Anke van Gorp Instituut voor Veiligheid Lectoraat Kennisanalyse Sociale Veiligheid
  • 2. 2 INLEIDING  Techniek en systemen zijn niet neutraal  In ontwerp al waarden  Ontwerp stimuleert en laat bepaald gebruik toe  Interoperability  Standaardisatie  Algoritmen  Zelflerende systemen  Maakbaarheidsillusie
  • 3. 3 INTEROPERABILITY  Niet interoperable: ICT in de gezondheidszorg, dit leidt tot fouten  Wel interoperable: Data gaan door geschakelde systemen “reizen”  Fouten bijna niet meer te herstellen
  • 4. 4 STANDAARDISERING EN DE NIET ZO PRECIEZE WERKELIJKHEID  Standaardisering en precieze definities nodig voor digitalisering  Werkelijkheid vaak niet zo zwart/wit  Gebruikte begrippen anders gedefinieerd bijv woonadresbegrip of inkomen
  • 5. 5 ALGORITMEN  Selectiviteit in data  Ook in algoritmen keuzes, bijv. in wegingsfactor of wat relevant is om te includeren  Gevolg: mogelijk grotere stratificatie van groepen mensen; discriminatie;  C5 Catholijn Jonker
  • 6. 6 ZELFLERENDE SYSTEMEN EN MACHINE LEARNING  Herhaling of versterking bias in trainingsset  Geen echte uitleg meer mogelijk  C5 Catholijn Jonker
  • 7. 7 AMAZON SOLLICITATIEROBOT  Selectie van sollicitatieformulieren tot top 5  Getraind op cv’s van mensen die sinds 2004 waren aangenomen  Vrouwen benadeeld  Ongeschikte kandidaten
  • 8. 8 GOOGLE SEARCH “INTERESSANTE MENSEN”19 SEPT 2018
  • 9. 9 ALGORITME, DATA EN OVERHEID  Het is voor niet-ICT-specialisten onmogelijk te controleren of er geen fouten in algoritme staan  Regels en wetten moeten geïnterpreteerd worden naar de specifieke situatie  Gevolgen erg groot als je niet binnen de gestelde categorieën past  Fouten werken als olievlek door systemen maar correcties niet  Burger achteraf laten controleren kan maar beperkt oplossing bieden  Al bij ICT architectuur ontwerp werken vanuit burger en publiek perspectief  C4 Jos van Dijk  Raad van State Ongevraagd advies over de effecten van de digitalisering voor de rechtsstatelijke verhoudingen en reactie erop door Widlak en Peeters NRC van 28 sept 2018
  • 10. 10 MAAKBAARHEIDSIDEAAL  Kan je door gebruik van data het leven en de samenleving wel sturen of in de hand houden?  Alleen levensverzekering onder Vitality Program  Korting bij het behalen van doelen mbt beweging (bijv Fitbit, Apple Watch etc)  Gift cards als ze hun workouts en gezonde voeding bijhouden in een app  https://venturebeat.com/2018/09/19/john-hancock-will-require-fitness-tracking-for-all-life-insurance- policies/