ݺߣ

ݺߣShare a Scribd company logo

Waarden ethiek en ai in het onderwijs, deel 2 - Wilco Te Winkel (EUR), Arun Rampersad (Datadirigent Academy) en Duuk Baten (SURF) - OWD21

•
•
SURF Events
SURF Events

AI in het onderwijs is een beladen toepassing. Hoe beschermen we onze waarden en zorgen we dat algoritmen ethisch worden ingezet? In deze sessie wordt concreet ingegaan op welke wijze ethische overwegingen een rol spelen tijdens de ontwikkelingfase als de productiefase AI algoritmen.

1 of 5
Downloaded 11 times
Versie 2021.1 Zicht op Algoritmen EEN PRAKTISCH RAAMWERK VOOR DE PUBLIEKE SECTOR ARUN RAMPERSAD
1 Inleiding Publieke organisaties worstelen met het goed omgaan met algoritmen. Inmiddels zijn er meerdere beleidskaders en instrumenten beschikbaar die publieke organisatie kunnen helpen bij het omgaan met algoritmen. Maar hoe implementeer je dat in de praktijk? En hoe zorg je ervoor dat modellen1 niet alleen worden ontwikkeld, maar ook goed gebruikt kunnen worden en worden geëvalueerd? Het Zicht op Algoritmen raamwerk is een praktisch uitvoerbaar 20- stappenplan voor publieke organisaties. Het geeft een praktische invulling aan verschillende beleidsstukken. In dit document lees je hoe het raamwerk in elkaar zit. Vervolgens krijg je tips mee voor gebruik. Het raamwerk Het ontwikkelen van voorspellende en voorschrijvende modellen vereist op hoofdlijnen 4 fases: voorbereiding, ontwikkeling, productie, monitoring. Elke stap wil je benaderen vanuit 4 disciplines: domein, data, analyse, ethiek. Je eindigt elke fase met een soort go/no go moment, waardoor het model 20 stappen bevat. 1 In de praktijk wordt met algoritme vaak een voorspellend of voorschrijvend model bedoeld. Voorbereiding In een ideale situatie heeft een organisatie al verkennende data analyses uitgevoerd en is er sprake van besluitvorming op basis van datagedreven inzichten. Op het moment dat er een vraag ontstaat om een voorspelling, begint het zicht op algoritmen raamwerk. 1. Vraag Het stellen van een goede vraag is essentieel voor het slagen van een project. Beschrijf hier wat de context is en de ‘businessvraag’. Vervolgens wordt de businessvraag vertaald naar een datavraag.2 2. Analysemogelijkheden Als er eenmaal een goede vraag is, kan een data analist herleiden om wat voor soort analyse het gaat. Is het bijvoorbeeld een regressievraag, classificatievraag of een vorm van clustering? 3. Dataselectie Voordat data wordt ontsloten naar een analyseomgeving, zal je moeten aangeven welke data nodig is voor de analyse. Goede metadata is hiervoor essentieel. Als organisatie wil je beschreven hebben welke 2 Dit kan ook in stap 2 plaatsvinden. Figuur 1: Zicht op Algoritmen raamwerk
2 data er is, waar die data beschikbaar is en wat het betekent. 4. AVG en Ethiek Voor de AVG, art 5 en 6, is het van belang om te weten welke vraag er is, met welk doel de analyse plaatsvindt of datagebruik proportioneel is en er zijn vereisten rondom juistheid en maatregelen (technisch en organisatorisch). Daarom vindt er een privacy advies plaats. Ook de wenselijkheid van de analyse komt ter sprake, door een data ethicus die vrij van een data-analyse team kan opereren. Het uitvoeren van een DPIA of bijvoorbeeld DEDA3 workshop (De Ethische Data Assistent), past ook onder deze stap. 5. Go/ No Go Op basis van de businessvraag, de gewenste analyse en data, de AVG en ethiek toets, is het mogelijk om een akkoord te geven voor de start van het project. Een verantwoordelijke vanuit het domein verleent toestemming. Denk aan een directeur of manager. Indien nodig wordt op basis van een projectportfolio prioriteiten vastgesteld voor de uitvoering van verschillende projecten. Ontwikkeling Bij de ontwikkeling wordt de stap gezet van denken over een voorspelmodel naar het ontwikkelen van een model. Op papier lijkt dit makkelijk, maar binnen de publieke sector is het vooral van belang om aannames te toetsen en te zorgen voor eerlijke algoritmen. 6. Datapreparatie De goedgekeurde data wordt verzameld en geplaatst in een analyseomgeving. Hier wordt een dataset gemaakt dat gebruikt kan worden om een algoritme te trainen. Er vindt ook een 3 https://dataschool.nl/en/deda/ datakwaliteitsanalyse plaats en er worden nieuwe variabelen gecreëerd (feature engineering). Toegang tot de omgeving wordt ingericht. 7. Modelontwikkeling In deze fase wordt de dataset verdeeld in test, training en holdout sets. Vervolgens vindt het werkelijke trainen van voorspelmodellen plaats. Hier ligt de nadruk op de algemene kwaliteit van een model en een selectie van algoritmen. 8. Aannames toetsen Aannames toetsen op businesswerkelijkheid gebeurt idealiter samen met de voorgaande twee stappen. Omgaan met datakwaliteitsissues, features die nuttig zijn bedenken en aannames over welke type fouten een model mag maken, zijn typisch vraagstukken die vanuit het domein worden beantwoord. 9. Ethische overwegingen Een model komt nooit helemaal overeen met de werkelijkheid. Er zitten altijd fouten in. Daarom is het belangrijk om stil te staan bij bepaalde eerlijkheidsfactoren als het gaat om algoritmegebruik. Zijn er groepen die je wil beschermen tegen niet-terechte bias? 10.Goedkeuren model De verantwoordelijke uit het domein bepaalt uiteindelijk of het model goed genoeg is om gebruikt te worden. De keuze wordt gemaakt op basis van al het voorafgaande, dus niet alleen op basis van de kwaliteit van een model.
3 Productie Een succesvol model ontwikkelen is een mooie prestatie. Maar het is niet genoeg om een model ook daadwerkelijk te gebruiken. Ook voor veel grote organisaties, is het in productie brengen van voorspelmodellen een grote uitdaging.4 11.Data pipeline Het ontwikkelen van een model gebeurt op een statische dataset. Om het model te gebruiken is het nodig om (structureel) data te voeden aan het model, de voorspelling uit te voeren en de werkelijke uitkomst weer terug te koppelen. Daarom worden er datastromen ontwikkeld. 12.Model Interface Een voorspelling op zich doet nog niet veel voor de besluitvorming. Degene die een beslissing gaat nemen op basis van de voorspelling heeft een gebruikersinterface nodig. Deze interface zorgt ervoor dat het model niet bepaalt, maar dat het model beslissingsondersteunend werkt. Er ontstaat wel een inzicht, maar dat kan worden geduid en er kan van worden afgeweken. 13.Issueregister ethiek Ethische gesprekken, en overwegingen voor het gebruik zijn nuttig. Als organisatie wil je wel de mogelijkheid bieden om structureel een overzicht van ethische aandachtspunten op te nemen, met daarin ook beschreven of en zo ja hoe die zijn verwerkt. Deze aandachtspunten kunnen ook komen vanuit medewerkers en eindklanten (burgers). De data ethicus draagt zorg voor het register. 4 https://www.forbes.com/sites/gilpress/2020/01/13/ai- stats-news-only-146-of-firms-have-deployed-ai- capabilities-in-production/?sh=697e612c2650 14.Implementatietraject Een toekomstige gebruiker, of meerdere gebruikers, willen het model gaan gebruiken. Zij hebben wel training nodig over het doel van het model, de werking daarvan, de manier waarop het gebruikt wordt in het werkproces. Daarom vindt het implementatietraject plaats. Dit is het traject dat wordt doorlopen om gebruikers te trainen en te begeleiden bij het gebruiken van het model. 15.In gebruikname De vraag is nu niet of het model goed is, maar of alles is georganiseerd voor het succesvol gebruiken van het model. Als het antwoord ja is, dan geeft het domein goedkeuring voor in gebruikname van het model. Monitoring Een van de kenmerken van voorspelmodellen is dat de kwaliteit van een model verandert naarmate de tijd vordert. Als bijvoorbeeld de nieuwe data, waar voorspellingen op worden gedaan, veel verschilt van de trainingsdata, dan zie je dat terug in de kwaliteit. Het is daarom van groot belang om de werking van voorspelmodellen goed te monitoren. 16.Bepalen kwaliteitseisen Omdat de werking van voorspelmodellen verandert, zal je afspraken moeten maken over de mate van veranderen die wordt geaccepteerd. Bij welke verandering doen we niets en bij welke verandering gaan we het model opnieuw trainen? 17.Ethische eisen Bij het ontwikkelen zijn er keuzes gemaakt rondom eerlijkheid. Ook de mate van
4 eerlijkheid kan veranderen als een model in gebruik is genomen. Welke mate wordt geaccepteerd en wanneer vindt er hertraining plaats? Daarnaast kunnen er issues worden aangemaakt via het register. Hoe gaat de organisatie daarmee om? 18.Algoritmeregister Publieke organisaties moeten openlijk communiceren naar burgers over het gebruik van algoritmes. Daarvoor is het algoritmeregister. Hierin staat onder andere op begrijpelijke manier uitgelegd voor welke processen er voorspelmodellen worden gebruikt en hoe die werken. 19.Modelbeheer De beheerorganisatie neemt het voorspelmodel in beheer conform de afspraken die zijn gemaakt. Er wordt structureel gemonitord en op de afgesproken momenten wordt contact gezocht met bijvoorbeeld de data ethicus, analist of het domein. 20.Veranderingen initiëren Uiteindelijk zal blijken dat er aanpassingen nodig zijn aan het model. Als ze klein zijn vallen ze misschien onder het reguliere beheer. Voor grotere veranderingen is het domein weer aan zet, om die te initiëren. Hiermee ga je terug naar de voorbereiding, waarbij het doorlopen van de stappen waarschijnlijk veel sneller zal gaan dan bij het voor het eerst ontwikkelen van een model. Tips voor gebruik Inbedden in het proces Het raamwerk met de 20 stappen kan je inbedden in het Analytics (of data science, of algoritme) proces van jouw organisatie. Het is mogelijk om de 20 stappen op te nemen in een projectmanagementmodule, zodat een organisatie weet dat alle stappen met de daarbij verwachte output wordt geleverd. Het brengt overzicht en inzicht op het vakgebied. Een model is niet de werkelijkheid Een voorspelmodel benadert de werkelijkheid, maar het is niet de werkelijkheid. Zo is het ook met dit raamwerk. Gebruik het op een manier waarop het jou helpt. Suggesties voor verbetering zijn overigens welkom. Het raamwerk zal regelmatig worden verbeterd. Recente versies raamwerk Op de website www.datadirigent.academy is het zicht op algoritmen raamwerk te downloaden. Daar zullen ook nieuwe versies verschijnen. Wil je op de hoogte gehouden worden van nieuwe versies, mail dan naar arun@datadirigent.nl. Op de website is ook een e-learning beschikbaar, waar een praktische invulling wordt gegeven aan dit raamwerk. Verspreiden van het raamwerk Ik ben een groot voorstander van het ontwikkelen en delen van kennis. Daarom ben je vrij om dit werk te delen, aan te passen en opnieuw te gebruiken. Ik zou het fijn vinden als je dan wel verwijst naar de auteur (Arun Rampersad), dit document “Zicht op Algoritmen” en de website www.datadirigent.academy.

More Related Content

Waarden ethiek en ai in het onderwijs, deel 2 - Wilco Te Winkel (EUR), Arun Rampersad (Datadirigent Academy) en Duuk Baten (SURF) - OWD21

  • 1. Versie 2021.1 Zicht op Algoritmen EEN PRAKTISCH RAAMWERK VOOR DE PUBLIEKE SECTOR ARUN RAMPERSAD
  • 2. 1 Inleiding Publieke organisaties worstelen met het goed omgaan met algoritmen. Inmiddels zijn er meerdere beleidskaders en instrumenten beschikbaar die publieke organisatie kunnen helpen bij het omgaan met algoritmen. Maar hoe implementeer je dat in de praktijk? En hoe zorg je ervoor dat modellen1 niet alleen worden ontwikkeld, maar ook goed gebruikt kunnen worden en worden geëvalueerd? Het Zicht op Algoritmen raamwerk is een praktisch uitvoerbaar 20- stappenplan voor publieke organisaties. Het geeft een praktische invulling aan verschillende beleidsstukken. In dit document lees je hoe het raamwerk in elkaar zit. Vervolgens krijg je tips mee voor gebruik. Het raamwerk Het ontwikkelen van voorspellende en voorschrijvende modellen vereist op hoofdlijnen 4 fases: voorbereiding, ontwikkeling, productie, monitoring. Elke stap wil je benaderen vanuit 4 disciplines: domein, data, analyse, ethiek. Je eindigt elke fase met een soort go/no go moment, waardoor het model 20 stappen bevat. 1 In de praktijk wordt met algoritme vaak een voorspellend of voorschrijvend model bedoeld. Voorbereiding In een ideale situatie heeft een organisatie al verkennende data analyses uitgevoerd en is er sprake van besluitvorming op basis van datagedreven inzichten. Op het moment dat er een vraag ontstaat om een voorspelling, begint het zicht op algoritmen raamwerk. 1. Vraag Het stellen van een goede vraag is essentieel voor het slagen van een project. Beschrijf hier wat de context is en de ‘businessvraag’. Vervolgens wordt de businessvraag vertaald naar een datavraag.2 2. Analysemogelijkheden Als er eenmaal een goede vraag is, kan een data analist herleiden om wat voor soort analyse het gaat. Is het bijvoorbeeld een regressievraag, classificatievraag of een vorm van clustering? 3. Dataselectie Voordat data wordt ontsloten naar een analyseomgeving, zal je moeten aangeven welke data nodig is voor de analyse. Goede metadata is hiervoor essentieel. Als organisatie wil je beschreven hebben welke 2 Dit kan ook in stap 2 plaatsvinden. Figuur 1: Zicht op Algoritmen raamwerk
  • 3. 2 data er is, waar die data beschikbaar is en wat het betekent. 4. AVG en Ethiek Voor de AVG, art 5 en 6, is het van belang om te weten welke vraag er is, met welk doel de analyse plaatsvindt of datagebruik proportioneel is en er zijn vereisten rondom juistheid en maatregelen (technisch en organisatorisch). Daarom vindt er een privacy advies plaats. Ook de wenselijkheid van de analyse komt ter sprake, door een data ethicus die vrij van een data-analyse team kan opereren. Het uitvoeren van een DPIA of bijvoorbeeld DEDA3 workshop (De Ethische Data Assistent), past ook onder deze stap. 5. Go/ No Go Op basis van de businessvraag, de gewenste analyse en data, de AVG en ethiek toets, is het mogelijk om een akkoord te geven voor de start van het project. Een verantwoordelijke vanuit het domein verleent toestemming. Denk aan een directeur of manager. Indien nodig wordt op basis van een projectportfolio prioriteiten vastgesteld voor de uitvoering van verschillende projecten. Ontwikkeling Bij de ontwikkeling wordt de stap gezet van denken over een voorspelmodel naar het ontwikkelen van een model. Op papier lijkt dit makkelijk, maar binnen de publieke sector is het vooral van belang om aannames te toetsen en te zorgen voor eerlijke algoritmen. 6. Datapreparatie De goedgekeurde data wordt verzameld en geplaatst in een analyseomgeving. Hier wordt een dataset gemaakt dat gebruikt kan worden om een algoritme te trainen. Er vindt ook een 3 https://dataschool.nl/en/deda/ datakwaliteitsanalyse plaats en er worden nieuwe variabelen gecreëerd (feature engineering). Toegang tot de omgeving wordt ingericht. 7. Modelontwikkeling In deze fase wordt de dataset verdeeld in test, training en holdout sets. Vervolgens vindt het werkelijke trainen van voorspelmodellen plaats. Hier ligt de nadruk op de algemene kwaliteit van een model en een selectie van algoritmen. 8. Aannames toetsen Aannames toetsen op businesswerkelijkheid gebeurt idealiter samen met de voorgaande twee stappen. Omgaan met datakwaliteitsissues, features die nuttig zijn bedenken en aannames over welke type fouten een model mag maken, zijn typisch vraagstukken die vanuit het domein worden beantwoord. 9. Ethische overwegingen Een model komt nooit helemaal overeen met de werkelijkheid. Er zitten altijd fouten in. Daarom is het belangrijk om stil te staan bij bepaalde eerlijkheidsfactoren als het gaat om algoritmegebruik. Zijn er groepen die je wil beschermen tegen niet-terechte bias? 10.Goedkeuren model De verantwoordelijke uit het domein bepaalt uiteindelijk of het model goed genoeg is om gebruikt te worden. De keuze wordt gemaakt op basis van al het voorafgaande, dus niet alleen op basis van de kwaliteit van een model.
  • 4. 3 Productie Een succesvol model ontwikkelen is een mooie prestatie. Maar het is niet genoeg om een model ook daadwerkelijk te gebruiken. Ook voor veel grote organisaties, is het in productie brengen van voorspelmodellen een grote uitdaging.4 11.Data pipeline Het ontwikkelen van een model gebeurt op een statische dataset. Om het model te gebruiken is het nodig om (structureel) data te voeden aan het model, de voorspelling uit te voeren en de werkelijke uitkomst weer terug te koppelen. Daarom worden er datastromen ontwikkeld. 12.Model Interface Een voorspelling op zich doet nog niet veel voor de besluitvorming. Degene die een beslissing gaat nemen op basis van de voorspelling heeft een gebruikersinterface nodig. Deze interface zorgt ervoor dat het model niet bepaalt, maar dat het model beslissingsondersteunend werkt. Er ontstaat wel een inzicht, maar dat kan worden geduid en er kan van worden afgeweken. 13.Issueregister ethiek Ethische gesprekken, en overwegingen voor het gebruik zijn nuttig. Als organisatie wil je wel de mogelijkheid bieden om structureel een overzicht van ethische aandachtspunten op te nemen, met daarin ook beschreven of en zo ja hoe die zijn verwerkt. Deze aandachtspunten kunnen ook komen vanuit medewerkers en eindklanten (burgers). De data ethicus draagt zorg voor het register. 4 https://www.forbes.com/sites/gilpress/2020/01/13/ai- stats-news-only-146-of-firms-have-deployed-ai- capabilities-in-production/?sh=697e612c2650 14.Implementatietraject Een toekomstige gebruiker, of meerdere gebruikers, willen het model gaan gebruiken. Zij hebben wel training nodig over het doel van het model, de werking daarvan, de manier waarop het gebruikt wordt in het werkproces. Daarom vindt het implementatietraject plaats. Dit is het traject dat wordt doorlopen om gebruikers te trainen en te begeleiden bij het gebruiken van het model. 15.In gebruikname De vraag is nu niet of het model goed is, maar of alles is georganiseerd voor het succesvol gebruiken van het model. Als het antwoord ja is, dan geeft het domein goedkeuring voor in gebruikname van het model. Monitoring Een van de kenmerken van voorspelmodellen is dat de kwaliteit van een model verandert naarmate de tijd vordert. Als bijvoorbeeld de nieuwe data, waar voorspellingen op worden gedaan, veel verschilt van de trainingsdata, dan zie je dat terug in de kwaliteit. Het is daarom van groot belang om de werking van voorspelmodellen goed te monitoren. 16.Bepalen kwaliteitseisen Omdat de werking van voorspelmodellen verandert, zal je afspraken moeten maken over de mate van veranderen die wordt geaccepteerd. Bij welke verandering doen we niets en bij welke verandering gaan we het model opnieuw trainen? 17.Ethische eisen Bij het ontwikkelen zijn er keuzes gemaakt rondom eerlijkheid. Ook de mate van
  • 5. 4 eerlijkheid kan veranderen als een model in gebruik is genomen. Welke mate wordt geaccepteerd en wanneer vindt er hertraining plaats? Daarnaast kunnen er issues worden aangemaakt via het register. Hoe gaat de organisatie daarmee om? 18.Algoritmeregister Publieke organisaties moeten openlijk communiceren naar burgers over het gebruik van algoritmes. Daarvoor is het algoritmeregister. Hierin staat onder andere op begrijpelijke manier uitgelegd voor welke processen er voorspelmodellen worden gebruikt en hoe die werken. 19.Modelbeheer De beheerorganisatie neemt het voorspelmodel in beheer conform de afspraken die zijn gemaakt. Er wordt structureel gemonitord en op de afgesproken momenten wordt contact gezocht met bijvoorbeeld de data ethicus, analist of het domein. 20.Veranderingen initiëren Uiteindelijk zal blijken dat er aanpassingen nodig zijn aan het model. Als ze klein zijn vallen ze misschien onder het reguliere beheer. Voor grotere veranderingen is het domein weer aan zet, om die te initiëren. Hiermee ga je terug naar de voorbereiding, waarbij het doorlopen van de stappen waarschijnlijk veel sneller zal gaan dan bij het voor het eerst ontwikkelen van een model. Tips voor gebruik Inbedden in het proces Het raamwerk met de 20 stappen kan je inbedden in het Analytics (of data science, of algoritme) proces van jouw organisatie. Het is mogelijk om de 20 stappen op te nemen in een projectmanagementmodule, zodat een organisatie weet dat alle stappen met de daarbij verwachte output wordt geleverd. Het brengt overzicht en inzicht op het vakgebied. Een model is niet de werkelijkheid Een voorspelmodel benadert de werkelijkheid, maar het is niet de werkelijkheid. Zo is het ook met dit raamwerk. Gebruik het op een manier waarop het jou helpt. Suggesties voor verbetering zijn overigens welkom. Het raamwerk zal regelmatig worden verbeterd. Recente versies raamwerk Op de website www.datadirigent.academy is het zicht op algoritmen raamwerk te downloaden. Daar zullen ook nieuwe versies verschijnen. Wil je op de hoogte gehouden worden van nieuwe versies, mail dan naar arun@datadirigent.nl. Op de website is ook een e-learning beschikbaar, waar een praktische invulling wordt gegeven aan dit raamwerk. Verspreiden van het raamwerk Ik ben een groot voorstander van het ontwikkelen en delen van kennis. Daarom ben je vrij om dit werk te delen, aan te passen en opnieuw te gebruiken. Ik zou het fijn vinden als je dan wel verwijst naar de auteur (Arun Rampersad), dit document “Zicht op Algoritmen” en de website www.datadirigent.academy.