Deelproject 4.3 Geautomatiseerde besluitvorming verantwoord gebruiken
Wordt een besluit volledig door een systeem genomen? Dan is er sprake van geautomatiseerde besluitvorming. Een besluit wordt dan niet door een mens genomen, maar door een computer. In het onderwijs is dit in principe verboden. We leggen hier uit wat dat betekent en hoe je ervoor zorgt dat je in je systemen inbouwt dat er altijd menselijke tussenkomst is voor een besluit wordt genomen.
Resultaat van dit deelproject
- Je bent nagegaan of en waar er sprake is van geautomatiseerde besluitvorming.
- Je hebt gezorgd dat er altijd menselijke tussenkomst is als er gebruik wordt gemaakt van geautomatiseerde besluitvorming.
Geautomatiseerde besluitvorming in het onderwijs
Wordt een besluit volledig door een systeem genomen? Dan is er sprake van geautomatiseerde besluitvorming. Het nemen van geautomatiseerde besluiten met rechtsgevolgen of vergelijkbare significante gevolgen is verboden. Hoewel hier uitzonderingen op mogelijk zijn, komen die in het onderwijs zelden voor. Je moet daarom systemen altijd zo inrichten dat er zogeheten betekenisvolle menselijke tussenkomst is voor een besluit wordt genomen. Een betekenisvolle menselijke tussenkomst houdt in dat een mens met een kritische blik meekijkt naar het besluit. Simpelweg een vinkje zetten is dus niet genoeg. Geautomatiseerde besluitvorming kan gebaseerd worden op profileringElke vorm van geautomatiseerde verwerking van persoonsgegevens waarbij aan de hand van persoonsgegevens bepaalde aspecten van een natuurlijke persoon worden geëvalueerd, met name met de bedoeling zijn economische situatie, gezondheid, persoonlijke voorkeuren, interesses, betrouwbaarheid, gedrag, locatie of verplaatsingen te analyseren of te voorspellen.. Profilering is het automatisch verwerkenAlles wat er met persoonsgegevens wordt gedaan, wordt in de wet verwerken genoemd. Verwerken is dus onder meer: online en offline persoonsgegevens verzamelen, kopiëren, opslaan, verspreiden, publiceren, delen én uitwisselen. Het maakt dus niet uit wat je doet met persoonsgegevens: alles noemen we verwerken en valt onder de wettelijke bescherming. van persoonsgegevensAlle gegevens waarmee direct of indirect een natuurlijk persoon (mens) kan worden geïdentificeerd. Het kan bijvoorbeeld gaan om een naam, BSN-nummer, geboortedatum, telefoonnummer of IP-adres. om analyses of voorspellingen te doen, bijvoorbeeld over iemands prestaties, gedrag of interesses.
Uitzonderingen
Op het verbod volledige geautomatiseerde besluitvorming bij besluiten met rechtsgevolgen of andere significante gevolgen in te zetten zijn uitzonderingen mogelijk:
- Het besluit is noodzakelijk voor de totstandkoming van een overeenkomst
- Er is uitdrukkelijke toestemming
- Het is toegestaan bij wetgeving (EU of NL)
In het onderwijs zullen deze uitzonderingen zelden van toepassingen zijn. Toch lichten we ze nader toe. Wil je gebruikmaken van de eerste twee uitzonderingen? Dan moet je passende maatregelen nemen. Je moet ervoor zorgen dat degene over wie het besluit wordt genomen achteraf kan vragen om menselijke tussenkomst, het recht heeft om een eigen standpunt kenbaar te maken en het recht heeft om het besluit aan te vechten. In het geval van de derde uitzondering volgen uit de wet die de uitzondering mogelijk maakt de passende maatregelen.
Voorbeelden uit de praktijk
In de praktijk zijn er verschillende voorbeelden die laten zien hoe profilering en geautomatiseerde besluitvorming zorgvuldig moeten worden toegepast.
- Adaptieve toetssoftware kan automatisch niveaus of vervolgtrajecten koppelen aan leerlingen, maar deze adviezen mogen nooit bepalend zijn zonder dat een leraar of zorgcoördinator de context meeweegt en de uiteindelijke beslissing neemt.
- Ook leerlingvolgsystemen mogen niet zelfstandig een schooladvies vaststellen, omdat er altijd ruimte moet zijn voor een professioneel oordeel. Selectie of plaatsing mag nooit volledig automatisch verlopen.
- Voorspellende modellen op basis waarvan geautomatiseerde besluiten worden genomen, kunnen nuttig zijn om zorgsignalen te geven, maar zij mogen geen labels toekennen. Het team moet de signalen beoordelen, onderbouwen en zorgvuldig communiceren.
- Hetzelfde geldt voor systemen die gedrag of absentie registreren. Automatische sancties zijn niet toegestaan, omdat de oorzaken en proportionaliteit altijd door een mens moeten worden beoordeeld.
AI en de AVG
Het onderwijs is door de AI-verordening expliciet aangewezen als een zogenaamd hoog-risicodomein. Dit betekent dat er voor de ontwikkeling en het gebruik van AI-systemen strikte eisen gelden als ze bedoeld zijn voor:
- bepalen van toegang, toelating en toewijzing tot onderwijs
- evalueren van leerresultaten en sturen van het leerproces
- beoordelen van het passend onderwijsniveau
- monitoren en detecteren van ongeoorloofd gedrag tijdens toetsen.
De AI-verordening en de AVG vullen elkaar aan. De AVG richt zich op de bescherming van persoonsgegevens en de rechten van leerlingen. De AI-verordening stelt eisen aan de veiligheid, betrouwbaarheid en kwaliteit van de technologie zelf. Voor scholen betekent dit dat een dubbele toets nodig is: is de verwerking juridisch toegestaan op grond van de AVG? Voldoet het gebruikte systeem technisch aan de eisen van de AI-verordening voor hoogrisicotoepassingen in het onderwijs? En welke maatregelen moeten er volgens de AI-verordening worden genomen om een hoog risico AI-systeem te kunnen gebruiken? Lees meer in Voldoen aan de AI-verordening.
Wie doet wat
- Het schoolbestuurHet schoolbestuur is het bevoegd gezag en daarmee eindverantwoordelijk voor alles dat met IBP te maken heeft. is eindverantwoordelijk voor het naleven van de vereisten rondom het gebruik van geautomatiseerde besluitvorming en/of profilering.
- Het schoolbestuur is eindverantwoordelijk voor het zorgen dat betekenisvolle menselijke tussenkomst altijd wordt ingebouwd bij systemen waar geautomatiseerde besluitvorming wordt toegepast.
- De IBP-verantwoordelijkeIn het PO meestal betrokken bij de praktische uitvoering van IBP. Deze rol kan afhankelijk van het soort onderwijs (PO of VO) en van de grootte van de organisatie, ook vervuld worden door een privacy officer, manager IBP, ICT-coördinator, informatiemanager, security officer, functioneel beheerder, ICT-beheerder of kwaliteitsmedewerker. of privacy officerIn het VO meestal betrokken bij de uitvoering van IBP. Deze rol kan ook afhankelijk van het soort onderwijs (PO of VO) en van de grootte van de organisatie, ook vervuld worden door een manager IBP, verantwoordelijke IBP, informatiemanager, security officer, functioneel beheerder, ICT-beheerder, ICT-coördinator of kwaliteitsmedewerker. zorgt ervoor dat betekenisvolle menselijk tussenkomst wordt ingebouwd in systemen en processen waar geautomatiseerde besluitvorming wordt toegepast.
Aan de slag
Met het volgen van onderstaande stappen richt je menselijke tussenkomst bij geautomatiseerde besluitvorming goed in.
Stap 1 Inventarisatie
Ga in het verwerkingsregister na bij welke processen en systemen geautomatiseerde besluitvorming zou kunnen voorkomen. Bijvoorbeeld adaptieve leermiddelen, toelating, overgang, begeleiding, zorgsignalering, sancties et cetera. Word er gebruikgemaakt van geautomatiseerde besluitvorming? Leg het dan in het verwerkingsregister vast.
Stap 2 Bouw betekenisvolle menselijke tussenkomst in
Wordt er in een van je systemen of processen gebruikgemaakt van geautomatiseerde besluitvorming? Dan moet je ervoor zorgen dat een mens meekijkt voor een besluit wordt genomen. Om ervoor te zorgen dat dat gebeurt moet je zowel je systemen als je processen op de juiste manier inrichten. Je kunt hiervoor gebruikmaken van de Handvatten betekenisvolle menselijke tussenkomst van de Autoriteit Persoonsgegevens. Wil je eerst een beeld krijgen van wat je een betekenisvolle menselijke tussenkomst precies inhoudt? Bekijk dan de samenvatting van de handvatten die de Autoriteit Persoonsgegevens gemaakt heeft.
Stap 3 Neem geautomatiseerde besluitvorming mee in de DPIA
Zorg ervoor dat er bij de DPIADPIA is Data Protection Impact Assessment. In het Nederlands heet het gegevensbeschermingseffectbeoordeling. Met een DPIA onderzoek je wat het effect op de privacy van de betrokkenen is bij het verwerken van persoonsgegevens. een controle wordt opgenomen op automatische besluitvorming en betrek de FGIemand die binnen de organisatie toezicht houdt op de toepassing en naleving van de Algemene Verordening Gegevensbescherming (AVG). hierbij. Documenteer ook de mate en het moment van menselijke betrokkenheid.
Stap 4 Evalueer regelmatig
Ga periodiek na of de menselijke toekomst nog naar behoren werkt. Ga na of er geen zogeheten automation bias is ontstaan, waarbij het oordeel van het algoritme automatisch wordt vertrouwd en er alleen maar een vinkje wordt gezet of dat door werkdruk besluiten klakkeloos worden overgenomen.