1. Kan vi bruke personopplysninger i KI-løsningen?

Et spørsmål som går igjen i Datatilsynets sandkasse er: Har vi lov til å bruke personopplysninger i løsningen vår?

Svaret er som regel: Det kommer an på.

For at behandlingen av personopplysninger skal være lovlig, må virksomheten ha et rettslig grunnlag, også ved utvikling av kunstig intelligens. Dette er i tråd med personvernforordningen artikkel seks.

Kunstig intelligens omfatter ofte flere faser: utvikling, anvendelse (bruken av selve løsningen) og etterlæring. Disse fasene kan overlappe, noe som gjør det krevende å avgjøre når én fase slutter og en annen begynner. Og selv om virksomheten har rettslig grunnlag for én fase, betyr det ikke nødvendigvis at dette grunnlaget dekker andre faser.

Vi møtte på denne problemstillingen sammen med NAV – i et av de første sandkasseprosjektene våre. Her kom vi frem til, at NAV hadde hjemmel i folketrygdloven til å behandle brukernes opplysninger for å yte tjenester. Loven er derimot ikke tydelig på om de kan bruke historiske data om sykemeldinger til trening av algoritmene.

En annen viktig læring, er at det er viktig å identifisere hvilke data som faktisk inneholder personopplysninger. I sandkasseprosjektet med Juridisk ABC kom vi frem til at de kunne nytte lovtekster, forskrifter, forarbeider og lignende juridiske kilder i den generative KI-løsningen for arbeidsrett. Det var ikke krav om rettslig grunnlag ganske enkelt fordi kildene ikke inneholdt personopplysninger. Derimot inneholdt dommer og kjennelser ofte omfattende mengder personopplysninger – som kan være svært sensitive for de som er involvert. Derfor måtte Juridisk ABC ha et rettslig grunnlag for å inkludere disse i KI-løsningen.

2. Er anonymisering løsningen?

Flere av virksomhetene i sandkassen har ønsket å anonymisere personopplysninger. Anonymiserte data er jo ikke omfattet av personvernregelverket, så det kan forenkle mye. Men – det har i praksis vist seg krevende å få til faktisk anonymisering.

Til tross for betydelige fremskritt innen anonymiseringsteknologi, som skal hindre identifisering av enkeltpersoner i datasett, har det parallelt vært en utvikling av analyseteknologi som øker risikoen for re-identifisering. Mer offentliggjøring av offentlige data har også gjort det mulig å sammenstille flere datapunkter fra ulike kilder, hvilket øker utfordringen.

I sandkassen har vi sett flere eksempler på bruk av ny teknologi for å redusere risikoen for re-identifisering. Finansvirksomheten Finterai ville bruke føderert læring for å kunne dele innsikt fra transaksjonshistorikk mellom banker – uten å eksponere opplysninger som kunne knyttes til enkeltpersoner.

Teknologiselskapet Mobai hadde en lignende tilnærming, men benyttet homomorfisk kryptering for å gjøre re-identifisering vanskeligere. Ved hjelp av denne teknologien kunne aktører analysere krypterte personopplysninger uten at de måtte dekrypteres. Dette skjer ved at de bevarer de egenskapene ved personopplysningene som de ønsker å bruke, og fjerner resten.

Personvernfremmende teknologier, som føderert læring og homomorfisk kryptering, markerer viktige skritt i riktig retning for å få til godt personvern i praksis. De bidrar ikke bare til å redusere risikoen for re-identifisering av personer som er i et KI-datasett. De gir også virksomheter bedre muligheter til å balansere innovasjon med personvern og informasjonssikkerhet.

3. Kan kunstig intelligens bidra til dataminimering?

Prinsippet om dataminimering kan ved første øyekast virke som en motpol til kunstig intelligens. Kunstig intelligens trenger store mengder personopplysninger for å lære. Prinsippet om dataminimering slår fast at du skal samle inn minst mulig personopplysninger – kun det som er nødvendig for å oppnå formålet.

I flere sandkasseprosjekter har vi utforsket dette tilsynelatende dilemmaet. For eksempel har vi i sammen med sikkerhetsselskapet Doorkeeper sett på hvordan KI-baserte overvåkingskameraer kan minimere innsamlingen av personopplysninger. Blant annet kan de sladde mennesker i videostrømmen eller aktivere løpende opptak kun når en spesifikk hendelse utløser det. Vi har også diskutert situasjoner man ikke vet hvilke opplysninger som er nødvendige før de har analysert data over tid. Er det brudd på dataminimeringsprinsippet, om det i ettertid viser seg at personopplysninger har blitt behandlet uten å være relevante? Vi har utforsket problemstillingen i sandkassen, men som i mange andre tilfeller vil svaret avhenge av den konkrete konteksten.

4. Hvordan skaper algoritmer urettferdighet?

Helsesektoren har vært godt representert i sandkassen, blant annet gjennom prosjekter med Helse Bergen og Ahus. Disse har fokusert på KI-løsninger som skulle forutsi hjertesvikt og peke ut pasienter med fare for rask reinnleggelse på sykehus.

Kunstig intelligens i helsesektoren reiser viktige spørsmål om algoritmeskjevheter, som kan føre til at pasientene blir diskriminert. I begge prosjektene var KI-verktøyene ment som beslutningsstøtte og ikke for å gjennomføre automatiserte avgjørelser uten menneskelig innblanding. Likevel, det er en utbredt forståelse for at kunstig intelligens kan videreføre og forsterke eksisterende diskriminering i samfunnet. I tilfeller hvor algoritmene kommer til feil vurdering av folks helse, kan dette ha alvorlige konsekvenser.

I Ahus-prosjektet så de at dårlig datakvalitet og feil i datagrunnlaget potensielt kunne resultere i uriktige og diskriminerende resultater. Og de så på forskjellige metoder for å avverge dette.

For virksomheter som vil avverge algoritmeskapt diskriminering, har Likestillings- og diskrimineringsombudet en nyttig veileder om innebygd diskrimineringsvern. Den er rettet mot de som er ansvarlige for utvikling, anskaffelse og bruk av ML-systemer, og skal gjøre dem kjent med diskrimineringsregelverket, slik at de kan forebygge ved å vurdere diskrimineringsrisikoen teknologien medfører.

5. Hvem har ansvaret: utvikler eller kunde?

I flere sandkasseprosjekter har vi diskutert ansvarsforhold knyttet til behandlingen av personopplysninger i KI-løsninger: Hvem er behandlingsansvarlig? Hvem er databehandler? Og bør utviklere ta et større ansvar for å hjelpe virksomheter med å etterleve personvernregelverket?

En leverandør har ikke nødvendigvis et direkte ansvar for at kjøperne av produktet følger personvernregelverket, når løsningen blir brukt til å samle inn og behandle personopplysninger. Likevel bør de levere løsninger som legger til rette for at kunden, som ofte er å regne som behandlingsansvarlig, kan overholde regelverket i praksis.

I noen tilfeller kan det også være hensiktsmessig at utviklere eller leverandører tar på seg mer ansvar, for å sikre viktige personvernhensyn. Dette kan for eksempel være knyttet til tilgangskontroll eller informasjonssikkerhet.

Et eksempel på at utvikleren tar mer ansvar for å forbedre personvernet, ser vi i prosjektet med Secure Practice. Denne teknologivirksomheten hadde som mål å gi persontilpasset opplæring i cybersikkerhet. Sikkerhetsopplæringen var ment for ansatte i virksomheter, som ville kjøpe tjenesten fra Secure Practice. I tillegg ville ledelsen i disse virksomhetene få statistikk over ansattes kunnskaps- og interessenivå innenfor informasjonssikkerhet. For å kunne levere tjenesten uten at informasjon om ansatte kan misbrukes av ledelsen, drøftet deltakerne i prosjektet at det kunne være nødvendig å holde tilbake personopplysninger fra kunden. For at dette skulle være mulig, vurderte de en løsning med felles behandlingsansvar. Secure Practice og kunden vil da i fellesskap fastsette formålene og midlene for behandlingen av arbeidstakers personopplysninger.

Dette viser hvor viktig det er å avklare og plassere ansvarsforhold for å utvikle løsninger med godt personvern. Klare ansvarsforhold bidrar ikke bare til bedre etterlevelse av regelverket. Det kan også bidra til økt tillit mellom leverandører og kunder.

6. Hvorfor maser vi så fælt om at personvernet må tidlig på plass?

Har du hørt om innebygd personvern? Det er et prinsipp i personvernregelverket om at tekniske systemer og løsninger blir utviklet slik at personvernet blir ivaretatt. Poenget er å sikre at personvernet i systemet er gjennomtenkt, heller enn å forsøksvis bli klattet på til slutt. I den nye digitaliseringsstrategien slår regjeringen fast at alle relevante IT-løsninger i offentlig sektor skal ha innebygd personvern. Men hva betyr det i praksis?

Mange av virksomhetene har kommet til sandkassen med KI-prosjekter i konseptfasen. Erfaringen fra disse prosjektene er at tidlige veivalg har stor betydning for hvor lett eller vanskelig det blir å etterleve kravene i personvernregelverket. 

Flere eksempler fra sandkassen illustrer dette, spesielt når det gjelder lagring av personopplysninger for KI-formål. For eksempel kan lagring av store mengder personopplysninger sentralt på en felles server, gjøre dataene sårbare og øke angrepsflatene. Da må strenge organisatoriske og tekniske tiltak til for å sikre opplysningene, ettersom lagringen innebærer en større risiko for de registrerte. På en annen side kan desentralisert lagring – for eksempel ved kantprosessering (edge computing) – i visse tilfeller redusere personvernrisikoen. Det forenkler virksomhetens arbeid med informasjonssikkerhet.

Ett eksempel på desentralisert lagring er Doorkeepers løsning, der videostrømmen fra et overvåkingskamera ble sladdet direkte i kamerahuset før opptakene ble sendt videre til et brukergrensnitt. Et annet eksempel var et prosjekt med Ruter, som ønsket lokal lagring på brukernes egne mobiltelefoner i forberedelsesfasen til å utvikle KI.

Hvor data skal lagres, er neppe det første du tenker på etter å ha fått en ide om en genial ide. Å tenke på det tidlig nok kan riktignok spare deg for mye frustrasjon, og brukerne for risiko.

Dette er særlig relevant for virksomheter med begrensede ressurser – å utvikle løsninger som fra starten ikke krever omfattende tiltak for å oppfylle personvernregelverket. Å tilpasse ferdigutviklede løsninger i etterkant kan være både tidkrevende og kostbart.

Etter den første bølga med generative KI-verktøy som kunne gjere mykje artig, var 2024 året for integrerte KI-verktøy i systema vi allereie brukar. Slik som Microsofts M365 Copilot. Vi blir lokka med ein enklare og meir effektiv arbeidskvardag. Men det har også ein pris. Ikkje berre i kroner og øre.

Grundig kalkyle frå NTNU

Kva den prisen blir, er eit komplekst reknestykke. Så kva er vel betre enn at ein tung og truverdig aktør som NTNU tok på seg oppgåva med å rekne seg fram til eit svar. I god akademisk ånd gjekk dei grundig til verks. Og dei involverte oss i Datatilsynet ved å bli med i vår regulatoriske sandkasse. Det er eit veiledningtilbud, der vi kan gå djupare i materien – og ja, på ein måte vere meir løysningsorienterte – enn rammene tillet oss i tradisjonelle veiledningsformer.

Vi merka at mange «der ute» venta i spenning på vurderingane og erfaringane frå prosjektet. I slutten av november lanserte vi rapporten som ser på korleis ein stor offentleg aktør som NTNU eventuelt kan ta i bruk M365 Copilot.

Sjå rapporten «Copilot med personvernbriller på».

Før det hadde NTNU også laga ein rapport med viktige funn utover det reint personvernmessige, der dei tar for seg både forvaltning, opplæring, økonomiske kostnader og korleis eit slikt verktøy kan påverke organisasjonen og arbeidsmiljøet.

Sjå NTNUs funnrapport.

Forsiktig med den røde knappen

Hovedbudskapet er at verksemder bør vere varsame med å berre trykke på den røde knappen og ta i bruk dette eller liknande integrerte KI-verktøy utan å gjere grundige vurderingar i forkant, i tillegg til å sikre kontrollmekanismar og god opplæring av brukarane. For dette er kraftfulle saker.

Begge rapportane er pedagogisk oppbygd og delt inn i 8-9 funn eller hovedpunkt. Det er verdt å lese dei begge, men som ein appetittvekker, skal du få fem sentrale punkt her:  

1. Start med ein strategi.

Definer tydeleg kva verksemda ønsker å oppnå, kva områder som er aktuelle for KI-bruk og kva områder ein bør halde utanfor. Som hovedregel er generativ KI best når du allereie kan det du vil at den skal hjelpe deg med, du har kapasitet til å kvalitetssikre arbeidet, og er villig til å ta det heile og fulle ansvaret for feil i det den leverer.

2. Sørg for orden i eige hus.

Dette er superviktig. Copilot finn (og behandlar) all informasjon du har tilgang til. Det er godt muleg at du har tilgang til mykje meir informasjon enn du er klar over. Det kjem an på om verksemda di har stålkontroll, eller ikkje, på tilgangsstyring og alt som fins av personopplysningar i systema som blir brukt. Sjølv om lova krev at verksemder har stålkontroll – om enn i meir juridiske formuleringar – ville det vere naivt av Datatilsynet å ta for gitt – slik leverandøren av Copilot gjer – at absolutt alle faktisk har det.

Ei utfordring med Copilot er at svakheter i «den digitale grunnmuren» blir synlege og kraftig forsterka med eit verktøy som har tilgang til alt du har tilgang til – og veit å utnytte seg av det.

Eller for å ta den positive tilnærminga: premien til dei som har skikkeleg orden i eige hus, er at dei har ein langt kortare veg til å kunne ta i bruk integrert KI, som for eksempel Copilot.

3. Tenk grundig (og kreativt) gjennom kva som kan gå galt?

Brukarar vil dele alle typar data med, og bruke, generativ kunstig intelligens til det dei kan. Sånn er det berre. Er det muleg, vil det bli gjort. Det er viktig å ta med seg inn når ein skal gjere vurderingar av kva personvernkonsekvensar det vil få å ta i bruk eit slikt verktøy. Ein kan ikkje ta for gitt at folk berre brukar verktøyet slik sjefane har tenkt.

Og apropos sjefane: dette verktøyet kan brukast som bossware. «Kan» her som i teknologisk – ikkje juridisk – mulighet. La meg sitere frå NTNUs funn:

«arbeidsgivere kan vurdere ansattes prestasjoner og adferd basert på skriftlig innhold de har tilgang til, som filer, dokumenter, Teams-chatter, e-postkorrespondanse, Teams-innhold, følelsesreaksjoner (emojis), transkripsjoner fra møter med automatisk opptak, osv. Ansatte har ingen mulighet til å finne ut om en slik vurdering av dem selv har skjedd.»

NTNU oppdaga at det er lett å få verktøyet til å seie noko om humør og sinnsstemning til andre tilsette. Og:

«Når Copilot har for lite informasjon å jobbe med, kan det oppstå utfordringer med løgn og hallusinasjoner. Det er sannsynlig at Copilot kan «finne på» følelser for de ansatte, noe som gjør denne problemstillingen enda mer utfordrende.»

Ein kanskje litt kontroversiell tanke i NTNU-rapporten er å vurdere om for eksempel leiarar med personalansvar ikkje skal få tilgang til Copilot, mens tilsette «på gølvet» kan få det?

På toppen av det heile er dette eit verktøy i stadig endring – på godt og vondt. Feil blir fortløpande retta, verktøyet blir stadig justert, men nye funksjonar blir også stadig lagt til. Det gjer det utfordrande å forvalte. Det krev ei vaken IT-avdeling. Det krev masse opplæring. Og det krev disiplinerte brukarar.

Så sett frå eit personvernperspektiv; det er mykje som kan gå galt og mange ledd det kan svikte i. Og det er verksemda sitt ansvar å ha tenkt grundig gjennom alt.

4. Vurder alternative løysingar.

Viss nokon av blomstrane i bedet ser litt tørste ut, set du ikkje heile hagen under vatn. Då er vi tilbake til strategien. Kanskje held det med eit par meir spissa KI-verktøy, som gjer akkurat dei arbeidsoppgåvene det er (mest) behov for, i staden for dei integrerte som skal slurpe i seg det som fins av data i organisasjonen?

Det er definitivt verd å ta med i kalkuleringane, når arbeidet i organisasjonen skal effektiviserast, at det kan vere langt meir ressurskrevande å forvalte eit stort og komplekst verktøy, enn eit par små.

Og – kanskje litt pussig, men eit siste punkt:

5.  Ikkje hopp på KI-toget utan ein exit-strategi.

Ha ein klar plan for korleis verktøyet kan bli skrudd av, om nødvendig, før du slår det på.

Nederland har nyleg fraråda statlege verksemder å ta i bruk Copilot. Nokon vil kanskje påstå at vi i praksis gjer det samme. Men nei, teknologien har mykje bra i seg, og det handlar om å finne gode og praktiske tilnærmingar for å ta den i bruk på ein forsvarleg måte. Vår oppfordring er å gjere det i små og kontrollerte steg.

Men – dersom både dei som bygger KI-toget og passasjerane som kastar seg på er drevet av frykt for å ikkje vere fremst i toget, er det nok oppskrifta på ein ganske forutsigbar 💥 🙈

Overvåkingskameraer har gjennomgått en bemerkelsesverdig teknologisk utvikling de siste tiårene. Et av de viktigste fremskrittene er intelligent videoanalyse, der algoritmer analyserer og tolker videostrømmer, uten hjelp fra mennesker.

Teknologien kan utføre et mangfold av oppgaver. Alt fra enkle ting, som å detektere når en dør åpner seg, til mer inngripende former for overvåking, som involverer avansert analyse av ansikter og bevegelses- og atferdsmønstre.

Men er det mulig å bruke slik teknologi, som kan overvåke mennesker, og samtidig ivareta kravene i personvernregelverket? Dette var bakgrunnen for at Datatilsynet samarbeidet med sikkerhetsselskapet Doorkeeper i vår regulatoriske sandkasse.

Er det mulig med personvernvennlig overvåking?

I prosjektet utforsket vi mulighetene for å konfigurere intelligent videoanalyse slik at behandlingen av personopplysninger blir mindre inngripende. Doorkeepers løsning for å gjøre dette var blant annet å:

• Unngå kontinuerlig opptak av videostrømmen. Doorkeeper vil kun «aktivere» opptak når løsningen registrerer en forhåndsdefinert sikkerhetstrussel, for eksempel knusing av et butikkvindu. Dette vil gjøre at virksomheten ikke har løpende opptak av personer som ikke er relevante for hendelsen.
• Ansikter og menneskeformer sladdes i sanntid fra videostrømmen. Dette betyr at personene i videostrømmen ikke vil være direkte identifiserbare med mindre en uønsket hendelse oppstår.

Vi har også diskutert hvorvidt intelligent videoanalyse vil endre hvor det er lovlig å overvåke. Datatilsynets funn tyder på at dette i liten grad endres selv med kameraer som kan fjerne visse personopplysninger fra videostrømmen. For eksempel er det bare offentlige myndigheter som har lov til å overvåke offentlige steder. Dette endres ikke selv om private virksomheter tar i bruk mer «personvernvennlige» løsninger. 

Men et interessant unntak fra dette er når kameraet konfigureres som en sensor med formål om å detektere brann- og røykutvikling. I et hypotetisk tilfelle hvor et slikt kamera skal detektere brann på en kirkevegg, vil løsningen muligens oppfylle lovkravene hvis behandlingen av personopplysninger er svært begrenset og metoden er bedre egnet til å oppnå formålet enn andre mindre inngripende løsninger, som for eksempel en vanlig brannalarm.

Nye bruksområder for overvåkingskameraer

Til tross for at intelligente løsninger i liten grad endrer hvor det er mulig å sette opp et kamera, har mange sett nye bruksområder for teknologien. Ett eksempel på dette er bruken av «feberkameraer» under pandemien. Disse ble installert på sykehus og fotballstadioner for å analysere besøkendes temperaturer og oppdage mulige COVID-19-smittebærere.

I Europa har det også vært en opphetet debatt om intelligent overvåking på kollektivtransport. For eksempel da selskapet Eurostar implementerte intelligente løsninger på sine tog, for å analysere passasjerenes humør og ansiktstrekk. Formålet var å identifisere potensielle trusler mot andre passasjerer.

Personvernproblematikken ved disse eksemplene er todelte. I det konkrete tilfellet er det spørsmål om overvåkingen er forsvarlig, om den er for inngripende og om den oppfyller lovens krav. På et samfunnsnivå handler spørsmålet om den totale graden av kontroll og det voksende «overvåkingstrykket» som gjør at det er stadig færre steder vi kan bevege oss fritt uten å bli observert.

Sikkerhet, overvåking og personvern

Sikkerhet, overvåking og personvern kan være motstridende interesser. På den ene siden kan overvåking være nødvendig for å sikre både mennesker og materielle verdier. Men man har ofte sett at dette kan gå utover integriteten til enkeltpersoner og retten til et privatliv, ved uønsket overvåking i situasjoner man vil være i fred, eller ved misbruk av opplysninger fra videostrømmen.

Teknologi som markedsføres som «personvernvennlig» kan også gi en falsk følelse av trygghet. Som vi har drøftet i sandkasse-prosjektet, er det avgjørende at slik teknologi kommer sammen med konkrete tiltak som begrenser muligheten for brudd på personvern. Dette inkluderer å sørge for at personvern er standardinnstillingen i konfigurasjonen, å ivareta informasjonssikkerheten i alle ledd, og hindre at uvedkommende får tilgang til å se eller manipulere videostrømmen.

Falske positiver og bias i treningen

Et tilbakevendende problem med løsninger som bygger på kunstig intelligens, er falske positiver. Falske positiver kan føre til at behandlingen av personopplysninger blir mer omfattende enn det den ansvarlige virksomheten har lov til. I tilfellet av kameraovervåking for sikkerhetsformål kan det også ha seriøse negative konsekvenser for enkeltpersoner. For eksempel kan en person bli feilaktig beskyldt for handlinger de ikke har begått, eller at man – via biaser i dataene som systemet er trent på – blir profilert basert på hudfarge eller andre sensitive fysiske trekk.

I motsetning vil falske negativer kunne medføre at overvåkingen ikke oppfyller formålene den er ment eller trent å oppfylle. Enhver som benytter intelligent kameraovervåking må derfor følge med på eventuelle falske positiver og negativer, og kontinuerlig tilpasse løsningen slik at den fungerer etter hensikt.

Personvern er både et lovkrav og et konkurransefortrinn

For virksomheter som vil ta i bruk intelligent videoanalyse, vil et godt personvern være et helt klart konkurransefortrinn i markedet. Ved å vise at man tar personvern seriøst – og at man etterlever lovkravene – bygger man tillit hos virksomhetene som skal ta i bruk teknologien – samt ansatte, kunder og andre som er eksponert for overvåkingen.

Les Datatilsynets rapport om kunstig intelligens og personvern.

Det betyr ikke at utfallet ikke er riktig. Tvert imot er et viktig argument for å ta i bruk slik teknologi, at vi kan finne sammenhenger og ta avgjørelser som er riktigere enn tidligere. Vi kan stå på skuldrene til datakjemper og ideelt sett motvirke forskjellsbehandling og diskriminering.

Svart boks, mørkt for personvernet

Like fullt, svart boks-problematikk er åpenbart svært utfordrende for personvernet. Å forklare hvordan personopplysninger brukes, er et sentralt prinsipp og en forutsetning for å avdekke og korrigere feil og motvirke diskriminering. Kan vi da leve med at kunstig intelligens får en sentral rolle i prosesser og avgjørelser, som er viktige for oss og livet vårt, uten at vi får en forklaring på hvorfor resultatet ble som det ble? Neppe. Samtidig kan det argumenteres for at informasjon om en modells virkemåte kan avsløre forretningshemmeligheter, noe som også vil være problematisk. Så om vi klarer å åpne den svarte boksen, hvor mye av innholdet i den skal og bør løftes ut i lyset? Hvem er det som trenger å forstå? Og hvor godt må vi forstå det?

Mengdetrening i vurdering

Datatilsynets KI-sandkasse er til nettopp for å få mengdetrening i slike vurderinger. Det første prosjektet som kommer ut av sandkassa etter et halvår med juridiske, teknologiske og tidvis filosofiske vurderinger, er fra NAV. De vil bruke KI for å predikere den videre lengden på sykefraværet, når sykmeldingen har passert fire måneder. NAVs modell er et beslutningsstøttesystem. Det betyr at modellen ikke automatisk avgjør hvem som trenger oppfølging og ikke, men at NAV-veilederne som møter den sykmeldte får en anbefaling fra modellen. Selve avgjørelsen tas altså av et menneske. Men maskinen har kommet med en prediksjon om hvor lenge vedkommende vil være sykmeldt, basert på historiske data. En slik anbefaling fra en maskinlæringsmodell vil nok fort oppleves som vanskelig å overprøve.

Kunsten å designe passe intelligent KI

På den annen side er jo hele poenget med å innføre et slikt system, at anbefalingene skal være så gode at de reduserer de tilfeldige variasjonene blant veilederne og fører til mer enhetlig praksis, i tillegg til å redusere kostnader. Siktemålet er med andre ord at veilederne ikke skal lene seg for mye eller for lite på anbefalingen, men at bakgrunnen for avgjørelsen skal være trygg.

Heldigvis er det ikke nødvendigvis like bekmørkt inne i alle de svarte boksene. NAV-modellens prediksjon kommer med en forklaring av hvilke data som har påvirket utfallet i den ene og andre retningen. Og i tillegg vet man jo hvilke data modellen har blitt foret med.

At veilederne får god opplæring og instrukser i hvordan algoritmen fungerer og skal brukes, samt en meningsfull forklaring i enkelttilfeller, er viktig for å redusere risikoen for en «snikautomatisering». Det vil også forhindre at modellens prediksjon ikke tas med i vurderingen i det hele tatt. Jo bedre veilederne forstår modellens oppbygning, virkemåte og oppførsel, jo enklere vil det være for en veileder å vurdere prediksjonen på et selvstendig og trygt grunnlag. Uavhengig av om den endelige avgjørelsen blir å følge prediksjonens anbefaling eller ikke.

Les sluttrapporten fra dette sandkasseprosjektet.

Vi fikk inn 25 søknader til den regulatoriske sandkassen for kunstig intelligens (KI) og personvern. Spennet i søknadene viser det enorme potensialet KI har for å forbedre og effektivisere samfunnet vårt. Samtidig ser vi helt klart et behov for avklaring av hvordan deler av personvernregelverket skal tolkes i praksis.

Topp 5

Lista over tematikk, som søkerne i første runde med Datatilsynets sandkasse ønsker hjelp med, toppes av disse fem:

1. Transparens
2. Dataminimering
3. Rettferdighet
4. Anonymisering/avidentifisering
5. Behandlingsgrunnlag

Tilbakemeldingene vi har fått fra søkerne er at regelverket er der, men hvordan skal vi gjøre det i praksis? Hvor detaljert må forklaringen være? Hvordan kan vi bruke så lite data som mulig (dataminimering), men samtidig få nøyaktige resultater? Hvordan kan vi designe et system som er rettferdig for brukeren og ikke diskriminerer?

Vi er i gang med å velge ut fire prosjekter av de 25 søknadene som vi skal jobbe tett med for å utforske gode personvernløsninger i de ulike løsningene. Målet med sandkassen er å jobbe frem gode personvernløsninger for å vise frem at KI og personvern kan gå hånd i hånd, og gi eksempler på vurderinger og personverntiltak i konkrete prosjekter. Vi håper det kan være til hjelp og inspirasjon for andre virksomheter som benytter personopplysninger og KI.

KI overalt

Kunstig intelligens kan gjøre utdanningen mer tilpasset og presis, den kan hjelpe med å effektivisere helsehjelp og fange opp sykdom på et tidlig tidspunkt, den kan spare samfunnet for store verdier ved å avdekke hvitvasking på en måte mennesker ikke kan. Søknadene representerer mange ulike sektorer, og vi har alt fra små oppstartsselskaper til store offentlige aktører på listen.

11 av søkerne kommer fra offentlig sektor, og 14 fra privat sektor.

Nå gleder vi oss til å komme i gang med de første sandkasseprosjektene. Følg gjerne med på våre nettsider om nytt fra sandkassen – vi staser på å dele oppdateringer underveis i prosjektene. Første runde vil vare i 3-6 måneder, og vi kjører nytt opptak når vi har kapasitet til høsten. 

Personvern er svært viktig når vi skal utvikle gode løsninger for kunstig intelligens. Innsatsfaktoren i mange av de løsningene som de neste årene vil bli utviklet, er vanlige opplysninger, om helt vanlige folk: Helseopplysninger, opplysninger om utdannelse, inntekt eller trygd, om vi har barn, hvor stort lån vi har eller om vi har mange inkassosaker mot oss. Slike opplysninger kan brukes til å gi oss bedre helsehjelp, raskere behandling av en lånesøknad og kanskje får vi tildelt flere tjenester før vi har søkt om dem, ja, kanskje til og med uten at vi vet at vi har krav på dem.

Men fallgruvene er åpenbare. Kunstig intelligens (KI) kan bidra til å avgjøre utfallet av politiske valg, til feilaktig diagnostisering, til å skape eller forsterke fordommer, eller til at vi urettmessig får avslag på en søknad om lån.

KI innebærer behandling av enorme datamengder, ofte, eller faktisk nær sagt aldri, vet vi som forbrukere eller borgere hvilke opplysninger om oss som inngår i et KI-system. Dette utfordrer både prinsippet om dataminimalisering, og ikke minst prinsippet om transparens. Hvordan skal vi kunne vite hva som skjer med dataene våre, og hvorfor resultatet blir som det blir, når hele behandlingen forgår inne i en svart boks – en maskin som gir oss svar, men ingen forklaring?

Med all den informasjonen som finnes om oss forbrukere og borgere i dag, kan feil bruk av kunstig intelligens ødelegge den grunnlovbestemte retten vi har til privatliv. I Global Risk Report 2017 betegner World Economic Forum kunstig intelligens som en av de fremvoksende teknologiene med størst nytteverdi, men også med størst skadepotensial. Det er ikke vanskelig å være enig i dette. Tre år er gått, og nå er vi der. 

Med dette som bakteppe, er det slett ingen selvfølge at en som jobber med personvern blir invitert til å holde innlegg på fremleggelsen av regjeringens strategi for kunstig intelligens, og slett ingen selvfølge at vi i Datatilsynet er veldig positiv til den strategien som nå fremlegges. Men det er vi altså, og grunnen til det er at viktigheten av personvern, og en etikk som ligger som et skall rundt personveregelene, har fått en viktig plass i denne strategien. Dessuten må vi erkjenne at tiden da personopplysninger ikke skulle brukes, deles eller omformes til beslutninger, behandlingstilbud eller personrettet markedsføring er forbi. Med nytt personvernregelverk er det viktigere enn noen gang å gjøre dette riktig, å gi forbrukerne de rettighetene de har krav på, og ikke minst sørge for at den enkelte kan treffe riktige og informerte beslutninger om hvordan opplysningene deres blir brukt.  

Det store spørsmålet er selvsagt hvordan dette skal bli noe mer enn ord. Personvernregelverket skal møte den utviklingen vi har fått beskrevet her i dag. Alle selskap, private og offentlige, som vil utvikle og ta i bruk KI der personopplysninger inngår, må forholde seg til dette regelverket. Personvernregleverket vil med andre ord sette avgjørende rammer for utviklingen av kunstig intelligens fremover. Regelverket legger større plikter på virksomhetene, gir forbrukerne bedre rettigheter, legger opp til tettere samarbeid mellom tilsynsmyndighetene i Europa og innfører betydelige sanksjoner for de som bryter reglene.

Jeg vil særlig trekke fram to viktige, nye plikter. Det første gjelder kravet om å gjennomføre personvernkonsekvensutredninger. Dette er en risikovurdering med mennesket i sentrum, og virksomhetene må her gå dypere enn kun å vurdere risiko og konsekvens. De må for eksempel vurdere hva det betyr for meg som borger at de automatiserer en saksbehandlingsprosess ved hjelp av KI. Kan det sette mine grunnleggende verdier i fare? Kan det føre til forskjellsbehandling? Til økonomiske eller sosiale ulemper? Kan det frata meg retten til innsyn eller til muligheten til å imøtegå eller etterprøve beslutningen? Dette er svært relevante spørsmål å stille når vi vurderer bruk av KI.

Den andre er plikten til innebygget personvern. Dette betyr, som sikkert veldig mange vet, at personvernet bygges inn i teknologien. Datatilsynet har ledet arbeidet med en veileder for innebygd personvern i Personvernrådet, som er det viktigste EU-organet på personvernområdet, og jeg må innrømme at vi er ganske stolte av dette. Vi mener at mange viktige spørsmål kan finne sin løsning i nettopp innebygd personvern. 

Men KI er mye mer enn juss og teknologi. Det er behov for en egen etikk for KI, som et skall som ligger rundt lovverket. For selv om noe er lov, må vi alltid stille spørsmål om det er etisk riktig å gjøre det. La meg ta et eksempel: I dag er det mulig å samle inn enormt mye informasjon om oss som forsikringskunder, nok til at et selskap ved bruk av KI kan gi deg en pris basert på hvordan akkurat du lever livet ditt. Dette er en slags oppførselsbasert prising. De lovmessige grensene for hvor langt et selskap kan gå i å segmentere kundene er på ingen måte klar, og her kommer etikken inn: Hvor langt bør et selskap eller en bransje gå? Når er ikke en forsikring lenger en kollektiv ordning der 1000 mennesker betaler 100 kroner hver slik at den som blir syk får dekket operasjonen? Her trenger vi en etisk diskusjon, som et skall rundt loven.

EU-kommisjonen har utarbeidet syv etiske prinsipper for pålitelig kunstig intelligens. Jeg vil trekke fram tre stykker som jeg synes er spesielt viktige:

• KI-baserte løsninger skal respektere menneskets selvbestemmelse og kontroll. Dette betyr at KI skal bidra til å fremme våre grunnleggende friheter og rettigheter. Mennesket skal være inne i beslutningsprosessene for å sikre at det er vi mennesker som kontrollerer maskinene og ikke omvendt. På engelsk presist omtalt som prinsippet om human-in-the loop.
  
• KI skal ta hensyn til personvernet. Jeg utdyper ikke dette nærmere, men ut fra det jeg har sagt så langt, er dette selvsagt helt vesentlig.
  
• KI-systemer skal legge til rette for inkludering, mangfold og likebehandling. Her er det viktig å være på vakt – eksemplene er mange på at  KI-systemer ikke alltid oppfyller disse prinsippene: Menn får i større grad tilbud om høyinntektsjobber enn kvinner, folk med dårlig råd får reklame for kreditt og Cambridge Analytica-saken viste hvor galt det kan gå.

Skal vi klare å utvikle en etisk, pålitelig og lovlig KI må vi jobbe bredt, og vi må jobbe sammen. Datatilsynet er tilsynsmyndighet med KI-systemer, vi kan derfor kalles Norges algoritmetilsyn. Og tilsyn vil utvilsomt være viktig for å kontrollere regelverket, både for å sanksjonere brudd, og for å hindre at de samme feilene skjer igjen, noe som i parentes bemerket ofte er en lite kommunisert del av tilsynsvirksomheten. På denne måten vil tilsynsvirksomhet være viktig for å ivareta og å bygge tillit til fremtidens KI-baserte systemer.

Men vi må ha flere enn én tanke i hodet. Vi må også bidra til at det utvikles sikre og robuste KI-baserte systemer, for å sitere en av de syv etiske retningslinjene fra EU. Jeg registrerer med stor begeistring at ett av tiltakene i strategien er å etablere en regulatorisk sandkasse under Datatilsynets myndighetsområde. For litt siden var vi på et meget inspirerende studiebesøk hos det britiske datatilsynet. De er, så vidt oss bekjent, det eneste datatilsynet som så langt har etablert en slik sandkasse. Vi ser frem til å etablere noe lignende hos oss. Tanken er at private og offentlige selskaper kan søke om deltagelse i sandkassen, med innovative og nyttige løsninger bygd på KI. Løsninger som kan utvikles i tett samarbeid med Datatilsynets eksperter. De kan teste løsninger uten at eventuelle lovbrudd vil medføre sanksjoner, og forsøke på nytt, til det «sitter» som det skal. Dette vil korte ned fasen fra idé til utrulling, føre til læring for virksomhetene og for oss, som blant annet. kan brukes til at vi kan utvikle veiledningsmateriell, og virksomhetene kan utvikle bransjenormer for egen sektor. Det britiske datatilsynet jobber sammen med Heathrow flyplass for å utvikle en personvernvennlig, innovativ ansiktsbiometri som kan gi en helt sømløs flyplassopplevelse, der ansiktet er billett på flytoget, boardingpass, alderskontroll på taxfree og pass. 

Erfaringene ICO gjør seg blir spennende å følge med på. Bruk av kunstig intelligens er i bunn og grunn et stort eksperiment, og noe av det som står på spill er borgernes personlige data. Det er viktig at utprøving og testing skjer i et trygt miljø, og i tett samarbeid med blant annet personvernmyndighetene. Da kan vi skape de vinn-vinn-situasjonene vi hele tiden leter etter. Å etablere en regulatorisk sandkasse er nybrottsarbeid, og kanskje en sjanse å ta, men vi tar den med åpne armer.