1. Kan vi bruke personopplysninger i KI-løsningen?

Et spørsmål som går igjen i Datatilsynets sandkasse er: Har vi lov til å bruke personopplysninger i løsningen vår?

Svaret er som regel: Det kommer an på.

For at behandlingen av personopplysninger skal være lovlig, må virksomheten ha et rettslig grunnlag, også ved utvikling av kunstig intelligens. Dette er i tråd med personvernforordningen artikkel seks.

Kunstig intelligens omfatter ofte flere faser: utvikling, anvendelse (bruken av selve løsningen) og etterlæring. Disse fasene kan overlappe, noe som gjør det krevende å avgjøre når én fase slutter og en annen begynner. Og selv om virksomheten har rettslig grunnlag for én fase, betyr det ikke nødvendigvis at dette grunnlaget dekker andre faser.

Vi møtte på denne problemstillingen sammen med NAV – i et av de første sandkasseprosjektene våre. Her kom vi frem til, at NAV hadde hjemmel i folketrygdloven til å behandle brukernes opplysninger for å yte tjenester. Loven er derimot ikke tydelig på om de kan bruke historiske data om sykemeldinger til trening av algoritmene.

En annen viktig læring, er at det er viktig å identifisere hvilke data som faktisk inneholder personopplysninger. I sandkasseprosjektet med Juridisk ABC kom vi frem til at de kunne nytte lovtekster, forskrifter, forarbeider og lignende juridiske kilder i den generative KI-løsningen for arbeidsrett. Det var ikke krav om rettslig grunnlag ganske enkelt fordi kildene ikke inneholdt personopplysninger. Derimot inneholdt dommer og kjennelser ofte omfattende mengder personopplysninger – som kan være svært sensitive for de som er involvert. Derfor måtte Juridisk ABC ha et rettslig grunnlag for å inkludere disse i KI-løsningen.

2. Er anonymisering løsningen?

Flere av virksomhetene i sandkassen har ønsket å anonymisere personopplysninger. Anonymiserte data er jo ikke omfattet av personvernregelverket, så det kan forenkle mye. Men – det har i praksis vist seg krevende å få til faktisk anonymisering.

Til tross for betydelige fremskritt innen anonymiseringsteknologi, som skal hindre identifisering av enkeltpersoner i datasett, har det parallelt vært en utvikling av analyseteknologi som øker risikoen for re-identifisering. Mer offentliggjøring av offentlige data har også gjort det mulig å sammenstille flere datapunkter fra ulike kilder, hvilket øker utfordringen.

I sandkassen har vi sett flere eksempler på bruk av ny teknologi for å redusere risikoen for re-identifisering. Finansvirksomheten Finterai ville bruke føderert læring for å kunne dele innsikt fra transaksjonshistorikk mellom banker – uten å eksponere opplysninger som kunne knyttes til enkeltpersoner.

Teknologiselskapet Mobai hadde en lignende tilnærming, men benyttet homomorfisk kryptering for å gjøre re-identifisering vanskeligere. Ved hjelp av denne teknologien kunne aktører analysere krypterte personopplysninger uten at de måtte dekrypteres. Dette skjer ved at de bevarer de egenskapene ved personopplysningene som de ønsker å bruke, og fjerner resten.

Personvernfremmende teknologier, som føderert læring og homomorfisk kryptering, markerer viktige skritt i riktig retning for å få til godt personvern i praksis. De bidrar ikke bare til å redusere risikoen for re-identifisering av personer som er i et KI-datasett. De gir også virksomheter bedre muligheter til å balansere innovasjon med personvern og informasjonssikkerhet.

3. Kan kunstig intelligens bidra til dataminimering?

Prinsippet om dataminimering kan ved første øyekast virke som en motpol til kunstig intelligens. Kunstig intelligens trenger store mengder personopplysninger for å lære. Prinsippet om dataminimering slår fast at du skal samle inn minst mulig personopplysninger – kun det som er nødvendig for å oppnå formålet.

I flere sandkasseprosjekter har vi utforsket dette tilsynelatende dilemmaet. For eksempel har vi i sammen med sikkerhetsselskapet Doorkeeper sett på hvordan KI-baserte overvåkingskameraer kan minimere innsamlingen av personopplysninger. Blant annet kan de sladde mennesker i videostrømmen eller aktivere løpende opptak kun når en spesifikk hendelse utløser det. Vi har også diskutert situasjoner man ikke vet hvilke opplysninger som er nødvendige før de har analysert data over tid. Er det brudd på dataminimeringsprinsippet, om det i ettertid viser seg at personopplysninger har blitt behandlet uten å være relevante? Vi har utforsket problemstillingen i sandkassen, men som i mange andre tilfeller vil svaret avhenge av den konkrete konteksten.

4. Hvordan skaper algoritmer urettferdighet?

Helsesektoren har vært godt representert i sandkassen, blant annet gjennom prosjekter med Helse Bergen og Ahus. Disse har fokusert på KI-løsninger som skulle forutsi hjertesvikt og peke ut pasienter med fare for rask reinnleggelse på sykehus.

Kunstig intelligens i helsesektoren reiser viktige spørsmål om algoritmeskjevheter, som kan føre til at pasientene blir diskriminert. I begge prosjektene var KI-verktøyene ment som beslutningsstøtte og ikke for å gjennomføre automatiserte avgjørelser uten menneskelig innblanding. Likevel, det er en utbredt forståelse for at kunstig intelligens kan videreføre og forsterke eksisterende diskriminering i samfunnet. I tilfeller hvor algoritmene kommer til feil vurdering av folks helse, kan dette ha alvorlige konsekvenser.

I Ahus-prosjektet så de at dårlig datakvalitet og feil i datagrunnlaget potensielt kunne resultere i uriktige og diskriminerende resultater. Og de så på forskjellige metoder for å avverge dette.

For virksomheter som vil avverge algoritmeskapt diskriminering, har Likestillings- og diskrimineringsombudet en nyttig veileder om innebygd diskrimineringsvern. Den er rettet mot de som er ansvarlige for utvikling, anskaffelse og bruk av ML-systemer, og skal gjøre dem kjent med diskrimineringsregelverket, slik at de kan forebygge ved å vurdere diskrimineringsrisikoen teknologien medfører.

5. Hvem har ansvaret: utvikler eller kunde?

I flere sandkasseprosjekter har vi diskutert ansvarsforhold knyttet til behandlingen av personopplysninger i KI-løsninger: Hvem er behandlingsansvarlig? Hvem er databehandler? Og bør utviklere ta et større ansvar for å hjelpe virksomheter med å etterleve personvernregelverket?

En leverandør har ikke nødvendigvis et direkte ansvar for at kjøperne av produktet følger personvernregelverket, når løsningen blir brukt til å samle inn og behandle personopplysninger. Likevel bør de levere løsninger som legger til rette for at kunden, som ofte er å regne som behandlingsansvarlig, kan overholde regelverket i praksis.

I noen tilfeller kan det også være hensiktsmessig at utviklere eller leverandører tar på seg mer ansvar, for å sikre viktige personvernhensyn. Dette kan for eksempel være knyttet til tilgangskontroll eller informasjonssikkerhet.

Et eksempel på at utvikleren tar mer ansvar for å forbedre personvernet, ser vi i prosjektet med Secure Practice. Denne teknologivirksomheten hadde som mål å gi persontilpasset opplæring i cybersikkerhet. Sikkerhetsopplæringen var ment for ansatte i virksomheter, som ville kjøpe tjenesten fra Secure Practice. I tillegg ville ledelsen i disse virksomhetene få statistikk over ansattes kunnskaps- og interessenivå innenfor informasjonssikkerhet. For å kunne levere tjenesten uten at informasjon om ansatte kan misbrukes av ledelsen, drøftet deltakerne i prosjektet at det kunne være nødvendig å holde tilbake personopplysninger fra kunden. For at dette skulle være mulig, vurderte de en løsning med felles behandlingsansvar. Secure Practice og kunden vil da i fellesskap fastsette formålene og midlene for behandlingen av arbeidstakers personopplysninger.

Dette viser hvor viktig det er å avklare og plassere ansvarsforhold for å utvikle løsninger med godt personvern. Klare ansvarsforhold bidrar ikke bare til bedre etterlevelse av regelverket. Det kan også bidra til økt tillit mellom leverandører og kunder.

6. Hvorfor maser vi så fælt om at personvernet må tidlig på plass?

Har du hørt om innebygd personvern? Det er et prinsipp i personvernregelverket om at tekniske systemer og løsninger blir utviklet slik at personvernet blir ivaretatt. Poenget er å sikre at personvernet i systemet er gjennomtenkt, heller enn å forsøksvis bli klattet på til slutt. I den nye digitaliseringsstrategien slår regjeringen fast at alle relevante IT-løsninger i offentlig sektor skal ha innebygd personvern. Men hva betyr det i praksis?

Mange av virksomhetene har kommet til sandkassen med KI-prosjekter i konseptfasen. Erfaringen fra disse prosjektene er at tidlige veivalg har stor betydning for hvor lett eller vanskelig det blir å etterleve kravene i personvernregelverket. 

Flere eksempler fra sandkassen illustrer dette, spesielt når det gjelder lagring av personopplysninger for KI-formål. For eksempel kan lagring av store mengder personopplysninger sentralt på en felles server, gjøre dataene sårbare og øke angrepsflatene. Da må strenge organisatoriske og tekniske tiltak til for å sikre opplysningene, ettersom lagringen innebærer en større risiko for de registrerte. På en annen side kan desentralisert lagring – for eksempel ved kantprosessering (edge computing) – i visse tilfeller redusere personvernrisikoen. Det forenkler virksomhetens arbeid med informasjonssikkerhet.

Ett eksempel på desentralisert lagring er Doorkeepers løsning, der videostrømmen fra et overvåkingskamera ble sladdet direkte i kamerahuset før opptakene ble sendt videre til et brukergrensnitt. Et annet eksempel var et prosjekt med Ruter, som ønsket lokal lagring på brukernes egne mobiltelefoner i forberedelsesfasen til å utvikle KI.

Hvor data skal lagres, er neppe det første du tenker på etter å ha fått en ide om en genial ide. Å tenke på det tidlig nok kan riktignok spare deg for mye frustrasjon, og brukerne for risiko.

Dette er særlig relevant for virksomheter med begrensede ressurser – å utvikle løsninger som fra starten ikke krever omfattende tiltak for å oppfylle personvernregelverket. Å tilpasse ferdigutviklede løsninger i etterkant kan være både tidkrevende og kostbart.