1. Kan vi bruke personopplysninger i KI-løsningen?

Et spørsmål som går igjen i Datatilsynets sandkasse er: Har vi lov til å bruke personopplysninger i løsningen vår?

Svaret er som regel: Det kommer an på.

For at behandlingen av personopplysninger skal være lovlig, må virksomheten ha et rettslig grunnlag, også ved utvikling av kunstig intelligens. Dette er i tråd med personvernforordningen artikkel seks.

Kunstig intelligens omfatter ofte flere faser: utvikling, anvendelse (bruken av selve løsningen) og etterlæring. Disse fasene kan overlappe, noe som gjør det krevende å avgjøre når én fase slutter og en annen begynner. Og selv om virksomheten har rettslig grunnlag for én fase, betyr det ikke nødvendigvis at dette grunnlaget dekker andre faser.

Vi møtte på denne problemstillingen sammen med NAV – i et av de første sandkasseprosjektene våre. Her kom vi frem til, at NAV hadde hjemmel i folketrygdloven til å behandle brukernes opplysninger for å yte tjenester. Loven er derimot ikke tydelig på om de kan bruke historiske data om sykemeldinger til trening av algoritmene.

En annen viktig læring, er at det er viktig å identifisere hvilke data som faktisk inneholder personopplysninger. I sandkasseprosjektet med Juridisk ABC kom vi frem til at de kunne nytte lovtekster, forskrifter, forarbeider og lignende juridiske kilder i den generative KI-løsningen for arbeidsrett. Det var ikke krav om rettslig grunnlag ganske enkelt fordi kildene ikke inneholdt personopplysninger. Derimot inneholdt dommer og kjennelser ofte omfattende mengder personopplysninger – som kan være svært sensitive for de som er involvert. Derfor måtte Juridisk ABC ha et rettslig grunnlag for å inkludere disse i KI-løsningen.

2. Er anonymisering løsningen?

Flere av virksomhetene i sandkassen har ønsket å anonymisere personopplysninger. Anonymiserte data er jo ikke omfattet av personvernregelverket, så det kan forenkle mye. Men – det har i praksis vist seg krevende å få til faktisk anonymisering.

Til tross for betydelige fremskritt innen anonymiseringsteknologi, som skal hindre identifisering av enkeltpersoner i datasett, har det parallelt vært en utvikling av analyseteknologi som øker risikoen for re-identifisering. Mer offentliggjøring av offentlige data har også gjort det mulig å sammenstille flere datapunkter fra ulike kilder, hvilket øker utfordringen.

I sandkassen har vi sett flere eksempler på bruk av ny teknologi for å redusere risikoen for re-identifisering. Finansvirksomheten Finterai ville bruke føderert læring for å kunne dele innsikt fra transaksjonshistorikk mellom banker – uten å eksponere opplysninger som kunne knyttes til enkeltpersoner.

Teknologiselskapet Mobai hadde en lignende tilnærming, men benyttet homomorfisk kryptering for å gjøre re-identifisering vanskeligere. Ved hjelp av denne teknologien kunne aktører analysere krypterte personopplysninger uten at de måtte dekrypteres. Dette skjer ved at de bevarer de egenskapene ved personopplysningene som de ønsker å bruke, og fjerner resten.

Personvernfremmende teknologier, som føderert læring og homomorfisk kryptering, markerer viktige skritt i riktig retning for å få til godt personvern i praksis. De bidrar ikke bare til å redusere risikoen for re-identifisering av personer som er i et KI-datasett. De gir også virksomheter bedre muligheter til å balansere innovasjon med personvern og informasjonssikkerhet.

3. Kan kunstig intelligens bidra til dataminimering?

Prinsippet om dataminimering kan ved første øyekast virke som en motpol til kunstig intelligens. Kunstig intelligens trenger store mengder personopplysninger for å lære. Prinsippet om dataminimering slår fast at du skal samle inn minst mulig personopplysninger – kun det som er nødvendig for å oppnå formålet.

I flere sandkasseprosjekter har vi utforsket dette tilsynelatende dilemmaet. For eksempel har vi i sammen med sikkerhetsselskapet Doorkeeper sett på hvordan KI-baserte overvåkingskameraer kan minimere innsamlingen av personopplysninger. Blant annet kan de sladde mennesker i videostrømmen eller aktivere løpende opptak kun når en spesifikk hendelse utløser det. Vi har også diskutert situasjoner man ikke vet hvilke opplysninger som er nødvendige før de har analysert data over tid. Er det brudd på dataminimeringsprinsippet, om det i ettertid viser seg at personopplysninger har blitt behandlet uten å være relevante? Vi har utforsket problemstillingen i sandkassen, men som i mange andre tilfeller vil svaret avhenge av den konkrete konteksten.

4. Hvordan skaper algoritmer urettferdighet?

Helsesektoren har vært godt representert i sandkassen, blant annet gjennom prosjekter med Helse Bergen og Ahus. Disse har fokusert på KI-løsninger som skulle forutsi hjertesvikt og peke ut pasienter med fare for rask reinnleggelse på sykehus.

Kunstig intelligens i helsesektoren reiser viktige spørsmål om algoritmeskjevheter, som kan føre til at pasientene blir diskriminert. I begge prosjektene var KI-verktøyene ment som beslutningsstøtte og ikke for å gjennomføre automatiserte avgjørelser uten menneskelig innblanding. Likevel, det er en utbredt forståelse for at kunstig intelligens kan videreføre og forsterke eksisterende diskriminering i samfunnet. I tilfeller hvor algoritmene kommer til feil vurdering av folks helse, kan dette ha alvorlige konsekvenser.

I Ahus-prosjektet så de at dårlig datakvalitet og feil i datagrunnlaget potensielt kunne resultere i uriktige og diskriminerende resultater. Og de så på forskjellige metoder for å avverge dette.

For virksomheter som vil avverge algoritmeskapt diskriminering, har Likestillings- og diskrimineringsombudet en nyttig veileder om innebygd diskrimineringsvern. Den er rettet mot de som er ansvarlige for utvikling, anskaffelse og bruk av ML-systemer, og skal gjøre dem kjent med diskrimineringsregelverket, slik at de kan forebygge ved å vurdere diskrimineringsrisikoen teknologien medfører.

5. Hvem har ansvaret: utvikler eller kunde?

I flere sandkasseprosjekter har vi diskutert ansvarsforhold knyttet til behandlingen av personopplysninger i KI-løsninger: Hvem er behandlingsansvarlig? Hvem er databehandler? Og bør utviklere ta et større ansvar for å hjelpe virksomheter med å etterleve personvernregelverket?

En leverandør har ikke nødvendigvis et direkte ansvar for at kjøperne av produktet følger personvernregelverket, når løsningen blir brukt til å samle inn og behandle personopplysninger. Likevel bør de levere løsninger som legger til rette for at kunden, som ofte er å regne som behandlingsansvarlig, kan overholde regelverket i praksis.

I noen tilfeller kan det også være hensiktsmessig at utviklere eller leverandører tar på seg mer ansvar, for å sikre viktige personvernhensyn. Dette kan for eksempel være knyttet til tilgangskontroll eller informasjonssikkerhet.

Et eksempel på at utvikleren tar mer ansvar for å forbedre personvernet, ser vi i prosjektet med Secure Practice. Denne teknologivirksomheten hadde som mål å gi persontilpasset opplæring i cybersikkerhet. Sikkerhetsopplæringen var ment for ansatte i virksomheter, som ville kjøpe tjenesten fra Secure Practice. I tillegg ville ledelsen i disse virksomhetene få statistikk over ansattes kunnskaps- og interessenivå innenfor informasjonssikkerhet. For å kunne levere tjenesten uten at informasjon om ansatte kan misbrukes av ledelsen, drøftet deltakerne i prosjektet at det kunne være nødvendig å holde tilbake personopplysninger fra kunden. For at dette skulle være mulig, vurderte de en løsning med felles behandlingsansvar. Secure Practice og kunden vil da i fellesskap fastsette formålene og midlene for behandlingen av arbeidstakers personopplysninger.

Dette viser hvor viktig det er å avklare og plassere ansvarsforhold for å utvikle løsninger med godt personvern. Klare ansvarsforhold bidrar ikke bare til bedre etterlevelse av regelverket. Det kan også bidra til økt tillit mellom leverandører og kunder.

6. Hvorfor maser vi så fælt om at personvernet må tidlig på plass?

Har du hørt om innebygd personvern? Det er et prinsipp i personvernregelverket om at tekniske systemer og løsninger blir utviklet slik at personvernet blir ivaretatt. Poenget er å sikre at personvernet i systemet er gjennomtenkt, heller enn å forsøksvis bli klattet på til slutt. I den nye digitaliseringsstrategien slår regjeringen fast at alle relevante IT-løsninger i offentlig sektor skal ha innebygd personvern. Men hva betyr det i praksis?

Mange av virksomhetene har kommet til sandkassen med KI-prosjekter i konseptfasen. Erfaringen fra disse prosjektene er at tidlige veivalg har stor betydning for hvor lett eller vanskelig det blir å etterleve kravene i personvernregelverket. 

Flere eksempler fra sandkassen illustrer dette, spesielt når det gjelder lagring av personopplysninger for KI-formål. For eksempel kan lagring av store mengder personopplysninger sentralt på en felles server, gjøre dataene sårbare og øke angrepsflatene. Da må strenge organisatoriske og tekniske tiltak til for å sikre opplysningene, ettersom lagringen innebærer en større risiko for de registrerte. På en annen side kan desentralisert lagring – for eksempel ved kantprosessering (edge computing) – i visse tilfeller redusere personvernrisikoen. Det forenkler virksomhetens arbeid med informasjonssikkerhet.

Ett eksempel på desentralisert lagring er Doorkeepers løsning, der videostrømmen fra et overvåkingskamera ble sladdet direkte i kamerahuset før opptakene ble sendt videre til et brukergrensnitt. Et annet eksempel var et prosjekt med Ruter, som ønsket lokal lagring på brukernes egne mobiltelefoner i forberedelsesfasen til å utvikle KI.

Hvor data skal lagres, er neppe det første du tenker på etter å ha fått en ide om en genial ide. Å tenke på det tidlig nok kan riktignok spare deg for mye frustrasjon, og brukerne for risiko.

Dette er særlig relevant for virksomheter med begrensede ressurser – å utvikle løsninger som fra starten ikke krever omfattende tiltak for å oppfylle personvernregelverket. Å tilpasse ferdigutviklede løsninger i etterkant kan være både tidkrevende og kostbart.

Etter den første bølga med generative KI-verktøy som kunne gjere mykje artig, var 2024 året for integrerte KI-verktøy i systema vi allereie brukar. Slik som Microsofts M365 Copilot. Vi blir lokka med ein enklare og meir effektiv arbeidskvardag. Men det har også ein pris. Ikkje berre i kroner og øre.

Grundig kalkyle frå NTNU

Kva den prisen blir, er eit komplekst reknestykke. Så kva er vel betre enn at ein tung og truverdig aktør som NTNU tok på seg oppgåva med å rekne seg fram til eit svar. I god akademisk ånd gjekk dei grundig til verks. Og dei involverte oss i Datatilsynet ved å bli med i vår regulatoriske sandkasse. Det er eit veiledningtilbud, der vi kan gå djupare i materien – og ja, på ein måte vere meir løysningsorienterte – enn rammene tillet oss i tradisjonelle veiledningsformer.

Vi merka at mange «der ute» venta i spenning på vurderingane og erfaringane frå prosjektet. I slutten av november lanserte vi rapporten som ser på korleis ein stor offentleg aktør som NTNU eventuelt kan ta i bruk M365 Copilot.

Sjå rapporten «Copilot med personvernbriller på».

Før det hadde NTNU også laga ein rapport med viktige funn utover det reint personvernmessige, der dei tar for seg både forvaltning, opplæring, økonomiske kostnader og korleis eit slikt verktøy kan påverke organisasjonen og arbeidsmiljøet.

Sjå NTNUs funnrapport.

Forsiktig med den røde knappen

Hovedbudskapet er at verksemder bør vere varsame med å berre trykke på den røde knappen og ta i bruk dette eller liknande integrerte KI-verktøy utan å gjere grundige vurderingar i forkant, i tillegg til å sikre kontrollmekanismar og god opplæring av brukarane. For dette er kraftfulle saker.

Begge rapportane er pedagogisk oppbygd og delt inn i 8-9 funn eller hovedpunkt. Det er verdt å lese dei begge, men som ein appetittvekker, skal du få fem sentrale punkt her:  

1. Start med ein strategi.

Definer tydeleg kva verksemda ønsker å oppnå, kva områder som er aktuelle for KI-bruk og kva områder ein bør halde utanfor. Som hovedregel er generativ KI best når du allereie kan det du vil at den skal hjelpe deg med, du har kapasitet til å kvalitetssikre arbeidet, og er villig til å ta det heile og fulle ansvaret for feil i det den leverer.

2. Sørg for orden i eige hus.

Dette er superviktig. Copilot finn (og behandlar) all informasjon du har tilgang til. Det er godt muleg at du har tilgang til mykje meir informasjon enn du er klar over. Det kjem an på om verksemda di har stålkontroll, eller ikkje, på tilgangsstyring og alt som fins av personopplysningar i systema som blir brukt. Sjølv om lova krev at verksemder har stålkontroll – om enn i meir juridiske formuleringar – ville det vere naivt av Datatilsynet å ta for gitt – slik leverandøren av Copilot gjer – at absolutt alle faktisk har det.

Ei utfordring med Copilot er at svakheter i «den digitale grunnmuren» blir synlege og kraftig forsterka med eit verktøy som har tilgang til alt du har tilgang til – og veit å utnytte seg av det.

Eller for å ta den positive tilnærminga: premien til dei som har skikkeleg orden i eige hus, er at dei har ein langt kortare veg til å kunne ta i bruk integrert KI, som for eksempel Copilot.

3. Tenk grundig (og kreativt) gjennom kva som kan gå galt?

Brukarar vil dele alle typar data med, og bruke, generativ kunstig intelligens til det dei kan. Sånn er det berre. Er det muleg, vil det bli gjort. Det er viktig å ta med seg inn når ein skal gjere vurderingar av kva personvernkonsekvensar det vil få å ta i bruk eit slikt verktøy. Ein kan ikkje ta for gitt at folk berre brukar verktøyet slik sjefane har tenkt.

Og apropos sjefane: dette verktøyet kan brukast som bossware. «Kan» her som i teknologisk – ikkje juridisk – mulighet. La meg sitere frå NTNUs funn:

«arbeidsgivere kan vurdere ansattes prestasjoner og adferd basert på skriftlig innhold de har tilgang til, som filer, dokumenter, Teams-chatter, e-postkorrespondanse, Teams-innhold, følelsesreaksjoner (emojis), transkripsjoner fra møter med automatisk opptak, osv. Ansatte har ingen mulighet til å finne ut om en slik vurdering av dem selv har skjedd.»

NTNU oppdaga at det er lett å få verktøyet til å seie noko om humør og sinnsstemning til andre tilsette. Og:

«Når Copilot har for lite informasjon å jobbe med, kan det oppstå utfordringer med løgn og hallusinasjoner. Det er sannsynlig at Copilot kan «finne på» følelser for de ansatte, noe som gjør denne problemstillingen enda mer utfordrende.»

Ein kanskje litt kontroversiell tanke i NTNU-rapporten er å vurdere om for eksempel leiarar med personalansvar ikkje skal få tilgang til Copilot, mens tilsette «på gølvet» kan få det?

På toppen av det heile er dette eit verktøy i stadig endring – på godt og vondt. Feil blir fortløpande retta, verktøyet blir stadig justert, men nye funksjonar blir også stadig lagt til. Det gjer det utfordrande å forvalte. Det krev ei vaken IT-avdeling. Det krev masse opplæring. Og det krev disiplinerte brukarar.

Så sett frå eit personvernperspektiv; det er mykje som kan gå galt og mange ledd det kan svikte i. Og det er verksemda sitt ansvar å ha tenkt grundig gjennom alt.

4. Vurder alternative løysingar.

Viss nokon av blomstrane i bedet ser litt tørste ut, set du ikkje heile hagen under vatn. Då er vi tilbake til strategien. Kanskje held det med eit par meir spissa KI-verktøy, som gjer akkurat dei arbeidsoppgåvene det er (mest) behov for, i staden for dei integrerte som skal slurpe i seg det som fins av data i organisasjonen?

Det er definitivt verd å ta med i kalkuleringane, når arbeidet i organisasjonen skal effektiviserast, at det kan vere langt meir ressurskrevande å forvalte eit stort og komplekst verktøy, enn eit par små.

Og – kanskje litt pussig, men eit siste punkt:

5.  Ikkje hopp på KI-toget utan ein exit-strategi.

Ha ein klar plan for korleis verktøyet kan bli skrudd av, om nødvendig, før du slår det på.

Nederland har nyleg fraråda statlege verksemder å ta i bruk Copilot. Nokon vil kanskje påstå at vi i praksis gjer det samme. Men nei, teknologien har mykje bra i seg, og det handlar om å finne gode og praktiske tilnærmingar for å ta den i bruk på ein forsvarleg måte. Vår oppfordring er å gjere det i små og kontrollerte steg.

Men – dersom både dei som bygger KI-toget og passasjerane som kastar seg på er drevet av frykt for å ikkje vere fremst i toget, er det nok oppskrifta på ein ganske forutsigbar 💥 🙈

Overvåkingskameraer har gjennomgått en bemerkelsesverdig teknologisk utvikling de siste tiårene. Et av de viktigste fremskrittene er intelligent videoanalyse, der algoritmer analyserer og tolker videostrømmer, uten hjelp fra mennesker.

Teknologien kan utføre et mangfold av oppgaver. Alt fra enkle ting, som å detektere når en dør åpner seg, til mer inngripende former for overvåking, som involverer avansert analyse av ansikter og bevegelses- og atferdsmønstre.

Men er det mulig å bruke slik teknologi, som kan overvåke mennesker, og samtidig ivareta kravene i personvernregelverket? Dette var bakgrunnen for at Datatilsynet samarbeidet med sikkerhetsselskapet Doorkeeper i vår regulatoriske sandkasse.

Er det mulig med personvernvennlig overvåking?

I prosjektet utforsket vi mulighetene for å konfigurere intelligent videoanalyse slik at behandlingen av personopplysninger blir mindre inngripende. Doorkeepers løsning for å gjøre dette var blant annet å:

• Unngå kontinuerlig opptak av videostrømmen. Doorkeeper vil kun «aktivere» opptak når løsningen registrerer en forhåndsdefinert sikkerhetstrussel, for eksempel knusing av et butikkvindu. Dette vil gjøre at virksomheten ikke har løpende opptak av personer som ikke er relevante for hendelsen.
• Ansikter og menneskeformer sladdes i sanntid fra videostrømmen. Dette betyr at personene i videostrømmen ikke vil være direkte identifiserbare med mindre en uønsket hendelse oppstår.

Vi har også diskutert hvorvidt intelligent videoanalyse vil endre hvor det er lovlig å overvåke. Datatilsynets funn tyder på at dette i liten grad endres selv med kameraer som kan fjerne visse personopplysninger fra videostrømmen. For eksempel er det bare offentlige myndigheter som har lov til å overvåke offentlige steder. Dette endres ikke selv om private virksomheter tar i bruk mer «personvernvennlige» løsninger. 

Men et interessant unntak fra dette er når kameraet konfigureres som en sensor med formål om å detektere brann- og røykutvikling. I et hypotetisk tilfelle hvor et slikt kamera skal detektere brann på en kirkevegg, vil løsningen muligens oppfylle lovkravene hvis behandlingen av personopplysninger er svært begrenset og metoden er bedre egnet til å oppnå formålet enn andre mindre inngripende løsninger, som for eksempel en vanlig brannalarm.

Nye bruksområder for overvåkingskameraer

Til tross for at intelligente løsninger i liten grad endrer hvor det er mulig å sette opp et kamera, har mange sett nye bruksområder for teknologien. Ett eksempel på dette er bruken av «feberkameraer» under pandemien. Disse ble installert på sykehus og fotballstadioner for å analysere besøkendes temperaturer og oppdage mulige COVID-19-smittebærere.

I Europa har det også vært en opphetet debatt om intelligent overvåking på kollektivtransport. For eksempel da selskapet Eurostar implementerte intelligente løsninger på sine tog, for å analysere passasjerenes humør og ansiktstrekk. Formålet var å identifisere potensielle trusler mot andre passasjerer.

Personvernproblematikken ved disse eksemplene er todelte. I det konkrete tilfellet er det spørsmål om overvåkingen er forsvarlig, om den er for inngripende og om den oppfyller lovens krav. På et samfunnsnivå handler spørsmålet om den totale graden av kontroll og det voksende «overvåkingstrykket» som gjør at det er stadig færre steder vi kan bevege oss fritt uten å bli observert.

Sikkerhet, overvåking og personvern

Sikkerhet, overvåking og personvern kan være motstridende interesser. På den ene siden kan overvåking være nødvendig for å sikre både mennesker og materielle verdier. Men man har ofte sett at dette kan gå utover integriteten til enkeltpersoner og retten til et privatliv, ved uønsket overvåking i situasjoner man vil være i fred, eller ved misbruk av opplysninger fra videostrømmen.

Teknologi som markedsføres som «personvernvennlig» kan også gi en falsk følelse av trygghet. Som vi har drøftet i sandkasse-prosjektet, er det avgjørende at slik teknologi kommer sammen med konkrete tiltak som begrenser muligheten for brudd på personvern. Dette inkluderer å sørge for at personvern er standardinnstillingen i konfigurasjonen, å ivareta informasjonssikkerheten i alle ledd, og hindre at uvedkommende får tilgang til å se eller manipulere videostrømmen.

Falske positiver og bias i treningen

Et tilbakevendende problem med løsninger som bygger på kunstig intelligens, er falske positiver. Falske positiver kan føre til at behandlingen av personopplysninger blir mer omfattende enn det den ansvarlige virksomheten har lov til. I tilfellet av kameraovervåking for sikkerhetsformål kan det også ha seriøse negative konsekvenser for enkeltpersoner. For eksempel kan en person bli feilaktig beskyldt for handlinger de ikke har begått, eller at man – via biaser i dataene som systemet er trent på – blir profilert basert på hudfarge eller andre sensitive fysiske trekk.

I motsetning vil falske negativer kunne medføre at overvåkingen ikke oppfyller formålene den er ment eller trent å oppfylle. Enhver som benytter intelligent kameraovervåking må derfor følge med på eventuelle falske positiver og negativer, og kontinuerlig tilpasse løsningen slik at den fungerer etter hensikt.

Personvern er både et lovkrav og et konkurransefortrinn

For virksomheter som vil ta i bruk intelligent videoanalyse, vil et godt personvern være et helt klart konkurransefortrinn i markedet. Ved å vise at man tar personvern seriøst – og at man etterlever lovkravene – bygger man tillit hos virksomhetene som skal ta i bruk teknologien – samt ansatte, kunder og andre som er eksponert for overvåkingen.

I likhet med ekte intelligens, må kunstig intelligens lære selv, for å utføre en oppgave. Det ligger i kunstig intelligens’ natur at du ikke på forhånd kan bestemme akkurat hvordan den vil lære seg noe. Noen ganger oppstår også hell i uhell, og du oppdager at du kan bruke KI-en til flere, eller andre ting, enn den var utviklet for.

Åpenhet om formål

Når kunstig intelligens skal lære av eller brukes på personopplysninger, stiller regelverket krav om at man er åpen om formålene med bruken. Personene som opplysningene gjelder – de registrerte – har krav på å vite hva opplysningene skal brukes til. Denne informasjonen skal man få før personopplysningene samles inn.

Åpenhet har vært hovedtema for prosjektet Ruter har deltatt med i Datatilsynets KI-sandkasse. Ruter planlegger å bruke kunstig intelligens i sin app for å tilby kundene persontilpassede reiseforslag. I sandkasseprosjektet har Datatilsynet og Ruter diskutert hvordan de kan være åpne om behandlingen av personopplysninger i denne løsningen.

Les sluttrapporten fra Ruterprosjektet, «I rute med kunstig intelligens».

Det kan være vanskelig å på forhånd vite hvilken bruk av personopplysninger som trengs for å få den kunstige intelligensen til å virke som den skal. I tillegg kan den kunstige intelligensen vise seg å ha flere bruksområder når den er blitt opplært. I motsetning til Ruters bussruter, som skal være så forutsigbare som mulig, vil det være en styrke for Ruters app om den overrasker med nye måter å reise bedre på. Stenger da regelverket for å gjøre noe utover det du så for deg i utgangspunktet?

Hvor mye skal til?

Vi kan omformulere spørsmålet til hvor mye du må få vite før personopplysningene dine samles inn. Regelverket krever at formålene skal være spesifikke, uttrykkelig angitte og berettigede. Du kan altså ikke invitere på blåtur i forstand av så brede formål, at man i realiteten ikke forstår rekkevidden av hva personopplysningene kan brukes til. Når du har angitt formålene, setter de skranker for hvilken bruk som er tillatt. Oppdager du senere at det er verdifullt å bruke personopplysningene til et nytt formål? Ja, da må du gjøre nye vurderinger og finne et nytt rettslig grunnlag for bruken. Og ikke minst – la være å gå videre med det nye formålet, om du ikke finner dekning for det.

Et hovedhensyn er at måten personopplysningene behandles på skal være forutberegnelig. Bruken må knytte seg tett nok opp mot det formålet som var definert ved innsamling. På den måten får de registrerte en større grad av kontroll over hvordan noen bruker personopplysningene deres. Hvis man ser at bruken i realiteten knytter seg til et annet formål, skal den som hovedregel ikke skje, med mindre man starter på nytt med nye vurderinger og tiltak som kan gjøre bruken lovlig.

Forutsigbarhet for de registrerte er avgjørende for tillit. Tillit er viktig når man skal la kunstig intelligens jobbe med folks personopplysninger. Så hvordan skaper du forutsigbarhet ved bruk av et verktøy som (delvis) har uforutsigbarhet som sin styrke?

Å avgrense formål

Når du først har identifisert alle bruksområder du kan se for deg, og bestemt deg for hvilke formål du vil forfølge, kommer spørsmålet om hva som hører inn under ett og samme formål opp. Selv om ulik bruk av personopplysninger i den kunstige intelligensen kan utfylle ulike oppgaver, kan bruken høre til samme formål.

I sandkasseprosjektet diskuterte Ruter og Datatilsynet for eksempel om behandling av personopplysninger for å gi persontilpassede reiseforslag og etterlæring av den kunstige intelligensen er to separate formål. Ruter forklarte, at det er vanskelig å få til det ene uten det andre. For at den kunstige intelligensen skal klare å gi gode, persontilpassede reiseforslag, må den stadig læres opp. For eksempel må den tilpasse seg endringer i reisemønster.

Man kan altså se det slik at etterlæringen er en behandlingsaktivitet som hører inn under formålet om å gi persontilpassede reiseforslag. Det samme kan sies om retting av feil eller justering av elementer den kunstige intelligensen legger vekt på før den gir et reiseforslag.

Bruk for nye formål

Ruter har planlagt å legge til rette for god informasjon om formålene de kan se for seg allerede ved innsamling. Hvis det senere oppstår behov for å oppfylle nye formål, som de ikke så for seg ved innsamling, kan de i utgangspunktet ikke gå videre med bruken. Det finnes likevel mulighet for å oppfylle det nye formålet, dersom det er forenelig med det opprinnelige formålet.

En type bruk, som i regelverket er angitt som forenelig uansett opprinnelig formål, er bruk for statistiske formål. Såfremt du sørger for å avidentifisere og beskytte opplysningene i så stor grad som mulig, samt å informere om ny bruk, kan bruk for statistiske formål være mulig selv om det er et nytt formål. I den grad du ser for seg en slik bruk allerede på innsamlingstidspunktet, må du likevel informere om det som et eget formål allerede da.

Fordel å ha tunga rett i munnen fra starten av

Når du skal bruke personopplysninger, må du ta noen hensyn som kan være krevende ved utvikling og bruk av kunstig intelligens. Bruksmulighetene begrenses ut fra hva slags informasjon man har gitt til de registrerte ved innsamlingen.

Man må planlegge godt. Det betyr å informere godt – ved innsamling – om alt du planlegger å bruke personopplysningene til. Godt forarbeid på dette området vil kunne gjøre jobben med den kunstige intelligensen lettere i et langsiktig perspektiv. Da får man en vinn-vinn-situasjon for virksomheten og for de registrerte.

Cyberangrep er stadig i overskriftene, og det er berre å innsjå det – vi menneske er det svakaste leddet. Nokon av oss klikkar febrilsk unna alle varselboksar som poppar opp, og jobbar uforstyrra vidare. Nokon deler villig vekk persondata på ukjente sider. Andre har innsikt i farane der ute, men med oppblåst, digital sjølvtillit hoppar dei over it-sjefens kurs for alle i bedrifta. Det er som regel gammalt nytt. Våre forkunnskapar om og interesser for informasjonssikring er forskjellige. Det er utfordrande for dei som prøvar å førebyggje mot cyberangrep og phishing. Korleis kan vi lage ei opplæring som funkar?

Å gjere informasjonssikring interessant

Kva om vi kunne få til spesialtilpassa opplæring på jobb, for å sikre oss mot både sosial manipulasjon og «hacking»? Ei opplæring som treff oss med akkurat dei tiltaka vi treng, og med pedagogiske triks som gjer oss motivert til å lære? Det er muleg. Det er berre ein liten hake ved det. All denne informasjonen som trengs for å vite kva som funkar på akkurat deg – kven skal ha tilgang til den?

Ville du hatt tillit til at sjefen ikkje brukte slike sensitive data, som var meint for tilpassing av opplæringa, for å fordele opprykk og spennande prosjekt? Eller enda verre – som påskott for å bli kvitt upopulære medarbeidarar? Korleis kan dei som utviklar og bruker kunstig intelligens gå fram for å vinne tillit frå tilsette? Dette er nokre av spørsmåla Secure Practice har utforska ilag med Datatilsynet i sandkassa for kunstig intelligens.

Kunstig intelligent, ekte kjent

For å få spesialtilpassa opplæring, må vi først bli kartlagt. Verktyet som Secure Practice utviklar bruker maskinlæring – ei form for kunstig intelligens – for å samle og samanstille informasjon om dei tilsette i ei verksemd.

I verktyet kan tilsette for det første svare på spørsmål om kunnskap og vanar innanfor  informasjonssikring. For det andre kan verktyet byggje på erfaring frå testar, som til dømes simulert phishing. Phishing er ei form for sosial manipulering, der cyberkriminelle for eksempel prøver å lure folk til å trykkje på ei skadeleg lenkje i ein e -post. Simulert phishing er som ei brannøving, der verksemda sender liknande e-post til dei tilsette, men i kontrollerte former. Om ein tilsett klikkar på lenkja eller ikkje, seier noko om kor medviten den enkelte tilsette er om informasjonssikring.

Den samanstilte informasjonen blir deretter brukt til å kalkulere ein risikokategori for kvar enkelt tilsett. Kva for risikokategori den tilsette hamnar i, avgjer kva for opplæring han eller ho får tilbod om.

Tillit må til

Stoler du ikkje på KI-verktyet, vil du kanskje føle deg overvaka. Du kan vegre deg for å for å svare ærleg på spørsmål i kartlegginga. Kanskje vil du også bruke retten du har i personvernforordninga til å protestere mot kartlegginga. Alt dette verkar inn på om det er lovleg å bruke verktyet.

Arbeidsgjevaren kan nemleg berre behandle personopplysningane om deg dersom opplysningane er eigna og nødvendige for å oppnå målet om betre opplæring i informasjonssikring. I tillegg må interessene til informasjonssikring vege tyngre enn dei tilsettes personvern. Protesterer du, krevst det enda meir overvekt for omsynet til informasjonssikring, halde opp mot ditt personvern.

Korleis vinne tillit frå dei tilsette?

For det første må du ha eit system som fortener tillit. Tenestetilbydarar og arbeidsgjevarar må lage gode kontraktar. Det er grunnleggjande å avtale kven som har ansvaret for at KI-systemet blir brukt på ein måte som oppfyller krava i personvernregelverket. Er det arbeidsgjevarane, tenestetilbydarane eller begge i fellesskap? I prosjektet vårt var det dessutan viktig å finne ut kven som skulle ha tilgang til personopplysningane som blir samla inn om den enkelte tilsette. Dei tilsette ville vere betre beskytta, dersom berre tenestetilbydaren skulle handtere desse opplysningane. Kanskje er det ikkje så avgjerande om du stolar på sjefen, dersom du har tillit til tenesteytaren og programvaren?

I tillegg til gode avtalar trengst det tekniske tiltak for å hindre at uvedkomande får tilgang til opplysningane om dei enkelte. Informasjonen om tilsettes svake punkt er gull verdt for “vondsinna” aktørar. Her er pseudonymisering, kryptering og tilgangsstyring nyttige stikkord.

Faren for falsk tryggleik

Men det hjelper veldig lite med verdas sikraste system om ikkje dei tilsette skjønar det eller stoler på det. Dei tilsette må få informasjon om korleis ansvaret er fordelt og korleis opplysningane om dei blir brukt. Informasjonen må vere lett tilgjengeleg og formulert på ein enkel og klar måte.

I prosjektet har vi spurt fokusgrupper med ulik bakgrunn korleis dei ønskjer å få informasjon. Vi erfarte at ikkje all openheit var god. Dersom verktyet for eksempel forklarte nivået på opplæringa med at den tilsette tidlegare var blitt lurt i ein test, kunne det skape irritasjon og stå i vegen for vidare læring.

Vi spurde også kva for informasjon dei var villig til å gi frå seg. Det var store individuelle forskjellar. Somme var opptatt av at opplysningane om dei tilsette vart godt sikra mot tilgang frå arbeidsgjevaren, og at tilsette burde få uttale seg før verktyet vart tatt i bruk. Andre framheva at dei måtte forstå målet med verktyet og korleis det verkar, for å svare ærleg.

Og uærlege svar er rusk i det finstemte KI-maskineriet. Nøkkelen til kunstig intelligens som verkeleg verkar er tillit. Tonnevis med tillit.

Dagens tips frå sandkassa:

Ikkje ta lett på kommunikasjonen med dei tilsette. Den er avgjerande for tilitten. Som er avgjerande for at verktyet verkar.

• Sluttrapporten frå sandkasseprosjektet med Secure Practice skal vere ferdig og bli publisert i november. Då vil du finne den på Sandkassesiden.
• Hald deg oppdatert på kva som skjer i sandkassa, søknadsfristar og arrangement ved å abonnere på sandkassas eige nyhendebrev: Sandkassebrevet.
• Vil du lese meir om korleis svindlarane går fram? Sjå Koronasvindlerne – Personvernbloggen.

Vi fikk inn 25 søknader til den regulatoriske sandkassen for kunstig intelligens (KI) og personvern. Spennet i søknadene viser det enorme potensialet KI har for å forbedre og effektivisere samfunnet vårt. Samtidig ser vi helt klart et behov for avklaring av hvordan deler av personvernregelverket skal tolkes i praksis.

Topp 5

Lista over tematikk, som søkerne i første runde med Datatilsynets sandkasse ønsker hjelp med, toppes av disse fem:

1. Transparens
2. Dataminimering
3. Rettferdighet
4. Anonymisering/avidentifisering
5. Behandlingsgrunnlag

Tilbakemeldingene vi har fått fra søkerne er at regelverket er der, men hvordan skal vi gjøre det i praksis? Hvor detaljert må forklaringen være? Hvordan kan vi bruke så lite data som mulig (dataminimering), men samtidig få nøyaktige resultater? Hvordan kan vi designe et system som er rettferdig for brukeren og ikke diskriminerer?

Vi er i gang med å velge ut fire prosjekter av de 25 søknadene som vi skal jobbe tett med for å utforske gode personvernløsninger i de ulike løsningene. Målet med sandkassen er å jobbe frem gode personvernløsninger for å vise frem at KI og personvern kan gå hånd i hånd, og gi eksempler på vurderinger og personverntiltak i konkrete prosjekter. Vi håper det kan være til hjelp og inspirasjon for andre virksomheter som benytter personopplysninger og KI.

KI overalt

Kunstig intelligens kan gjøre utdanningen mer tilpasset og presis, den kan hjelpe med å effektivisere helsehjelp og fange opp sykdom på et tidlig tidspunkt, den kan spare samfunnet for store verdier ved å avdekke hvitvasking på en måte mennesker ikke kan. Søknadene representerer mange ulike sektorer, og vi har alt fra små oppstartsselskaper til store offentlige aktører på listen.

11 av søkerne kommer fra offentlig sektor, og 14 fra privat sektor.

Nå gleder vi oss til å komme i gang med de første sandkasseprosjektene. Følg gjerne med på våre nettsider om nytt fra sandkassen – vi staser på å dele oppdateringer underveis i prosjektene. Første runde vil vare i 3-6 måneder, og vi kjører nytt opptak når vi har kapasitet til høsten. 

Personvern er svært viktig når vi skal utvikle gode løsninger for kunstig intelligens. Innsatsfaktoren i mange av de løsningene som de neste årene vil bli utviklet, er vanlige opplysninger, om helt vanlige folk: Helseopplysninger, opplysninger om utdannelse, inntekt eller trygd, om vi har barn, hvor stort lån vi har eller om vi har mange inkassosaker mot oss. Slike opplysninger kan brukes til å gi oss bedre helsehjelp, raskere behandling av en lånesøknad og kanskje får vi tildelt flere tjenester før vi har søkt om dem, ja, kanskje til og med uten at vi vet at vi har krav på dem.

Men fallgruvene er åpenbare. Kunstig intelligens (KI) kan bidra til å avgjøre utfallet av politiske valg, til feilaktig diagnostisering, til å skape eller forsterke fordommer, eller til at vi urettmessig får avslag på en søknad om lån.

KI innebærer behandling av enorme datamengder, ofte, eller faktisk nær sagt aldri, vet vi som forbrukere eller borgere hvilke opplysninger om oss som inngår i et KI-system. Dette utfordrer både prinsippet om dataminimalisering, og ikke minst prinsippet om transparens. Hvordan skal vi kunne vite hva som skjer med dataene våre, og hvorfor resultatet blir som det blir, når hele behandlingen forgår inne i en svart boks – en maskin som gir oss svar, men ingen forklaring?

Med all den informasjonen som finnes om oss forbrukere og borgere i dag, kan feil bruk av kunstig intelligens ødelegge den grunnlovbestemte retten vi har til privatliv. I Global Risk Report 2017 betegner World Economic Forum kunstig intelligens som en av de fremvoksende teknologiene med størst nytteverdi, men også med størst skadepotensial. Det er ikke vanskelig å være enig i dette. Tre år er gått, og nå er vi der. 

Med dette som bakteppe, er det slett ingen selvfølge at en som jobber med personvern blir invitert til å holde innlegg på fremleggelsen av regjeringens strategi for kunstig intelligens, og slett ingen selvfølge at vi i Datatilsynet er veldig positiv til den strategien som nå fremlegges. Men det er vi altså, og grunnen til det er at viktigheten av personvern, og en etikk som ligger som et skall rundt personveregelene, har fått en viktig plass i denne strategien. Dessuten må vi erkjenne at tiden da personopplysninger ikke skulle brukes, deles eller omformes til beslutninger, behandlingstilbud eller personrettet markedsføring er forbi. Med nytt personvernregelverk er det viktigere enn noen gang å gjøre dette riktig, å gi forbrukerne de rettighetene de har krav på, og ikke minst sørge for at den enkelte kan treffe riktige og informerte beslutninger om hvordan opplysningene deres blir brukt.  

Det store spørsmålet er selvsagt hvordan dette skal bli noe mer enn ord. Personvernregelverket skal møte den utviklingen vi har fått beskrevet her i dag. Alle selskap, private og offentlige, som vil utvikle og ta i bruk KI der personopplysninger inngår, må forholde seg til dette regelverket. Personvernregleverket vil med andre ord sette avgjørende rammer for utviklingen av kunstig intelligens fremover. Regelverket legger større plikter på virksomhetene, gir forbrukerne bedre rettigheter, legger opp til tettere samarbeid mellom tilsynsmyndighetene i Europa og innfører betydelige sanksjoner for de som bryter reglene.

Jeg vil særlig trekke fram to viktige, nye plikter. Det første gjelder kravet om å gjennomføre personvernkonsekvensutredninger. Dette er en risikovurdering med mennesket i sentrum, og virksomhetene må her gå dypere enn kun å vurdere risiko og konsekvens. De må for eksempel vurdere hva det betyr for meg som borger at de automatiserer en saksbehandlingsprosess ved hjelp av KI. Kan det sette mine grunnleggende verdier i fare? Kan det føre til forskjellsbehandling? Til økonomiske eller sosiale ulemper? Kan det frata meg retten til innsyn eller til muligheten til å imøtegå eller etterprøve beslutningen? Dette er svært relevante spørsmål å stille når vi vurderer bruk av KI.

Den andre er plikten til innebygget personvern. Dette betyr, som sikkert veldig mange vet, at personvernet bygges inn i teknologien. Datatilsynet har ledet arbeidet med en veileder for innebygd personvern i Personvernrådet, som er det viktigste EU-organet på personvernområdet, og jeg må innrømme at vi er ganske stolte av dette. Vi mener at mange viktige spørsmål kan finne sin løsning i nettopp innebygd personvern. 

Men KI er mye mer enn juss og teknologi. Det er behov for en egen etikk for KI, som et skall som ligger rundt lovverket. For selv om noe er lov, må vi alltid stille spørsmål om det er etisk riktig å gjøre det. La meg ta et eksempel: I dag er det mulig å samle inn enormt mye informasjon om oss som forsikringskunder, nok til at et selskap ved bruk av KI kan gi deg en pris basert på hvordan akkurat du lever livet ditt. Dette er en slags oppførselsbasert prising. De lovmessige grensene for hvor langt et selskap kan gå i å segmentere kundene er på ingen måte klar, og her kommer etikken inn: Hvor langt bør et selskap eller en bransje gå? Når er ikke en forsikring lenger en kollektiv ordning der 1000 mennesker betaler 100 kroner hver slik at den som blir syk får dekket operasjonen? Her trenger vi en etisk diskusjon, som et skall rundt loven.

EU-kommisjonen har utarbeidet syv etiske prinsipper for pålitelig kunstig intelligens. Jeg vil trekke fram tre stykker som jeg synes er spesielt viktige:

• KI-baserte løsninger skal respektere menneskets selvbestemmelse og kontroll. Dette betyr at KI skal bidra til å fremme våre grunnleggende friheter og rettigheter. Mennesket skal være inne i beslutningsprosessene for å sikre at det er vi mennesker som kontrollerer maskinene og ikke omvendt. På engelsk presist omtalt som prinsippet om human-in-the loop.
  
• KI skal ta hensyn til personvernet. Jeg utdyper ikke dette nærmere, men ut fra det jeg har sagt så langt, er dette selvsagt helt vesentlig.
  
• KI-systemer skal legge til rette for inkludering, mangfold og likebehandling. Her er det viktig å være på vakt – eksemplene er mange på at  KI-systemer ikke alltid oppfyller disse prinsippene: Menn får i større grad tilbud om høyinntektsjobber enn kvinner, folk med dårlig råd får reklame for kreditt og Cambridge Analytica-saken viste hvor galt det kan gå.

Skal vi klare å utvikle en etisk, pålitelig og lovlig KI må vi jobbe bredt, og vi må jobbe sammen. Datatilsynet er tilsynsmyndighet med KI-systemer, vi kan derfor kalles Norges algoritmetilsyn. Og tilsyn vil utvilsomt være viktig for å kontrollere regelverket, både for å sanksjonere brudd, og for å hindre at de samme feilene skjer igjen, noe som i parentes bemerket ofte er en lite kommunisert del av tilsynsvirksomheten. På denne måten vil tilsynsvirksomhet være viktig for å ivareta og å bygge tillit til fremtidens KI-baserte systemer.

Men vi må ha flere enn én tanke i hodet. Vi må også bidra til at det utvikles sikre og robuste KI-baserte systemer, for å sitere en av de syv etiske retningslinjene fra EU. Jeg registrerer med stor begeistring at ett av tiltakene i strategien er å etablere en regulatorisk sandkasse under Datatilsynets myndighetsområde. For litt siden var vi på et meget inspirerende studiebesøk hos det britiske datatilsynet. De er, så vidt oss bekjent, det eneste datatilsynet som så langt har etablert en slik sandkasse. Vi ser frem til å etablere noe lignende hos oss. Tanken er at private og offentlige selskaper kan søke om deltagelse i sandkassen, med innovative og nyttige løsninger bygd på KI. Løsninger som kan utvikles i tett samarbeid med Datatilsynets eksperter. De kan teste løsninger uten at eventuelle lovbrudd vil medføre sanksjoner, og forsøke på nytt, til det «sitter» som det skal. Dette vil korte ned fasen fra idé til utrulling, føre til læring for virksomhetene og for oss, som blant annet. kan brukes til at vi kan utvikle veiledningsmateriell, og virksomhetene kan utvikle bransjenormer for egen sektor. Det britiske datatilsynet jobber sammen med Heathrow flyplass for å utvikle en personvernvennlig, innovativ ansiktsbiometri som kan gi en helt sømløs flyplassopplevelse, der ansiktet er billett på flytoget, boardingpass, alderskontroll på taxfree og pass. 

Erfaringene ICO gjør seg blir spennende å følge med på. Bruk av kunstig intelligens er i bunn og grunn et stort eksperiment, og noe av det som står på spill er borgernes personlige data. Det er viktig at utprøving og testing skjer i et trygt miljø, og i tett samarbeid med blant annet personvernmyndighetene. Da kan vi skape de vinn-vinn-situasjonene vi hele tiden leter etter. Å etablere en regulatorisk sandkasse er nybrottsarbeid, og kanskje en sjanse å ta, men vi tar den med åpne armer.   

Arendalsuka vokser og vokser, og det er et uendelig antall arrangementer å velge mellom. Men hvordan velge riktig? Hvordan kan den personverninteresserte virksomhet sende sine beste menn og kvinner på riktig sted? Hvor bør den glade forbruker og bevisste borger gå for å bli en enda bedre utgave av seg selv?

I denne guiden lister jeg opp de viktigste personvernarrangementene. Det er ingen uttømmende liste. Mange andre arrangementer, som digitalisering, helse og transport handler også om personvern, selv om dette ikke er angitt som tema.

Norge anno 2030 (mandag 13. august kl. 20.00)

Det er vanskelig å spå om fremtiden, men det er oppgaven til panelet som skal snakke om hvordan ble vi et grønt, digitalt og smart samfunn. En ting er sikkert; mengden persondata vil være mangedoblet om 12 år, men kanskje har vi utviklet teknologi som gjør at personvernet kan ivaretas på en bedre måte enn i dag. Og mon tro om Facebook, Google og Amazon fremdeles er verdens største selskaper. Jeg kan vel si såpass at jeg slett ikke er sikker.

Arrangører er Tekna, og jeg sitter i panelet sammen med blant annet president i Tekna, Lise Lyngsnes Randeberg og Høyres Henrik Asheim, som leder finanskomiteen på Stortinget.

Se programmet her

Den digitale kommune – Best for deg? (tirsdag kl. 09.30–11.00)

Alle bor i en kommune, og vi er allerede fra før vi blir født brukere av kommunens tjenester. Kommune-Norge digitaliseres i stadig større fart, og enkelte steder har man en fremtidsvisjon om at vi får tildelt barnehageplass ved fødselen, og viktige kommunale tjenester skal tildeles uten søknad.

Dette er vel og bra, men det fordrer innsamling og analyse av enorme mengder data, også av sensitiv karakter. Vi har gjennom mange tilsyn de siste årene avdekket av mange norske kommuner slett ikke har kontroll på data de har om innbyggerne sine. Det er derfor grunn til å spørre om de er klare for den digitale revolusjonen.

Dette arrangement er en del av hovedprogrammet, og arrangerer i samarbeid mellom Datatilsynet, KS og Arendalsuka. Jeg sitter i panelet sammen med blant annet KS sin leder Gunn Marit Helgesen og direktør i Teknologirådet, Tore Tennøe.

Se programmet her

Kan man regulere internett? (tirsdag kl. 11.00–12.00)

Regulering av internett er en stor debatt i Norge og mange andre land. Hvilke muligheter har myndighetene til å regulere internett, og hva vil kreves for å kunne gjøre dette? Skal norske forbrukere kunne oppsøke alt man ønsker så lenge det er på internett, eller er det eller bør det være begrensninger for dette? Hvor går i så fall grensen?

Programmet for dette arrangementet er ikke klart enda, men fra Datatilsynet deltar juridisk direktør Jørgen Skorstad.

Arrangør er Kindred Group.

Skal roboter passe på bestemor? (tirsdag 14. august kl. 12.15–13.00)

Vi snakker ofte om at eldreomsorgen trenger varme hender, men varme hender kan også bli klamme hender. Bruk av velferdsteknologi har mange gode sider; folk kan bo hjemme lenger, de eldre kan føle at privatlivet deres i mindre grad blir invadert av andre og det kan gi større trygghet.

Dette er blant temaene vi berører når vi samles på Aftenpostens arrangement på Mediebåten, der teknologikommentator i Aftenposten, Joacim Lund, samler teknologieksperter til en samtale. Jeg faller neppe helt inn i den kategorien, men jeg vil utdype personvernperspektivene i denne viktige debatten.

Se programmet her

Sikkerhet, personvern og elleville vilkår i «smart»-produkter (tirsdag 14. august kl. 13.00–14.30)

Antall produkter som er koblet til internett er enormt, og økende. Det siste året har Datatilsynet blant annet behandlet saker knyttet til bruk av smartklokker for barn, og vi noterer samtidig med glede at den nye personvernforordningen legger opp til at det skal tas særlig hensyn til barns personvern.

Vi ser også at personvernspørsmål har blitt forbrukerspørsmål. Hvordan dataene våre behandles handler om deg og meg og oss.

Arrangementet er et samarbeid mellom Forbrukerrådet, Forbrukertilsynet (tidligere Forbrukerombudet) og Datatilsynet, og jeg deltar i panelet sammen med blant annet Forbrukerrådets direktør Randi Flesland, direktør i Forbrukertilsynet Elisabeth Lier Haugseth og statssekretær i Justis- og beredskapsdepartementet Sveinung Rotevatn.

Se programmet her 

Dine data i fremmede makters valgkamper? Hvordan skal personvernet beskyttes? (tirsdag 14. august kl. 17.00–18.00)

Hvordan utfordrer den teknologiske utviklingen personvern og menneskerettigheter? Har den endret offentlighetene våre? Og hvordan kan vi styre teknologien?
Dette er spørsmål vi skal snakke om på om tirsdag ettermiddag

Aftenposten er arrangør og det hele foregår på Mediebåten, der jeg deltar sammen med fagdirektør i Norges Nasjonale Institusjon for Menneskerettigheter, Anine Kierulf og Harald Stanghelle, redaktør i Aftenposten.

Se programmet her  (merk: ny tekst kommer)

Pasientens helsetjenester – mine og dine data? (onsdag 15. august kl. 08.30–13.30)

Det samles inn helsedata om oss hele livet gjennom. Dette er de mest sensitive dataene som finnes, samtidig kanskje de som kan gi størst samfunnsnytte. Men vet vi hva som egentlig skjer med mine og dine helsedata? Og hvordan utfordrer bruk av helsedata personvernet? Dette er blant de spørsmålene som skal diskuteres på dette mini-seminaret.

Arrangementet er i regi av e-Helsealliansen, Sørlandet Sykehus HF, Digin, Aust-Agder Fylkeskommune, Senter for e-helse/UiA, Egde Consulting AS. Fra Datatilsynet deltar seniorrådgiver og leder for helsegruppa, Camilla Nervik.

Se programmet her

Tilkoblede barn – hvordan kan vi sørge for at barn er trygge digitale forbrukere? (onsdag 15. august kl. 09.00–10.00)

I dag er TV-en smart, klokkene er smarte og leketøyene smarte og de kan snakke til barna våre. Men hvordan gjør vi barna digitalt smarte, når vi vet at det er svært vanskelig å vite hva man egentlig takker ja til? Vi stiller også spørsmål ved hvilket ansvar foreldre og næringslivet har i å oppdra barna til gode digitale borgere.

Arrangementet er et samarbeid mellom Forbrukertilsynet, Datatilsynet og Medietilsynet. I tillegg til direktørene for de tre tilsynene, møter vi representanter fra næringslivet for meningsutveksling og debatt. Blant deltagerne er Stian Barsnes-Simonsen fra Nordic Screens og Mari Midtstigen, redaktør i Aftenposten junior.

Som oppvarming anbefaler jeg kommunikasjonsrådgiver Guro Skåltveit sin blogg om manglende opplæring i digital dømmekraft

Se programmet her

Deit med Forbrukertilsynet, Datatilsynet eller Medietilsynet – spør oss om barn og digitale medier (onsdag 15. august kl. 10.00–11.00)

Hvem drømmer ikke om en deit med Datatilsynet? Nå er sjansen der! Utviklere, produsenter, distributører, innovatører, foreldre, barn og besteforeldre – alle er velkomne til å stille spørsmål til oss om markedsføring rettet mot barn, vilkår og innsamling av data.

Fra Datatilsynet møter du erfarne jurister, teknologer og samfunnsvitere. Deiter deles ut der og da etter førstemann-til-mølla-prinsippet.

Se programmet her

Hvordan gjøre cyber-Norge tryggere? (onsdag 15. august kl. 10.30–11.30)

2018 er året Norge får både et nasjonalt cybersikkerhetssenter og et nasjonalt senter mot cyberkriminalitet. Bakgrunnen for disse nyetableringene er den økende digitale trusselen. Nasjonal Sikkerhetsmyndighet står bak arrangementet, der vi blant annet vil diskutere om slike sentre vil hjelpe og om vi kan beskytte folk og virksomheter bedre enn i dag.

Mitt perspektiv blir selvsagt hva mer sammenstilling, analyse og bruk av data betyr for innbyggernes personvern. De andre deltagerne er avdelingsdirektør Hans Petter Pretorius i NSM, politiinspektør Hans-Petter Torgersen i Kripos og sikkerhetsdirektør Hanne Tangen Nilsen i Telenor.

Se programmet her

Skjeve data & slemme roboter: Hvordan gi kunstig intelligens moralsk kompass? (onsdag 15. august kl.11.45 –14.00)

Mennesket fases ut av stadig flere beslutninger. Intelligente maskiner vil i fremtiden bestemme om vi skal få trygd, lån og forsikring, og hva slags behandling vi skal få når vi blir syke. Dette har utvilsomt mange fordeler, men samtidig er det ingen grense for hvilke opplysninger som kan bli samlet inn og brukt i «det godes tjeneste».

Derfor er det viktig at vi allerede nå, i en tidlig fase av utviklingen stiller de riktige spørsmålene: hvilke rammer trenger vi for å kunne realisere mulighetene kunstig intelligens gir oss på en sikker og rettferdig måte? Hvordan håndterer norske virksomheter som har begynt å ta i bruk KI personvernhensyn?

Arrangementet er et samarbeid mellom Telenor og Datatilsynet, og består av tre deler: En innledning av Kommunal- og moderniseringsminister Monica Mæland, hard-talk mellom Arbeiderpartiets Torstein Tvedt-Solberg og Høyres Mari Holm Lønseth (ikke endelig avklart). Deretter skal et ekspert-panel bestående av bl .a. IT-direktør i NAV Torbjørn Larsen, Ruters direktør Bernt Reitan – Jenssen og meg selv diskutere temaet.

Som en oppvarming anbefales Datatilsynets rapport om kunstig intelligens og personvern (januar 2018)

Se programmet her

Kunstig intelligens, sikkerhet og fremtidens teknologi i et globalt og inkluderende samfunn (onsdag 15. august kl. 14.00–15.00)

Dette er et arrangement i samarbeid mellom IKT-Norge og Sopra Steria. Program og deltakere er ikke helt avklart enda, men det som er sikkert er at Datatilsynets fagdirektør Catharina Nes deltar.

Som en oppvarming anbefaler vi rapporten vår om Kommersiell bruk av personopplysninger

Les gjerne også Catharinas blogg om utviklingen i Kina

Se programmet her

Det digitale skiftet – Fantastisk eller Forferdelig? (onsdag 15. august kl. 17.00 – 19.00)

Dette er et arrangement i regi av Centre for Digital Transformation ved Universitetet i Agder. Programmet vil bli oppdatert. Datatilsynets fagdirektør Catharina Nes deltar sammen med IKT-Norges Torgeir Waterhouse, og gode rykter sier at det blir skråblikk med Bare Egil også!

Se programmet her

Helsedata – mirakelkur med bivirkning? (torsdag 16. august kl .12.00–14.00)      

Det har den siste tiden blitt gjennomført en rekke utredninger og evalueringer som har endt opp med ulike forslag til hvordan vi bedre og mer effektivt skal kunne bruke helsedata til ulike formål, og hvordan vi skal kunne realisere gevinstene av disse dataene. Det er bred enighet om at helsedata har stor verdi, og det brukes ofte store ord som den nye oljen og det nye arvesølvet.

Dette er en debatt med mange nyanser og dilemmaer. Kan den økte bruken ha noen kostnader? Kan det gå på bekostning av befolkningens tillit? Og hvilke krav stiller Den Europeiske Menneskerettighetskonvensjon og det nye personvernregelverket til bruken av helsedata i forskning og utvikling.

Datatilsynet står som arrangør av dette arrangementet, og i debatten møter du direktør i Folkehelseinstituttet Camilla Stoltenberg, prosjektleder i BIgMed-prosjektet Thomas Smedsrud, styreleder i Legemiddelindustrien Veronika Barrabes og meg.

Les gjerne min blogg om framtidas helsevesen på Personvernbloggen

Se programmet her

Kina har vokst frem som et gigantisk laboratorium for eksperimentell databruk. Tre av de ti største internettselskapene i verden er nå kinesiske: Baidu, Alibaba og Tencent, populært kalt BAT. På enkelte områder, for eksempel innen finansiell teknologi og mobile betalingsløsninger, er Kina i førersetet for utvikling av nye og innovative løsninger. Tiden da Kina kun var en etteraper som laget billige kopier av produkter fra vesten, er definitivt over.

Nå vil Kina bli supermakt på kunstig intelligens. Kinesiske myndigheter investerer hundretalls milliarder kroner i utviklingen av kunstig intelligens og målet er å bli verdensledende på dette området innen 2030. Med seg på laget har de BAT-selskapene.

For å utvikle kunstig intelligens er man avhengig tilgang til mye data. Data, som i mange tilfeller er personopplysninger, er drivstoffet som gjør at systemer kan lære og blir intelligente. Her har Kina en stor fordel i kappløpet om å utvikle verdens beste kunstige intelligens.

Med sine 1,4 milliarder innbyggere og omfattende dataregistre, har Kina tilgang til enorme datamengder. I tillegg har landet den fordelen at det er få restriksjoner knyttet til hvordan data kan utnyttes. Myndigheter og kommersielle virksomheter kan derfor utvikle kunstig intelligens uten de samme begrensningene som personvernlovgivningen setter i Europa.

I Europa kan for eksempel myndigheter og selskaper ikke uten videre kan bruke data de har samlet inn fra oss til andre og nye formål vi ikke kjenner til. De må også begrense innsamlingen av opplysninger til det som er strengt nødvendig. Disse prinsippene skal gi oss kontroll over våre egne opplysninger og utviklingen av kunstig intelligens må finne sted innenfor disse rammene.

Takket være enorme databaser med bilder av befolkningen, er Kina verdensledende på utvikling av ansiktsgjenkjenningsteknologi. Kina har installert det mest omfattende kameraovervåkningssystemet i verden. 150 millioner kameraer er utplassert og innen fire år skal 400 millioner nye kameraer monteres opp. I byen Guiyang har kameraovervåkningssystemet samlet inn bilder av alle byens 3,4 millioner innbyggere og koblet dem til den enkeltes ID-nummer, ifølge BBC.

Ansiktsgjenkjenning brukes allerede av banker, restauranter og til og med på offentlige toaletter i Kina for å fastslå folks identitet. Det er likevel politi- og sikkerhetsmyndighetene som er mest ivrige etter å ta i bruk teknologien. Det nasjonale kameraovervåkningssystemet er utrustet med ansiktsgjenkjenningsteknologi, og kan i tillegg fastslå kjønn, alder og etnisitet. BBC-journalist John Sudworth fikk tillatelse til å teste ut systemet i Guiyang. Basert på et bilde av ham som han sendte til politiet i forkant av et besøk i byen, tok det kun syv minutter fra Sudworth gitt ut på gaten i Guiyang, til ansiktsgjenkjenningssystemet hadde lokalisert ham og politiet kunne «anholde» ham. Siste nytt er at politiet har utvidet sitt overvåkningsarsenal med briller med ansiktsgjenkjenningsteknologi. Med disse brillene på kan politiet pågripe suspekte individer enda mer effektivt.

Den kunstig intelligente fremtiden er ikke bare dystopisk. Teknologien vil også løse mange viktige samfunnsoppgaver fremover. Det er derfor avgjørende at Norge og Europa for øvrig ikke blir sinker på dette området. Utviklingen vi ser i Kina berører oss derfor, både som utviklere og brukere av teknologien.

Kunstig intelligens kan selges som programvare på det globale markedet. Google og IBM tilbyr sine kunstig intelligens-løsninger til private og offentlige aktører over hele verden. Om noen år kan den beste kunstige intelligensen i verden være utviklet av et kinesisk selskap. Når denne programvaren tilbys på verdensmarkedet, vil det da være OK for et norsk sykehus eller bank å velge denne? Spørsmålet er om vi fremover må stille etiske krav til den kunstige intelligensen vi tilbys på samme måte som vi stiller etiske krav til hvordan andre forbruksvarer er fremstilt og produsert, som for eksempel matvarer og klær.

For å holde tritt med utviklingen av kunstig intelligens i Kina, kan det bli fristende for europeiske virksomheter å flytte produksjonsmiljøene som jobber med kunstig intelligens dit. Vi har allerede sett de første eksemplene på dette. Det britiske teknologiselskapet Medopad flyttet utviklingen av sin kunstig intelligens-baserte helseapplikasjon til Kina. I Storbritannia hadde de ikke tilgang til store nok datamengder for å kunne trene opp algoritmene sine. Ved å samarbeide med Tencent, Kinas ledende sosiale nettsamfunn, fikk selskapet tilgang til brukerdata i en helt annen målestokk enn hjemme i Storbritannia. Nylig opprettet også Google en kunstig intelligens-avdeling i Kina.

Samtidig som kinesiske myndigheter utvikler og bruker kunstig intelligens på autoritære måter, er det tegn som tyder på at de kinesiske teknologigigantene ser nødvendigheten av å sette personvern på dagsordenen. Teknologiselskapene ønsker å ekspandere vestover på jakt etter mer brukerdata som de kan bruke i utviklingen av kunstig intelligens. Skal de levere tjenester som har tillit i de vestlige markedene, må de bygge løsninger som ivaretar grunnleggende personvernhensyn. Det er imidlertid mer tvilsomt om kinesiske myndigheter vil ta slike hensyn i sitt arbeid med å realisere ambisjonen om å bli verdensledende innen kunstig intelligens.

For at maskiner skal ta slike intelligente beslutninger om oss, krever det selvsagt tilgang til store mengder personopplysninger. Skal en bil kjøre selv, må den sitte med store mengder data om trafikken, sjåføren og omgivelsen rundt, og skal datamaskinen skille en ulv fra en husky, må den se mange bilder av både ulv og husky.

I begeistringen over at ny teknologi kan skape et mer effektivt samfunn, gi oss et enklere liv og avdekke kriminalitet, er det lett å glemme at det også for algoritmer og kunstig intelligens, finnes lover og regler som må følges. Vi må styre teknologien i riktig retning og ikke la teknologien styre oss.

Algoritmer som avdekker kriminelle handlinger

Allerede i dag ser vi at datamaskinene treffer rettslige beslutninger som tidligere ble tatt av mennesker, for eksempel innvilgelse av studielån. I USA treffer datamaskiner beslutninger om lengden på fengselsstraff og hvorvidt en fange skal prøveløslates. Da brukes såkalte prediktive algoritmer, som kan «se» inn i framtiden.

Her hjemme har Skatteetaten utviklet en prediktiv analyse for velge ut hvilke selvangivelser som bør kontrolleres for å oppdage feil eller juks. Det kan være opplysninger om skattyternes demografi tilhørighet, hendelser i livet, bruk av fradragsposter i år og i fjor, alder, økonomiske forhold som inntekt og formue.

Lånekassen har tatt i bruk kunstig intelligens for å avdekke svindel med borteboerstipend. 24. januar kunne vi lese i Aftenposten at Tollvesenet har inngått en avtale med det CIA-støttede selskapet Palantir, som bruker kunstig intelligens for å avdekke smugling. I følge avisen ligger det også i Tolletatens bestilling at det er behov for teknologi som kan «klassifisere et forum, sosiale medier eller flere nettsteder for å sortere den informasjonen vi er interessert i. Det samme gjelder for ustrukturerte data som bilde og lyd ved hjelp av teknikker som bilde- og talegjenkjenning».

Strengere regler fra mai

Den 25. mai trer den nye personopplysningsloven i kraft. Her fastslås flere viktige prinsipper for behandling av data, blant annet at data skal samles inn til et bestemt formål, og at man ikke skal samle inn mer data enn nødvendig (dataminimalisering). Når man tar i bruk kunstig intelligens, er det ofte fristende å ta i bruk data til nye formål. Algoritmen skal finne sammenhenger og mønstre den menneskelige hjerne ikke kan finne. Og mengden skal maksimaliseres, slik at vi får mest mulig data å øse fra.

Den nye loven stiller også strengere krav til å ha kontroll på data virksomheten bruker. Dette betyr at en virksomhet, som for eksempel treffer beslutninger om tildeling av en stønad, må ha full oversikt over de datakildene som brukes for å treffe beslutningen. Offentlig sektor er også underlagt forvaltningsloven som blant annet krever at enkeltvedtak skal begrunnes så godt at jeg forstår hvorfor avgjørelsen ble som den ble. Borgeren har også rett på informasjon om hvilke regler og faktiske forhold vedtaket bygger på, samt hvilke hovedhensyn som har vært avgjørende. 

Retten til en forklaring

Den som gjenstand for en automatisk beslutning, har en rett til å få en forklaring på logikken bak beslutningen. Ta forsikring som eksempel: Selv i dag er det å beregne pris på en bilforsikring krevende, og mange opplysninger inngår i beslutningen; alder, bosted, barn under 25 år som kjører bilen, kjørelengde, om man har garasje eller parkerer på gata. Med en svart boks i bilen, vil når jeg bremser, hvor fort jeg kjører, bruk av blinklys osv også inngå i prisvurderingen.

Datatilsynet har ikke svaret på hvordan slik forklaring skal gis, men vi ser at dette i mange tilfelle vil være krevende. Jeg skal med rimelig grad av sikkerhet vite hva utfallet av en sak skal bli, basert på lignende avgjørelser. Dessuten skal jeg kunne etterprøve at beslutningen er rettferdig, at det ikke er trukket inn utenforliggende hensyn eller at det er fordommer i algoritmen.

Regulering, politikk og tilsyn

Vi må utvikle en metodikk for hvordan algoritmer skal forklares, og hvordan lovverket skal tilpasses en ny teknologisk hverdag. Vi kan også komme i en situasjon der et resultat ikke kan forklares: Maskinen avslår søknaden om stønad, men vi vet egentlig ikke hvorfor. Vi kan ende i en situasjon der en algoritme ikke kan brukes, fordi vi ikke kan forklare beslutningene den har truffet.

Det vil også stilles krav til lovhjemlene som skal brukes for eksempel i svindelsaker. Dersom det for eksempel lykkes å utvikle en algoritme som flagger trygdesvindlere, må det være en egen lovprosess for å få på plass en hjemmel før algoritmen kan slippes løs på virkelige saker. Dersom Tolletaten skal starte søk i åpne datakilder for å fange smuglere, vil det kreve en meget grundig utredning, klare lovhjemler og ikke minst vurdering i forhold til Den europeiske Menneskerettskonvensjon.

Datatilsynet må også utvikle en tilsynsmetodikk for algoritmer. Vi vil sjekke det samme som i dag, for eksempel internkontroll og behandlingsgrunnlag, og ikke minst oversikt over hvilke datakilder som brukes. Hvilke kilder bruker egentlig Tolletaten dersom de tar i bruk søk i åpne kilder? Og hvilken lovhjemmel har de? Hvis en virksomhet bruker et system basert på kunstig intelligens, kan det være relevant å sjekke om virksomheten tester resultatene og reviderer systemet for å sikre at det ikke bruker personopplysninger på en diskriminerende måte. Det vil også være relevant å undersøke om systemet er utviklet basert på prinsippene for innebygd personvern.

Vi må ikke sveve i den villfarelsen at vi skal gjøre alt som er teknisk mulig. Jeg er teknologi-optimist, men tror fortsatt at lover og regler vil, og skal, sette ramme for bruk av teknologi.

Denne kronikken sto på trykk i Aftenposten 30.01. 2018.