1. Kan vi bruke personopplysninger i KI-løsningen?

Et spørsmål som går igjen i Datatilsynets sandkasse er: Har vi lov til å bruke personopplysninger i løsningen vår?

Svaret er som regel: Det kommer an på.

For at behandlingen av personopplysninger skal være lovlig, må virksomheten ha et rettslig grunnlag, også ved utvikling av kunstig intelligens. Dette er i tråd med personvernforordningen artikkel seks.

Kunstig intelligens omfatter ofte flere faser: utvikling, anvendelse (bruken av selve løsningen) og etterlæring. Disse fasene kan overlappe, noe som gjør det krevende å avgjøre når én fase slutter og en annen begynner. Og selv om virksomheten har rettslig grunnlag for én fase, betyr det ikke nødvendigvis at dette grunnlaget dekker andre faser.

Vi møtte på denne problemstillingen sammen med NAV – i et av de første sandkasseprosjektene våre. Her kom vi frem til, at NAV hadde hjemmel i folketrygdloven til å behandle brukernes opplysninger for å yte tjenester. Loven er derimot ikke tydelig på om de kan bruke historiske data om sykemeldinger til trening av algoritmene.

En annen viktig læring, er at det er viktig å identifisere hvilke data som faktisk inneholder personopplysninger. I sandkasseprosjektet med Juridisk ABC kom vi frem til at de kunne nytte lovtekster, forskrifter, forarbeider og lignende juridiske kilder i den generative KI-løsningen for arbeidsrett. Det var ikke krav om rettslig grunnlag ganske enkelt fordi kildene ikke inneholdt personopplysninger. Derimot inneholdt dommer og kjennelser ofte omfattende mengder personopplysninger – som kan være svært sensitive for de som er involvert. Derfor måtte Juridisk ABC ha et rettslig grunnlag for å inkludere disse i KI-løsningen.

2. Er anonymisering løsningen?

Flere av virksomhetene i sandkassen har ønsket å anonymisere personopplysninger. Anonymiserte data er jo ikke omfattet av personvernregelverket, så det kan forenkle mye. Men – det har i praksis vist seg krevende å få til faktisk anonymisering.

Til tross for betydelige fremskritt innen anonymiseringsteknologi, som skal hindre identifisering av enkeltpersoner i datasett, har det parallelt vært en utvikling av analyseteknologi som øker risikoen for re-identifisering. Mer offentliggjøring av offentlige data har også gjort det mulig å sammenstille flere datapunkter fra ulike kilder, hvilket øker utfordringen.

I sandkassen har vi sett flere eksempler på bruk av ny teknologi for å redusere risikoen for re-identifisering. Finansvirksomheten Finterai ville bruke føderert læring for å kunne dele innsikt fra transaksjonshistorikk mellom banker – uten å eksponere opplysninger som kunne knyttes til enkeltpersoner.

Teknologiselskapet Mobai hadde en lignende tilnærming, men benyttet homomorfisk kryptering for å gjøre re-identifisering vanskeligere. Ved hjelp av denne teknologien kunne aktører analysere krypterte personopplysninger uten at de måtte dekrypteres. Dette skjer ved at de bevarer de egenskapene ved personopplysningene som de ønsker å bruke, og fjerner resten.

Personvernfremmende teknologier, som føderert læring og homomorfisk kryptering, markerer viktige skritt i riktig retning for å få til godt personvern i praksis. De bidrar ikke bare til å redusere risikoen for re-identifisering av personer som er i et KI-datasett. De gir også virksomheter bedre muligheter til å balansere innovasjon med personvern og informasjonssikkerhet.

3. Kan kunstig intelligens bidra til dataminimering?

Prinsippet om dataminimering kan ved første øyekast virke som en motpol til kunstig intelligens. Kunstig intelligens trenger store mengder personopplysninger for å lære. Prinsippet om dataminimering slår fast at du skal samle inn minst mulig personopplysninger – kun det som er nødvendig for å oppnå formålet.

I flere sandkasseprosjekter har vi utforsket dette tilsynelatende dilemmaet. For eksempel har vi i sammen med sikkerhetsselskapet Doorkeeper sett på hvordan KI-baserte overvåkingskameraer kan minimere innsamlingen av personopplysninger. Blant annet kan de sladde mennesker i videostrømmen eller aktivere løpende opptak kun når en spesifikk hendelse utløser det. Vi har også diskutert situasjoner man ikke vet hvilke opplysninger som er nødvendige før de har analysert data over tid. Er det brudd på dataminimeringsprinsippet, om det i ettertid viser seg at personopplysninger har blitt behandlet uten å være relevante? Vi har utforsket problemstillingen i sandkassen, men som i mange andre tilfeller vil svaret avhenge av den konkrete konteksten.

4. Hvordan skaper algoritmer urettferdighet?

Helsesektoren har vært godt representert i sandkassen, blant annet gjennom prosjekter med Helse Bergen og Ahus. Disse har fokusert på KI-løsninger som skulle forutsi hjertesvikt og peke ut pasienter med fare for rask reinnleggelse på sykehus.

Kunstig intelligens i helsesektoren reiser viktige spørsmål om algoritmeskjevheter, som kan føre til at pasientene blir diskriminert. I begge prosjektene var KI-verktøyene ment som beslutningsstøtte og ikke for å gjennomføre automatiserte avgjørelser uten menneskelig innblanding. Likevel, det er en utbredt forståelse for at kunstig intelligens kan videreføre og forsterke eksisterende diskriminering i samfunnet. I tilfeller hvor algoritmene kommer til feil vurdering av folks helse, kan dette ha alvorlige konsekvenser.

I Ahus-prosjektet så de at dårlig datakvalitet og feil i datagrunnlaget potensielt kunne resultere i uriktige og diskriminerende resultater. Og de så på forskjellige metoder for å avverge dette.

For virksomheter som vil avverge algoritmeskapt diskriminering, har Likestillings- og diskrimineringsombudet en nyttig veileder om innebygd diskrimineringsvern. Den er rettet mot de som er ansvarlige for utvikling, anskaffelse og bruk av ML-systemer, og skal gjøre dem kjent med diskrimineringsregelverket, slik at de kan forebygge ved å vurdere diskrimineringsrisikoen teknologien medfører.

5. Hvem har ansvaret: utvikler eller kunde?

I flere sandkasseprosjekter har vi diskutert ansvarsforhold knyttet til behandlingen av personopplysninger i KI-løsninger: Hvem er behandlingsansvarlig? Hvem er databehandler? Og bør utviklere ta et større ansvar for å hjelpe virksomheter med å etterleve personvernregelverket?

En leverandør har ikke nødvendigvis et direkte ansvar for at kjøperne av produktet følger personvernregelverket, når løsningen blir brukt til å samle inn og behandle personopplysninger. Likevel bør de levere løsninger som legger til rette for at kunden, som ofte er å regne som behandlingsansvarlig, kan overholde regelverket i praksis.

I noen tilfeller kan det også være hensiktsmessig at utviklere eller leverandører tar på seg mer ansvar, for å sikre viktige personvernhensyn. Dette kan for eksempel være knyttet til tilgangskontroll eller informasjonssikkerhet.

Et eksempel på at utvikleren tar mer ansvar for å forbedre personvernet, ser vi i prosjektet med Secure Practice. Denne teknologivirksomheten hadde som mål å gi persontilpasset opplæring i cybersikkerhet. Sikkerhetsopplæringen var ment for ansatte i virksomheter, som ville kjøpe tjenesten fra Secure Practice. I tillegg ville ledelsen i disse virksomhetene få statistikk over ansattes kunnskaps- og interessenivå innenfor informasjonssikkerhet. For å kunne levere tjenesten uten at informasjon om ansatte kan misbrukes av ledelsen, drøftet deltakerne i prosjektet at det kunne være nødvendig å holde tilbake personopplysninger fra kunden. For at dette skulle være mulig, vurderte de en løsning med felles behandlingsansvar. Secure Practice og kunden vil da i fellesskap fastsette formålene og midlene for behandlingen av arbeidstakers personopplysninger.

Dette viser hvor viktig det er å avklare og plassere ansvarsforhold for å utvikle løsninger med godt personvern. Klare ansvarsforhold bidrar ikke bare til bedre etterlevelse av regelverket. Det kan også bidra til økt tillit mellom leverandører og kunder.

6. Hvorfor maser vi så fælt om at personvernet må tidlig på plass?

Har du hørt om innebygd personvern? Det er et prinsipp i personvernregelverket om at tekniske systemer og løsninger blir utviklet slik at personvernet blir ivaretatt. Poenget er å sikre at personvernet i systemet er gjennomtenkt, heller enn å forsøksvis bli klattet på til slutt. I den nye digitaliseringsstrategien slår regjeringen fast at alle relevante IT-løsninger i offentlig sektor skal ha innebygd personvern. Men hva betyr det i praksis?

Mange av virksomhetene har kommet til sandkassen med KI-prosjekter i konseptfasen. Erfaringen fra disse prosjektene er at tidlige veivalg har stor betydning for hvor lett eller vanskelig det blir å etterleve kravene i personvernregelverket. 

Flere eksempler fra sandkassen illustrer dette, spesielt når det gjelder lagring av personopplysninger for KI-formål. For eksempel kan lagring av store mengder personopplysninger sentralt på en felles server, gjøre dataene sårbare og øke angrepsflatene. Da må strenge organisatoriske og tekniske tiltak til for å sikre opplysningene, ettersom lagringen innebærer en større risiko for de registrerte. På en annen side kan desentralisert lagring – for eksempel ved kantprosessering (edge computing) – i visse tilfeller redusere personvernrisikoen. Det forenkler virksomhetens arbeid med informasjonssikkerhet.

Ett eksempel på desentralisert lagring er Doorkeepers løsning, der videostrømmen fra et overvåkingskamera ble sladdet direkte i kamerahuset før opptakene ble sendt videre til et brukergrensnitt. Et annet eksempel var et prosjekt med Ruter, som ønsket lokal lagring på brukernes egne mobiltelefoner i forberedelsesfasen til å utvikle KI.

Hvor data skal lagres, er neppe det første du tenker på etter å ha fått en ide om en genial ide. Å tenke på det tidlig nok kan riktignok spare deg for mye frustrasjon, og brukerne for risiko.

Dette er særlig relevant for virksomheter med begrensede ressurser – å utvikle løsninger som fra starten ikke krever omfattende tiltak for å oppfylle personvernregelverket. Å tilpasse ferdigutviklede løsninger i etterkant kan være både tidkrevende og kostbart.

Personvernundersøkelsen 2024, utført av analyseselskapet Opinion på vegne av Datatilsynet, gir innsikt i dette spørsmålet. Et landsrepresentativt utvalg på 1519 personer over 15 år svarte på undersøkelsen i januar i år.

Hvilke virksomheter har vi tillit til?

Undersøkelsen tok blant annet for seg folks holdninger til hvordan virksomheter håndterer personopplysninger. Respondentene fikk følgende spørsmål om tillit:  

Svarene viser at det er klare forskjeller mellom hvem vi har tillit til. Grovt oppsummert kan det sies at flere offentlige virksomheter nyter høy tillit når de behandler våre opplysninger, mens private virksomheter har mindre. De vi har minst tillit til er tjenestene som er levert av de store tekno-gigantene, slik som Google og Meta. 75 prosent har liten eller ingen tillit til hvordan søkemotorer oppbevarer og bruker personopplysninger på, mens 83 prosent har liten eller ingen tillit til hvordan sosiale medier gjør det.

Den lave tilliten til denne type tjenester kan ses i sammenheng med negativ medieomtale over flere år når det kommer til misbruk av brukernes personopplysninger. Eksempler på dette er Cambridge Analytica-saken fra 2018, og senest i år kom det frem at flere sosiale medie-tjenester brukte eller planla å bruke innholdet til brukerne sine for å trene kunstig intelligens.

Apper for spill og underholdning skiller seg også negativt ut. Spillindustrien, som nå overgår filmindustrien i inntjening, krever ofte omfattende mengder personopplysninger av spilleren for å opprette brukerkonto. I tillegg kan mange opplysninger bli samlet inn mens du spiller. Dette reiser viktige spørsmål om hvordan de ivaretar personvernhensyn, særlig med tanke på yngre spillere. At folk har lav tillit til disse kan tolkes som om at de er kritiske og uttrykker en sunn skepsis til hvordan slike tjenester behandler personopplysninger.

Fører manglende tillit til at vi faktisk endrer oppførsel?

Men hvordan påvirker tillit vår oppførsel på nett? Det kan være vanskelig å koble en holdning til en handling. For å grave mer i dette, spurte vi folk om de har handlet på en bestemt måte i tilfeller hvor de er usikre på hvordan deres opplysninger blir brukt.

På spørsmålet om hvorvidt folk har tatt grep eller unnlatt å gjøre noe på grunn av denne usikkerheten, er svaret  tydelig «ja» for store deler av befolkningen. 64 prosent har unnlatt å ta i bruk en tjeneste eller et produkt som følge av at vi er usikre på hvordan personopplysningene blir brukt, og 74 prosent har latt være å laste ned en app.

At folk ikke laster ned visse apper kan være et tegn på sunn skepsis. Mange apper samler inn mer informasjon om oss enn det som er nødvendig. Mange aktører videreselger også informasjon om oss til annonsører, for at de skal sende deg målrettet reklame.

Undersøkelsen gir et tydelig signal til kommersielle aktører: Hvis de ikke oppfyller brukernes forventninger til personvern, risikerer de at brukere lar være å ta i bruk tjenestene deres eller at de begrenser aktiviteten sin i tjenesten.

Ytringsfriheten på kommersielle plattformer?

Undersøkelsen viser at mange lar være å delta i meningsutvekslinger på nett fordi de er usikre på hvordan opplysningene kan bli brukt. En betydelig andel, 47 prosent, har unngått diskusjoner i sosiale medier og nettaviser, og 35 prosent har gått så langt at de har slettet en konto i sosiale medier. Dette kan potensielt påvirke den offentlige debatten i en tid preget av polarisering og meningssiloer. Mye av den offentlige meningsutvekslingen foregår på plattformer som mange er skeptiske til å bruke.

Kanskje mest bekymringsverdig er at 14 prosent, en ikke ubetydelig andel av befolkningen, har unnlatt å søke etter hjelp om sensitive problemer i en søkemotor. For mange er et enkelt søk på Google det første steget mot å få hjelp, og når tilliten til disse plattformene svikter, kan det få alvorlige konsekvenser.

Oppsummert viser undersøkelsen at det er varierende tillit til de forskjellige aktørene på nett, og at mange unnlater å ta i bruk forskjellige tjenester på grunn av usikkerhet rundt hvordan deres personopplysninger håndteres. Dette viser at tillit er avgjørende for hvordan vi bruker digitale plattformer og tjenester.  

Les Datatilsynets rapport om kunstig intelligens og personvern.

Det betyr ikke at utfallet ikke er riktig. Tvert imot er et viktig argument for å ta i bruk slik teknologi, at vi kan finne sammenhenger og ta avgjørelser som er riktigere enn tidligere. Vi kan stå på skuldrene til datakjemper og ideelt sett motvirke forskjellsbehandling og diskriminering.

Svart boks, mørkt for personvernet

Like fullt, svart boks-problematikk er åpenbart svært utfordrende for personvernet. Å forklare hvordan personopplysninger brukes, er et sentralt prinsipp og en forutsetning for å avdekke og korrigere feil og motvirke diskriminering. Kan vi da leve med at kunstig intelligens får en sentral rolle i prosesser og avgjørelser, som er viktige for oss og livet vårt, uten at vi får en forklaring på hvorfor resultatet ble som det ble? Neppe. Samtidig kan det argumenteres for at informasjon om en modells virkemåte kan avsløre forretningshemmeligheter, noe som også vil være problematisk. Så om vi klarer å åpne den svarte boksen, hvor mye av innholdet i den skal og bør løftes ut i lyset? Hvem er det som trenger å forstå? Og hvor godt må vi forstå det?

Mengdetrening i vurdering

Datatilsynets KI-sandkasse er til nettopp for å få mengdetrening i slike vurderinger. Det første prosjektet som kommer ut av sandkassa etter et halvår med juridiske, teknologiske og tidvis filosofiske vurderinger, er fra NAV. De vil bruke KI for å predikere den videre lengden på sykefraværet, når sykmeldingen har passert fire måneder. NAVs modell er et beslutningsstøttesystem. Det betyr at modellen ikke automatisk avgjør hvem som trenger oppfølging og ikke, men at NAV-veilederne som møter den sykmeldte får en anbefaling fra modellen. Selve avgjørelsen tas altså av et menneske. Men maskinen har kommet med en prediksjon om hvor lenge vedkommende vil være sykmeldt, basert på historiske data. En slik anbefaling fra en maskinlæringsmodell vil nok fort oppleves som vanskelig å overprøve.

Kunsten å designe passe intelligent KI

På den annen side er jo hele poenget med å innføre et slikt system, at anbefalingene skal være så gode at de reduserer de tilfeldige variasjonene blant veilederne og fører til mer enhetlig praksis, i tillegg til å redusere kostnader. Siktemålet er med andre ord at veilederne ikke skal lene seg for mye eller for lite på anbefalingen, men at bakgrunnen for avgjørelsen skal være trygg.

Heldigvis er det ikke nødvendigvis like bekmørkt inne i alle de svarte boksene. NAV-modellens prediksjon kommer med en forklaring av hvilke data som har påvirket utfallet i den ene og andre retningen. Og i tillegg vet man jo hvilke data modellen har blitt foret med.

At veilederne får god opplæring og instrukser i hvordan algoritmen fungerer og skal brukes, samt en meningsfull forklaring i enkelttilfeller, er viktig for å redusere risikoen for en «snikautomatisering». Det vil også forhindre at modellens prediksjon ikke tas med i vurderingen i det hele tatt. Jo bedre veilederne forstår modellens oppbygning, virkemåte og oppførsel, jo enklere vil det være for en veileder å vurdere prediksjonen på et selvstendig og trygt grunnlag. Uavhengig av om den endelige avgjørelsen blir å følge prediksjonens anbefaling eller ikke.

Les sluttrapporten fra dette sandkasseprosjektet.

Den norske mediebransjen mobiliserer igjen for å stoppe innstramminger i regelverket for cookies og lignende sporingsteknologier. Denne gangen håper vi at regjeringen ikke lytter.

Bakgrunnen for det som utspiller seg i høringsrunden går nesten ti år tilbake i tid. Da skulle Norge forsøke å implementere et EU-direktiv som krevde at brukere måtte samtykke for at deres personopplysninger skulle bli samlet inn gjennom cookies og lignende teknologier som gir tilgang til informasjon som er lagret på mobil, datamaskin, nettbrett og lignende. Formålet var å gi internettbrukere i Norge bedre kontroll over sine personopplysninger, på samme måte som internettbrukere i resten av Europa.

Slik ble det ikke.

Etter sterk mobilisering fra mediebransjen og andre som driver innen digital markedsføring, valgte i stedet Samferdselsdepartementet i 2013 å åpne for at en forhåndsinnstilling i nettleser om at bruker aksepterer cookies kan anses som et samtykke.

Spor først, ikke spør etterpå

Hvis man ikke selv går inn og endrer de tekniske innstillingene i nettleseren eller mobilen, anses man altså for å ha samtykket til å kunne bli sporet på nett. Dette gjelder for eksempel hvilke sider man besøker, hvor lenge man er der og hva man gjør.

Hvordan dette kan kalles et samtykke i noen som helst form, er vanskelig å forstå. I stedet for å ta et aktivt valg om man ønsker å bli sporet eller ikke, blir man sporet fra første stund – spor først, ikke spør etterpå. Da forslaget kom, uttalte Datatilsynet at departementet hadde landet på den desidert dårligste løsningen. Norske brukeres personvern blir i realiteten avgjort av forhåndsinnstillinger som utformes av utenlandske teknologiselskaper slik som Google eller Apple.

Når det nå på nytt foreslås innstramminger i kravet til samtykke for bruk av cookies og lignende teknologier, har mediebransjen igjen mobilisert for å stoppe eller trenere endringene. Mediebedriftenes Landsforening (MBL) har levert en høringsuttalelse som støttes av bransjens store aktører. Her bes det om at de foreslåtte endringene ikke gjennomføres.

Begrunnelsen er ifølge MBL å opprettholde annonseinntektene for mediebransjen i møte med store teknologiselskaper som Facebook og Google, slik at de kan finansiere journalistikken som tjener en viktig samfunnsrolle i et demokrati. Dersom kravet til samtykke til cookies og andre identifikatorer strammes inn, mener MBL at dette vil kunne innebære en betydelig reduksjon i norske redaksjonelle mediers annonseinntekter.

Det er fritt vilt

Datatilsynet har selvfølgelig forståelse for hvor viktig de redaksjonelle medienes samfunnsrolle er. Reglene som nå foreslås innført i Norge er imidlertid regler som redaksjonelle medier i øvrige europeiske land har måtte forholde seg til i nesten 10 år.

At noe må gjøres med teknologigigantene, er vi heller ikke uenig med dem i. Men det er ikke det dette forslaget handler om. Dette forslaget handler om å verne om internettbrukeres grunnleggende menneskerett til personvern, og retten til å bestemme over egne personopplysninger.

Dagens særnorske og personvernfiendtlige cookie-regelverk gjelder ikke bare for norske medier. Dette regelverket gjelder på samme måte for Google, Facebook og alle andre som benytter cookies eller lignende sporingsteknologier på internettbrukere i Norge. Det er fritt vilt.

Det Datatilsynet og Forbrukertilsynet ber om, er at norske internettbrukere skal ha samme mulighet som andre i Europa til å velge om de vil gi sine personopplysninger til kompliserte annonsenettverk bak kulissene, og som vanlige brukere gjerne ikke har forutsetning for å forstå hvordan opererer.

Dersom endringer i cookie-regelverket skal gjennomføres, mener MBL at bruk av cookies som finansierer av redaksjonelle medier må falle inn under et eksisterende unntak fra samtykkekravet for cookies eller lignende teknologi som er «nødvendig» for å levere en nettjeneste som brukeren uttrykkelig har bedt om.

Datatilsynet er også forundret over timingen

Etter vårt syn er det ingen holdepunkter for en slik forståelse i dagens regelverk. Dette unntaket skal tolkes strengt, og unntaket gjelder for eksempel de tilfellene hvor nettsiden trenger å huske hva du har lagt i handlekurven i en nettbutikk. Spranget er stort fra en bruker som behøver at nettsiden husker varen i handlekurven til massiv innsamling av personopplysninger for å målrette markedsføring mot hver enkelt bruker.

At mediebedrifter skal gis en særlig tillatelse til å fortsette den nåværende praksisen på bekostning av norske brukeres rett til selvbestemmelse over egne personopplysninger, vil vi advare mot. Dersom argumentet mot at man må be om samtykke er at brukere ikke sier «ja», så mener vi man har misforstått poenget med å be om samtykke og hvorfor disse innstrammingene foreslås.

Samtykke er ingen perfekt løsning, men per i dag finnes det ingen gode alternativer. Samtykkebokser kan også designes på måter hvor man ivaretar personvernet, og gir brukerne et reelt valg. MBLs argument om at det må være anledning til å stenge ute brukere som sier «nei» til cookies fra en nettside, er stikk i strid med det felles standpunktet til datatilsynsmyndighetene i Europa. En slik praksis på redaksjonelle mediers nettsider vil også kunne gå ut over folks mulighet til å delta i samfunnsdebatten.

Et gjennomgående poeng i høringsuttalen til MBL er at det er uheldig å endre den norske regelen nå, mens det jobbes med en ny kommunikasjonsvernforordning for EU. Avslutningsvis i et intervju med Kampanje uttaler styreleder i MBL, Pål Nedregotten, at han er «forundret over timingen».

Datatilsynet er også forundret over timingen.

Vi er forundret over at disse endringene ikke kom i 2013 da kravet til samtykke til cookies ble strammet inn i resten EU og EØS. Arbeidet i EU med kommunikasjonsvernforordningen har tatt svært lang tid, og ennå vet ingen når denne kommer. Å gjennomføre innstramminger i cookie-regelverket er på overtid, og personvernet til norske internettbrukere kan ikke vente lenger.

Det regner vi med at regjeringen ser.

Denne kommentaren ble først publisert i Kampanje (10.11.21), og er skrevet av Kristian Bygnes og Anders S. Obrestad. Begge jobber som juridiske rådgivere i Datatilsynet.

Cyberangrep er stadig i overskriftene, og det er berre å innsjå det – vi menneske er det svakaste leddet. Nokon av oss klikkar febrilsk unna alle varselboksar som poppar opp, og jobbar uforstyrra vidare. Nokon deler villig vekk persondata på ukjente sider. Andre har innsikt i farane der ute, men med oppblåst, digital sjølvtillit hoppar dei over it-sjefens kurs for alle i bedrifta. Det er som regel gammalt nytt. Våre forkunnskapar om og interesser for informasjonssikring er forskjellige. Det er utfordrande for dei som prøvar å førebyggje mot cyberangrep og phishing. Korleis kan vi lage ei opplæring som funkar?

Å gjere informasjonssikring interessant

Kva om vi kunne få til spesialtilpassa opplæring på jobb, for å sikre oss mot både sosial manipulasjon og «hacking»? Ei opplæring som treff oss med akkurat dei tiltaka vi treng, og med pedagogiske triks som gjer oss motivert til å lære? Det er muleg. Det er berre ein liten hake ved det. All denne informasjonen som trengs for å vite kva som funkar på akkurat deg – kven skal ha tilgang til den?

Ville du hatt tillit til at sjefen ikkje brukte slike sensitive data, som var meint for tilpassing av opplæringa, for å fordele opprykk og spennande prosjekt? Eller enda verre – som påskott for å bli kvitt upopulære medarbeidarar? Korleis kan dei som utviklar og bruker kunstig intelligens gå fram for å vinne tillit frå tilsette? Dette er nokre av spørsmåla Secure Practice har utforska ilag med Datatilsynet i sandkassa for kunstig intelligens.

Kunstig intelligent, ekte kjent

For å få spesialtilpassa opplæring, må vi først bli kartlagt. Verktyet som Secure Practice utviklar bruker maskinlæring – ei form for kunstig intelligens – for å samle og samanstille informasjon om dei tilsette i ei verksemd.

I verktyet kan tilsette for det første svare på spørsmål om kunnskap og vanar innanfor  informasjonssikring. For det andre kan verktyet byggje på erfaring frå testar, som til dømes simulert phishing. Phishing er ei form for sosial manipulering, der cyberkriminelle for eksempel prøver å lure folk til å trykkje på ei skadeleg lenkje i ein e -post. Simulert phishing er som ei brannøving, der verksemda sender liknande e-post til dei tilsette, men i kontrollerte former. Om ein tilsett klikkar på lenkja eller ikkje, seier noko om kor medviten den enkelte tilsette er om informasjonssikring.

Den samanstilte informasjonen blir deretter brukt til å kalkulere ein risikokategori for kvar enkelt tilsett. Kva for risikokategori den tilsette hamnar i, avgjer kva for opplæring han eller ho får tilbod om.

Tillit må til

Stoler du ikkje på KI-verktyet, vil du kanskje føle deg overvaka. Du kan vegre deg for å for å svare ærleg på spørsmål i kartlegginga. Kanskje vil du også bruke retten du har i personvernforordninga til å protestere mot kartlegginga. Alt dette verkar inn på om det er lovleg å bruke verktyet.

Arbeidsgjevaren kan nemleg berre behandle personopplysningane om deg dersom opplysningane er eigna og nødvendige for å oppnå målet om betre opplæring i informasjonssikring. I tillegg må interessene til informasjonssikring vege tyngre enn dei tilsettes personvern. Protesterer du, krevst det enda meir overvekt for omsynet til informasjonssikring, halde opp mot ditt personvern.

Korleis vinne tillit frå dei tilsette?

For det første må du ha eit system som fortener tillit. Tenestetilbydarar og arbeidsgjevarar må lage gode kontraktar. Det er grunnleggjande å avtale kven som har ansvaret for at KI-systemet blir brukt på ein måte som oppfyller krava i personvernregelverket. Er det arbeidsgjevarane, tenestetilbydarane eller begge i fellesskap? I prosjektet vårt var det dessutan viktig å finne ut kven som skulle ha tilgang til personopplysningane som blir samla inn om den enkelte tilsette. Dei tilsette ville vere betre beskytta, dersom berre tenestetilbydaren skulle handtere desse opplysningane. Kanskje er det ikkje så avgjerande om du stolar på sjefen, dersom du har tillit til tenesteytaren og programvaren?

I tillegg til gode avtalar trengst det tekniske tiltak for å hindre at uvedkomande får tilgang til opplysningane om dei enkelte. Informasjonen om tilsettes svake punkt er gull verdt for “vondsinna” aktørar. Her er pseudonymisering, kryptering og tilgangsstyring nyttige stikkord.

Faren for falsk tryggleik

Men det hjelper veldig lite med verdas sikraste system om ikkje dei tilsette skjønar det eller stoler på det. Dei tilsette må få informasjon om korleis ansvaret er fordelt og korleis opplysningane om dei blir brukt. Informasjonen må vere lett tilgjengeleg og formulert på ein enkel og klar måte.

I prosjektet har vi spurt fokusgrupper med ulik bakgrunn korleis dei ønskjer å få informasjon. Vi erfarte at ikkje all openheit var god. Dersom verktyet for eksempel forklarte nivået på opplæringa med at den tilsette tidlegare var blitt lurt i ein test, kunne det skape irritasjon og stå i vegen for vidare læring.

Vi spurde også kva for informasjon dei var villig til å gi frå seg. Det var store individuelle forskjellar. Somme var opptatt av at opplysningane om dei tilsette vart godt sikra mot tilgang frå arbeidsgjevaren, og at tilsette burde få uttale seg før verktyet vart tatt i bruk. Andre framheva at dei måtte forstå målet med verktyet og korleis det verkar, for å svare ærleg.

Og uærlege svar er rusk i det finstemte KI-maskineriet. Nøkkelen til kunstig intelligens som verkeleg verkar er tillit. Tonnevis med tillit.

Dagens tips frå sandkassa:

Ikkje ta lett på kommunikasjonen med dei tilsette. Den er avgjerande for tilitten. Som er avgjerande for at verktyet verkar.

• Sluttrapporten frå sandkasseprosjektet med Secure Practice skal vere ferdig og bli publisert i november. Då vil du finne den på Sandkassesiden.
• Hald deg oppdatert på kva som skjer i sandkassa, søknadsfristar og arrangement ved å abonnere på sandkassas eige nyhendebrev: Sandkassebrevet.
• Vil du lese meir om korleis svindlarane går fram? Sjå Koronasvindlerne – Personvernbloggen.

Denne teksten ble først publisert på kommunikasjonsforeningens nettsider 23.09.2021.

Jeg kaster her ut et kjøttfullt ben som jeg håper kan bidra til å øke bevisstheten og skape debatt om det offentliges bruk av sosiale medier.

Bindinger til big tech er regelen snarere enn unntaket. Ved å bruke gratis tilgjengelige verktøy fra de store teknologiselskapene, inviterer offentlige virksomheter kommersielle aktører til å samle inn og bruke data om norske innbyggere. Samtidig skapes det et avhengighetsforhold som det kan bli vanskelig å fri seg fra, ettersom det finnes få alternative tjenestetilbydere.

Vi må passe på at det samme ikke skjer med retorikken: at offentlig sektor blir for avhengig av argumenter som forsvarer deres tilstedeværelse på Facebook, Twitter, LinkedIn og co, samtidig som de unnlater å reflektere over egen tilstedeværelse i kanalene og tenke alternativt. Hardt arbeid og tøffe beslutninger ligger forut. Det er først når man forsøker å fri seg fra lenker, man kjenner hvor krevende det kan være.

Tyskland går foran

Det offentlige myndigheter gjør, har en signaleffekt. Datatilsynet befinner seg i en merkelig situasjon. Som en moderne virksomhet digitaliserer og effektiviserer vi oss i takt med samfunnet. Samtidig skal vi være garantist og fremste beskytter av personvernet i Norge. Dermed står Datatilsynet i en snodig skvis i spørsmålet om vi bør bruke sosiale medier i vårt eget kommunikasjonsarbeid. Et par tilfeller fra våre kolleger i Tyskland er interessante.

I januar 2020 valgte en av de tyske datatilsynsmyndighetene å slette sin konto på Twitter. To EU-dommer, og personvernregelverkets krav til å avklare såkalt felles behandlingsansvar, var blant årsakene. Tilsynet konkluderte med at de ikke lenger var på trygg, juridisk grunn. Samtidig kom de med noen minstekrav overfor andre offentlige myndigheter som benytter sosiale medier i delstaten. I dag sverger vårt tyske søstertilsyn selv til den desentraliserte mikrobloggingstjenesten Mastadon når de kommuniserer med sine innbyggere.

Regelverket (GDPR) og rettspraksisen som avgjørelsen hviler på, vil være både direkte og indirekte bindende for Norge. EU-dommene Wirtschaftsakademie og Fashion ID fastslår at den som oppretter en Facebook-side, vil være felles ansvarlig med Facebook for behandlinger av personopplysninger på siden.

Da dommene falt, var vi i Datatilsynet selv allerede i dypt inne i vurderinger om egen bruk av sosiale medier.

Må ha orden i eget hus

Bruk av sosiale medier reiser flere viktige tekniske, juridiske og etiske spørsmål. Et knapt år etter at GDPR trådte i kraft, satte vi selv i gang med et ambisiøst prosjekt som bidrar til å belyse disse spørsmålene. Mandatet fra ledelsen var ikke å vurdere om vi skal gå ut av Twitter. Vi skulle vurdere å gå inn på Facebook.

Med innføringen av personvernforordningen, eller GDPR, i 2018, har vi fått et strengt og teknologinøytralt regelverk som plasserer plikter og ansvar på alle som behandler personopplysninger. Regelverket stiller krav til alle som behandler personopplysninger, og til formidlingen av rettigheter og informasjon om behandlingen. Forordningen handler i bunn og grunn om å ha orden i eget hus.

Et viktig verktøy for å sikre at personvernet til brukerne som er registrert i en løsning ivaretas, er å gjennomføre risikovurderinger og vurdering av personvernkonsekvenser. Det er dette verktøyet Datatilsynet nå har brukt i vurderingen av Facebook, og som har munnet ut i en ny rapport.

Legitimerer overvåkingsøkonomien

Vår vurdering er på mange måter et bidrag til en analyse av overvåkingsøkonomien. Kommunikasjon i sosiale medier vil av natur alltid inneholde personopplysninger. De store teknologigigantene går ut av sin vei for å gjøre det enklest mulig å kommunisere på plattformene deres. Tilsynelatende triviell kommunikasjon medfører ofte en omfattende behandling av personopplysninger. Jeg mener at et av de mest innsiktsfulle perspektivene å forstå disse plattformene på, er fra et personvernperspektiv.

Det er lettere å ta stilling til teknologi når vi forstår den bedre. Hva slags opplysninger samles inn fra Facebook-siden? Hvor lenge vil opplysningene lagres i Facebook-systemet? Hva er behandlingens geografiske omfang? I en teknisk kartlegging gjorde vi rede for behandlingens art, omfang, formål, sammenheng, kilder og mottakere, samt løsningens informasjonssikkerhet.

Kartleggingen «tvinger» en til å beskrive og ta stilling til en rekke forhold ved en databehandling som påvirker den enkeltes personvern, rettigheter og friheter. Ved å kommunisere gjennom en side på plattformen, bidrar vi til å opprettholde og legitimere denne økonomien.

Nye regler skulle skape endring

De store teknologiplattformene har lenge vært et vanskelig juridisk terreng. De setter standarden selv: «Godta vilkårene våre i sin helhet, eller la være å bruke tjenesten». De fleste tar ikke stilling til nye personvernerklæringer når det kommer oppdateringer, og har kanskje heller ikke sett på den gamle. Facebook kan når som helst endre sine vilkår.

GDPR ble innført for å endre. Hvor lenge kan vi akseptere denne rollefordelingen?

La oss se på enda et tilfelle fra Tyskland. Før sommeren gikk det føderale datatilsynet (BFDI) ut og gav offentlige myndigheter beskjed om å slette Facebook-sidene sine innen nyttår. Dette blant annet som følge av Schrems II-dommen spesielt og mangel på etterlevelse av EUs personvernlovgivning generelt. Offentlige myndigheter skal gå foran som et godt eksempel, sier de.

Et spørsmål om verdier

Bruk av sosiale medier gjør at ulike verdier kommer i konflikt med hverandre. Personvern må ofte balanseres mot interesser av vidt ulik karakter. Datatilsynet har, som resten av offentlig sektor, et viktig informasjons- og kommunikasjonsbehov. Samtidig har vi plikt til å informere om et stort og komplisert regelverk. Vi er ombud for én av de viktigste verdiene i et informasjonssamfunn.

Den enkelte står fritt til å bruke sosiale medier og ta stilling til personvern etter eget skjønn. Som offentlig aktør og rollemodell for personvernet, må vi i Datatilsynet ta mer allmenne hensyn og oppfylle våre plikter. Som tilsynsmyndighet følges vi med argusøyne når det gjelder loven vi selv håndhever. I vårt interne hierarki av verdier, er det selvsagt at personvernet troner øverst. Det går på bekostning av for eksempel Google Analytics, Youtube – og nå Facebook.   

Vårt tyske søstertilsyn hoppet over til plattformen Mastadon. Kanskje en emigrering til alternative kommunikasjonsverktøy er den eneste måten vi kan tilbakevise argumentet om at myndighetene må være der folket er? Jeg skulle ønske jeg kunne vise til et mer attraktivt alternativ.

Gratulerer med dagen alle sammen, og hjertelig velkommen til årets personvernkonferanse. For første, og forhåpentligvis siste gang, holdes konferansen utelukkende digitalt. Men vi vet at mange sitter klistret foran skjermen med popcorn, cola og jeg har hørt rykter om strikketøy, og det er vi veldig glade for.

Det spørsmålet jeg skal forsøke å besvare, er om digital smittesporing er den første store testen på effekten av personvernforordningen. Og like viktig, om personvernverdiene står seg under press. Dette spørsmålet kan selvsagt ikke besvares med «ja» eller «nei». Særlig i den tiden vi nå lever i, kan svært få spørsmål besvares så enkelt. Til det er usikkerheten for stor.

Smittestopp og personvern

Men det er en del – la oss kalle det signaler, som i hvert fall trekker i retning av at svaret er «ja». Jeg skal ikke bruke tid på å snakke om de juridiske sidene av Smittestopp-saken, men si litt om hva vi kan trekke ut av prosessen i Norge og i andre land. Jeg vil også se på hva vi kan trekke ut av reaksjonene som kom fra politisk hold, teknologimiljøene, organisasjoner og norske borgere.

Vi så tidlig at myndigheter i mange land rullet ut egenutviklede løsninger som senere måtte trekkes tilbake av personverngrunner. Det som skjedde med Smittestopp i Norge var derfor ikke unikt – i motsetning til det som kanskje har festet seg som et inntrykk. Men den norske løsningen var blant de mest inngripende.

I en krisesituasjon vil mange bytte litt frihet med trygghet. Vi må også et stykke på vei akseptere en slik byttehandel.

I Storbritannia kom myndighetene for eksempel med en egenutviklet app (NHS Covid-19), basert på bluetooth og sentral lagring. De måtte trekke den tilbake på grunn av kritikk (blant annet problemer med Apples bluetooth-begrensninger) og manglende effekt. De gikk etterhvert over til Google/Apple-løsningen.

I Tyskland lanserte myndighetene en egenutviklet app (CoronaWarn) basert på bluetooth og sentral lagring. Den måtte også trekkes tilbake på grunn av kritikk (blant annet problemer med Apples bluetooth-begrensninger) og manglende effekt, og gikk over til Google/Apple. Forskjellen mellom Storbritannia og Tyskland er at Tyskland snudde seg raskt.

Vi kan kanskje nevne Danmark, som ventet med å utvikle appen. Hvorfor? Det kan ha å gjøre med at de ventet til de var trygge på løsningen, fra et sikkerhets- og personvernperspektiv.

I Norge kjenner vi historien. FHI måtte trekke tilbake appen på grunn av et vedtak fra oss.

En test av personvernlovgivningen

Et delsvar på spørsmålet mitt er altså at myndigheter i flere europeiske land ble tvunget til å utvikle mer personvernvennlige løsninger som følge av kritikk. Det vitner om en personvernlovgivning som tåler å testes i krevende situasjoner. Selv om det vi i Datatilsynet har stått i ikke kan sammenlignes med det helsemyndighetene har stått i, skal det ikke stikkes under en stol at det å behandle saker knyttet til smittesporing har vært krevende.

I en krisesituasjon vil mange bytte litt frihet med trygghet. Vi må også et stykke på vei akseptere en slik byttehandel. Derfor er det ekstra interessant, i lys av temaet for dette foredraget, å se nærmere på de reaksjonene Smittestopp-saken utløste.

Og ettersom det tross alt er personverndagen i dag (vår egen dag!) er jeg navlebeskuende nok til å begynne med oss selv. Den dagen Smittestopp-prosjektet ble lansert, sa jeg i Dagsnytt 18: «en smitteapp kan, i en krisetid, være et akseptabelt tiltak for å slå tilbake pandemien og redde liv».

I nettmeldingen vi sendte ut 27. mars skrev vi:

«Vi etterlater oss en lang rekke digitale spor hver dag, og i motsetning til ved tidligere pandemier, har vi nå mulighet til å bruke disse dataene til å kartlegge smittespredning og varsle befolkningen på nye måter. Det er viktig å benytte seg av slike muligheter, men vi har ikke tidligere vurdert hvor langt vi kan gå i å tillate at personverndata blir brukt til slike formål i en krisesituasjon».

Personvernrådet (en sammenslutning av alle datatilsynsmyndighetene i EU- og EØS-området) uttalte at personvernforordningen «ikke er til hinder for tiltak som kan bekjempe koronavirus-epidemien». Rådet understrekte samtidig at myndighetene må beskytte borgernes grunnleggende rettigheter selv om det er mulig for medlemsstatene å innføre lovgivningstiltak for å ivareta offentlig sikkerhet.

Personvernrådet fortsetter slik: «Denne typen lovgivning er kun lovlig dersom det utgjør et nødvendig, egnet og forholdsmessig tiltak i et demokratisk samfunn».

Og som en parentes, før vi går videre: Disse verdiene speiler innholdet i EMK artikkel 8, som fastslår retten til privatliv. 

Har bestått testen

De signalene personvernmyndighetene ga, er viktig i en vurdering av om forordningen har bestått testen. Fordi vi anerkjente bruken av teknologi for å bekjempe pandemien, og fordi sluttresultatet er en smittesporingsapp som er akseptabel fra et personvernståsted.

La oss så se på reaksjonene fra andre grupper i samfunnet.

Teknomiljøet var raskt ute. I dette miljøet har vi selvsagt en del personvernere, men det slo oss at bredden i kritikken var stor. Det gikk ikke på digital smittesporing som sådan, men på teknologivalg og sikkerhet, og omfanget av inngrepet overfor den enkelte. Det ble laget et opprop, en sjeldenhet generelt, og kanskje i teknologimiljøet spesielt, og viser tydelig at engasjementet for personvern er betydelig.

Også folk flest viste stor interesse. Uten å lage noe stort nummer ut av det – men jeg får jo en del e-post fra folk som har meninger om det vi gjør – smittestopp engasjerte voldsomt, og det i begge retninger. Vi mottok også formelle klager fra norske borgere. Saken ble heftig debattert, var i Dagsnytt 18 flere ganger, samt i andre nyhetssendinger. Saken gikk også sine svært aktive runder på Twitter og andre sosiale nettsamfunn, og ble også omtalt internasjonalt.

Det er også verdt å merke seg at Stortinget vedtok å dele smittestopp i to: én for smittesporing og én for modellering av smittespredning, forskning og eventuelt andre formål. Og til slutt: Amnesty kom på banen med en rangering av ulike smitteapper, i et menneskerettighetsperspektiv.

Alt dette trekker etter min mening i retning av at personvernforordningen, og verdiene den beskytter, har blitt testet, og bestått. Grunnen er denne:

Det som har engasjert borgere og forbrukere, teknologimiljøet, politikere og organisasjoner, er at Smittestopp utfordret noen viktige prinsipper i personvernregelverket. Stortinget var opptatt av formålsprinsippet. Sikkerhet og teknologivalg, og viktige prinsipper som dataminimering og skikkelige konsekvensvurderinger, var særlig viktig hos teknologimiljøet. Amnesty var opptatt av koblingen mellom personvern og menneskerettigheter som kommer fra samme verdigrunnlag. Norske borgere var i stor grad opptatt av det som er kjernen i personvernet, her uttrykt på en folkelig måte: Frihet fra urettmessig overvåking.

Er vi avhengige av Silicon Valley?

Det er imidlertid noen tankekors som ikke bare handler om forordningen, men også om teknologiutvikling, og kanskje også forretningsmodeller. Det er Google og Apple sine roller.

Dagens Smittestopp er langt mer personvernvennlig enn den første. Den er like fullt bygget på infrastrukturen der i hvert fall ett av selskapene er sterkt kritisert for sin holdning til personvern, og nå har flere store saker mot seg fra personvernmyndigheter. Er det uproblematisk at myndigheter i demokratiske stater er avhengige av Silicon Valley for å levere viktige tjenester til innbyggerne? Dette er et godt tema for diskusjonen senere.

Takk for oppmerksomheten!

Datatilsynet og Teknologirådet markerte også i år den internasjonale personverndagen den 28. januar med et åpent møte – denne gangen på nett. Les mer om arrangementet og se opptak

Borgerrettsorganisasjoner, blant annet i Sverige, har gått til sak for å få kjent lignende lover kjent ugyldig i Den Europeiske Menneskerettighetsdomstolen (EMD). Dersom staten Sverige felles, vil det bety store endringer i den norske loven. Faktisk kan den nye e-loven lide samme skjebne som datalagringsdirektivet i sin tid gjorde. Det ble vedtatt i Stortinget, formelt som en del av lov om elektronisk kommunikasjon. Men loven trådte aldri i kraft fordi EU-domstolen kom til at direktivet var i strid med EUs Charter for Grunnleggende Rettigheter, som er et speil av Den Europeiske Menneskerettighetskonvensjonens artikkel 8 og vår egen Grunnlov § 102. Dette er juss på sitt aller vakreste, og lyder slik:  

Alle har rett til respekt for privatlivet og familielivet sitt, for heimen sin og kommunikasjonen sin. Det må ikkje utførast husransakingar, så nær som i kriminelle tilfelle. Dei statlege styresmaktene skal sikre eit vern om den personlege integriteten.

Hva er egentlig vedtatt?

Det andre vi må vite er hva som egentlig er vedtatt. Lysne II–utvalget, som la grunnlaget for dagens lov, beskrev et overvåkningssystem som rent konseptuelt var mulig å forstå. Så kom utkastet til proposisjon, og det ble adskillig vanskeligere. Datatilsynet skrev en meget grundig høringsuttalelse der vi mente det var for stor uklarhet knyttet til forslaget til at regjeringen burde gå videre med det. Vi fremsatte imidlertid ikke mindre enn 29 konstruktive forslag til endringer, dersom forslaget mot vårt råd ble videreført. Når regjeringens endelige forslag kom på bordet i april, kunne vi konstatere at mye er forbedret, og flere av Datatilsynets (og andres) forslag er imøtekommet. Men etter å ha lest forslaget, og komiteens innstilling, står jeg fortsatt igjen med et stort spørsmål: Hva er det egentlig som er vedtatt?

Dette er et kjernespørsmål ved enhver vedtatt lov, men særlig viktig når det gjelder e-loven. Den skal i stor grad praktiseres i hemmelighet. Det må vi selvsagt akseptere, men det er påtrengende viktig at vi for eksempel vet hva slags data som kan samles inn. Leser vi lovforslaget, er ikke det mulig å forstå. Leser vi forarbeidene, eller komiteinnstillingen, er spørsmåltegnet like stort.

Lagring av informasjon om alle norske borgere

Det er utvilsomt at det vil bli lagret informasjon om alle norske borgere. En lang rekke aktører vil bli pålagt å tilrettelegge data for e-tjenesten, altså «speile og gjøre tilgjengelig utvalgte kommunikasjonsstrømmer». Dette betyr (veldig forenklet) at et selskap som for eksempel Telenor må sørge for at grensekryssende SMS- og MMS-tjenester som går i Telenors nett, kopieres og legges inn i metadatalagret, for e-tjenestens senere bruk. Men ingen har gitt noe godt svar på hvor langt denne plikten rekker. Er for eksempel Finn.no, med godt over to millioner unike brukere i uken, omfattet, i og med at de har en meldingstjeneste? DnB, Norges største bank, har en meldingstjeneste. TUI, en av Norges største charteroperatører, har en chattetjeneste. Og den vi chatter med trenger ikke sitte i Norge, men i Tyskland, eller kanskje i India. Kan sjefen for etterretningstjenesten, som er gitt denne fullmakten, pålegge disse aktørene å «tilgjengeliggjøre utvalgte kommunikasjonsstrømmer» for e-tjenesten?

Det er heller ikke klargjort hva det betyr at såkalte internettbaserte OTT-tjenester er omfattet av tilretteleggingsplikten. I proposisjonen er det ikke engang forsøkt å beskrive hva dette er. Dette er tilslørende, særlig fordi OTT-tjenester er noe vi alle sammen bruker mange ganger hver eneste dag. Her er noen eksempler: Netflix, Skype, Messenger, WhatsApp, Playstation 4 og Zoom, som Stortinget selv brukte under høringen. Dette burde vært uttrykt i klartekst.

Loven kan i realiteten ikke kontrolleres

Som nevnt er kontrollmekanismene forbedret, og det er selvsagt positivt. Men med den usikkerheten som hefter med omfanget av innhentingen, er det fare for at det nå er vedtatt en lov som i realiteten ikke kan kontrolleres. Kontroll fordrer klarhet og forutsigbarhet, og der er det store mangler ved det som er vedtatt.

Flere høringsinstanser, blant annet Datatilsynet, tok til orde for at loven bør evalueres. Det er veldig bra at Stortinget sluttet seg til dette. Vedtaket lyder:

Evalueringen skal være offentlig og foreligge senest fire år etter at loven er satt i kraft. Evalueringen skal gjelde lovens virke og mulighet for kontroll av dens bestemmelser, inkludert ressurssituasjonen, kompetanse og virkemidler hos EOS-utvalget og domstolene.

Nedkjølingseffekt

Men hva med konsekvensene for den enkelte borgers personvern? Og hva med nedkjølingseffekten, altså om innføring av masseovervåkning vil føre til at borgerne generelt og grupper i befolkningen spesielt, vil legge bånd på sin kommunikasjon? Datatilsynet gjennomførte nylig en spørreundersøkelse, der vi stilte dette spørsmålet:

«Har du gjort noen av de følgende aktivitetene fordi du er usikker på om myndigheter som politiet, PST eller etterretningstjenesten kan få tilgang til informasjonen?«

Svarene viste at 16% hadde unnlat å delta i en debatt på Facebook, eller deltatt i kommentarfeltet i en nettavis.

Vi lever kanskje i verdens frieste land, med utstrakt ytringsfrihet, en flora av medier og fri meningsdannelse. I denne konteksten kan vi ikke slå oss til ro med at hver åttende innbygger har lagt bånd på seg selv. Det er grunn til å tro at prosentdelen er høyere i deler av befolkningen, for eksempel blant innvandrere, og grupper i samfunnets randsone. Eller for igjen å sitere Yassine, som var informant i en masteroppgave i kriminologi om nedkjølingseffekt. Hun uttrykker det slik:  

Jeg har tenkt over det sjæl, når jeg er på telefonen og prater om Islam, så tenker jeg «oi shit, det burde jeg kanskje ikke ha sagt … Tenk om noen hører det og tror jeg kanskje skal bombe noen» eller no ikke sant, det er helt sykt. Du blir jo paranoid.

Jeg er fortsatt bekymret for Yassine!

• Hva vil et digitalt grenseforsvar bety for personvernet? Hør Personvernpodden – Datatilsynets egen podcast.
• Les Datatilsynets siste høringsinnspill til Stortinget

Personvern er svært viktig når vi skal utvikle gode løsninger for kunstig intelligens. Innsatsfaktoren i mange av de løsningene som de neste årene vil bli utviklet, er vanlige opplysninger, om helt vanlige folk: Helseopplysninger, opplysninger om utdannelse, inntekt eller trygd, om vi har barn, hvor stort lån vi har eller om vi har mange inkassosaker mot oss. Slike opplysninger kan brukes til å gi oss bedre helsehjelp, raskere behandling av en lånesøknad og kanskje får vi tildelt flere tjenester før vi har søkt om dem, ja, kanskje til og med uten at vi vet at vi har krav på dem.

Men fallgruvene er åpenbare. Kunstig intelligens (KI) kan bidra til å avgjøre utfallet av politiske valg, til feilaktig diagnostisering, til å skape eller forsterke fordommer, eller til at vi urettmessig får avslag på en søknad om lån.

KI innebærer behandling av enorme datamengder, ofte, eller faktisk nær sagt aldri, vet vi som forbrukere eller borgere hvilke opplysninger om oss som inngår i et KI-system. Dette utfordrer både prinsippet om dataminimalisering, og ikke minst prinsippet om transparens. Hvordan skal vi kunne vite hva som skjer med dataene våre, og hvorfor resultatet blir som det blir, når hele behandlingen forgår inne i en svart boks – en maskin som gir oss svar, men ingen forklaring?

Med all den informasjonen som finnes om oss forbrukere og borgere i dag, kan feil bruk av kunstig intelligens ødelegge den grunnlovbestemte retten vi har til privatliv. I Global Risk Report 2017 betegner World Economic Forum kunstig intelligens som en av de fremvoksende teknologiene med størst nytteverdi, men også med størst skadepotensial. Det er ikke vanskelig å være enig i dette. Tre år er gått, og nå er vi der. 

Med dette som bakteppe, er det slett ingen selvfølge at en som jobber med personvern blir invitert til å holde innlegg på fremleggelsen av regjeringens strategi for kunstig intelligens, og slett ingen selvfølge at vi i Datatilsynet er veldig positiv til den strategien som nå fremlegges. Men det er vi altså, og grunnen til det er at viktigheten av personvern, og en etikk som ligger som et skall rundt personveregelene, har fått en viktig plass i denne strategien. Dessuten må vi erkjenne at tiden da personopplysninger ikke skulle brukes, deles eller omformes til beslutninger, behandlingstilbud eller personrettet markedsføring er forbi. Med nytt personvernregelverk er det viktigere enn noen gang å gjøre dette riktig, å gi forbrukerne de rettighetene de har krav på, og ikke minst sørge for at den enkelte kan treffe riktige og informerte beslutninger om hvordan opplysningene deres blir brukt.  

Det store spørsmålet er selvsagt hvordan dette skal bli noe mer enn ord. Personvernregelverket skal møte den utviklingen vi har fått beskrevet her i dag. Alle selskap, private og offentlige, som vil utvikle og ta i bruk KI der personopplysninger inngår, må forholde seg til dette regelverket. Personvernregleverket vil med andre ord sette avgjørende rammer for utviklingen av kunstig intelligens fremover. Regelverket legger større plikter på virksomhetene, gir forbrukerne bedre rettigheter, legger opp til tettere samarbeid mellom tilsynsmyndighetene i Europa og innfører betydelige sanksjoner for de som bryter reglene.

Jeg vil særlig trekke fram to viktige, nye plikter. Det første gjelder kravet om å gjennomføre personvernkonsekvensutredninger. Dette er en risikovurdering med mennesket i sentrum, og virksomhetene må her gå dypere enn kun å vurdere risiko og konsekvens. De må for eksempel vurdere hva det betyr for meg som borger at de automatiserer en saksbehandlingsprosess ved hjelp av KI. Kan det sette mine grunnleggende verdier i fare? Kan det føre til forskjellsbehandling? Til økonomiske eller sosiale ulemper? Kan det frata meg retten til innsyn eller til muligheten til å imøtegå eller etterprøve beslutningen? Dette er svært relevante spørsmål å stille når vi vurderer bruk av KI.

Den andre er plikten til innebygget personvern. Dette betyr, som sikkert veldig mange vet, at personvernet bygges inn i teknologien. Datatilsynet har ledet arbeidet med en veileder for innebygd personvern i Personvernrådet, som er det viktigste EU-organet på personvernområdet, og jeg må innrømme at vi er ganske stolte av dette. Vi mener at mange viktige spørsmål kan finne sin løsning i nettopp innebygd personvern. 

Men KI er mye mer enn juss og teknologi. Det er behov for en egen etikk for KI, som et skall som ligger rundt lovverket. For selv om noe er lov, må vi alltid stille spørsmål om det er etisk riktig å gjøre det. La meg ta et eksempel: I dag er det mulig å samle inn enormt mye informasjon om oss som forsikringskunder, nok til at et selskap ved bruk av KI kan gi deg en pris basert på hvordan akkurat du lever livet ditt. Dette er en slags oppførselsbasert prising. De lovmessige grensene for hvor langt et selskap kan gå i å segmentere kundene er på ingen måte klar, og her kommer etikken inn: Hvor langt bør et selskap eller en bransje gå? Når er ikke en forsikring lenger en kollektiv ordning der 1000 mennesker betaler 100 kroner hver slik at den som blir syk får dekket operasjonen? Her trenger vi en etisk diskusjon, som et skall rundt loven.

EU-kommisjonen har utarbeidet syv etiske prinsipper for pålitelig kunstig intelligens. Jeg vil trekke fram tre stykker som jeg synes er spesielt viktige:

• KI-baserte løsninger skal respektere menneskets selvbestemmelse og kontroll. Dette betyr at KI skal bidra til å fremme våre grunnleggende friheter og rettigheter. Mennesket skal være inne i beslutningsprosessene for å sikre at det er vi mennesker som kontrollerer maskinene og ikke omvendt. På engelsk presist omtalt som prinsippet om human-in-the loop.
  
• KI skal ta hensyn til personvernet. Jeg utdyper ikke dette nærmere, men ut fra det jeg har sagt så langt, er dette selvsagt helt vesentlig.
  
• KI-systemer skal legge til rette for inkludering, mangfold og likebehandling. Her er det viktig å være på vakt – eksemplene er mange på at  KI-systemer ikke alltid oppfyller disse prinsippene: Menn får i større grad tilbud om høyinntektsjobber enn kvinner, folk med dårlig råd får reklame for kreditt og Cambridge Analytica-saken viste hvor galt det kan gå.

Skal vi klare å utvikle en etisk, pålitelig og lovlig KI må vi jobbe bredt, og vi må jobbe sammen. Datatilsynet er tilsynsmyndighet med KI-systemer, vi kan derfor kalles Norges algoritmetilsyn. Og tilsyn vil utvilsomt være viktig for å kontrollere regelverket, både for å sanksjonere brudd, og for å hindre at de samme feilene skjer igjen, noe som i parentes bemerket ofte er en lite kommunisert del av tilsynsvirksomheten. På denne måten vil tilsynsvirksomhet være viktig for å ivareta og å bygge tillit til fremtidens KI-baserte systemer.

Men vi må ha flere enn én tanke i hodet. Vi må også bidra til at det utvikles sikre og robuste KI-baserte systemer, for å sitere en av de syv etiske retningslinjene fra EU. Jeg registrerer med stor begeistring at ett av tiltakene i strategien er å etablere en regulatorisk sandkasse under Datatilsynets myndighetsområde. For litt siden var vi på et meget inspirerende studiebesøk hos det britiske datatilsynet. De er, så vidt oss bekjent, det eneste datatilsynet som så langt har etablert en slik sandkasse. Vi ser frem til å etablere noe lignende hos oss. Tanken er at private og offentlige selskaper kan søke om deltagelse i sandkassen, med innovative og nyttige løsninger bygd på KI. Løsninger som kan utvikles i tett samarbeid med Datatilsynets eksperter. De kan teste løsninger uten at eventuelle lovbrudd vil medføre sanksjoner, og forsøke på nytt, til det «sitter» som det skal. Dette vil korte ned fasen fra idé til utrulling, føre til læring for virksomhetene og for oss, som blant annet. kan brukes til at vi kan utvikle veiledningsmateriell, og virksomhetene kan utvikle bransjenormer for egen sektor. Det britiske datatilsynet jobber sammen med Heathrow flyplass for å utvikle en personvernvennlig, innovativ ansiktsbiometri som kan gi en helt sømløs flyplassopplevelse, der ansiktet er billett på flytoget, boardingpass, alderskontroll på taxfree og pass. 

Erfaringene ICO gjør seg blir spennende å følge med på. Bruk av kunstig intelligens er i bunn og grunn et stort eksperiment, og noe av det som står på spill er borgernes personlige data. Det er viktig at utprøving og testing skjer i et trygt miljø, og i tett samarbeid med blant annet personvernmyndighetene. Da kan vi skape de vinn-vinn-situasjonene vi hele tiden leter etter. Å etablere en regulatorisk sandkasse er nybrottsarbeid, og kanskje en sjanse å ta, men vi tar den med åpne armer.   

I 1897 ble Aspirin oppdaget og tatt i bruk til smertelindring. Først nesten 100 år senere, i 1995, fant forskere ut hvordan legemiddelet fungerer. Slik er det med mange av legemidlene vi bruker. Vi vet at de fungerer, men ikke hvorfor. Hvordan er det mulig at noe blir studert og forsket på så grundig, og at likevel ingen kan forklare hvorfor det virker?

Svaret på dette er at man innen legemiddelforskning i stor grad baserer seg på eksperimentering gjennom prøving og feiling som metode. Dette gjøres på testobjekter, ofte mus. Hvis musene responderer godt uten registrerte bieffekter, kan medikamentet testes ut på mennesker. Gjennom en lang testperiode kan medikamentet til slutt oppnå godkjenning. I noen tilfeller kan suksessen til en virkningsfull medisin inspirere forskere til å lete etter forklaringen på hvorfor den virker. Dette var tilfellet med Aspirin. Da forskere fant ut hvordan legemiddelet fungerte, førte det til utvikling av nye og bedre typer smertestillende medisin gjennom andre metoder enn prøving og feiling.

Denne formen for oppdagelser – svar først, forklaring senere – skaper hva Jonathan Zittrain, forfatter av flere innflytelsesrike bøker om internettøkonomien og Harvard-professor i internasjonal rett og informatikk, kaller intellektuell gjeld. Intellektuell gjeld oppstår når vi har innsikt i hva som virker uten å ha kunnskap om hvorfor det virker. Noen ganger tilbakebetales den intellektuelle gjelden raskt, og noen ganger, som med Aspirin, etter 100 år. Noen ganger blir den intellektuelle gjelden aldri tilbakebetalt.

Intellektuell gjeld er ikke nødvendigvis et problem. Er vi syke, vil vi ha en medisin som har virker. Hvorfor den virker er mindre viktig. Men å ta opp lån innebærer også en risiko. I artikkelen «Intellectual debt: with great power comes great ignorance» i The New Yorker, skriver Jonathan Zittrain om hvordan vi med bruk av kunstig intelligens risikerer å pådra oss en historisk intellektuell gjeldsbyrde.

Kunstig intelligens, særlig maskinlæring, er basert på prøving og feiling som metode, den samme metoden som benyttes innen legemiddelvitenskapen. Gjennom utbredelsen av kunstig intelligens bringes denne metoden, der svar kommer uten forklaring, til et utall nye samfunnsområder. Maskinlæring på sitt beste gir oss mer konsise og konsistente svar enn et menneske noen gang vil kunne gi. Men når vi aksepterer disse svarene uten å fastslå teoriene som ligger bak dem, pådrar vi oss intellektuell gjeld.

For å forklare utfordringene med intellektuell gjeld trekker Zittrain paralleller til et beslektet fenomen fra IT-verden, nemlig teknisk gjeld. Teknisk gjeld brukes som metafor om konsekvensene av dårlig system- og programvareutvikling. Teknisk gjeld oppstår når man lapper og fikser på et eksisterende system uten å ha et langsiktig perspektiv. Opptak av teknisk gjeld kan gi besparelser på kort sikt, men kan senere bli en direkte årsak til økte kostnader og hindre nødvendig innovasjon.

Akkurat som teknisk gjeld kan opptak av intellektuell gjeld gi god avkastning på kort sikt, men skape store utfordringer på lang sikt. Zittrain trekker frem tre grunner til at vi bør bekymre oss for den intellektuelle gjelden skapt av kunstig intelligens:

For det første, når vi ikke forstår hvordan noe virker, er det vanskelig å forutse hvordan det vil tilpasse seg uvante og uventede situasjoner. Selv velfungerende maskinlæringssystemer kan  manipuleres til å trekke gale konklusjoner ved å angripes med hva forskere kaller «fiendtlige input». Forskere ved det amerikanske universitetet MIT, klarte for eksempel å endre pixlene på et kattebilde uten at bildet ble synlig endret for det menneskelige øye. Mennesket så fortsatt bildet av den samme katten, mens Googles bildegjenkjenningsprogram var derimot 100 prosent overbevist om at det så på et bilde av guacamole. På samme måte kan selvkjørende biler manipuleres til å tro at de ser et forkjørsskilt i stedet for et vikepliktskilt. Intellektuell gjeld skaper altså risiko for alvorlige hendelser som det kan være vanskelig å forhindre. Hvis vi ikke forstår hvordan et system fungerer et det krevende å finne en metode for å beskytte det mot manipulering.

Den andre årsaken til at vi bør bekymre oss for den intellektuelle gjelden som hoper seg opp i systemer basert på kunstig intelligens, er at systemene ikke fungerer i isolasjon, men påvirker hverandre. Gale svar produsert av ett system samles inn og danner datagrunnlaget som andre maskinlæringssystem lærer av. På denne måten kan små feil i ett system spre seg og på sikt resultere i større og mer alvorlige feilslutninger i andre systemer. Etter hvert som flere og flere systemer vi ikke forstår blir gjensidig avhengige av hverandre, vil svarene de gir kunne bli mer uforutsigbare og vanskeligere for oss å kontrollere. Vi vil kunne havne i en situasjon der våre valg og handlinger bestemmes av systemer vi ikke kan etterprøve, men simpelthen bare må velge å stole på.   

Den siste, men mest dyptgripende bekymringen til Zittrain er knyttet til at myndigheter og selskaper har begynt å flytte forskningsmidler bort fra den tidkrevende og kostbare grunnforskningen som leter etter forklaringer, og over til den teknologidrevne og anvendte forskningen som leverer umiddelbare svar og resultater. Svar alene er imidlertid ikke alt som teller, poengterer Zittrain. Uten teoridrevet forskning vil vi kanskje ikke finne noen meningsfulle svar overhodet.

Mye av kritikken mot kunstig intelligens er rettet mot alle de ulike måtene den kan feile på. Den kan reprodusere fordommer, diskriminere og brukes til onde formål. Men vi må også ha oppmerksomheten rettet mot den kunstige intelligensen som ikke gjør feil. Den som takket være sin suksess tikker og går i bakgrunnen og tar beslutninger vi ikke forstår, men likevel har sluttet å stille spørsmålstegn ved.