Etter den første bølga med generative KI-verktøy som kunne gjere mykje artig, var 2024 året for integrerte KI-verktøy i systema vi allereie brukar. Slik som Microsofts M365 Copilot. Vi blir lokka med ein enklare og meir effektiv arbeidskvardag. Men det har også ein pris. Ikkje berre i kroner og øre.

Grundig kalkyle frå NTNU

Kva den prisen blir, er eit komplekst reknestykke. Så kva er vel betre enn at ein tung og truverdig aktør som NTNU tok på seg oppgåva med å rekne seg fram til eit svar. I god akademisk ånd gjekk dei grundig til verks. Og dei involverte oss i Datatilsynet ved å bli med i vår regulatoriske sandkasse. Det er eit veiledningtilbud, der vi kan gå djupare i materien – og ja, på ein måte vere meir løysningsorienterte – enn rammene tillet oss i tradisjonelle veiledningsformer.

Vi merka at mange «der ute» venta i spenning på vurderingane og erfaringane frå prosjektet. I slutten av november lanserte vi rapporten som ser på korleis ein stor offentleg aktør som NTNU eventuelt kan ta i bruk M365 Copilot.

Sjå rapporten «Copilot med personvernbriller på».

Før det hadde NTNU også laga ein rapport med viktige funn utover det reint personvernmessige, der dei tar for seg både forvaltning, opplæring, økonomiske kostnader og korleis eit slikt verktøy kan påverke organisasjonen og arbeidsmiljøet.

Sjå NTNUs funnrapport.

Forsiktig med den røde knappen

Hovedbudskapet er at verksemder bør vere varsame med å berre trykke på den røde knappen og ta i bruk dette eller liknande integrerte KI-verktøy utan å gjere grundige vurderingar i forkant, i tillegg til å sikre kontrollmekanismar og god opplæring av brukarane. For dette er kraftfulle saker.

Begge rapportane er pedagogisk oppbygd og delt inn i 8-9 funn eller hovedpunkt. Det er verdt å lese dei begge, men som ein appetittvekker, skal du få fem sentrale punkt her:  

1. Start med ein strategi.

Definer tydeleg kva verksemda ønsker å oppnå, kva områder som er aktuelle for KI-bruk og kva områder ein bør halde utanfor. Som hovedregel er generativ KI best når du allereie kan det du vil at den skal hjelpe deg med, du har kapasitet til å kvalitetssikre arbeidet, og er villig til å ta det heile og fulle ansvaret for feil i det den leverer.

2. Sørg for orden i eige hus.

Dette er superviktig. Copilot finn (og behandlar) all informasjon du har tilgang til. Det er godt muleg at du har tilgang til mykje meir informasjon enn du er klar over. Det kjem an på om verksemda di har stålkontroll, eller ikkje, på tilgangsstyring og alt som fins av personopplysningar i systema som blir brukt. Sjølv om lova krev at verksemder har stålkontroll – om enn i meir juridiske formuleringar – ville det vere naivt av Datatilsynet å ta for gitt – slik leverandøren av Copilot gjer – at absolutt alle faktisk har det.

Ei utfordring med Copilot er at svakheter i «den digitale grunnmuren» blir synlege og kraftig forsterka med eit verktøy som har tilgang til alt du har tilgang til – og veit å utnytte seg av det.

Eller for å ta den positive tilnærminga: premien til dei som har skikkeleg orden i eige hus, er at dei har ein langt kortare veg til å kunne ta i bruk integrert KI, som for eksempel Copilot.

3. Tenk grundig (og kreativt) gjennom kva som kan gå galt?

Brukarar vil dele alle typar data med, og bruke, generativ kunstig intelligens til det dei kan. Sånn er det berre. Er det muleg, vil det bli gjort. Det er viktig å ta med seg inn når ein skal gjere vurderingar av kva personvernkonsekvensar det vil få å ta i bruk eit slikt verktøy. Ein kan ikkje ta for gitt at folk berre brukar verktøyet slik sjefane har tenkt.

Og apropos sjefane: dette verktøyet kan brukast som bossware. «Kan» her som i teknologisk – ikkje juridisk – mulighet. La meg sitere frå NTNUs funn:

«arbeidsgivere kan vurdere ansattes prestasjoner og adferd basert på skriftlig innhold de har tilgang til, som filer, dokumenter, Teams-chatter, e-postkorrespondanse, Teams-innhold, følelsesreaksjoner (emojis), transkripsjoner fra møter med automatisk opptak, osv. Ansatte har ingen mulighet til å finne ut om en slik vurdering av dem selv har skjedd.»

NTNU oppdaga at det er lett å få verktøyet til å seie noko om humør og sinnsstemning til andre tilsette. Og:

«Når Copilot har for lite informasjon å jobbe med, kan det oppstå utfordringer med løgn og hallusinasjoner. Det er sannsynlig at Copilot kan «finne på» følelser for de ansatte, noe som gjør denne problemstillingen enda mer utfordrende.»

Ein kanskje litt kontroversiell tanke i NTNU-rapporten er å vurdere om for eksempel leiarar med personalansvar ikkje skal få tilgang til Copilot, mens tilsette «på gølvet» kan få det?

På toppen av det heile er dette eit verktøy i stadig endring – på godt og vondt. Feil blir fortløpande retta, verktøyet blir stadig justert, men nye funksjonar blir også stadig lagt til. Det gjer det utfordrande å forvalte. Det krev ei vaken IT-avdeling. Det krev masse opplæring. Og det krev disiplinerte brukarar.

Så sett frå eit personvernperspektiv; det er mykje som kan gå galt og mange ledd det kan svikte i. Og det er verksemda sitt ansvar å ha tenkt grundig gjennom alt.

4. Vurder alternative løysingar.

Viss nokon av blomstrane i bedet ser litt tørste ut, set du ikkje heile hagen under vatn. Då er vi tilbake til strategien. Kanskje held det med eit par meir spissa KI-verktøy, som gjer akkurat dei arbeidsoppgåvene det er (mest) behov for, i staden for dei integrerte som skal slurpe i seg det som fins av data i organisasjonen?

Det er definitivt verd å ta med i kalkuleringane, når arbeidet i organisasjonen skal effektiviserast, at det kan vere langt meir ressurskrevande å forvalte eit stort og komplekst verktøy, enn eit par små.

Og – kanskje litt pussig, men eit siste punkt:

5.  Ikkje hopp på KI-toget utan ein exit-strategi.

Ha ein klar plan for korleis verktøyet kan bli skrudd av, om nødvendig, før du slår det på.

Nederland har nyleg fraråda statlege verksemder å ta i bruk Copilot. Nokon vil kanskje påstå at vi i praksis gjer det samme. Men nei, teknologien har mykje bra i seg, og det handlar om å finne gode og praktiske tilnærmingar for å ta den i bruk på ein forsvarleg måte. Vår oppfordring er å gjere det i små og kontrollerte steg.

Men – dersom både dei som bygger KI-toget og passasjerane som kastar seg på er drevet av frykt for å ikkje vere fremst i toget, er det nok oppskrifta på ein ganske forutsigbar 💥 🙈

I likhet med ekte intelligens, må kunstig intelligens lære selv, for å utføre en oppgave. Det ligger i kunstig intelligens’ natur at du ikke på forhånd kan bestemme akkurat hvordan den vil lære seg noe. Noen ganger oppstår også hell i uhell, og du oppdager at du kan bruke KI-en til flere, eller andre ting, enn den var utviklet for.

Åpenhet om formål

Når kunstig intelligens skal lære av eller brukes på personopplysninger, stiller regelverket krav om at man er åpen om formålene med bruken. Personene som opplysningene gjelder – de registrerte – har krav på å vite hva opplysningene skal brukes til. Denne informasjonen skal man få før personopplysningene samles inn.

Åpenhet har vært hovedtema for prosjektet Ruter har deltatt med i Datatilsynets KI-sandkasse. Ruter planlegger å bruke kunstig intelligens i sin app for å tilby kundene persontilpassede reiseforslag. I sandkasseprosjektet har Datatilsynet og Ruter diskutert hvordan de kan være åpne om behandlingen av personopplysninger i denne løsningen.

Les sluttrapporten fra Ruterprosjektet, «I rute med kunstig intelligens».

Det kan være vanskelig å på forhånd vite hvilken bruk av personopplysninger som trengs for å få den kunstige intelligensen til å virke som den skal. I tillegg kan den kunstige intelligensen vise seg å ha flere bruksområder når den er blitt opplært. I motsetning til Ruters bussruter, som skal være så forutsigbare som mulig, vil det være en styrke for Ruters app om den overrasker med nye måter å reise bedre på. Stenger da regelverket for å gjøre noe utover det du så for deg i utgangspunktet?

Hvor mye skal til?

Vi kan omformulere spørsmålet til hvor mye du må få vite før personopplysningene dine samles inn. Regelverket krever at formålene skal være spesifikke, uttrykkelig angitte og berettigede. Du kan altså ikke invitere på blåtur i forstand av så brede formål, at man i realiteten ikke forstår rekkevidden av hva personopplysningene kan brukes til. Når du har angitt formålene, setter de skranker for hvilken bruk som er tillatt. Oppdager du senere at det er verdifullt å bruke personopplysningene til et nytt formål? Ja, da må du gjøre nye vurderinger og finne et nytt rettslig grunnlag for bruken. Og ikke minst – la være å gå videre med det nye formålet, om du ikke finner dekning for det.

Et hovedhensyn er at måten personopplysningene behandles på skal være forutberegnelig. Bruken må knytte seg tett nok opp mot det formålet som var definert ved innsamling. På den måten får de registrerte en større grad av kontroll over hvordan noen bruker personopplysningene deres. Hvis man ser at bruken i realiteten knytter seg til et annet formål, skal den som hovedregel ikke skje, med mindre man starter på nytt med nye vurderinger og tiltak som kan gjøre bruken lovlig.

Forutsigbarhet for de registrerte er avgjørende for tillit. Tillit er viktig når man skal la kunstig intelligens jobbe med folks personopplysninger. Så hvordan skaper du forutsigbarhet ved bruk av et verktøy som (delvis) har uforutsigbarhet som sin styrke?

Å avgrense formål

Når du først har identifisert alle bruksområder du kan se for deg, og bestemt deg for hvilke formål du vil forfølge, kommer spørsmålet om hva som hører inn under ett og samme formål opp. Selv om ulik bruk av personopplysninger i den kunstige intelligensen kan utfylle ulike oppgaver, kan bruken høre til samme formål.

I sandkasseprosjektet diskuterte Ruter og Datatilsynet for eksempel om behandling av personopplysninger for å gi persontilpassede reiseforslag og etterlæring av den kunstige intelligensen er to separate formål. Ruter forklarte, at det er vanskelig å få til det ene uten det andre. For at den kunstige intelligensen skal klare å gi gode, persontilpassede reiseforslag, må den stadig læres opp. For eksempel må den tilpasse seg endringer i reisemønster.

Man kan altså se det slik at etterlæringen er en behandlingsaktivitet som hører inn under formålet om å gi persontilpassede reiseforslag. Det samme kan sies om retting av feil eller justering av elementer den kunstige intelligensen legger vekt på før den gir et reiseforslag.

Bruk for nye formål

Ruter har planlagt å legge til rette for god informasjon om formålene de kan se for seg allerede ved innsamling. Hvis det senere oppstår behov for å oppfylle nye formål, som de ikke så for seg ved innsamling, kan de i utgangspunktet ikke gå videre med bruken. Det finnes likevel mulighet for å oppfylle det nye formålet, dersom det er forenelig med det opprinnelige formålet.

En type bruk, som i regelverket er angitt som forenelig uansett opprinnelig formål, er bruk for statistiske formål. Såfremt du sørger for å avidentifisere og beskytte opplysningene i så stor grad som mulig, samt å informere om ny bruk, kan bruk for statistiske formål være mulig selv om det er et nytt formål. I den grad du ser for seg en slik bruk allerede på innsamlingstidspunktet, må du likevel informere om det som et eget formål allerede da.

Fordel å ha tunga rett i munnen fra starten av

Når du skal bruke personopplysninger, må du ta noen hensyn som kan være krevende ved utvikling og bruk av kunstig intelligens. Bruksmulighetene begrenses ut fra hva slags informasjon man har gitt til de registrerte ved innsamlingen.

Man må planlegge godt. Det betyr å informere godt – ved innsamling – om alt du planlegger å bruke personopplysningene til. Godt forarbeid på dette området vil kunne gjøre jobben med den kunstige intelligensen lettere i et langsiktig perspektiv. Da får man en vinn-vinn-situasjon for virksomheten og for de registrerte.

Les Datatilsynets rapport om kunstig intelligens og personvern.

Det betyr ikke at utfallet ikke er riktig. Tvert imot er et viktig argument for å ta i bruk slik teknologi, at vi kan finne sammenhenger og ta avgjørelser som er riktigere enn tidligere. Vi kan stå på skuldrene til datakjemper og ideelt sett motvirke forskjellsbehandling og diskriminering.

Svart boks, mørkt for personvernet

Like fullt, svart boks-problematikk er åpenbart svært utfordrende for personvernet. Å forklare hvordan personopplysninger brukes, er et sentralt prinsipp og en forutsetning for å avdekke og korrigere feil og motvirke diskriminering. Kan vi da leve med at kunstig intelligens får en sentral rolle i prosesser og avgjørelser, som er viktige for oss og livet vårt, uten at vi får en forklaring på hvorfor resultatet ble som det ble? Neppe. Samtidig kan det argumenteres for at informasjon om en modells virkemåte kan avsløre forretningshemmeligheter, noe som også vil være problematisk. Så om vi klarer å åpne den svarte boksen, hvor mye av innholdet i den skal og bør løftes ut i lyset? Hvem er det som trenger å forstå? Og hvor godt må vi forstå det?

Mengdetrening i vurdering

Datatilsynets KI-sandkasse er til nettopp for å få mengdetrening i slike vurderinger. Det første prosjektet som kommer ut av sandkassa etter et halvår med juridiske, teknologiske og tidvis filosofiske vurderinger, er fra NAV. De vil bruke KI for å predikere den videre lengden på sykefraværet, når sykmeldingen har passert fire måneder. NAVs modell er et beslutningsstøttesystem. Det betyr at modellen ikke automatisk avgjør hvem som trenger oppfølging og ikke, men at NAV-veilederne som møter den sykmeldte får en anbefaling fra modellen. Selve avgjørelsen tas altså av et menneske. Men maskinen har kommet med en prediksjon om hvor lenge vedkommende vil være sykmeldt, basert på historiske data. En slik anbefaling fra en maskinlæringsmodell vil nok fort oppleves som vanskelig å overprøve.

Kunsten å designe passe intelligent KI

På den annen side er jo hele poenget med å innføre et slikt system, at anbefalingene skal være så gode at de reduserer de tilfeldige variasjonene blant veilederne og fører til mer enhetlig praksis, i tillegg til å redusere kostnader. Siktemålet er med andre ord at veilederne ikke skal lene seg for mye eller for lite på anbefalingen, men at bakgrunnen for avgjørelsen skal være trygg.

Heldigvis er det ikke nødvendigvis like bekmørkt inne i alle de svarte boksene. NAV-modellens prediksjon kommer med en forklaring av hvilke data som har påvirket utfallet i den ene og andre retningen. Og i tillegg vet man jo hvilke data modellen har blitt foret med.

At veilederne får god opplæring og instrukser i hvordan algoritmen fungerer og skal brukes, samt en meningsfull forklaring i enkelttilfeller, er viktig for å redusere risikoen for en «snikautomatisering». Det vil også forhindre at modellens prediksjon ikke tas med i vurderingen i det hele tatt. Jo bedre veilederne forstår modellens oppbygning, virkemåte og oppførsel, jo enklere vil det være for en veileder å vurdere prediksjonen på et selvstendig og trygt grunnlag. Uavhengig av om den endelige avgjørelsen blir å følge prediksjonens anbefaling eller ikke.

Les sluttrapporten fra dette sandkasseprosjektet.

Vi fikk inn 25 søknader til den regulatoriske sandkassen for kunstig intelligens (KI) og personvern. Spennet i søknadene viser det enorme potensialet KI har for å forbedre og effektivisere samfunnet vårt. Samtidig ser vi helt klart et behov for avklaring av hvordan deler av personvernregelverket skal tolkes i praksis.

Topp 5

Lista over tematikk, som søkerne i første runde med Datatilsynets sandkasse ønsker hjelp med, toppes av disse fem:

1. Transparens
2. Dataminimering
3. Rettferdighet
4. Anonymisering/avidentifisering
5. Behandlingsgrunnlag

Tilbakemeldingene vi har fått fra søkerne er at regelverket er der, men hvordan skal vi gjøre det i praksis? Hvor detaljert må forklaringen være? Hvordan kan vi bruke så lite data som mulig (dataminimering), men samtidig få nøyaktige resultater? Hvordan kan vi designe et system som er rettferdig for brukeren og ikke diskriminerer?

Vi er i gang med å velge ut fire prosjekter av de 25 søknadene som vi skal jobbe tett med for å utforske gode personvernløsninger i de ulike løsningene. Målet med sandkassen er å jobbe frem gode personvernløsninger for å vise frem at KI og personvern kan gå hånd i hånd, og gi eksempler på vurderinger og personverntiltak i konkrete prosjekter. Vi håper det kan være til hjelp og inspirasjon for andre virksomheter som benytter personopplysninger og KI.

KI overalt

Kunstig intelligens kan gjøre utdanningen mer tilpasset og presis, den kan hjelpe med å effektivisere helsehjelp og fange opp sykdom på et tidlig tidspunkt, den kan spare samfunnet for store verdier ved å avdekke hvitvasking på en måte mennesker ikke kan. Søknadene representerer mange ulike sektorer, og vi har alt fra små oppstartsselskaper til store offentlige aktører på listen.

11 av søkerne kommer fra offentlig sektor, og 14 fra privat sektor.

Nå gleder vi oss til å komme i gang med de første sandkasseprosjektene. Følg gjerne med på våre nettsider om nytt fra sandkassen – vi staser på å dele oppdateringer underveis i prosjektene. Første runde vil vare i 3-6 måneder, og vi kjører nytt opptak når vi har kapasitet til høsten.