I 1897 ble Aspirin oppdaget og tatt i bruk til smertelindring. Først nesten 100 år senere, i 1995, fant forskere ut hvordan legemiddelet fungerer. Slik er det med mange av legemidlene vi bruker. Vi vet at de fungerer, men ikke hvorfor. Hvordan er det mulig at noe blir studert og forsket på så grundig, og at likevel ingen kan forklare hvorfor det virker?

Svaret på dette er at man innen legemiddelforskning i stor grad baserer seg på eksperimentering gjennom prøving og feiling som metode. Dette gjøres på testobjekter, ofte mus. Hvis musene responderer godt uten registrerte bieffekter, kan medikamentet testes ut på mennesker. Gjennom en lang testperiode kan medikamentet til slutt oppnå godkjenning. I noen tilfeller kan suksessen til en virkningsfull medisin inspirere forskere til å lete etter forklaringen på hvorfor den virker. Dette var tilfellet med Aspirin. Da forskere fant ut hvordan legemiddelet fungerte, førte det til utvikling av nye og bedre typer smertestillende medisin gjennom andre metoder enn prøving og feiling.

Denne formen for oppdagelser – svar først, forklaring senere – skaper hva Jonathan Zittrain, forfatter av flere innflytelsesrike bøker om internettøkonomien og Harvard-professor i internasjonal rett og informatikk, kaller intellektuell gjeld. Intellektuell gjeld oppstår når vi har innsikt i hva som virker uten å ha kunnskap om hvorfor det virker. Noen ganger tilbakebetales den intellektuelle gjelden raskt, og noen ganger, som med Aspirin, etter 100 år. Noen ganger blir den intellektuelle gjelden aldri tilbakebetalt.

Intellektuell gjeld er ikke nødvendigvis et problem. Er vi syke, vil vi ha en medisin som har virker. Hvorfor den virker er mindre viktig. Men å ta opp lån innebærer også en risiko. I artikkelen «Intellectual debt: with great power comes great ignorance» i The New Yorker, skriver Jonathan Zittrain om hvordan vi med bruk av kunstig intelligens risikerer å pådra oss en historisk intellektuell gjeldsbyrde.

Kunstig intelligens, særlig maskinlæring, er basert på prøving og feiling som metode, den samme metoden som benyttes innen legemiddelvitenskapen. Gjennom utbredelsen av kunstig intelligens bringes denne metoden, der svar kommer uten forklaring, til et utall nye samfunnsområder. Maskinlæring på sitt beste gir oss mer konsise og konsistente svar enn et menneske noen gang vil kunne gi. Men når vi aksepterer disse svarene uten å fastslå teoriene som ligger bak dem, pådrar vi oss intellektuell gjeld.

For å forklare utfordringene med intellektuell gjeld trekker Zittrain paralleller til et beslektet fenomen fra IT-verden, nemlig teknisk gjeld. Teknisk gjeld brukes som metafor om konsekvensene av dårlig system- og programvareutvikling. Teknisk gjeld oppstår når man lapper og fikser på et eksisterende system uten å ha et langsiktig perspektiv. Opptak av teknisk gjeld kan gi besparelser på kort sikt, men kan senere bli en direkte årsak til økte kostnader og hindre nødvendig innovasjon.

Akkurat som teknisk gjeld kan opptak av intellektuell gjeld gi god avkastning på kort sikt, men skape store utfordringer på lang sikt. Zittrain trekker frem tre grunner til at vi bør bekymre oss for den intellektuelle gjelden skapt av kunstig intelligens:

For det første, når vi ikke forstår hvordan noe virker, er det vanskelig å forutse hvordan det vil tilpasse seg uvante og uventede situasjoner. Selv velfungerende maskinlæringssystemer kan  manipuleres til å trekke gale konklusjoner ved å angripes med hva forskere kaller «fiendtlige input». Forskere ved det amerikanske universitetet MIT, klarte for eksempel å endre pixlene på et kattebilde uten at bildet ble synlig endret for det menneskelige øye. Mennesket så fortsatt bildet av den samme katten, mens Googles bildegjenkjenningsprogram var derimot 100 prosent overbevist om at det så på et bilde av guacamole. På samme måte kan selvkjørende biler manipuleres til å tro at de ser et forkjørsskilt i stedet for et vikepliktskilt. Intellektuell gjeld skaper altså risiko for alvorlige hendelser som det kan være vanskelig å forhindre. Hvis vi ikke forstår hvordan et system fungerer et det krevende å finne en metode for å beskytte det mot manipulering.

Den andre årsaken til at vi bør bekymre oss for den intellektuelle gjelden som hoper seg opp i systemer basert på kunstig intelligens, er at systemene ikke fungerer i isolasjon, men påvirker hverandre. Gale svar produsert av ett system samles inn og danner datagrunnlaget som andre maskinlæringssystem lærer av. På denne måten kan små feil i ett system spre seg og på sikt resultere i større og mer alvorlige feilslutninger i andre systemer. Etter hvert som flere og flere systemer vi ikke forstår blir gjensidig avhengige av hverandre, vil svarene de gir kunne bli mer uforutsigbare og vanskeligere for oss å kontrollere. Vi vil kunne havne i en situasjon der våre valg og handlinger bestemmes av systemer vi ikke kan etterprøve, men simpelthen bare må velge å stole på.   

Den siste, men mest dyptgripende bekymringen til Zittrain er knyttet til at myndigheter og selskaper har begynt å flytte forskningsmidler bort fra den tidkrevende og kostbare grunnforskningen som leter etter forklaringer, og over til den teknologidrevne og anvendte forskningen som leverer umiddelbare svar og resultater. Svar alene er imidlertid ikke alt som teller, poengterer Zittrain. Uten teoridrevet forskning vil vi kanskje ikke finne noen meningsfulle svar overhodet.

Mye av kritikken mot kunstig intelligens er rettet mot alle de ulike måtene den kan feile på. Den kan reprodusere fordommer, diskriminere og brukes til onde formål. Men vi må også ha oppmerksomheten rettet mot den kunstige intelligensen som ikke gjør feil. Den som takket være sin suksess tikker og går i bakgrunnen og tar beslutninger vi ikke forstår, men likevel har sluttet å stille spørsmålstegn ved.

Høstens valgkamp blir trolig den mest teknologisk avanserte noensinne. Vi må forhindre at det får negative konsekvenser for personvernet og tilliten til demokratiske prosesser.

Tenk deg at du sitter og skroller gjennom Facebook-feeden en høstkveld klokken ti, da du plutselig ser en annonse der det står «Vet du hvor datteren din er akkurat nå?». Du kvepper til, datteren din er på kino, men bør snart være hjemme. Du klikker på annonsen. Det viser seg at det er et politisk parti som er avsender. De forteller deg at hvis du stemmer på dem vil de sørge for mere synlig politi ute i gatene. Det høres bra ut, tenker du, det er ikke like trygt å ferdes ute nå som da du var ung. Det du ikke vet, er at denne annonsen ble servert akkurat for og til deg fordi dataanalyse har vist at engstelige alenemødre med tenåringsbarn responderer godt på denne typen budskap.

Høstens valgkamp til kommune- og fylkesting blir trolig den mest teknologisk avanserte noensinne. Eksempelet over er hentet fra en rapport utarbeidet av det britiske datatilsynet (ICO), som har sett på hvordan de politiske partiene i Storbritannia bruker data til å målrette politiske budskap til enkeltvelgere. I forbindelse med Brexit-avstemningen i 2016, sendte Vote Leave-kampanjen ut én milliard målrettede annonser, for det meste på Facebook. I forskning på det nederlandske parlamentsvalget i 2017 kom det frem at alle partiene benyttet Facebook-tjenesten «look a like-audience», som gjorde det mulig å målrette annonser til Facebook-brukere som lignet på partienes allerede registrerte medlemmer. Det konservative kristne partiet ChristenUnie, oppga eksempelvis at de brukte Facebook for å nå ut til folk som har trykket liker på sider som omhandler jordbruk, Israel og kristne tv-stasjoner.

Politiske partier har et legitimt behov for å nå ut til, og å engasjere velgerne om viktige tema. Bruk av personopplysninger og dataanalyse er ikke nytt i valgkamper. Politiske partier har siden 80-tallet benyttet tradisjonelle markedsføringsteknikker for å segmentere befolkningen etter blant annet alder, kjønn og bostedsadresse, for å sende ut kampanjebudskap til relevante velgergrupper.

De siste årene har imidlertid valgkamper i Europa og USA blitt mer «datafisert». Politiske partier har tatt i bruk såkalt mikromålretting, en analysemetode og markedsføringsteknikk utviklet av den digitale annonseindustrien. Ved å bruke mikromålretting kan politiske partier identifisere de enkeltvelgerne det er mest sannsynlig at de kan overbevise. Ved hjelp av dataanalyse kan de tilpasse budskapet de serverer til den enkelte etter deres interesser, vaner og verdier.

Forskerne bak rapporten «Online Political Microtargeting: Promises and Threats for Democracy», peker på både fordeler og utfordringer ved bruk av mikromålretting til politisk reklame. Av fordeler trekker de frem at bruk av mikromålretting kan føre til mer politisk engasjement og øke valgdeltagelsen. Metoden er billigere enn tradisjonell markedsføring og gjør det mulig for partier med beskjedne valgkampbudsjetter, å føre effektive kampanjer. Men denne metoden å drive politisk valgkamp på har også utfordringer.

For det første utfordrer bruk av mikromålretting personvernet. Politisk mikromålretting involverer innsamling og sammenstilling av enorme datamengder for å utlede mest mulig kunnskap om velgerne. Innsamling og bruk av personopplysninger i den digitale annonseindustrien er generelt lite åpen og gjennomsiktig. Vi vet ikke hvilke profiler som utarbeides om oss og hvordan de brukes til å servere oss politiske budskap. Kunnskap er makt. Åpenhet om, og vår rett til å samtykke til, hvordan data brukes i valgkampsammenheng er viktig for å ivareta personvernet, men også integriteten og tilliten til demokratiske prosesser.

For det andre ligger det en risiko i at mikromålretting kan brukes til å manipulere velgerne. Et parti kan for eksempel målrette budskap om høy kriminalitetsrate blant innvandrere til velgere som er profilert som fremmedfiendtlige basert spor de har lagt igjen på nett. Mikromålretting av politiske budskap kan føre til økt polarisering fordi folk mottar politiske budskap i hvert sitt ekkokammer uten å bli eksponert for alternative politiske syn. For det tredje kan mikromålretting føre til at noen velgergrupper ekskluderes fra valgkampen ved at de ikke mottar målrettede politiske budskap overhodet. Dette kan føre til at enkelte grupper blir underrepresentert i demokratiet.

I fjor gjennomførte ICO det mest omfattende tilsynet som noensinne er gjennomført av et datatilsyn. Som følge av Cambride Analytica-saken, ble hele det britiske valgkampsystemet satt under lupen. Til sammen 170 organisasjoner, deriblant alle de politiske partiene, sosiale medier, kredittvurderingsselskap og mediebyråer fikk søkelyset rettet mot seg. 40 mennesker jobbet fulltid med saken i 18 måneder.

ICO avslørte hva de beskriver som en foruroligende mangel på respekt for velgernes personvern av alle aktørene involvert i politisk påvirkningsarbeid. Flere virksomheter, blant annet Facebook, ble ilagt gebyr av tilsynet for brudd på personvernlovgivningen. ICO har oppfordret til en etisk «time-out» blant alle involverte for å tenke gjennom hvordan data blir brukt til politisk påvirkning. Som følge av denne saken, er bruk av data i valgkampsammenheng nå satt på dagsorden av datatilsynsmyndigheter i hele Europa.

Kampen om å vinne valg er hard og avgjøres ofte med små marginer. De partiene som i størst grad lykkes i å identifisere velgerne på vippen, forutsi deres preferanser og hvilke budskap de responderer best på, vil vinne valg. Bruk av dataanalyse og målrettingsteknologi vil derfor bli mer og mer utbredt i valgkamper fremover. Før høstens valg er det viktig at partiene tenker over hvordan de skal bruke mikromålretting, slik at dette gjøres på en måte som er åpen og gjennomsiktig og som ivaretar og fremmer viktige demokratiske verdier og fundamentale rettigheter.

Skal vi styre utviklingen av kunstig intelligens i riktig retning, trenger vi et felles etisk kompass.

Bruken av kunstig intelligens er i startgropen, men påvirker allerede livet ditt. Automatiserte, algoritmestyrte avgjørelser er ansvarlig for 70 prosent av alt innholdet du ser på nett. Kanskje kan du takke algoritmene til Tinder for at du har funnet kvinnen eller mannen i ditt liv. Er du bekymret over en føflekk, kan kunstig intelligens brukes til å gjenkjenne om den er ondartet eller ikke.

Kunstig intelligens kan forbedre livene våre og gjøre samfunnet bedre. Samtidig ser vi at teknologien også brukes til å overvåke innbyggere, undergrave demokratiske institusjoner, sementere fordommer og bidra til økt diskriminering.

Kampen om å ta ledertrøya innen utvikling av kunstig intelligens foregår mellom nasjoner og mellom globale teknologiselskap. Disse nasjonene og teknologiselskapene har svært ulik tilnærming til hvordan de utvikler og bruker kunstig intelligens. Hvis vi skal sikre at utviklingen av kunstig intelligens ivaretar hensynet til grunnleggende menneskerettigheter, er det viktig å få på plass noen felles etiske retningslinjer.

Etter andre verdenskrig samlet vitenskapsmenn fra hele verden seg for å formulere etiske retningslinjer for medisinsk forskning. Bakgrunnen var de dramatiske bruddene på god lege- og forskningsetikk som hadde skjedd i de tyske konsentrasjonsleirene. Målsettingen var å få på plass et felles etikkregelverk som kunne forhindre liknende hendelser i fremtiden. Resultatet var Nürnbergkodeksen, som siden har fungert som et etisk rammeverk og utgangspunkt for lovgivning. Rettsoppgjøret i Nürnberg markerte et tidsskille for legeetikk og forskningsetikk. Nå trenger vi en Nürnbergkodeks for etisk bruk av data i utviklingen av kunstig intelligens.

Etisk bruk av personopplysninger var diskusjonstemaet da personvernmyndigheter fra hele verden var samlet for den årlige internasjonale personvernkonferansen i oktober. Den internasjonale konferansen for personvernmyndigheter vedtok en deklarasjon om etisk og personvernvennlig kunstig intelligens. Målsettingen med deklarasjonens er å bidra til en global diskusjon om temaet, samt å fremme behovet for internasjonale etiske styringsprinsipper for kunstig intelligens. Deklarasjonen inneholder seks veiledende prinsipper:

• Prinsippet om rettferdighet
  Kunstig intelligens må utvikles og brukes på en måte som har respekt for enkeltindividets interesser. Det vil si at den må utvikles og brukes på en måte som ikke bryter med folks forventninger til hvordan data som er samles inn om dem, blir brukt.
• Prinsippet om åpenhet og gjennomsiktighet
  Løsninger basert på kunstig intelligens må være åpne og gjennomsiktige. En bekymring knyttet til kunstig intelligens er at man ikke alltid vet hvordan beslutningene blir produsert. Ofte vil systemene produsere et svar uten noen forklaring. Dette gjør det vanskelig for enkeltindivider å imøtegå, og eventuelt klage på, beslutningene som systemene tar.
• Prinsippet om ivaretakelse av individets rettigheter
  Kunstig intelligens må utvikles og brukes på en måte som bygger opp om individets rettigheter. Folk skal blant annet ha rett til innsyn i hvilke data som samles inn om dem og til informasjon om hvordan opplysningene brukes. Folk skal ha rett til en forklaring på beslutningene maskinene tar og til å klage på dem.
• Prinsippet om ansvarlighet
  Virksomheter som utvikler og bruker kunstig intelligens må evaluerer effekten systemene har. De må sikre at systemene ikke produserer beslutninger som fører til usaklig forskjellsbehandling av enkeltpersoner.
• Prinsippet om «innebygd etikk»
  Systemer for kunstig intelligens må bygges etter prinsippene for innebygd personvern. Det vil si at systemene teknisk og organisatorisk må være bygd opp på en måte som ivaretar individets interesser.
• Prinsippet om ikke-diskriminering
  Kunstig intelligens må utvikles og brukes på en måte som hindrer at algoritmene trenes opp til å ta diskriminerende og fordomsfulle beslutninger. Dette kan blant annet gjøres ved å være oppmerksom på viktigheten av å ha oppdaterte, korrekte og representative data.

I Europa har vi fått en oppdatert personvernlovgivning, GDPR. Oppdateringen kom i grevens tid. Personvernforordningen er, så langt, den første i verden som regulerer utvikling og bruk av kunstig intelligens. «Etisk bruk av data er ikke lenger et valg, det er en forpliktelse», uttalte Isabelle Falque-Pierrotin, direktør i det franske datatilsynet, ved avslutningen av konferansen.

Kraftfull håndheving av personvernforordningens prinsipper er viktig fremover. Uten effektiv håndheving av disse verdiene og prinsippene, vil vår måte å organisere samfunnet på bli utsatt for press. I tillegg til kraftfull håndheving fra europeiske datatilsynsmyndigheter, må vi enes om noen felles globale etiske prinsipper for kunstig intelligens. Bare slik kan vi sikre at utviklingen styres i en retning som underbygger grunnleggende menneskerettigheter og et velfungerende demokrati – også utenfor Europa.

Talestyrte assistenter er et av de raskest voksende elektroniske forbrukerproduktene. Assistenten brukes til å utføre enkle oppgaver i hjemmet. Du kan be den sette på musikk, fortelle hvordan været blir i morgen og til å slå av lysene når du går på jobb. I USA har én fjerdedel av alle husstander allerede skaffet seg en smart assistent. I 2018 vil man, ifølge beregninger gjort av Consumer Technology Association, selge flere produkter som inneholder talestyrte assistenter enn man vil selge bærbare datamaskiner. Alle de store internett-selskapene har sine versjoner av slike assistenter. Amazon har Alexa, Google har Google Assistant og Apple har Siri. I september ble Google Assistant tilgjengelig på norsk, og snart kommer Google Home.

Amazons Echo, boksen som inneholder talegjenkjenningssystemet Alexa, sklir inn i hjemmet med sin nøytrale design. Boksen står på kjøkkenet, soverommet eller stua, og gjør opptak av det vi sier. Den er utstyrt med syv mikrofoner for å kunne ta opp lyd i ulike retninger. Samtalene sendes videre til Amazons datasentre, der de brukes til å lære opp Alexa til å forstå oss bedre. Få selskap i verden vet mer om oss en Amazon og Google. Når de nå også får en lyttepost i våre hjem, blir vi enda mer tilgjengelig for dem.

Å plassere teknologi i hjemmet som gjør det mulig for et selskap å ta opp alt vi sier, ville for noen år siden virket som en ganske vill ide. Hjemmet er stedet hvor våre mest private og intime aktiviteter foregår. Det er der vi først lærer hvordan vi skal forholde oss til verden og hvor vi først utvikler oss som mennesker. Etter hvert som digitale assistenter får fotfeste i våre hjem, vil det påvirke hvordan vi oppfører oss i vår private sfære?

Echos diskre ytre forteller lite om hvilken avansert teknologi den skjuler. Kan det være derfor folk med så stor letthet plasserer den i hjemmene sine? Eller kan det være fordi talestyrte assistenter gir folk så stor glede og nytte i hverdagen, at det veier opp for eventuelle innvendinger folk måtte ha til teknologien? Sikkert er det at selskaper som leverer talestyrte assistenter er avhengig av tillit. Teknologiens utbredelse og popularitet er avhengig av at folk kan stole på at assistentene kun tar opp lyd når brukerne har bestemt det. Folk må også være trygge på at opplysningene den samler inn bare benyttes til ting de har samtykket til.

Cambride Analytica/Facebook-skandalen viste at vi ikke alltid har kontroll over hvordan teknologiselskapene bruker personopplysningene de samler inn om oss. Det britiske dataanalyseselskapet høstet opplysninger om 50 millioner Facebook-brukere og brukte disse videre til politisk påvirkning. Skandalen var ødeleggende for tilliten til Facebook. Fra å ha tillit fra 80 prosent av sine brukere, sank denne til 27 prosent som følge av denne saken, i følge en spørreundersøkelse gjennomført i USA. Facebook hadde planer om å lansere sin egen talestyrte assistent i mai i år, men valgte å utsette det. Selskapet innså at uten tillit er det ikke mulig å få forbrukerne til å ha denne typen teknologi i hjemmet sitt.

Google og Amazon hevder assistenten kun tar opp samtaler når brukeren slår den på ved å si «OK Google» og «Alexa». Det har imidlertid vært rapport om hendelser som viser at assistentene også tar opp samtaler når brukeren ikke har aktivert dem. Det siste og mest alarmerende eksemplet er fra i vår: En familie i Portland i USA oppdaget at Alexa hadde tatt opp en samtale i hjemmet og sendt den videre til en tilfeldig kontakt i deres kontaktliste. Alexa slo seg på da den oppfattet at det ble sagt «Alexa» i en bakgrunnssamtale i hjemmet, og startet opptaket. Fra samtalen som pågikk, oppfattet boksen at den fikk beskjed om å sende den videre. Alexa spurte derfor høyt «til hvem?» Alexa oppfattet så at det ble sagt et navn, og sendte derfor meldingen videre til vedkommende. Amazon har bekreftet at hendelsen fant sted og sier at dette ikke skulle vært mulig. Det har imidlertid vært rapport om lignende hendelser tidligere, der taleassistenter tar opp samtaler uten at brukeren har aktivert enheten. Det er trolig heller ikke siste gang det blir rapportert om slike hendelser.

Alexa utløser ikke bare bekymringer knyttet til personvern. Konkurransekommisjonær Vestager signaliserte nylig at EU-kommisjonen vil gå Amazon nærmere etter i sømmene. EU vil undersøke hvordan Amazon bruker data de samler inn på sin plattform til å styre konkurrerende tredjeparter. Flere er bekymret over hvordan de dominerende teknologiselskapene kan bruke markedsmakten sin til å «tvinge» produsenter av smarthusløsninger til å implementere deres talegjenkjenningsteknologi i produktene sine. Pressmiddelet er at produsentene ikke vil slippe til på deres plattform hvis de bruker teknologi utviklet av andre. På denne måten kan Amazon og Google bli en portvakt til hjemmene våre og bestemme hvilke tjenester og produkter vi benytter oss av. Dette vil virke negativt både på innovasjon av nye produkter og på vår valgfrihet som forbrukere.

Systemer som Alexa og Google Assistant krever så mye data, infrastruktur og oppfølging at det bare er et fåtall selskap i verden som har mulighet til å bygge og drive dem. Det er viktig å reflektere over hva det betyr over tid hvis vi som samfunn skal klare å styre disse systemene på en god måte.

For et par år siden gikk journalisten James Bloodworth undercover som såkalt «plukker» i Amazon. Som ansatt i netthandelsselskapet fant og hentet han bestilte produkter, det hele var research til boken «Hired: Six Months Undercover in Low-Wage Britain». I Amazon ble han utstyrt med en håndholdt enhet som sporet og evaluerte alle hans bevegelser på jobb. Gikk produktiviteten hans ned, fikk han beskjed via enheten om at tempoet måtte opp. I februar i år ble det kjent at Amazon har tatt patent på et sensorarmbånd som ikke bare sporer lagerarbeiderne, men som også leser deres armbevegelser og som vibrerer hvis «plukkerne» ikke arbeider optimalt.

Kontroll og overvåkning i arbeidslivet er ikke noe nytt. Hver ny teknologisk innovasjon fører med seg nye måter å måle, evaluere og kontrollere ansatte på. Målt i antall henvendelser til Datatilsynet, er problemstillinger knyttet til kontroll og overvåkning i arbeidslivet det området vi mottatt flest henvendelser om. Spørsmålene dreier seg særlig om kameraovervåkning på jobb, innsyn i epost, bruk av prestasjonsmålingssystemer, gps-sporing av yrkessjåfører og tilgangskontroll.

Nå er kunstig intelligens på full fart inn i arbeidslivet. Et tema som får mye oppmerksomhet er hvordan kunstig intelligens vil automatisere arbeidsoppgaver som i dag utføres av mennesker, og dermed gjør mange av dagens jobber overflødige. Men kunstig intelligens vil ikke bare gjøre jobber overflødige, teknologien vil også kunne endre vår arbeidshverdag og betingelsene vi arbeider under. Flere og nye typer opplysninger om oss, vil samles inn i løpet av arbeidsdagen vår for å utvikle systemer for å effektivisere og optimalisere hvordan vi jobber.

Kunstig intelligens kan blant annet brukes til å utvikle algoritmer som kartlegger og forutsier prestasjonene til de ansatte. Selskapet Workday har utviklet en algoritme som de hevder kan forutsi hvilke ansatte som vil slutte. Algoritmen baserer seg blant annet på data om hvilke nettsider de ansatte besøker og hvor langt unna jobben de bor. Konsulentselskapet Crossover har utviklet programvaren Worksmart som tar skjermdumper av de ansattes pc hvert tiende minutt og analyserer hvert nedslag på tastaturet for å identifisere mønster som, påstår selskapet, kan avsløre uengasjerte og slappe ansatte. Selskapet Steelcase har utviklet et bildegjenkjenningsprogram som de hevder kan tolke de ansattes ansiktsuttrykk for å oppdage for eksempel stress.

Bruk av kunstig intelligens på arbeidsplassen kan ha flere positive konsekvenser for de ansatte. Teknologien kan øke sikkerheten på arbeidsplassen. Ansatte kan sette pris på å få hyppige og mer detaljerte tilbakemeldinger på jobben de gjør for å utvikle seg og bli bedre. Forfremmelser og lønnsforhøyelser basert på analyser foretatt av algoritmer i stedet for vurderinger gjort av sjefen alene, kan gi mer objektive og rettferdige avgjørelser hvis de er utformet riktig. Algoritmer kan utvikles for å avdekke underslag, og til å avdekke urettmessige lønnsforskjeller mellom kvinner og menn på arbeidsplassen.

Men ukritisk innføring av nye kontroll- og målingssystemer basert på kunstig intelligens kan også utfordre personvernet til de ansatte. Når store datamengder samles inn om oss på jobb, kan det bli vanskelig å forstå hvordan opplysningene brukes, og hvilket bilde alle opplysningene samlet sett gir av oss. Vil mine tastetrykk på pc-en, hvilke nettsider jeg besøker og hvor langt unna jobben jeg bor, avsløre om jeg er en lojal ansatt eller en som er på vei til å forlate jobben?

Ved hjelp av dataanalyse kan man utarbeide profiler for hvordan den ideelle arbeidstager ser ut. Disse profilene kan bli så snevre og ensrettede at de kan ekskluderer mange vi i dag har plass til i arbeidslivet. Resultatet kan bli et mer strømlinjeformet samfunn. Algoritmer er ikke mer objektive enn menneskene som lager dem. Hvis ikke virksomheter reflekterer godt rundt hvilke data de samler inn og bruker til å utvikle systemer som måler effektiviteten til de ansatte, kan systemene gi fordomsfulle og diskriminerende resultater. Eldre jobber for eksempel saktere enn yngre og hvis man kun legger vekt på produktivitet kan det bli mer krevende for eldre å beholde eller få seg ny jobb. I en undersøkelse gjennomført blant franske arbeidstagere, svarte 78 prosent at de så på algoritmestyrte rekrutterings- og ansettelsesprosesser som en trussel.

I Norge er ansatte beskyttet av regler i både arbeidsmiljøloven og personvernforordningen som stiller krav til innføring av nye kontroll- og overvåkningstiltak på arbeidsplassen. Selv om vi har regulering som beskytter personvernet til de ansatte på jobb, vil ønsket om å bruke kunstig intelligens til å øke effektiviteten til arbeidstagerne føre til vanskelige avveininger opp imot de ansattes rett til personvern. Det er derfor viktig å diskutere hvilken type arbeidsliv vi ønsker og hvordan kunstig intelligens kan brukes på en måte som styrker og ikke svekker det høye tillitsforholdet vi har mellom arbeidsgivere og arbeidstagere i Norge.

(Innlegget stod på trykk i Dagens Næringsliv 10.8 2018)

Hvis du har tatt turen innom nettsiden til New York Times de siste ukene, har du kanskje lagt merke til at annonsene er borte. Annonsen for bilpakken på Color Line og andre reklamer som pleier å følge deg rundt på nettet, finnes ikke lengre ved siden av artikkelen om Trumps siste utspill. Har du forsøkt å besøke The Chicago Tribune eller L.A. Times, har du fått beskjed om at nettsiden er sperret for europeiske brukere.

Årsaken til denne endringen er den nye europeiske personvernforordningen (GDPR) som ble innført 25. mai i år. Det nye lovverket skal blant annet hindre at selskaper samler inn informasjon om deg uten at du vet om det. Amerikanske nettaviser er redd for at måten målrettet markedsføring fungerer på er i konflikt med GDPR.

Når du beveger deg på nett, samler hundrevis av selskaper, inkludert Google og Facebook, inn data om deg og dine nettvaner uten at du er klar over det. Kunnskapen selges og kjøpes på globale børser. Ingen bransje i verden vet mer om oss enn annonseindustrien. Samtidig har vi svært lite innsyn i hvordan disse selskapene behandler opplysningene om oss. Cambridge Analytica-saken viste at opplysningene ikke bare brukes til produktreklame, men også til politisk manipulasjon. Det pågår om dagen hektisk møteaktivitet mellom aktørene i medie- og annonseindustrien for å se hvordan dagens lite gjennomsiktig forretningsmodell kan endres for å etterleve kravene i personvernforordningen.

25. mai representerer et tidsskille. Med GDPR setter Europa noen helt nye rammer for den digitale infrastrukturen. En streng personvernregulering skal sikre europeiske borgeres autonomi og selvbestemmelse i omgang med digitale tjenester. Den franske presidenten, Emanuel Macron, uttalte nylig i et intervju med teknologimagasinet Wired, at vi i Europa må la hensynet til enkeltindividet og velferdssamfunnets beste styre utviklingen av digitale tjenester. Vi må velge en annen vei enn USA, der teknologiutviklingen styres av interessene til privat sektor og de store mektige teknologiselskapene. Og vi må velge en annen retning enn Kina der innsamling og bruk av data er mer styrt av myndighetenes ønske om kontroll enn av hensynet til enkeltmennesket. Europa må utvikle digitale tjenester som bygger opp om europeiske verdier.

Fremover vil vi nyte godt av mange nye tjenester som baserer seg på innsamling og analyse av våre personopplysninger. Virksomheter som respekterer brukernes personvern og deres rett til selv å kontrollere sine data, vil fremover kunne benytte dette som et konkurransefortrinn. Selskaper, myndigheter og organisasjoner som ser på etisk bruk av data som et samfunnsansvar på lik linje med respekt for miljøet og etisk handel, vil få tillit hos brukerne. Tillit er en forutsetning for at vi forbrukere skal ønske å dele våre data med virksomheter og myndigheter. Hvis folk vegrer seg for å dele opplysninger om seg selv, kan det påvirke muligheten til å utvikle nye og innovative digitale tjenester basert på våre data.

GDPR kan bidra til å fremme et voksende marked for dataetiske og personvernvennlige produkter og tjenester. I Norge finnes allerede oppstartsbedrifter som holder frem sikkerhet og personvern som sentrale prioriteringer. Selskapet Boost.ai bruker kunstig intelligens til å lage samtaleroboter for banker, forsikringsselskaper og offentlig sektor. Boost.ai har utviklet en løsning som legger til rette for at brukerne kan snakke anonymt med samtalerobotene og at data slettes automatisk etter en fastsatt tid. Den norske oppstartsbedriften Crypho har utviklet tekniske løsninger for kryptert kommunikasjon. Selskapet leverer mobil- og videochat med ende-til-ende kryptering til private og offentlige virksomheter, blant annet til politi og helsevesenet, som har strenge krav til å kommunisere konfidensielt og trygt. No isolation er et norsk selskap som leverer kommunikasjonsløsninger, blant annet roboter, for å hjelpe mennesker ut av ensomhet og sosial isolasjon. Robotene er ende-til-endekryptert, lagrer ikke data og brukeren velger selv hvor lenge bilder skal vises i løsningen.

I mars i år vant Direktoratet for e-helse Datatilsynets konkurranse «Innebygd personvern i praksis» for tjenesten Kjernejournal. Kjernejournal vant fordi løsningen setter brukeren i sentrum og gjør det enkelt for brukeren å ha kontroll over sine egne opplysninger og hvordan de brukes. Kjernejournal er en digital løsning som berører alle som bor i Norge. Tjenesten er et godt eksempel til etterfølgelse for andre offentlige og private virksomheter som skal utvikle ny digital infrastruktur.

Offentlige og private virksomheter har et ansvar for å bygge digitale løsninger innenfor rammene av personvernforordningen. Men innføringen av personvernforordningen er også en fin anledning til å gjøre oss til mer bevisste brukere av digitale tjenester. Vi må lære oss hvordan data kan brukes på godt og på vondt, og hvordan vi kan ta kontroll over våre egne data. Det nye regelverket gir oss mange nye rettigheter som vi må ta aktivt i bruk hvis vi ønsker å påvirke utviklingen av digitale tjenester i en mer personvernvennlig retning. Vi må etterspørre dataetiske produkter og tjenester som setter mennesket i sentrum og som arbeider seriøst med personvern og personvernfremmende teknologi.

Forrige uke satt en av verdens rikeste og mektigste menn skolerett i det amerikanske Senatet. Spørsmålet fra en av senatorene om hvilket hotell han hadde sovet på natten før, gjorde Zuckerberg tydelig ukomfortabel. Selv har Zuckerberg blitt en av verdens rikeste menn ved å vite hvor to milliarder mennesker sover om natten, hvem de sover sammen med, hva de spiser til frokost og mye, mye mer.

For oss som jobber med personvern, kom det ikke som en overraskelse at selskap som Cambridge Analytica kunne høste data fra Facebook og bruke disse videre uten at de som eide opplysningene kjente til det. Saken er likevel viktig fordi den har vekket opinionen og vist hvilken politisk og økonomisk makt som ligger i å kontrollere enorme datamengder. Saken har illustrert at personvern ikke bare er et mål i seg selv, men også er en forutsetning for et velfungerende demokrati. Vi kan lære tre ting av Facebook-skandalen:

1. Appetitten på data er umettelig. Internettøkonomien, der Facebook bare er en av svært mange aktører, har blitt en overvåkingsøkonomi basert på handel med folks personopplysninger. Samtidig som Facebook-skandalen brast, ble det kjent at dating-appen Grindr delte opplysninger om brukernes HiV status og seksuelle preferanser med andre selskap. Appen brukes av millioner av homofile, lesbiske og transpersoner verden over verden.

At opplysninger om HiV-status har kommersiell verdi, er en dramatisk illustrasjon på hvordan deler av internettøkonomien fungerer. Vinnerne i internettøkonomien er de selskapene som vet mest om oss. Det gjør at alle opplysninger som forteller noe om oss er interessante å samle inn og analysere. Alt fra våre interesser, til vår helsetilstand og personlige sårbarheter. Vi har fått en konkurransesituasjon som oppmuntrer markedsaktørene til å ta i bruk stadig mer personverninngripende virkemidler. Selskap som ikke henger med i datakappløpet risikerer å tape den harde kampen om annonsekronene.

2. Vi kan ikke stole på selskap som drives som svarte bokser. Da Zuckerberg satt fremfor senatorene forrige uke, var det ikke første gang han måtte beklage et personvernovertramp fra Facebook. Det blir helt sikkert heller ikke den siste. Etter at denne saken ble kjent, har andre saker kommet for dagen. Blant annet at innhold i Facebook-brukernes Messenger-meldinger har blitt delt med tredjeparter.

Når vi besøker Facebook, eller en helt alminnelig nettavis, har de fleste av oss ingen aning om hva som foregår i kulissene. Vi kjenner ikke til omfanget av sporing, profilering og kjøp og salg av data. Internettøkonomien preges av informasjonsasymmetri. Markedsaktørene vet svært mye om oss, mens vi på vår side ikke vet hvem som vet og hva de vet. Dette skaper en maktubalanse som gjør oss sårbare for manipulering. Hvis vår profil viser at vi har liten inntekt, interesse for eksklusive merkeklær og en impulsiv personlighet, kan annonsører ønske å påvirke oss til å ta opp forbrukslån vi egentlig ikke har økonomi til. Cambridge Analytica-saken synliggjorde at slike profildata også brukes til målretting av politiske budskap. Facebook brukes i økende grad til dette formålet. Omlag 3 % av deres omsetning kommer fra politisk reklame, viser tall hentet fra artikkelen «The antisocial network» i The Economist. Dette forsterker viktigheten av åpenhet om hvordan våre data blir brukt.

3. Regulering og effektiv håndheving er avgjørende. En svak personvernregulering i USA har gjort det mulig for overvåkingsøkonomien å vokse frem og bli den rådende globale forretningsmodellen. Selv om Zuckerberg ble grillet i Senatet, vil amerikanske myndigheter sannsynligvis godta hans lovnader om bot og bedring og la industrien fortsette å regulere seg selv.

Håpet om å få til endringer i dagens overvåkingsøkonomi ligger i Europa. Om få uker innfører Europa ny personvernlovgivning, en lov som gjelder alle virksomheter som retter tjenester mot Europeiske borgere. Loven stiller strengere krav til åpenhet om hvordan markedsaktørene samler inn og bruker data. Folk skal ha tillit til at deres data ikke brukes til formål de ikke kjenner til. Vi skal ha rett til å si nei til at våre personopplysninger brukes til direkte markedsføring. Hvis loven håndheves strengt, kan det blåse et massivt hull i den skjulte innhøstingen og bruken av data – og forplikte teknologiselskapene til å bygge digitale tjenester basert på en mer bærekraftig forretningsmodell enn i dag.

Skal Facebook gjenvinne tilliten holder det ikke med små justeringer i personverninnstillingene. Mer radikale grep må til. Et positiv konsekvens av Facebook-skandalen er at selskapet nå antyder at europeisk personvernregulering skal være retningsgivende for hvordan de behandler data globalt i konsernet. Hvis dette gjøres, vil det være et skritt i riktig retning for å gjenopprette tilliten hos brukerne. Selv om Facebook er store og mektige, kan de ikke ta for gitt at folk fremover er villig til å dele sine data, hvis de ikke er sikre på at de brukes på en åpen, sikker og god måte.

Kina har vokst frem som et gigantisk laboratorium for eksperimentell databruk. Tre av de ti største internettselskapene i verden er nå kinesiske: Baidu, Alibaba og Tencent, populært kalt BAT. På enkelte områder, for eksempel innen finansiell teknologi og mobile betalingsløsninger, er Kina i førersetet for utvikling av nye og innovative løsninger. Tiden da Kina kun var en etteraper som laget billige kopier av produkter fra vesten, er definitivt over.

Nå vil Kina bli supermakt på kunstig intelligens. Kinesiske myndigheter investerer hundretalls milliarder kroner i utviklingen av kunstig intelligens og målet er å bli verdensledende på dette området innen 2030. Med seg på laget har de BAT-selskapene.

For å utvikle kunstig intelligens er man avhengig tilgang til mye data. Data, som i mange tilfeller er personopplysninger, er drivstoffet som gjør at systemer kan lære og blir intelligente. Her har Kina en stor fordel i kappløpet om å utvikle verdens beste kunstige intelligens.

Med sine 1,4 milliarder innbyggere og omfattende dataregistre, har Kina tilgang til enorme datamengder. I tillegg har landet den fordelen at det er få restriksjoner knyttet til hvordan data kan utnyttes. Myndigheter og kommersielle virksomheter kan derfor utvikle kunstig intelligens uten de samme begrensningene som personvernlovgivningen setter i Europa.

I Europa kan for eksempel myndigheter og selskaper ikke uten videre kan bruke data de har samlet inn fra oss til andre og nye formål vi ikke kjenner til. De må også begrense innsamlingen av opplysninger til det som er strengt nødvendig. Disse prinsippene skal gi oss kontroll over våre egne opplysninger og utviklingen av kunstig intelligens må finne sted innenfor disse rammene.

Takket være enorme databaser med bilder av befolkningen, er Kina verdensledende på utvikling av ansiktsgjenkjenningsteknologi. Kina har installert det mest omfattende kameraovervåkningssystemet i verden. 150 millioner kameraer er utplassert og innen fire år skal 400 millioner nye kameraer monteres opp. I byen Guiyang har kameraovervåkningssystemet samlet inn bilder av alle byens 3,4 millioner innbyggere og koblet dem til den enkeltes ID-nummer, ifølge BBC.

Ansiktsgjenkjenning brukes allerede av banker, restauranter og til og med på offentlige toaletter i Kina for å fastslå folks identitet. Det er likevel politi- og sikkerhetsmyndighetene som er mest ivrige etter å ta i bruk teknologien. Det nasjonale kameraovervåkningssystemet er utrustet med ansiktsgjenkjenningsteknologi, og kan i tillegg fastslå kjønn, alder og etnisitet. BBC-journalist John Sudworth fikk tillatelse til å teste ut systemet i Guiyang. Basert på et bilde av ham som han sendte til politiet i forkant av et besøk i byen, tok det kun syv minutter fra Sudworth gitt ut på gaten i Guiyang, til ansiktsgjenkjenningssystemet hadde lokalisert ham og politiet kunne «anholde» ham. Siste nytt er at politiet har utvidet sitt overvåkningsarsenal med briller med ansiktsgjenkjenningsteknologi. Med disse brillene på kan politiet pågripe suspekte individer enda mer effektivt.

Den kunstig intelligente fremtiden er ikke bare dystopisk. Teknologien vil også løse mange viktige samfunnsoppgaver fremover. Det er derfor avgjørende at Norge og Europa for øvrig ikke blir sinker på dette området. Utviklingen vi ser i Kina berører oss derfor, både som utviklere og brukere av teknologien.

Kunstig intelligens kan selges som programvare på det globale markedet. Google og IBM tilbyr sine kunstig intelligens-løsninger til private og offentlige aktører over hele verden. Om noen år kan den beste kunstige intelligensen i verden være utviklet av et kinesisk selskap. Når denne programvaren tilbys på verdensmarkedet, vil det da være OK for et norsk sykehus eller bank å velge denne? Spørsmålet er om vi fremover må stille etiske krav til den kunstige intelligensen vi tilbys på samme måte som vi stiller etiske krav til hvordan andre forbruksvarer er fremstilt og produsert, som for eksempel matvarer og klær.

For å holde tritt med utviklingen av kunstig intelligens i Kina, kan det bli fristende for europeiske virksomheter å flytte produksjonsmiljøene som jobber med kunstig intelligens dit. Vi har allerede sett de første eksemplene på dette. Det britiske teknologiselskapet Medopad flyttet utviklingen av sin kunstig intelligens-baserte helseapplikasjon til Kina. I Storbritannia hadde de ikke tilgang til store nok datamengder for å kunne trene opp algoritmene sine. Ved å samarbeide med Tencent, Kinas ledende sosiale nettsamfunn, fikk selskapet tilgang til brukerdata i en helt annen målestokk enn hjemme i Storbritannia. Nylig opprettet også Google en kunstig intelligens-avdeling i Kina.

Samtidig som kinesiske myndigheter utvikler og bruker kunstig intelligens på autoritære måter, er det tegn som tyder på at de kinesiske teknologigigantene ser nødvendigheten av å sette personvern på dagsordenen. Teknologiselskapene ønsker å ekspandere vestover på jakt etter mer brukerdata som de kan bruke i utviklingen av kunstig intelligens. Skal de levere tjenester som har tillit i de vestlige markedene, må de bygge løsninger som ivaretar grunnleggende personvernhensyn. Det er imidlertid mer tvilsomt om kinesiske myndigheter vil ta slike hensyn i sitt arbeid med å realisere ambisjonen om å bli verdensledende innen kunstig intelligens.

Verdens mest oppkoblede mann, Chris Dancy, var nylig på norgesbesøk. I over ti år har han vært koblet til internett med mer enn 700 sensorer. Før han koblet seg til nett var han overvektig, deprimert og avhengig av lettbrus, men ved hjelp av sensorer på kroppen og i hjemmet, hevder han å ha forbedret livet sitt på mange områder:

I tillegg til at helsa har blitt bedre, gir sensorene ham oversikt over når på døgnet han er mest produktiv, og under hvilke forhold. Han vet hvor varmt det må være i huset og hvilken luftkvalitet som er best for ham.

Forsikringsselskapene ser nå på hvordan de kan bruke sensorteknologi til å påvirke hvordan vi lever. De kan spare store summer hvis alle gjør som Chris Dancy. Hos Generali Group, et av verdens største forsikringsselskap, får kundene rabatt på helseforsikringen og på helserelaterte produkter, mot å dele data om sitt aktivitetsnivå og sine spisevaner.

Forsikringsselskapet Manulife i Hong Kong, gir nye kunder avslag på Apple Watch mot at de kobler klokken opp mot selskapets helseapp. Jo mer aktive kundene er, jo rimeligere blir forsikringsprisen. Rema 1000 Forsikring var det første norske selskapet som tilbød persontilpasset forsikring. Kunder som bestiller bilforsikring hos Rema 1000, får tilbud om rimeligere forsikring hvis de installerer en brikke som overvåker bilførerens kjøreatferd.

Et dytt i ryggen for å forbedre egen livsstil er vel og bra. Mange vil også mene at det er mest rettferdig at de som kan vise at de lever sunt og kjører forsiktig, betaler minst. En omlegging til persontilpasset forsikring kan imidlertid utfordre personvernet vårt.

Når prisen på forsikringen skal beregnes ut ifra vår unike atferd, vil det føre til at langt flere opplysninger om oss samles inn. Ved å samle inn opplysninger fra sensorer i våre hjem, kropper og biler, kan forsikringsselskapene få et inngående bilde av vår livsstil.

Personvernlovgivningen sier at det kun er lovlig å samle inn opplysninger som er relevante for det formålet de samles inn for. Det kan imidlertid være utfordrende å trekke en grense for hvilke data som er relevante og hvilke som ikke er det, når vår risiko skal fastsettes. I utgangspunktet kan alle opplysninger om vår atferd hevdes å være relevante i en slik sammenheng. Hvor mange skritt vi går hver dag, når vi spiser eller kjører bil, hvor varmt vi har det når vi sover, om vi lar vaskemaskinen gå om natta eller hvor ofte batteriet på mobilen går tomt forteller noe om hvordan vi velger å leve, og dermed også vår tilhørende risiko. Det vil derfor bli viktig for forsikringsselskapene å veie hensynet til å gjøre presise risikovurderinger opp imot hensynet til kundenes personvern. Hvis boksen i bilen registrerer hvor du kjører, og du ikke føler at du kan bevege deg fritt uten å bli overvåket, er det problematisk for din personlige integritet og handlingsfrihet

Kunder som vil ha persontilpasset forsikring må i dag aktivt samtykke til dette. I fremtiden kan vi imidlertid komme i en situasjon der den persontilpassede forsikringen er standarden og de som ikke ønsker å bli sporet, får dyrere forsikring. Individer med lav betalingsevne kan tvinges til å velge produkter som krever sporing. I denne situasjonen taper personvernet, fordi det koster mer penger enn alternativet.

Persontilpasset forsikring kan også forsterke forskjellene mellom oss. Når vi ved hjelp av ulike former for sensorteknologi kan justere livsstilen vår slik at den hele tiden er best mulig, vil vi da akseptere kollektive ordninger der vi deler risiko med folk som ikke tar tilsvarende grep om eget liv?

Vi kan gå fra en ordning basert på risikodeling til en standardmodell for individuell oppførsel som vi blir målt opp imot. Forsikringsselskaper vil konkurrere om de kundene som kan demonstrere en livsstil i tråd med denne modellen. Den enkelte vil bli tillagt større ansvar for egen skjebne og det vil bli mindre aksept for at livet også inneholder elementer av uflaks og tilfeldigheter. De som faktisk har høyere risiko, må betale dyrere forsikring. Dagens forsikringsordning som et kollektiv prosjekt, står under press. Hvis utviklingen går i denne retningen, vil det kanskje være en bedre løsning for folk som må betale skyhøye forsikringspremier, å sette penger på sparekonto og bli selvassurandør.

Persontilpasset forsikring er fremtiden. Men forsikringsselskapene må gi reelle alternativer til kunder som ikke ønsker sensorer inn i hjem og kropp. Datatilsynet gjennomførte en spørreundersøkelse om persontilpasset forsikring i 2017. Der svarte 72 prosent at de ikke ønsker at forsikringsselskapet tar en aktiv rolle i å forbedre livsstilen deres. På spørsmål om folk ønsker at prisen på livs- eller uføreforsikringen blir beregnet etter helserelaterte sensordata, svarte kun 17 prosent at de var positive til dette. Selv om forsikringsbransjen beveger seg i retning av nye forsikringsmodeller, tyder i alle fall denne undersøkelsen på at folk foreløpig er skeptiske.

I rettssaler verden over står statuen av en kvinne med bind for øynene og en vekt og et sverd i hendene: «Justicia», rettferdigheten personifisert. Bindet over øynene symboliserer prinsippet om at rettferdigheten skal være blind. Loven skal anvendes uten hensyn til annet enn det som, i rettferdighetens navn, taler for og imot.

Forskere ved Ben-Gurion-universitetet i Israel gjennomgikk i 2011 domsavgjørelsene til israelske dommere som behandlet permisjonssøknader til fengselsinnsatte. Etter å ha studert 1000 domsavgjørelser, oppdaget de at det som i størst grad avgjorde hvorvidt dommerne innvilget permisjonssøknaden eller ikke, var hvor lang tid det var siden de hadde spist lunsj. Jo lenger unna spisepausen, desto mindre sannsynlig var det at dommeren innvilget permisjon. Funnet er kanskje ikke så oppsiktsvekkende. Mennesket kan ikke fri seg fra alle sine svakheter. Vi er ikke maskiner.

I dag overlater vi flere og flere avgjørelser til maskiner. Innsamling og analyse av enorme datamengder gjør det mulig å utvikle automatiserte beslutningssystemer basert på kunstig intelligens. Slike systemer kan avgjøre om vi får lån til å kjøpe nytt hus, hvilke trygdeytelser vi har krav på og hvor sannsynlig det er at vi har snytt på skatten. Automatisering av avgjørelser vil spare private og offentlige virksomheter for enorme summer.

Spørsmålet er om maskinene vil ta bedre avgjørelser enn mennesker. Det er uten tvil mulig å bygge algoritmer som overgår mennesket i å ta beslutninger. Likevel er det svært viktig å være bevisst at heller ikke algoritmer kan fri seg fra menneskets svakheter. Algoritmer er ikke mer objektive enn menneskene som lager dem. Våre fordommer kan overføres til maskinene.

Nylig avdekket en gruppe forskere ved University of Virginia at et bildegjenkjenningsprogram de var i ferd med å utvikle, automatisk koblet bilder av kjøkken med kvinner og ikke med menn. Dette hadde sammenheng med at bildedatabasen som algoritmen lærte fra, inneholdt flere bilder der kvinner var avbildet på et kjøkken enn slike bilder med menn. Menn var i større grad enn kvinner avbildet med gevær og sportsutstyr. Denne skjevheten i datamaterialet fikk konsekvenser for algoritmens læring til algoritmen. Bildegjenkjenningsalgortimen kjente ikke bare igjen mønsteret, den bidro til å forsterkeskjevhetene som lå i databasen. Den kategoriserte automatisk alle personer som var avbildet på kjøkken som kvinner, selv når de var menn.

Slike skjevheter kan få alvorlige konsekvenser hvis de forekommer i automatiserte beslutningssystemer. I USA har de utviklet et automatisert system for utmåling av straff og kausjonsbetingelser. Systemet brukes til å forutsi risikoen for at domfelte vil begå ny kriminalitet. Det amerikanske tidsskriftet ProPublica har sett nærmere på avgjørelsene systemet har fattet og konkluderte med at det diskriminerer afroamerikanere. Antallet afroamerikanere som feilaktig blir flagget med høyrisiko for å begå nye lovbrudd, er dobbelt så høyt som for hvite. Selskapet som har utviklet systemet, er uenig i ProPublicas konklusjon. Det ønsker imidlertid ikke å gi innsyn i hvilke kriterier og beregninger som inngår i algoritmen. Det er derfor ikke mulig hverken for de domfelte eller offentligheten å få klarhet i hvorfor avgjørelsene blir som de blir.

Når vi overlater stadige mer til maskinene, er det viktig å spørre seg hvordan vi skal ivareta tilliten til beslutningene som fattes. En utfordring ved mange av systemene som utvikles i dag, er at de er så komplekse at mennesker ikke kan forklare hvordan de kom frem til resultatet. Hvis de som eier systemet, ikke kan forklare hvordan det virker, hvordan skal vi da ha tillit til at avgjørelsene er rettferdige?

Neste år får vi nytt personvernregelverk. Dette regelverket har bestemmelser som kan bidra til å øke bevisstheten rundt hvordan algoritmestyrte beslutningssystemer må lages for å fungere mest mulig etterrettelig og rettferdig. For eksempel individets rett til forklaring og til å motsette seg automatiserte avgjørelser. Fra mai 2018 må virksomheter som benytter komplekse datasystemer, kunne forklare på en brukervennlig måte hvordan algoritmen kom frem til beslutningen.

De nye forpliktelsene i personvernforordningen inspirerer allerede forskningsmiljøer verden over til å utvikle mer åpen og gjennomsiktig kunstig intelligens. Dette er viktig forskning. Blind tiltro til algoritmene og beslutningene de fatter, kan i verste fall forsterke ulikheter og true rettssikkerheten.