Hva skjuler seg i den svarte boksen? Det har lenge vært det store spørsmålet, og en av de største utfordringene, knyttet til kunstig intelligens. Black box-problematikk, kalles det. Det går kort fortalt ut på at når kunstig intelligens gir oss et svar, er det fundert i komplekse operasjoner. Så komplekse at de er svært vanskelige å forklare. Vi vet ofte ikke hvorfor en maskinlæringsmodell opptrer som den gjør. Og i de tilfellene vi vet det, kan det være svært utfordrende å forklare det på en forståelig måte. Den svarte boksen blir i tillegg enda mørkere med dyp læring og nevrale nettverk.
Les Datatilsynets rapport om kunstig intelligens og personvern.
Det betyr ikke at utfallet ikke er riktig. Tvert imot er et viktig argument for å ta i bruk slik teknologi, at vi kan finne sammenhenger og ta avgjørelser som er riktigere enn tidligere. Vi kan stå på skuldrene til datakjemper og ideelt sett motvirke forskjellsbehandling og diskriminering.
Svart boks, mørkt for personvernet
Like fullt, svart boks-problematikk er åpenbart svært utfordrende for personvernet. Å forklare hvordan personopplysninger brukes, er et sentralt prinsipp og en forutsetning for å avdekke og korrigere feil og motvirke diskriminering. Kan vi da leve med at kunstig intelligens får en sentral rolle i prosesser og avgjørelser, som er viktige for oss og livet vårt, uten at vi får en forklaring på hvorfor resultatet ble som det ble? Neppe. Samtidig kan det argumenteres for at informasjon om en modells virkemåte kan avsløre forretningshemmeligheter, noe som også vil være problematisk. Så om vi klarer å åpne den svarte boksen, hvor mye av innholdet i den skal og bør løftes ut i lyset? Hvem er det som trenger å forstå? Og hvor godt må vi forstå det?
Mengdetrening i vurdering
Datatilsynets KI-sandkasse er til nettopp for å få mengdetrening i slike vurderinger. Det første prosjektet som kommer ut av sandkassa etter et halvår med juridiske, teknologiske og tidvis filosofiske vurderinger, er fra NAV. De vil bruke KI for å predikere den videre lengden på sykefraværet, når sykmeldingen har passert fire måneder. NAVs modell er et beslutningsstøttesystem. Det betyr at modellen ikke automatisk avgjør hvem som trenger oppfølging og ikke, men at NAV-veilederne som møter den sykmeldte får en anbefaling fra modellen. Selve avgjørelsen tas altså av et menneske. Men maskinen har kommet med en prediksjon om hvor lenge vedkommende vil være sykmeldt, basert på historiske data. En slik anbefaling fra en maskinlæringsmodell vil nok fort oppleves som vanskelig å overprøve.
Kunsten å designe passe intelligent KI
På den annen side er jo hele poenget med å innføre et slikt system, at anbefalingene skal være så gode at de reduserer de tilfeldige variasjonene blant veilederne og fører til mer enhetlig praksis, i tillegg til å redusere kostnader. Siktemålet er med andre ord at veilederne ikke skal lene seg for mye eller for lite på anbefalingen, men at bakgrunnen for avgjørelsen skal være trygg.
Heldigvis er det ikke nødvendigvis like bekmørkt inne i alle de svarte boksene. NAV-modellens prediksjon kommer med en forklaring av hvilke data som har påvirket utfallet i den ene og andre retningen. Og i tillegg vet man jo hvilke data modellen har blitt foret med.
At veilederne får god opplæring og instrukser i hvordan algoritmen fungerer og skal brukes, samt en meningsfull forklaring i enkelttilfeller, er viktig for å redusere risikoen for en «snikautomatisering». Det vil også forhindre at modellens prediksjon ikke tas med i vurderingen i det hele tatt. Jo bedre veilederne forstår modellens oppbygning, virkemåte og oppførsel, jo enklere vil det være for en veileder å vurdere prediksjonen på et selvstendig og trygt grunnlag. Uavhengig av om den endelige avgjørelsen blir å følge prediksjonens anbefaling eller ikke.