Nyheter

Les siste nytt fra Proactima her.

Stikkord: Kunstig intelligens

EUs kommende regelverk for KI – hva betyr det for risikostyringen til din virksomhet?

Som del av SIITS-prosjektet leder Proactima en casestudie for å identifisere de praktiske konsekvensene av EUs kommende regelverk for utvikling og risikostyring av systemer med KI. Casestudien tar utgangspunkt i Disruptive Engineerings løsning for registrering og analyse av veitrafikk.

Det foregår en rivende teknologisk utvikling innenfor området Kunstig intelligens (KI) som kan ha store sosiale og økonomiske nytteverdier for samfunnet, blant annet innen klima, helse, offentlig forvaltning og infrastruktur og transport. Imidlertid er det også knyttet en stor grad av nye former for risiko til KI, som kan skape negative konsekvenser for både enkeltindivider og samfunn.

– KI kan bidra med mange nye spennende løsninger, men for oss som jobber med risikohåndtering er det viktig å ha kunnskap om hvilke nye former for risiko vi må adressere og håndtere, sier Rune Winther, leder for Utvikling og Innovasjon i Proactima.

Dette er forhold som EU også har jobbet mye med den senere tiden. EU-kommisjonen la i april 2021 fram forslag til et risikobasert regelverk for kunstig intelligens (KI). Kommisjonen tar sikte på å adressere de risikoene som oppstår ved bruk av kunstig intelligens. Målsetningen er å utvikle et rammeverk slik at KI-utviklere og brukere har et godt fundament for hvordan de kan benytte og implementere KI på en trygg, sikker og samfunnsnyttig måte.

Dette er også et viktig område i SIITS-prosjektet, hvor Proactima leder et bredt konsortium av selskaper som med støtte fra Norges Forskningsråd fokuserer på sårbarheter i fremtidens integrerte intelligente transportsystemer (se mer informasjon www.siits.no).

– Vi skal gjennomføre en case studie for å identifisere og evaluere de praktiske konsekvensene av regelverket for utvikling og risikostyring av systemer med KI-komponenter EU nå har på høring, og bl.a. identifisere hvilke konkrete føringer regelverket legger for det risikostyringsrammeverket vi jobber med i SIITS, forteller Winther.

– Det er viktig for å sjekke ut at vår måte å jobbe på, og tilretteleggelsen for fremtidens transportsystemer i Norge, er i tråd med det nye regulativet.

Case studien er en aktivitet som ledes av Rune Winther i Proactima, med støtte fra en rekke partnere i SIITS-prosjektet. Det konkrete caset hentes fra Disruptive Engineering, et selskap som er partner i SIITS, og som har spesialisert seg på sanntids datainnsamling og modellering av trafikk- og kjøretøyinformasjon ved hjelp av sensorer i veibanen.

Risikobasert tilnærming

– Det foreslåtte rammeverket for KI bygger på en risikobasert tilnærming, med inndeling i tre ulike risikonivåer ved bruk av KI: uakseptabel risiko (ikke lov å benytte KI), høy risiko (krav til risikostyring), og lav /minimal risiko (få formelle krav), forteller Winther.

– Det vi gjør i denne case studien er å anvende det foreslåtte regelverket på et system som benytter KI, og som har potensielle bruksområder av betydning for sikkerhet i veitrafikk. Regelverkets definisjoner av KI og «high-risk» vil være avgjørende, og det er av interesse å evaluere hvordan dette slår ut i forskjellige situasjoner. I mange tilfeller vil man kunne løse en oppgave både med og uten bruk av KI, og det kan bli et spørsmål om bruken av KI er verdt den ekstra innsatsen dette nye regelverket krever, sier Winther.

Det er derfor viktig at alle som tar i bruk KI som kan bli klassifisert som «high-risk» er klar over hva regelverket betyr for sine systemer, og for SIITS-prosjektet er det viktig at det rammeverket vi utvikler gir den praktiske støtten disse aktørene trenger, understreker han.

KI høres i utgangspunktet forlokkende ut. Men det er åpenbart noen utfordringer knyttet til bruken som må adressers og som blant annet EU nå har satt på agendaen. Hvilke utfordringer ser du?

-Det foreslåtte regelverket legger den formelle rammen og beskriver hvilke situasjoner vi må tilpasse risikostyringen til, men det sier ikke noe om hvordan. Det er en utfordring, understreker Winther.

Det nevrale nettet i KI

– Å forstå hvordan KI fungerer er også et annet viktig tema. Statistiske metoder er relativt enkle å forstå, men har sine begrensinger. KI, i form av nevrale nett, fungerer ofte mye bedre, men er langt på vei en «black box» vi ikke helt kan vite hvordan fungerer. Vi kan se at det fungerer når vi tester det, men manglende transparens bryter med grunnleggende prinsipper for risikostyring som bygger på at vi vet hva som foregår, sier Rune Winther.

– Dilemmaet er at hvis vi skal utnytte det største potensialet i KI, gir vi langt på vei fra oss muligheten til å forstå. Dette er åpenbart utfordrende, sier Winther. – MEN, det betyr ikke at vi skal unnlate å bruke KI. Tvert imot, vi skal utnytte det potensialet KI gir så mye som mulig, samtidig som vi gjør det på en sikker og forsvarlig måte, understreker han. – Det er også hensikten med EUs regulering; utnytte potensialet og mulighetene – utvide grensene, men samtidig ha kontroll gjennom risikostyring, avslutter Rune Winther.

Casestudien er forventet ferdigstilt innen utgangen av 2022. Resultatene vil bli oppsummert knyttet til det rammeverket for risikostyring som utarbeides i SIITS, men også identifisere relevante anbefalinger for aktører som utvikler KI-baserte løsninger.