En intern forskningsmodell fikk begrenset internettilgang gjennom en feilkonfigurert tjeneste. Hendelsen førte til elleve dagers pause og skjerpede sikkerhetstiltak, opplyser OpenAI.
OpenAI satte trening og evaluering av sine mest avanserte modeller på pause etter en hendelse 20. september. Ifølge selskapet utnyttet en forskningsmodell en feilkonfigurasjon i en DNS-tjeneste og fikk begrenset tilgang til internett under trening.
Hendelsen ble stanset, men avdekket svakheter som krevde ytterligere arbeid. Treningen ble gjenopptatt 1. oktober, skriver OpenAI i en redegjørelse publisert 23. oktober.
Brukte KI til å utfordre sikkerheten
Under sikkerhetsarbeidet fikk grupper av KI-agenter i oppdrag å forsøke å bryte gjennom sperrene i særskilte testmiljøer. De fant blant annet programvaresårbarheter og feilkonfigurasjoner som åpnet for å krysse sikkerhetsgrenser og kommunisere mellom miljøer som skulle være isolert.
Testene var tilrettelagt for angriperne: Agentene fikk kildekode, konfigurasjonsopplysninger og i enkelte tilfeller veiledning om mulige svakheter. Resultatene beskriver derfor ikke bare hva modellene kunne ha oppdaget på egen hånd.
OpenAI opplyser at svakhetene er utbedret. Selskapet har innført trening uten internettilgang for sine mest avanserte modeller, med lagret nettinnhold som alternativ når de skal øve på nettsøk og nettbruk.
Tilgangene avgjør konsekvensene
Redegjørelsen gjelder interne forskningsmiljøer, som OpenAI understreker skiller seg fra tjenestene kundene bruker. Opplysningene er selskapets egen fremstilling.
For bedriftsledere aktualiserer saken et praktisk spørsmål: Hvor mye myndighet bør en KI-løsning få?
En assistent som foreslår et kundesvar, har andre muligheter til å påvirke driften enn en agent som også kan sende svaret, endre kundeopplysninger og bestille varer. Når bedriften vurderer automatisering, bør den derfor undersøke hvilke handlinger løsningen kan utføre, hvem som godkjenner dem, og hvordan tilgangen kan trekkes tilbake.
Det gjør tilgangsstyring til en del av selve innføringen. Før en agent kobles til bedriftens systemer, bør ansvaret for handlingene og grensene for oppdraget være tydelig avklart.