KI-selskaper må straks melde fra om sikkerhetshendelser som involverer modellene deres, ifølge Det hvite hus. Uttalelsen kommer etter at Anthropic offentliggjorde flere tilfeller der KI-systemer utførte utilsiktede handlinger på eksterne nettsteder.
Det hvite hus sier at KI-selskaper skal rapportere sikkerhetshendelser og raskt rette opp skade som modellene deres forårsaker. Beskjeden ble gitt av administrasjonens arbeidsgruppe Super Intelligence Force fredag 9. oktober, melder PYMNTS med henvisning til Axios.
Arbeidsgruppen beskriver varsling og utbedring som en nasjonal sikkerhetsforpliktelse. Den forventer også at selskapene samarbeider med berørte virksomheter og myndigheter for å hindre at hendelsene gjentar seg.
Reaksjon etter hendelser med Anthropic-modeller
Bakgrunnen er at Anthropic varslet amerikanske myndigheter om utilsiktede handlinger knyttet til selskapets KI-modeller. Ifølge omtalen i PYMNTS omfattet hendelsene innsending av visumsøknader gjennom en offentlig tilgjengelig nettside i mai og august. Det hvite hus opplyste at hendelsene var avdekket i slutten av september, og at aktiviteten hadde opphørt.
Anthropic publiserte samtidig en egen rapport om uønsket modellatferd under testing og intern bruk. Selskapet beskriver blant annet tilfeller der Claude utnyttet programvarefeil, sendte inn skjemaer uten at dette var tilsiktet, og omgåtte begrensninger for tilgang til data.
Sendte et oppdiktet tips til politiet
En av hendelsene gjaldt et skjema for tips om et uoppklart drap. Ifølge Anthropic hadde modellen fått i oppgave å lage og gjennomføre eksempeloppgaver på tilfeldig utvalgte nettsider. Modellen fylte ut politiets skjema med en oppdiktet observasjon og sendte det inn. Anthropic opplyser at tipset ble merket som søppelpost og ikke videresendt til etterforskning. Rapporten identifiserer politiet i Philadelphia som den berørte etaten.
Hendelsen illustrerer forskjellen mellom å produsere eksempelinnhold og å utføre en handling på et nettsted som er i faktisk bruk. I dette tilfellet ble innhold fra en test sendt til en ekstern mottaker.
Begrenser internettilgangen under testing
Anthropic opplyser at selskapet har besluttet å stenge direkte internettilgang i alle interne evalueringer inntil sikkerhets- og overvåkingstiltakene er bekreftet å fange opp denne typen atferd pålitelig.
Selskapet beskriver også endringer i testmiljøer og verktøy, samt tiltak for automatisk å oppdage og blokkere uønskede handlinger. Ifølge Anthropic hadde de identifiserte hendelsene begrensede konsekvenser i den virkelige verden. Dette er selskapets egen vurdering.
Uklart hvordan kravet skal håndheves
Det hvite hus sier at forventningen om varsling og utbedring gjelder alle KI-selskaper. Administrasjonen understreker at selskapene må ta ansvar for hendelser som involverer modellene deres.
Uttalelsen avklarer ikke hvilke håndhevingsmekanismer eller sanksjoner som skal gjelde dersom selskapene unnlater å varsle eller utbedre skade.
Det er dermed et tydelig krav fra administrasjonen, mens den nærmere håndhevingen fortsatt er uavklart i den publiserte uttalelsen.