OpenAI planlegger å kjøpe opp AI-sikkerhetsplattformen Promptfoo i et trekk som skal styrke sikkerheten rundt såkalte autonome AI-agenter. Oppkjøpet skjer samtidig som stadig flere virksomheter tar i bruk AI-systemer som kan utføre oppgaver selvstendig.
OpenAI har kunngjort planer om å kjøpe opp teknologiselskapet Promptfoo, en oppstart som utvikler verktøy for å teste sikkerheten i kunstig intelligens. Hensikten med oppkjøpet er å styrke sikkerhetstesting og evaluering av såkalt «agentisk AI» – systemer der kunstig intelligens ikke bare svarer på spørsmål, men også kan utføre oppgaver og ta beslutninger på egen hånd.
Ifølge nettstedet PYMNTS skal teknologien fra Promptfoo integreres i OpenAI-plattformen Frontier, som brukes til å utvikle og drifte AI-baserte digitale assistenter og automatiserte arbeidsprosesser i virksomheter.
De økonomiske detaljene i oppkjøpet er ikke offentliggjort.
Økende fokus på sikkerhet i AI-systemer
Bakgrunnen for oppkjøpet er den raske fremveksten av mer avanserte AI-systemer som kan handle selvstendig i digitale miljøer. Slike systemer – ofte omtalt som AI-agenter – kan utføre oppgaver som analyse, kundedialog, programvareutvikling eller administrative prosesser uten direkte menneskelig styring.
Denne utviklingen skaper nye muligheter for produktivitet, men også nye sikkerhetsutfordringer. Autonome AI-systemer kan få tilgang til sensitive data, interne systemer og komplekse arbeidsprosesser, noe som øker behovet for testing, overvåkning og kontrollmekanismer før teknologien tas i bruk i stor skala.
Promptfoo har utviklet verktøy som kan identifisere sårbarheter i AI-systemer, blant annet gjennom såkalt «red-teaming», der man simulerer angrep for å avdekke svakheter i modellen eller i måten den brukes på.
Testverktøy brukt av store selskaper
Sikkerhetsplattformen til Promptfoo brukes allerede av en rekke selskaper som utvikler eller implementerer AI-baserte tjenester. Verktøyene gjør det mulig å teste hvordan språkmodeller og AI-agenter reagerer på ulike typer input og potensielle angrep, som for eksempel forsøk på å manipulere modellen gjennom såkalt «prompt injection» eller andre former for uautorisert tilgang til data.
Slike tester er blitt stadig viktigere etter hvert som AI-systemer tas i bruk i mer kritiske sammenhenger, blant annet i finans, helse og offentlig sektor.
Ifølge tilgjengelige bransjedata har teknologien til Promptfoo vært brukt av en betydelig andel av store internasjonale selskaper til å teste AI-applikasjoner før de tas i drift.
Integreres i OpenAIs plattform for AI-agenter
Når oppkjøpet gjennomføres, skal teknologien fra Promptfoo integreres i OpenAI Frontier, en plattform for utvikling av AI-baserte arbeidsassistenter. Disse systemene kan planlegge oppgaver, utføre handlinger i programvare og samarbeide med mennesker i arbeidsprosesser.
Ved å integrere sikkerhetstesting direkte i utviklingsmiljøet ønsker OpenAI å gjøre det enklere for virksomheter å oppdage og håndtere risiko før AI-systemer tas i bruk i produksjon.
Samtidig har selskapet opplyst at Promptfoo vil fortsette å eksistere som et åpent kildekodeprosjekt, og at eksisterende kunder fortsatt skal få støtte.