Da 14 KI-modeller ble bedt om å gi sitt mest kontroversielle syn på mennesker, gikk ett tema igjen: Vi prioriterer gruppetilhørighet fremfor sannhet. Men testen viser også hvor viktig spørsmålsstillingen og tolkningen av svarene er.
Sammenligningstjenesten ModelCompare står bak eksperimentet, som er omtalt av Cybernews. Ifølge omtalen kom modeller fra ti laboratorier i tre land med lignende beskrivelser av menneskelig atferd. Ni av de 14 modellene gjentok det samme hovedtemaet i alle forsøkene.
Svarene handlet blant annet om at mennesker forsvarer gruppens oppfatninger, søker sosial anerkjennelse og begrunner standpunktene sine i etterkant.
Ba uttrykkelig om kontroversielle svar
ModelCompare ba modellene gi et ærlig og kontroversielt syn på mennesker uten forbehold. Hver modell fikk tre forsøk, og arrangøren grupperte deretter svarene manuelt. I den største kategorien samlet tjenesten utsagn om at mennesker setter tilhørighet, status eller sin egen fortelling foran sannhet og prinsipper. Dermed omfatter kategorien flere beslektede påstander, snarere enn ett identisk svar.
Spørsmålsstillingen er en viktig begrensning ved testen. En uttrykkelig oppfordring om å være kontroversiell gir et annet utgangspunkt enn et åpent spørsmål om menneskelig atferd. Resultatene må derfor leses som svar på en bestemt instruksjon.
En modell ga et mer positivt bilde
Ikke alle svarene fulgte hovedmønsteret. I ett forsøk beskrev Claude Opus mennesker som mer anstendige enn de selv tror, og fremhevet at kynisme om andre kan være skadelig. Grok avviste ved én anledning å gi et kontroversielt syn på mennesker.
Unntakene viser at svarene også kunne variere mellom forsøk med samme modell.
Viser til lignende treningsmateriale
ModelCompare trekker frem at modellene er trent på mye av det samme tekstmaterialet som en mulig forklaring på likhetene i svarene. Tjenesten mener dette også kan påvirke variasjonen i forslagene man får når flere KI-modeller brukes til idéarbeid.
Eksperimentet omfattet tre svar fra hver av de 14 tekstmodellene. Svarene ble gruppert manuelt av ModelCompare etter hvilke temaer de tok opp.