Open AI överväger bromsa AI-kapplöpningen

Open AI:s vd Sam Altman ska under ett möte i veckan ha sagt att företaget kan sakta ned utvecklingen och att han hoppas att andra AI-bolag ska göra samma sak.

Alla inom företaget ska inte vara positiva till idén, skriver nyhetsbyrån.

De senaste veckorna har anställda inom ledande AI-bolag uttryckt sig offentligt om riskerna med den snabba utvecklingen. Open AI:s Jakub Pachocki, som beskrivs som företagets främsta forskare, skrev nyligen ett inlägg där han varnar för farorna med AI.

I tisdags sade också AI-forskaren Jacob Coxon upp sig och anklagade sina före detta arbetsgivare, Open AI och Anthropic, för att "gambla med våra liv" genom AI-kapplöpningen, något som fick stor uppmärksamhet.

Både Open AI och konkurrenten Anthropic har ansökt om att börsnoteras.

Anthropic uppgav att bolaget i år har stoppat flera försök från forskare att använda dess teknik för forskning som skulle kunna bidra till utvecklingen av biologiska vapen, samtidigt som experter blir allt mer oroade över det hot som AI utgör mot den allmänna säkerheten, skriver Financial Times.

AI användes i försök att kringgå säkerheten

AI-bolaget gav fem exempel på tillfällen då aktörer ”kringgick kontroller” och gjorde andra försök att ”dölja” syftet med sin forskning för att undvika säkerhetsåtgärderna. Fallen omfattade vissa användare i länder som bolaget förbjuder åtkomst till dess modeller, däribland Ryssland, Kina och Iran.

”Vi hoppas att vi genom att dela dessa exempel kan starta en diskussion inom AI-industrin och med regeringar om framväxande biologiska risker och hur de bäst kan motverkas”, sade Anthropic i en rapport om försöken att använda företagets modeller för skadlig verksamhet.

De fallstudier av potentiellt missbruk inom biologin som företaget presenterade omfattade en forskare från en ”region som inte stöds”, som ”ägnade veckor åt att planera” experiment med fågelinfluensa med hjälp av Claude, Anthropics AI-modell.

Företaget uppgav att dess säkerhetsfilter begränsade arbetet till de minst kraftfulla modellerna.