Anthropic varnar för existentiella hot – visar miljardförluster och snabb tillväxt

AI-bolaget som leds av Dario Amodei, värt nära 1 000 miljarder dollar, ägnade nästan en tredjedel av sin omfattande S1-ansökan åt att detaljerat beskriva ”riskfaktorer”. Bland dessa nämns potentialen hos alltmer avancerade AI-modeller att manipulera, utpressa och uppvisa andra oförutsägbara beteenden, rapporterar Financial Times.

Anthropic redogjorde också för mer ”vardagliga” risker, däribland en extrem koncentration av kundbasen – där nästan en fjärdedel av intäkterna under det senaste året kom från bara två kunder, enligt personer med insyn i prospektet.

Claude-skaparen uppgav vidare att de planerar att spendera 518 miljarder dollar på molntjänster, beräkningskapacitet och infrastrukturskulder under de kommande åren för att stödja sin snabba tillväxt.

Anthropic hoppas nå en värdering på över 2 000 miljarder dollar vid börsnoteringen, som väntas ske senare i höst. Det är mer än dubbelt så mycket som vid den senaste finansieringsrundan i maj och överstiger de 1 780 miljarder dollar som Elon Musks Space X nådde i juni.

AI-hotet

AI-bolagens varningar hotar samtidigt att dämpa optimismen efter att nuvarande och före detta Anthropic-anställda gått ut med offentliga varningar om att skenande AI kan utplåna mänskligheten inom ett decennium.

Anthropics vd Dario Amodei talade till FN:s säkerhetsråd förra veckan och sade att AI kan hota mänskligheten och utgör ”det viktigaste globala säkerhetsproblemet i världen idag”.

Anthropic-chefen har den senaste månaden varit ute och krävt att bolagen ska ”anpassa tempot” (pacing the frontier, reds anm.) i AI-utvecklingen.

Open AI:s Sam Altman och Tesla- och X-ägaren Elon Musk har ställt sig bakom Dario Amodeis förslag.

AI-topparnas önskan om statlig reglering har dock fått kritik. Hårdare reglering riskerar att cementera dagens vinnare (bolagen i fråga), förhindra ny konkurrens och göra det svårare för utmanare att växa.

Förlustbringande verksamhet

I prospektet framgår det vidare att Anthropic gjorde en rörelseförlust på mer än 8 miljarder dollar förra året i takt med att bolaget skruvat upp utgifterna för beräkningskapacitet.

Intäkterna ökade samtidigt tolvfaldigt till nästan 4,6 miljarder dollar förra året. Men de stigande kostnaderna för beräkningsresurser för att träna och köra modellerna drev upp rörelsekostnaderna till nästan 13 miljarder dollar, enligt FT.

Anthropics utgifter och intäkter har båda ökat kraftigt i år. Intäkterna under det andra kvartalet i år var 11,5 miljarder dollar, och bolaget är på väg mot sitt andra raka kvartal med rörelsevinst (på justerad basis).