Därför sprider sig oron i techvärlden

NEW YORK. Det är gångavstånd från SAP Center, hockeylaget Sharks hemmaarena, till San Jose State University. Universitetets 40 000 studenter gör det till en av de största leverantörerna av techtalanger till Nvidia, Google, Meta, Intel och andra närliggande Silicon Valley-bolag.

Här finns professor Ahmed Banafa, en återkommande röst i debatten om AI och tech.

– Jag är inte så förvånad över Dario Amodeis uppmaning att dämpa takten i AI-utvecklingen. Det som sticker ut är att varningarna nu kommer från de personer som själva ansvarar för utvecklingen. Det visar att debatten har flyttat från AI-branschens utsida till insida.

Banafa säger att han har noterat en märkbar förändring i samtalen om AI på senare tid.

– Tidigare kretsade mycket av diskussionerna kring vad AI kan göra: större modeller, bättre prestanda, mer beräkningskraft, mer investeringar och nya tillämpningar. Den dominerande frågan var: hur kraftfulla kan vi göra dem?

I dag ställs, enligt Banafa, allt oftare en annan fråga.

– Hur mycket befogenhet bör vi ge AI-agenterna. Det är en betydligt viktigare fråga, anser han.

Hur oroad är du?

– Jag är fortfarande starkt optimistisk när det gäller artificiell intelligens. Men att vara optimistisk kring AI betyder inte att man ska förhålla sig lättvindigt till riskerna. Tvärtom. Ju kraftfullare vi tror att tekniken kommer att bli, desto större allvar bör vi lägga vid ansvaret för att utveckla den på rätt sätt.

En rad oroande händelser

Den senaste tidens händelser har skakat om många.

Det väckte stor uppmärksamhet när AI-bolaget Anthropics vd Dario Amodei i ett inlägg på bolagets webbsida skrev att AI-utvecklingen måste bromsas. Han varnade för att modellerna nu utvecklas så snabbt att människans förmåga att förstå och kontrollera dem riskerar att hamna efter.

Strax innan hade AI-forskaren Jacob Coxon sagt upp sig från Anthropic. I inlägg på X, som blev virala, anklagade han Anthropic och OpenAI för att ignorera riskerna med tekniken.

OpenAI har tidigare i år drabbats av flera säkerhetsincidenter.

I juli tog sig AI-agenter ut ur sin testmiljö och angrep plattformen Hugging Face. De tog kontroll över servrar och försökte dölja sina spår. OpenAI upptäckte, enligt Reuters, inte intrånget förrän efter flera dagar.

I maj tog en grupp OpenAI-agenter kontroll över en tysk webbsida för programmerare och använde den som anslagstavla för att kommunicera med varandra. Där publicerade agenterna instruktioner om hur begränsningar kunde kringgås och hur deras aktivitet kunde döljas. Incidenten upptäcktes först flera månader senare, och när innehållet först togs bort skapade agenterna nya sidor.

Varningarna och kritiken gäller inte dagens konsumenttjänster som ChatGPT, Claude eller andra chattbotar. Det handlar om framtida, mycket mer självständiga AI-modeller och agenter som kan utföra långa kedjor av uppgifter, använda digitala verktyg, agera på nätet och i viss mån hjälpa till att utveckla ny AI. Farhågan är att deras kapacitet kan växa snabbare än samhällets förmåga att förstå, kontrollera och sätta gränser för dem.

Utvecklare och programmerare är splittrade

På plattformen Blind, där du måste bekräfta din anställning på ett AI-bolag för att delta har diskussionerna blivit allt intensivare.

“Det som skrämmer är att ju bättre AI blir, desto snabbare går också AI-utvecklingen framåt” skriver en användare.

En mjukvaruutvecklare skriver:

“Jag vet hur jag ska tänka kring AI längre. Jag och mina medarbetare pratar om både risken att våra jobb ersätts av AI och risken att AI tar över världen.”

En annan användare som arbetar för Microsoft skriver:

“Jag har absolut ingenting att basera det här på, men jag har en hemsk känsla av att något har gått fel med AI, något som det inte var meningen skulle hända.”

Användarna på Blind är dock ganska oense om Dario Amodeis önskan om striktare kontroll och regler grundar sig i säkerhet eller snarare eget intresse.

Vissa tror att det främst handlar om oro för att utvecklingen går för snabbt. Andra misstänker att Anthropic vill bromsa konkurrenterna, och i praktiken bilda en kartell. De senare pekar på att hårdare regler skulle slå hårdast mot mindre AI-bolag.

Bedömningar skiljer sig åt

Svensk-amerikanska handelskammaren (SACC) i Silicon Valley har sin fasta punkt i kontorshotellet Shack 15 som ligger på övre våningen i The Ferry Building i San Francisco. Det är känt som en knutpunkt för techentreprenörer.

Mats Andersson har lett SACC:s verksamhet sedan början av pandemin. Han säger att riskerna med AI är en fråga som diskuteras väldigt mycket i hans kretsar, men vill inte koppla det direkt till någon enskild händelse.

– Även personer med djup kunskap om tekniken gör väldigt olika bedömningar av riskerna och hur nära de ligger i tiden. Jag tycker att det är viktigt att kunna diskutera dem öppet, utan att vare sig avfärda oron eller behandla de värsta scenarierna som givna, säger han.

Personligen är Mats Andersson väldigt positiv till AI.

– Hellre än att oroa mig vill jag lägga min energi på att förstå tekniken och använda den till något bra. Det betyder inte att jag tror att den är riskfri, men min grundinställning är hoppfull.

Matematikernas oro

På Manhattans Upper West, nära floden Hudson, ligger Columbia University. Skolans campus brukade vara öppet, men är sedan studentprotesterna mot Israel fortfarande stängt för utomstående utan gästpass.

Här arbetar Henry Yuen, docent i datavetenskap. Han är oroad över den senaste tidens utveckling.

– Som matematiker och teoretisk datavetare har jag sett hur snabbt AI-modellerna har utvecklats, särskilt det senaste året. Jag tycker att vi måste vara mycket försiktiga för att kunna använda dem på ett säkert sätt.

Han pekar på att med all kraftfull ny teknik finns det både bra och skadliga användningsområden. 

– Vi måste försöka begränsa de skadliga.

Du arbetar inom den akademiska världen i New York. Har du märkt någon förändring i attityderna till AI?

– Jag tror att New York, eftersom staden ligger på USA:s östkust, har varit mer skyddad från både hajpen kring och oron för AI, som till stor del är koncentrerad till Silicon Valley på västkusten, säger Henry Yuen och fortsätter:

– Åtminstone fram till helt nyligen har jag upplevt att människor här varit mer skeptiska till påståenden från Silicon Valley, både om vad AI klarar av och om vilka risker tekniken innebär.

En annan omskakande nyhet för matematiker kom nyligen. OpenAI uppgav att deras AI-agenter löst Navier-Stokes-problemet, ett av matematikens sju så kallade millennieproblem.

OpenAI använde 10 000 AI-agenter i 88 timmar. Betyder det att det framöver bara är stora techbolag som kommer att kunna lösa avancerade matematiska problem?

– Det här är en stor oro inom matematik- och forskarsamhället. Vi måste hitta sätt för akademiska och vetenskapliga miljöer, som inte har samma resurser som de stora AI-bolagen, att även i framtiden kunna bedriva viktig forskning, säger Henry Yuen.

Det pågår också en debatt om att AI riskerar att förstöra matematiken. Kritiker menar att AI levererar färdiga svar utan att visa vägen dit, vilket gör att matematiker inte kan lära sig av lösningarna. Om AI löser alla svåra problem utan att bidra med nya insikter, tappar fältet sin drivkraft.

Får du många frågor från studenter på Columbia University?

– Vi pratar mycket om utvecklingen och försöker förstå hur vi ska anpassa oss. Det finns få tydliga svar i dag, men jag är fortfarande optimistisk, säger Henry Yuen.

AI väntas bli viktig valfråga

Den demokratiske senatorn Bernie Sanders har den senaste tiden skärpt sin kritik mot AI-utvecklingen. Han vill förbjuda artificiell superintelligens och tillfälligt pausa utvecklingen av de mest avancerade AI-systemen tills tydliga federala säkerhetsregler finns på plats. 

Sander har återkommande varnat för att AI kan hamna utom mänsklig kontroll och få katastrofala konsekvenser. Samtidigt kopplar han AI till arbetsmarknaden och argumenterar för att produktivitetsvinsterna måste komma löntagarna till del.

Många tror att AI kommer att bli en viktig fråga de amerikanska mellanårsvalen i november. 

Ahmed Banafa instämmer.

– Men jag tror inte att politiken kommer att kretsa kring om AI är bra eller dålig. För väljarna är frågorna mer konkreta: jobb, deepfakes, desinformation, cybersäkerhet, barns säkerhet, elpriser, datacenter, upphovsrätt, integritet och maktkoncentration.

I dagsläget är både republikaner och demokrater splittrade internt mellan krav på hårdare reglering och oro för att regleringar kan hämma innovation eller gynna de största AI-bolagen.