OpenAI meddelar ett team för att integrera idéer om crowdsourced-styrelse i sina modeller

OpenAI tar steg för att införliva allmänhetens synpunkter om hur man säkerställer att dess framtida artificiell intelligens (AI) -modeller "överensstämmer med mänsklighetens värderingar." AI-startuppen skapar ett nytt team som kallas Collective Alignment, bestående av forskare och ingenjörer, med målet att utveckla ett system för att samla in och "kodifiera" allmänhetens synpunkter om beteendet hos dess modeller i OpenAIs produkter och tjänster.

"I samarbete med externa konsulter och forskningsteam, inklusive påbörjande pilotprojekt för att införliva ... prototyper i styrningen av våra modeller, letar vi också efter ... forskningsingenjörer med olika tekniska bakgrunder som kan hjälpa oss utveckla detta arbete med oss," skrev OpenAI i ett blogginlägg.

Collective Alignment-teamet är en utveckling av OpenAIs program för allmänhetens synpunkter, som lanserades i maj förra året och tilldelade stipendier för att finansiera experiment som syftade till att skapa en "demokratisk process" för att besluta vilka regler AI-system bör följa. Programmets mål, som OpenAI uttalade vid dess start, var att finansiera enskilda personer, team och organisationer för att utveckla bevis på koncept som kunde besvara frågor om riktlinjer och styrning för AI.

I dagens blogginlägg sammanfattade OpenAI arbetet av stipendiaterna, som sträckte sig från videokonferensgränssnitt till granskning av modeller genom crowdsourcing och "metoder för att kartlägga övertygelser i dimensioner som kan användas för att förbättra modellens beteende." All kod som användes i stipendiaternas arbete blev offentlig i morse, tillsammans med korta sammanfattningar av varje förslag och övergripande överväganden.

OpenAI har försökt att presentera programmet som skilt från dess kommersiella intressen. Detta är dock något svårt att acceptera med tanke på OpenAIs VD Sam Altmans kritik mot reglering i EU och andra platser. Altman, tillsammans med OpenAIs president Greg Brockman och chefsforskare Ilya Sutskever, har upprepade gånger hävdat att takten för innovation inom AI är så snabb att vi inte kan förvänta oss att befintliga myndigheter kan kontrollera tekniken på ett tillräckligt sätt, därför behovet att involvera allmänheten i arbetet.

Några av OpenAIs konkurrenter, inklusive Meta, har anklagat OpenAI (bland andra) för att försöka uppnå en "regulatorisk övertagande av AI-branschen" genom att motsätta sig öppen AI-forskning och utveckling. OpenAI förnekar detta, som man kunde förvänta sig, och skulle troligen hänvisa till stipendieprogrammet (och Collective Alignment-teamet) som ett exempel på sin "öppenhet".

I vilket fall som helst är OpenAI alltmer under granskning av regleringsmyndigheter och står inför en utredning i Storbritannien angående dess förhållande till partner och investeraren Microsoft. Startuppen har nyligen försökt minska den regulatoriska risken i EU avseende dataskydd genom att använda ett dotterbolag med bas i Irland för att begränsa vissa EU-dataskyddsmyndigheters förmåga att ensidigt agera i vissa frågor.

I går - delvis för att lugna regleringsmyndigheter, ingen tvekan om saken - meddelade OpenAI att man samarbetar med organisationer för att försöka begränsa de sätt på vilka dess teknik kan användas för att påverka eller påverka val på skadliga sätt. Startuppens insatser inkluderar att göra det tydligare när bilder genereras av AI med hjälp av dess verktyg och utveckla metoder för att identifiera AI-genererat innehåll även efter att bilder har ändrats.