Os mesmos que aceleram a IA estão agora a pedir um travão. Mas alguém acredita que vão parar?

Há qualquer coisa de desconfortável em ver mais de 1.300 pessoas que trabalham nas empresas mais avançadas de Inteligência Artificial do mundo pedirem aos governos que criem mecanismos para, se necessário, abrandar o desenvolvimento da própria IA.

Não estamos a falar de críticos externos, académicos afastados da indústria ou pessoas assustadas com o ChatGPT. Entre os signatários do “Pacing the Frontier” estão investigadores e responsáveis da OpenAI, Anthropic, Google DeepMind, Meta e outras empresas que estão literalmente a construir a tecnologia que nos está a trazer até aqui. Nomes como Jakub Pachocki, Chief Scientist da OpenAI, Mark Chen, Chief Research Officer da OpenAI, Dario Amodei, CEO da Anthropic, Shane Legg, cofundador da DeepMind, ou Ilya Sutskever.

E o aviso que fazem merece, pelo menos, que paremos para ouvir.

A preocupação não é exatamente a IA que temos hoje. É aquilo que poderá acontecer quando começarmos a automatizar o próprio desenvolvimento de Inteligência Artificial. As empresas “frontier” acreditam que podemos estar próximos de sistemas capazes de participar de forma significativa na investigação que cria a próxima geração de sistemas, o que significa que, a partir de determinado ponto, a velocidade de evolução poderá deixar de depender apenas da quantidade de investigadores humanos disponíveis.

A IA começa a ajudar a construir IA. E uma IA melhor ajuda a construir uma IA ainda melhor.

É aqui que nasce o medo de uma aceleração difícil de prever e, no pior cenário, difícil de controlar. Os próprios autores reconhecem que existe um risco real de o desenvolvimento das capacidades acelerar para além da nossa capacidade de compreender os sistemas resultantes.

Confesso que este argumento me faz pensar. Mas há outra parte de mim que olha para tudo isto com algum ceticismo, porque há uma ironia difícil de ignorar: as pessoas que estão a construir os carros mais rápidos do mundo estão agora a pedir que alguém construa um travão, enquanto continuam a acelerar.

Quem é que trava primeiro?

O próprio manifesto identifica aquilo que, para mim, é talvez o problema mais interessante de todos: nenhuma empresa tem verdadeiro incentivo para abrandar sozinha.

OpenAI, Anthropic, Google, Meta e tantas outras estão numa competição brutal por talento, compute, capital, utilizadores e liderança tecnológica. E a competição já nem sequer é apenas entre empresas. É também entre países, sobretudo num momento em que Estados Unidos e China travam uma disputa tecnológica que poderá ser uma das questões estratégicas mais importantes das próximas décadas.

Se uma empresa americana decidir abrandar durante seis meses por razões de segurança, o que garante que as restantes fazem o mesmo? E se os Estados Unidos decidirem abrandar, o que garante que a China acompanha?

Nada.

É precisamente por isso que os autores não estão simplesmente a pedir às empresas que carreguem no travão. Pedem ao governo americano que promova um esforço internacional capaz de criar mecanismos técnicos e de governação para controlar o ritmo de desenvolvimento da IA de fronteira.

Em teoria, faz sentido. Na prática, parece extraordinariamente difícil.

Estamos a falar de empresas privadas, financiadas por investidores que esperam retornos gigantescos, inseridas numa das maiores oportunidades económicas da história e num contexto em que todos acreditam que quem chegar primeiro poderá obter uma vantagem enorme. Pedir-lhes simplesmente para parar parece-me quase ingénuo.

É um gigantesco dilema do prisioneiro. Todos podem concordar que seria melhor ir com cuidado, mas ninguém quer ser aquele que vai com cuidado enquanto o concorrente continua a correr.

E se isto for também marketing?

Há ainda outra hipótese que não consigo ignorar: e se parte desta preocupação pública também servir para aumentar a perceção do poder da própria tecnologia?

Pensemos na mensagem implícita: “As coisas que estamos a construir são tão poderosas que talvez os governos tenham de criar mecanismos para nos travar.”

Não existem muitas formas melhores de comunicar ao mercado que se está a trabalhar na tecnologia mais importante do planeta.

Não estou a dizer que os signatários não estejam genuinamente preocupados. Seria absurdo assumir isso. Muitos deles dedicaram anos precisamente à investigação de segurança e alinhamento e, quando pessoas que trabalham diretamente nos sistemas dizem que a velocidade do progresso as surpreende, devemos prestar atenção.

Mas também devemos manter algum espírito crítico. Silicon Valley tem uma longa tradição de anunciar simultaneamente que uma tecnologia vai salvar o mundo e que poderá destruí-lo. Curiosamente, ambas as narrativas ajudam a explicar porque é que essa tecnologia é extremamente importante.

Já ouvimos este alerta antes

Há também algo familiar nesta história.

Elon Musk anda há mais de uma década a fazer alertas sobre Inteligência Artificial. Já em 2014 dizia publicamente que o progresso estava a acontecer a uma velocidade extraordinária e que existiam riscos sérios associados ao desenvolvimento de sistemas muito mais inteligentes.

Pouco depois participou na criação da OpenAI.

A OpenAI nasceu em 2015 como uma organização sem fins lucrativos, com uma missão bastante diferente da imagem que hoje associamos à empresa. A apresentação original dizia que a investigação não estaria condicionada pela necessidade de gerar retorno financeiro e defendia que os benefícios da IA deveriam ser distribuídos de forma ampla pela sociedade.

Desde então aconteceu muita coisa. A necessidade de quantidades gigantescas de capital mudou inevitavelmente o modelo e a própria OpenAI reconheceu mais tarde que rapidamente percebeu que desenvolver AGI exigiria milhares de milhões de dólares por ano.

Musk acabou por sair, criou mais tarde a xAI e tornou-se ele próprio participante na corrida que durante anos avisou poder ser perigosa.

Há aqui uma espécie de padrão: toda a gente parece preocupada com a corrida, mas ninguém quer ficar fora dela.

Talvez esse seja precisamente o problema

É fácil olhar para estas declarações e concluir que estamos perante hipocrisia. Se estão assim tão preocupados, então parem.

Mas talvez essa seja uma leitura demasiado simples.

Talvez o facto de não conseguirem parar seja precisamente aquilo com que nos devíamos preocupar, porque o problema pode não ser a intenção de Sam Altman, Dario Amodei, Demis Hassabis, Elon Musk ou qualquer outro CEO. Podem todos ser pessoas extremamente responsáveis e estar genuinamente preocupados com aquilo que estão a construir.

O problema é que o sistema de incentivos não depende apenas das suas intenções.

Uma empresa que acredita ter uma tecnologia com potencial para valer milhares de milhões não vai facilmente abandonar essa vantagem. Um país que acredita que a IA poderá determinar a sua competitividade económica, tecnológica e militar também não vai querer oferecer essa vantagem a outro. E quanto mais importante a IA se tornar, mais difícil será convencer qualquer participante a abrandar.

É por isso que tenho dificuldade em imaginar um verdadeiro botão de pausa.

Quem o controlaria? Os Estados Unidos? A União Europeia? As Nações Unidas? E quem verificaria que ninguém continuava secretamente a desenvolver modelos?

Mesmo que fosse possível controlar os gigantescos clusters de GPUs necessários aos maiores modelos atuais, quem garante que daqui a alguns anos não conseguiremos fazer muito mais com muito menos compute?

São questões para as quais ainda não vejo respostas convincentes.

O paradoxo

No fundo, esta história deixa-me numa posição desconfortável.

Consigo entender perfeitamente o alerta. Se existe sequer uma possibilidade razoável de entrarmos numa fase em que sistemas de IA começam a acelerar de forma significativa a criação dos sistemas seguintes, faz todo o sentido termos mecanismos de segurança antes de lá chegarmos e não depois.

Mas, ao mesmo tempo, tenho enormes dúvidas sobre a capacidade real de parar uma tecnologia desta dimensão. E talvez seja precisamente essa a parte mais preocupante de toda esta discussão.

Não é apenas saber se a Inteligência Artificial se vai tornar demasiado poderosa. É perceber que podemos estar a construir algo que todos reconhecem que deveria ter um travão, dentro de um sistema económico e geopolítico onde ninguém consegue carregar nele primeiro.

Os engenheiros estão a pedir um pedal de travão.

A questão é saber se ainda estamos a tempo de o instalar ou se já estamos todos dentro de um carro em aceleração, a discutir quem teria autoridade para lhe tocar.