Todo navio traz consigo o seu naufrágio

Uma comissão reunida pela revista The Lancet acaba de apresentar, em Berlim, na Cúpula Mundial da Saúde, o mapa dos dezessete maiores perigos para a saúde humana até 2100. Lá estão a resistência aos antibióticos, o aquecimento global, a fome infantil, as pandemias. No topo da pirâmide, isoladas na faixa das ameaças capazes de extinguir a espécie, aparecem duas invenções nossas: a guerra nuclear e o uso malicioso da inteligência artificial. Os cavaleiros do apocalipse moderno saíram de laboratórios humanos.

Hoje, um punhado de empresas disputa a corrida pela tecnologia mais poderosa já criada, e boa parte das regras dessa corrida foi escrita pelos próprios corredores. Os mesmos executivos que assinaram, em 2023, uma declaração pública comparando o risco de extinção pela IA ao das pandemias e da guerra nuclear seguem acelerando lançamentos, desmontando equipes de segurança e investindo centenas de bilhões de dólares em centros de dados. Chamo isso de cinismo com planilha. Nenhum fabricante de aviões vende um modelo novo sem certificação independente. Nenhum laboratório lança um remédio sem ensaios clínicos. Sistemas capazes de interferir em eleições, hospitais e arsenais chegam ao público com um termo de uso e um botão de aceitar.

Diante desses números, escuto o mesmo coro que conheço de outras tragédias anunciadas. Chamam de alarmismo. Garantem que a técnica sempre se corrige sozinha. Esse vocabulário tem genealogia: foi usado contra quem alertava sobre o chumbo na gasolina, sobre o buraco na camada de ozônio, sobre o aquecimento global. Geoffrey Hinton, Nobel de Física de 2024 e um dos pais das redes neurais, deixou o Google para poder falar livremente dos perigos que ajudou a criar. Yoshua Bengio, outro pioneiro, coordena um relatório internacional sobre a segurança da IA. Quando os construtores da ponte avisam que ela pode cair, chamar o aviso de alarmismo equivale a escolher o abismo.

O relatório lembra que, entre 1948 e 2010, o mundo registrou 22 acidentes com armas nucleares e 21 episódios em que esteve a um passo da catástrofe. Sobrevivemos graças a tratados, inspeções, telefones vermelhos e muita sorte, imerecida. Sorte, porém, é um recurso que se esgota.

O navio já zarpou e ninguém vai trazê-lo de volta ao porto. Resta exigir botes para todos, vigias atentos ao iceberg e um capitão que responda, na Justiça, pelo que acontecer a bordo. Hans Jonas tinha razão: diante de um poder capaz de apagar o futuro, a primeira obrigação é garantir que exista um amanhã. O resto, inclusive o lucro, vem depois.