A carta.

Uma carta aberta do instituto Future of Life pede uma moratória à investigação em modelos de aprendizagem automática mais poderosos do que o GPT-4, aquele que a Open AI de momento explora comercialmente (1). Há alguns nomes sonantes entre os signatários mas é fraca a adesão de peritos na área. Como até eu recebi um e-mail a pedir que assinasse esta carta antes de a publicarem, presumo que tenham contactado mesmo muita gente. Mas parece quem nem pessoas da Open AI assinaram, e teriam claro interesse numa moratória à concorrência (2). A explicação, e razão pela qual não assinei, é que a carta faz pouco sentido.

Fundamentam o pedido de moratória afirmando que «Sistemas de IA poderosos só devem ser desenvolvidos depois de termos confiança que os seus efeitos serão positivos e que podemos gerir os seus riscos». Mas só podemos avaliar os riscos depois de compreender bem o potencial e as aplicações de uma tecnologia, e isso exige investigação. É um problema que enfrentamos há séculos porque é intrínseco à ciência. Descobrir coisas tem riscos mas a ignorância não permite perceber nem os riscos nem os benefícios. Isto nota-se até nos exemplos que dão. Alegam que a «sociedade pôs em pausa outras tecnologias com efeitos potencialmente catastróficos para a sociedade», como clonagem humana ou modificação de genes na linha germinal humana. Mas não se suspendeu a tecnologia e muito menos a investigação. Apenas se regula aplicações específicas. A modificação genética humana levanta problemas éticos mas a dos tomateiros, leveduras ou bactérias é menos problemática. E a investigação não parou. Aliás, se tivessem suspendido a investigação em manipulação genética teríamos sofrido um atraso enorme em aplicações como a produção de vacinas e insulina ou técnicas de diagnóstico médico. Uma moratória à investigação é um exagero. Nem com as armas nucleares se faz isso. Regula-se actos específicos como a purificação de urânio mas não se impede os físicos de criarem modelos mais sofisticados do átomo.

Outro problema desta proposta é ter uma minoria de peritos a condicionar o que toda a gente pode usar. Exigem que estes modelos sejam mais «exactos, seguros, interpretáveis, transparentes, robustos, confiáveis e leais» mas a relevância destes requisitos depende do uso que cada pessoa lhes queira dar. Como eu não vou confiar no texto gerado por um modelo estatístico nem me vou ofender ou magoar com as palavras que produza, não quero restringi-lo a ser seguro, exacto, leal ou confiável. Para ter personagens interessantes em jogos de computador, para gerar textos pornográficos, para ter ideias acerca de mundos fantásticos, aprender insultos noutras línguas ou conversar com um amigo imaginário estes requisitos podem não se aplicar. E é cada utilizador que deve avaliar o que quer.

Mesmo que se possa apontar usos prejudiciais, ainda assim é devido respeito pela liberdade de cada um decidir por si, como se faz no caso de religiões, ideologias políticas, superstições e tradições parvas. Não temos peritos a decidir essas coisas pelas pessoas. O mesmo se aplica ao investigador. É verdade que a investigação científica tem valor social e, em média, beneficia-nos a todos. Mas a razão mais importante para permitir que alguém faça investigação é o direito individual de tentar perceber como as coisas funcionam. Não é legítimo limitar os direitos dos utilizadores e dos investigadores só porque alguns peritos invocam a possibilidade vaga de perigos ainda por determinar. Essa limitação só é legítima perante perigos concretos e suficientemente graves. Modelos estatísticos para gerar sequências de palavras parecem estar muito abaixo dessa fasquia.

A carta invoca também perigos para as profissões, que são consequência de qualquer inovação tecnológica e nunca justificaram parar o progresso científico, e o perigo de desenvolver «mentes não humanas», que não tem nada que ver com estes modelos para os quais pedem uma moratória. Não é por minimizar uma função com milhões de parâmetros que se corre o perigo de criar uma mente. A única coisa que me parece razoável nesta carta é exigir mais transparência. Isso já subscrevia se não fosse restrita apenas a modelos estatísticos. Eu gostava que houvesse transparência para eliminar impedimentos à decisão informada. Por exemplo, obrigar fornecedores de software ou serviços baseados em software a divulgar o código fonte para que, colectivamente, os utilizadores pudessem saber o que estes sistemas fazem e discutir os seus riscos e benefícios. Esta medida não exigiria moratórias, melhorava a capacidade de escolha e provavelmente até melhorava a qualidade do software. É como o restaurante ter a cozinha à vista. A proposta de serem os peritos a assegurar-nos de que está tudo conforme os seus critérios não ajuda a resolver este problema. E nem parece bem que seja subscrita pelos peritos.

O problema que enfrentamos neste momento não é a possibilidade de haver um novo ChatGPT que diz menos parvoíces. É a tecnologia concentrar cada vez mais poder de decisão numa minoria cada vez mais pequena pela facilidade com que se monopoliza a informação. Nestas condições, é obviamente má ideia dar a uma minoria de peritos selectos o poder de decidir como vão ser os sistemas a que vamos ter acesso ou até o que se pode investigar. O que precisamos é de garantir o acesso generalizado à informação para que estes juízos de valor, acerca do que queremos que estes sistemas façam, possam ser resolvidos de forma democrática. Os peritos são úteis para resolver problemas técnicos mas não para decidir se suspendemos o uso de ficheiros pdf para voltar a haver ardinas.

1) Future of life, Pause Giant AI Experiments: An Open Letter.
2) Vice, The Open Letter to Stop 'Dangerous' AI Race Is a Huge Mess