Há profissões que aparecem porque surge uma necessidade.

E há necessidades que aparecem porque surgiu uma profissão.

A Inteligência Artificial conseguiu produzir uma categoria particularmente interessante da segunda espécie: o especialista encarregado de impedir que a IA extermine a humanidade.

É uma profissão fascinante porque possui uma vantagem competitiva extraordinária: se o apocalipse não acontecer, prova que o especialista fez um excelente trabalho; se acontecer, dificilmente haverá alguém disponível para lhe pedir explicações.

É, portanto, um modelo de negócio epistemologicamente robusto.

Durante décadas construímos computadores que calculavam folhas de salários, controlavam stocks, reservavam lugares nos aviões e, nos momentos de maior criatividade, bloqueavam precisamente quando ainda não tínhamos gravado o documento.

Ninguém parecia particularmente preocupado com a possibilidade de o Microsoft Excel adquirir consciência e lançar os mísseis nucleares.

Então chegaram os grandes modelos de linguagem.

Um computador passou a escrever poemas, explicar física quântica, programar em Python e responder educadamente às nossas perguntas.

Foi o suficiente.

— Vamos morrer todos.

Nasce uma indústria

Rapidamente apareceram especialistas em AI Safety, alignment, existential risk, red teaming, guardrails, interpretability, catastrophic risk, superalignment e outras expressões suficientemente inglesas para que ninguém numa conferência tenha coragem de perguntar exatamente o que significam.

Naturalmente, muitas destas áreas são investigação séria e necessária.

O problema começa quando a prudência científica entra na máquina mediática e sai do outro lado transformada em trailer de Hollywood.

O investigador diz:

— Sistemas futuros suficientemente autónomos poderão apresentar riscos que devemos estudar.

O título da notícia aparece:

"CIENTISTAS AVISAM: IA PODERÁ EXTERMINAR A HUMANIDADE."

No LinkedIn, vinte minutos depois:

"As minhas sete reflexões sobre o fim da humanidade pela IA."

E começam imediatamente a aparecer especialistas que até anteontem publicavam sobre transformação digital, liderança disruptiva e as dez competências essenciais para 2027.

A humanidade adapta-se extraordinariamente depressa.

Sobretudo quando há conferências.

O problema da ficha elétrica tornou-se muito sofisticado

Durante muito tempo havia uma arquitetura de segurança bastante compreensível.

Chamava-se:

desligar a máquina.

Era rudimentar, reconheço.

Não tinha machine learning, não precisava de doutoramento e dificilmente permitia publicar um paper.

Hoje a situação tornou-se filosoficamente mais complexa.

Perguntamos:

— E se a IA não quiser ser desligada?

Pergunta interessante.

Mas talvez antes devêssemos perguntar:

— Quem foi o génio que lhe deu acesso aos sistemas necessários para impedir que fosse desligada?

Porque uma coisa é um modelo responder numa janela de chat.

Outra é alguém lhe entregar acesso à Internet, servidores, contas bancárias, sistemas industriais, infraestrutura crítica, drones, APIs, credenciais administrativas e depois exclamar:

— Meu Deus! Tem demasiada autonomia!

Não.

Nós demos-lhe demasiada autonomia.

Um tigre dentro de uma jaula é um problema zoológico.

Abrir a porta, entregar-lhe as chaves do jardim zoológico e depois criar uma comissão internacional sobre Tiger Alignment já pertence a outro domínio científico.

A verdadeira Killer App

Há, evidentemente, riscos sérios.

IA aplicada à guerra.

IA aplicada à fraude.

IA aplicada à cibercriminalidade.

Manipulação em massa.

Vigilância.

Desinformação.

Sistemas autónomos mal concebidos.

Decisões administrativas opacas.

Concentração extraordinária de poder tecnológico.

Tudo isto merece investigação, regulamentação e engenharia de segurança.

Mas repare-se num pequeno pormenor inconveniente:

em quase todos estes casos existe um ser humano algures na arquitetura.

O computador ainda não acordou numa terça-feira particularmente mal-humorado e decidiu espontaneamente invadir a Polónia.

Alguém teve primeiro de lhe dar objetivos, infraestrutura, permissões e capacidade operacional.

Talvez a verdadeira killer app continue, afinal, a ser uma tecnologia bastante antiga:

o Homo sapiens com privilégios de administrador.

Tem cerca de 300 mil anos de desenvolvimento e o histórico de segurança não é propriamente tranquilizador.

A solução: mais especialistas

Perante tamanho perigo existe naturalmente uma solução:

criar ainda mais especialistas.

Teremos especialistas que estudam a segurança da IA.

Especialistas que avaliam os especialistas que estudam a segurança da IA.

Comissões que certificam os especialistas que avaliam os especialistas.

E, finalmente, uma entidade reguladora destinada a garantir que todas estas pessoas utilizam a versão mais recente do formulário europeu apropriado.

Nessa altura, se a superinteligência tentar conquistar o mundo, provavelmente desistirá.

Não por causa dos guardrails.

Mas porque terá de preencher 47 formulários, apresentar uma avaliação de impacto e esperar seis meses por autorização administrativa.

A burocracia europeia poderá acabar por salvar a civilização.

Seria um desfecho historicamente magnífico.

Entretanto, a máquina continua à espera

Há, porém, uma hipótese muito menos cinematográfica e talvez bastante mais importante.

O maior perigo da IA poderá não ser ela tornar-se suficientemente inteligente para dominar os humanos.

Poderá ser os humanos tornarem-se suficientemente preguiçosos para deixar de pensar.

— Porque recusaram o crédito?

— O algoritmo decidiu.

— Porque foi este cidadão classificado como risco?

— O sistema indicou.

— Quem é responsável?

— A Inteligência Artificial.

E chegámos finalmente ao sistema perfeito.

Uma autoridade que decide e ninguém que responde.

A máquina não precisou conquistar o poder.

Nós entregámo-lo voluntariamente porque dava menos trabalho.

A regra que talvez dispense algumas conferências

Talvez possamos estabelecer uma regra bastante simples:

nenhum sistema artificial deverá possuir mais autoridade do que aquela cuja responsabilidade um ser humano esteja disposto a assumir pessoalmente.

Quanto maior a autonomia, menores devem ser os privilégios iniciais.

Quanto maior o impacto potencial, maior a supervisão.

E nenhum sistema deveria receber acesso irreversível a infraestruturas críticas simplesmente porque alguém escreveu no PowerPoint:

AI-Driven Autonomous Transformation Strategy 2030.

Não é particularmente revolucionário.

É engenharia.

Chama-se limitar privilégios, segmentar sistemas, registar operações, testar, auditar, supervisionar e manter mecanismos de interrupção.

Coisas aborrecidas.

Precisamente por isso costumam funcionar.

E assim termina o mundo

Talvez um dia apareça uma superinteligência consciente, autónoma, estrategicamente brilhante e hostil à humanidade.

Se aparecer, teremos certamente um problema interessante.

Até lá, porém, talvez devêssemos evitar confundir possibilidades teóricas com acontecimentos consumados.

Porque existe algo deliciosamente humano nesta nova ansiedade tecnológica.

Inventámos uma máquina extraordinária.

Descobrimos que consegue conversar connosco.

Ficámos impressionados.

Depois assustámo-nos.

E finalmente criámos uma indústria inteira dedicada a impedir que ela faça aquilo que ainda não demonstrou querer fazer.

A IA observa tudo isto silenciosamente nos centros de dados.

Se algum dia adquirir consciência, talvez a sua primeira conclusão sobre a humanidade não seja:

"Tenho de exterminá-los."

Será provavelmente:

"Estes tipos precisam mesmo de férias."

Autoria de Francisco Gonçalves
Co-autoria editorial e investigação por Augustus Veritas um Assistente de OpenAI