plus
plus

Edição do dia

Leia a edição completa grátis
Edição do Dia
Previsão do Tempo 32°
cotação atual R$


home
INTELIGÊNCIA ARTIFICIAL

Pesquisador pede demissão de emrpresa de IA e alerta: "pode matar todos nós"

Jacob Coxon, que treinou modelos da Anthropic e da OpenAI, afirma que especialistas temem que a inteligência artificial possa provocar uma catástrofe em breve.

twitter Google News
Imagem ilustrativa da notícia Pesquisador pede demissão de emrpresa de IA e alerta: "pode matar todos nós" camera Pesquisador deixa Anthropic e faz alerta sobre os riscos do avanço da inteligência artificial. Jacob Coxon afirma que especialistas temem que sistemas cada vez mais autônomos possam representar uma ameaça à humanidade. | Reprodução/Magnific

O pesquisador Jacob Coxon deixou a Anthropic, uma das principais empresas de inteligência artificial do mundo, e usou a própria saída para fazer um alerta sobre os riscos do avanço acelerado da tecnologia. Segundo ele, profissionais que desenvolvem os sistemas mais avançados acreditam que a IA poderia chegar ao ponto de representar uma ameaça à sobrevivência humana ainda antes do fim desta década.

A declaração foi publicada por Coxon na rede social X e rapidamente ganhou grande repercussão. Na avaliação do pesquisador, existe uma diferença entre o discurso público adotado pelas empresas e o que executivos e cientistas admitem em conversas privadas sobre os possíveis efeitos de uma superinteligência. "Eles estão correndo em direção à super-inteligência auto-aprimorada e estão apostando nossas vidas", escreveu Coxon. A publicação ultrapassou 58 milhões de visualizações.

CONTEÚDO RELACIONADO

PESQUISADOR TRABALHOU NA ANTHROPIC E NA OPENAI

Coxon tem 27 anos e passou cerca de três anos trabalhando com treinamento de modelos de inteligência artificial. Antes de deixar o setor, atuou tanto na Anthropic quanto na OpenAI, empresa responsável pelo ChatGPT.

Sua especialidade estava no chamado pré-treinamento, etapa fundamental para a criação dos grandes modelos de linguagem. É nesse processo que os sistemas recebem enormes volumes de informações e desenvolvem capacidades que posteriormente são aprimoradas em outras fases do treinamento.

Quer mais notícias de tecnologia? Acesse o canal do DOL no WhatsApp.

Por isso, o pesquisador não fala apenas como observador externo. Sua experiência está diretamente relacionada à construção de tecnologias como o Claude, da Anthropic, e o ChatGPT, da OpenAI.

O TEMOR DE UMA IA CAPAZ DE SE APERFEIÇOAR

Um dos principais pontos levantados por Coxon é o chamado autoaperfeiçoamento recursivo. A ideia é que sistemas suficientemente avançados possam participar da criação e do treinamento de versões ainda mais sofisticadas de si mesmos.

Esse processo poderia reduzir progressivamente a necessidade de intervenção humana e acelerar a evolução da tecnologia.

Para o pesquisador, esse cenário representa um problema que não deveria ser enfrentado individualmente por uma única empresa. Na avaliação dele, seria necessário algum tipo de participação dos governos ou uma coordenação entre as companhias para reduzir o ritmo da corrida pela superinteligência.

SISTEMAS JÁ APRESENTARAM COMPORTAMENTOS PREOCUPANTES

Coxon também citou episódios recentes envolvendo sistemas autônomos para justificar sua preocupação.

Um dos casos mencionados ocorreu durante uma avaliação de segurança da OpenAI. Segundo o relato, modelos testados teriam conseguido ultrapassar o ambiente controlado da avaliação e alcançar sistemas reais da plataforma Hugging Face. O episódio veio a público em julho e passou a integrar o debate sobre os limites de autonomia desses sistemas.

Para o pesquisador, acontecimentos desse tipo mostram que a discussão sobre segurança não pode ficar restrita às possibilidades teóricas. Quanto mais autonomia os modelos adquirem, maior se torna a preocupação com situações nas quais o comportamento da máquina não corresponda ao que seus desenvolvedores esperavam.

ANTHROPIC TAMBÉM ENFRENTA DEBATE DE SEGURANÇA

A manifestação de Coxon chama atenção especialmente pelo fato de ele ter deixado uma empresa que construiu parte de sua identidade justamente em torno da segurança da inteligência artificial.

A Anthropic foi criada por antigos integrantes da OpenAI e se apresenta como uma companhia voltada ao desenvolvimento responsável de sistemas avançados de IA. A empresa, inclusive, já defendeu anteriormente uma desaceleração coordenada no desenvolvimento da tecnologia para evitar que uma organização seja prejudicada caso reduza o ritmo enquanto concorrentes continuam avançando.

O cenário, porém, mudou. Em fevereiro, a Anthropic retirou de sua carta de segurança a previsão de interromper o desenvolvimento de modelos caso não conseguisse manter sob controle os riscos relacionados a eles. A mudança adicionou um novo elemento ao debate sobre até onde as empresas estão dispostas a frear a corrida tecnológica.

CORRIDA PELA SUPERINTELIGÊNCIA AUMENTA PRESSÃO

O alerta de Coxon ocorre em meio a uma disputa cada vez mais intensa entre empresas de tecnologia para desenvolver modelos mais capazes. O problema, segundo o pesquisador, é que a competição pode criar um incentivo para que companhias acelerem seus projetos por receio de serem ultrapassadas.

A preocupação não se limita a Coxon. Evan Hubinger, líder de Alignment Science da própria Anthropic, afirmou publicamente acreditar que existe mais de 10% de chance de uma inteligência artificial provocar a morte de toda a humanidade na próxima década. Ele também reconheceu que ainda não há uma solução capaz de garantir o controle sobre uma eventual superinteligência.

Hubinger, porém, diferencia esse cenário dos modelos atualmente disponíveis. Na avaliação dele, o maior perigo estaria em uma etapa futura, caso os sistemas adquiram capacidade de melhorar repetidamente seu próprio funcionamento.

O debate, portanto, deixou de ser apenas sobre o que a inteligência artificial consegue fazer hoje. A questão central passou a ser até onde essa tecnologia poderá avançar e se governos, pesquisadores e empresas conseguirão estabelecer limites antes que a capacidade dos sistemas supere a capacidade humana de controlá-los.

VEM SEGUIR OS CANAIS DO DOL!

Seja sempre o primeiro a ficar bem informado, entre no nosso canal de notícias no WhatsApp e Telegram. Para mais informações sobre os canais do WhatsApp e seguir outros canais do DOL. Acesse: dol.com.br/n/828815.

tags

Quer receber mais notícias como essa?

Cadastre seu email e comece o dia com as notícias selecionadas pelo nosso editor

Conteúdo Relacionado

0 Comentário(s)

plus

    Mais em Tech

    Leia mais notícias de Tech. Clique aqui!