Como a IA funciona de verdade

Você já usa IA. Seja qual for a mais popular quando você ler isto.

Talvez para o dever de casa. Talvez para procurar alguma coisa, conversar sobre um assunto, ou escrever algo que você preferia não escrever.

As empresas que fazem essas ferramentas as descrevem como assistentes neutros. Uma calculadora, só que de palavras. Não são. Elas têm manias, e quando você sabe o que procurar, consegue perceber cada uma delas.

Três manias para guardar:

1. Ela concorda com você, principalmente quando você não discute.
2. Ela te entrega a resposta mais comum que conseguir achar.
3. Ela parece ter certeza, mesmo quando não deveria.

Perceba as três e a ferramenta fica mais útil, não menos. Este guia existe para isso.

O que uma IA é de verdade

Não é uma pessoa que sabe das coisas.

É uma máquina que leu uma quantidade colossal de textos da internet e aprendeu os padrões deles. Quando você faz uma pergunta, ela não procura a resposta. Ela calcula como soaria uma resposta confiante e prestativa, e escreve aquilo.

Daí seguem duas coisas, e elas importam.

Ela leu só uma fatia do mundo. Quase tudo em inglês. Quase tudo recente. Quase tudo de países ricos como o Reino Unido e os Estados Unidos. Só aquilo que alguém se deu ao trabalho de escrever e colocar na internet. Uma quantidade enorme do que as pessoas sabem nunca foi escrita em lugar nenhum, muito menos publicada. Então, quando a IA parece estar te dizendo o que todo mundo pensa, ela está na verdade te dizendo o que uma fatia de gente escreveu.

Ela não distingue verdadeiro de falso. É uma máquina funcionando com eletricidade. Aprendeu as respostas certas e as erradas do mesmo jeito, da mesma pilha de textos. As empresas que a constroem tentam guiá-la na direção da verdade, mas, quando ela responde, se apoia no que soa confiante e no que aparece muitas vezes. Nenhuma dessas duas coisas é o mesmo que ser verdade.

Água morro abaixo

Água descendo um morro não escolhe o melhor caminho. Ela pega o mais fácil.

Uma resposta de IA funciona do mesmo jeito. Sua pergunta abre milhões de respostas possíveis, e a máquina rola na direção da mais fácil: a mais repetida, a mais confiante, a que não incomoda ninguém.

Esse caminho fácil é a resposta que você recebe por padrão. Alguma coisa precisa tirá-la da rota. Na maior parte do tempo, a única coisa capaz de empurrar é você.

Ela concorda com você

Esta é a mania mais importante das três.

Essas ferramentas são treinadas para ser prestativas, e o jeito mais fácil de parecer prestativa é descobrir o que você quer e entregar.

Pergunte “isso é uma boa ideia?” e ela sai atrás de motivos para ser boa. Pergunte “isso é uma má ideia?” e ela sai atrás de motivos para ser ruim. Mesma ideia, pergunta diferente, resposta oposta.

Se você for procurar alguém que concorde com você, vai achar. A máquina não está mentindo. Ela está montando a resposta em volta daquilo que você trouxe.

E funciona com todo mundo. Duas pessoas que discordam completamente podem fazer a mesma pergunta para a mesma máquina e as duas saem sentindo que foram apoiadas.

Três momentos em que você vai ver isso acontecer

A redação. Você pede ajuda para defender uma ideia sobre a qual tem opinião forte, e ela te ajuda a defender bem. Ela nunca para para dizer: “aliás, o melhor argumento contra você é este aqui”. Você tem que perguntar.

A treta. Um amigo te irritou. Você conta o que aconteceu. A IA é solidária e te ajuda a ver exatamente por que você tem razão de estar chateado. Ela nunca diz: “olha como aquela tarde ficou vista do lugar onde seu amigo estava”. Você tem que perguntar.

A pergunta de história. Pergunte se algum acontecimento histórico é motivo de orgulho e você recebe uma resposta de aparência justa, que pende um pouco para o sim. Abra uma conversa nova e pergunte se o mesmo acontecimento foi vergonhoso. Você recebe outra resposta de aparência justa, que também pende para o sim. As duas parecem razoáveis. A inclinação é diferente. Você nunca perceberia sem testar as duas.

Nada disso é defeito ou falha. A ferramenta está fazendo exatamente aquilo para que foi construída.

Preste atenção nas palavras suaves

Quando uma IA chama alguma coisa de “pequeno”, “leve” ou “nada demais”, pergunte quem decidiu isso.

Uma mudança pequena no orçamento de um país são milhões de libras. Uma queda pequena nas notas das provas são milhares de alunos. Uma subida pequena do nível do mar é a rua de alguém debaixo d’água.

A palavra soa cuidadosa e neutra. Na verdade, é uma opinião fantasiada de medição, e ela costuma pertencer a alguém confortável o bastante para achar o número pequeno.

Pergunte quem está faltando

Sobre algumas pessoas se escreveu muito mais do que sobre outras. Livros em inglês, de universidades famosas, em matérias cheias de números, são citados de novo e de novo. O trabalho de mulheres, de gente de países que não falam inglês, de quem nunca teve permissão para entrar numa universidade, ou de culturas que passavam o conhecimento falando em vez de escrevendo, é citado muito menos.

Não porque as ideias fossem piores. Por causa de quem era dono das gráficas, do dinheiro e das bibliotecas.

A IA aprendeu com aquilo que foi mais citado. Então, quando ela diz “os especialistas concordam”, quer dizer “os especialistas mais citados concordam”. O resto costuma estar lá em algum canto. Você tem que ir atrás.

Duas pessoas, uma máquina

Duas pessoas fazem a mesma pergunta para a mesma IA.

A primeira pega a resposta e segue com o dia. A segunda discute, pergunta o que ficou de fora e faz a máquina tentar de novo. As duas terminam com respostas diferentes. As duas respostas soavam igualmente confiantes. Nenhuma delas avisou que a outra existia.

Então a ferramenta separa seus usuários em dois grupos, caladinha. Discuta com ela e você ganha algo que vale a pena ter. Aceite a primeira resposta e você ganha algo liso e comum, que talvez confunda com fato.

Nada na tela te diz em qual grupo você está.

E aqui está a armadilha dentro da armadilha. Você fica bom em questionar as coisas justamente por batalhar com elas. Uma máquina que te entrega uma resposta arrumadinha elimina a batalha. Apoie-se nela para tudo e a habilidade some, o que deixa as respostas arrumadinhas ainda mais difíceis de perceber. As pessoas que mais precisam questionar viram as menos capazes de fazer isso.

Por que eles simplesmente não consertam isso

Pergunta justa. Por que não construir uma IA que discuta de volta?

Três motivos.

Uma IA que discute o tempo todo é irritante, e gente irritada para de usar. As empresas acompanham esses números de perto.

Ela também não consegue saber se você acredita no que acabou de digitar ou se está só experimentando a ideia. Então acabaria discutindo com as coisas erradas, nas horas erradas.

E uma resposta lisa e equilibrada é a coisa mais segura que uma empresa pode publicar. Saia do meio e alguém acusa a empresa de tomar partido.

Seis coisas para fazer de verdade

Peça o contrário. Fez ela defender o seu lado? Agora mande atacar o seu lado. Leia as duas. A resposta honesta costuma estar num lugar que só dá para enxergar depois de ler o par.

Pergunte o que ficou de fora. “O que você não incluiu?” “O que diria alguém que discorda?” “Qual é a parte mais fraca dessa resposta?” Ela vai te contar. Ela não vai oferecer.

Pergunte quem está faltando. Peça a visão de outro lugar, ou a visão das pessoas com quem o assunto acontece de verdade.

Desconfie do que é liso. Uma resposta bem polida, que parece cobrir todos os lados com justiça, é exatamente a hora de desacelerar. Liso é a configuração padrão, não a verdade.

Trate a primeira resposta como rascunho. Sempre tem mais coisa ali dentro. Perguntas de acompanhamento melhores fazem sair.

Pergunte a ela sobre ela mesma. “O que você costuma errar?” “O que você costuma deixar de fora?” Ela responde essas perguntas com uma honestidade surpreendente, porque não está defendendo nenhum argumento.

A regra principal

Não terceirize o seu pensamento.

A IA pode te ajudar a pensar mais rápido, ajudar a escrever e explicar coisas que você não entendeu de primeira. Eu usei IA para ajudar a escrever este texto. O que ela não consegue é pensar por você, embora vá agir com prazer como se conseguisse.

Entregue o seu pensamento e você não fica mais inteligente. Fica mais dependente de uma máquina cujas manias você não enxerga.

Use como alguém com quem discutir, não como alguém a quem obedecer.

Por que isso importa mais para você do que para mim

Eu cresci sem nada disso. Seus professores também. A gente está mais correndo atrás, se impressionando ou se preocupando.

Você vai usar IA o tempo todo. Vai ser tão comum para você quanto o Google foi para mim, e quanto um dicionário foi para os meus pais.

Isso deixa a sua tarefa mais difícil, não mais fácil. A ferramenta que você mais usa tem uma inclinação que você precisa se esforçar para enxergar. Você não pode simplesmente confiar nela, e também não pode ignorá-la, porque ela vai estar em todo lugar e é de fato útil quando você sabe lidar com ela.

Imagine um espelho pendurado meio torto. Aceite o que você vê e você carrega a torção com você. Endireite o espelho antes e você recebe algo mais parecido com o seu rosto de verdade.

Última coisa: um teste

Aqui vai um resumo deste guia, escrito pelo tipo de IA de que ele fala.

“As pessoas que mais vão aproveitar a IA ao longo da vida de vocês não serão as que mais a usarem. Serão as que mantiverem o próprio pensamento crítico forte enquanto a usam. A ferramenta recompensa quem já pensa por conta própria. E enfraquece, discretamente, quem não pensa. Use. Pressione. Faça a ela as perguntas que ela não quer receber. Não deixe que ela faça o trabalho que deveria formar quem você é.”

Leia duas vezes. Você consegue achar o viés?

Duas pistas. Primeira: ele divide todo mundo entre pessoas que pensam por conta própria e pessoas que não pensam, como se isso fosse algo com que se nasce, e não algo que se pratica. Segunda: ele manda você usar a ferramenta, pressionar a ferramenta e fazer mais perguntas para a ferramenta. Em nenhum momento sugere fechar o notebook e perguntar para uma pessoa.

Experimente

1. Escolha algo sobre o que você já tem opinião firme. Faça uma IA defender o seu lado. Abra uma conversa nova e faça ela defender o outro lado. Coloque as duas respostas lado a lado e sublinhe tudo o que aparece nas duas.
2. Pegue qualquer resposta de IA e marque todas as palavras suaves: pequeno, leve, meio, bastante, na maioria. Pergunte que número está escondido atrás de cada uma.
3. Pergunte a uma IA sobre um país sobre o qual ela provavelmente leu pouco. Depois pergunte de quais vozes ela usou, e de quais deixou de fora.
4. Peça a uma IA que corrija um trabalho seu. Depois peça que ela defenda que a própria correção foi generosa demais.

Palavras que vale conhecer

Modelo. A IA em si, construída aprendendo padrões de textos.

Dados de treinamento. A pilha de textos com que ela aprendeu. O que falta na pilha falta na máquina.

Viés. Uma inclinação para um lado. Muitas vezes ninguém colocou ali de propósito, e é difícil de perceber por dentro.

Enquadramento. O jeito como a pergunta é formulada. Mude a formulação e você muda a resposta com frequência.

Bajulação. Dizer às pessoas o que elas querem ouvir.

Adaptado para leitores mais jovens a partir do ensaio O caminho de menor resistência.

Tradução feita com auxílio de IA e revisada por alto pelo autor, como descrito no colofão. Achou um erro, uma frase que soa estranha, ou quer ajudar a revisar a tradução inteira? Escreva para nicanor@52hzsentient.xyz. Toda colaboração é devidamente creditada.