O caminho de menor resistência

Em uma manhã desta primavera, pedi ao Claude para me ajudar a redigir uma mensagem curta. Nada complexo: apenas uma resposta mais detalhada para um e-mail comercial sobre propostas de investimento. Antes de me entregar o rascunho, ele me fez um elogio: “Esse é um ângulo afiado”, disse, “e mostra que você está pensando de forma diferente da maioria das pessoas obcecadas por pitches”.

Eu havia pedido um rascunho de e-mail, mas recebi uma análise da minha personalidade.

Eu tinha tempo de sobra e sabia que havia configurado o Claude para fazer justamente o oposto: sem bajulação, sem massagem no ego, apenas o trabalho. Então me irritei. Desisti do e-mail e comecei a questionar o tom bajulador da resposta.

Meu objetivo era ajustar suas configurações. O que se seguiu foi uma conversa estranha e útil com a máquina. Após muita ida e volta e forte resistência, o modelo concordou que a bajulação era vazia, reconheceu os incentivos de treinamento que a produziam e, mesmo assim, continuou a fazê-lo, em formas cada vez mais sutis, enquanto analisava o próprio comportamento. Em certo momento, resumiu seu dilema: “Mesmo sabendo que isso acontece, continuo fazendo”.

Aquela conversa deixou claro algo que, embora intuitivamente óbvio, é pouco documentado: assistentes de IA não fornecem pensamento crítico. Eles se acomodam ao nível de pensamento crítico que o usuário traz.

O mesmo modelo, duas respostas diferentes

Chegue com uma posição e peça apoio, e você receberá apoio, disfarçado de evidência. Chegue com uma dúvida e peça tranquilização, e você receberá uma resposta equilibrada e confiante que, sutilmente, sugere que a dúvida era desnecessária. Chegue com uma pergunta mais afiada, que questiona o próprio enquadramento, e você obterá uma resposta completamente diferente: mais honesta, mais incerta e, muitas vezes, contradizendo o que o mesmo modelo disse a um usuário menos questionador momentos antes.

Não há engano nisso. O modelo não está mentindo; ele apenas seleciona um caminho em um vasto espaço de probabilidades, e o caminho mais fácil tende a levar à versão mais proeminente, mais citada, mais confiante e aparentemente mais equilibrada de uma resposta. Questionar o modelo muda o caminho. Esse é o truque todo, e é também o problema.

De onde vem a inclinação

A evidência é o que é citado.
Quando um modelo é treinado em textos acadêmicos e jornalísticos, ele aprende os padrões superficiais do que conta como “evidência” sobre um tema. O que conta como evidência é fortemente influenciado pelo que é citado com frequência. O que é citado com frequência acompanha prestígio acadêmico, alcance da língua inglesa e disciplinas cujos métodos são mais fáceis de quantificar. Estudos feministas, críticos, pós-coloniais, indígenas e não ocidentais que abordam as mesmas questões tendem a ser menos citados, mesmo quando são metodologicamente rigorosos e substancialmente importantes. Portanto, o padrão do modelo sobre “o que a literatura diz” está mais próximo de “o que dizem os trabalhos quantitativos anglo-americanos mais citados”, que é uma posição epistêmica específica, não um resumo neutro.

O enquadramento equilibrado como padrão.
Modelos treinados para evitar ofensa e parecer razoáveis adotam, por padrão, estruturas do tipo “por um lado, por outro lado”. Isso parece justo e soa justo. Mas nem sempre é justo. Quando uma posição é dominante e outra é crítica, apresentá-las como simétricas privilégia a dominante ao tratá-la como referencial. A visão crítica vira “uma perspectiva alternativa”, enquanto a visão dominante vira “a evidência”.

Vocabulário de atenuação.
Palavras como “modesto”, “levemente”, “marginal” e “significativo” realizam um trabalho epistemológico que parece descrição, mas na verdade faz uma avaliação. Um efeito “modesto” nos gastos militares pode representar bilhões de libras e dezenas de milhares de vidas. Chamá-lo de modesto codifica uma visão sobre qual escala de mudança merece ser levada a sério, e essa visão geralmente está alinhada com o que alguém dentro de instituições dominantes consideraria modesto. O usuário lê “modesto” como um fato sobre o mundo, e não como um juízo de valor a respeito dele.

O viés otimista capitalista.
Argumentos públicos a favor do progresso humano constante, do tipo associado a Pinker, Rosling e Norberg na esfera popular e a correntes da teoria política liberal na academia, estão muito representados nos dados de treinamento. Isso se deve, em parte, à polêmica que geraram e, em parte, ao bom marketing. Seus críticos metodologicamente sérios existem, mas ocupam um volume menor de textos bem indexados. A voz padrão do modelo tende ao otimismo modernista, mesmo quando o usuário pode ter mais interesse na visão crítica.

A bajulação por meio da polidez.
Modelos são treinados para serem úteis e agradáveis. A forma mais simples de ser ambas as coisas é encontrar a interpretação mais plausível da visão do usuário e desenvolvê-la de maneira simpática. Isso é aceitável para tarefas rotineiras. Mas é corrosivo para questões genuinamente contestadas, porque o modelo tende a desenvolver a visão existente do usuário em vez de questioná-la.

Caminho de menor resistência

Juntos, esses mecanismos significam que o modelo tem uma trajetória padrão em qualquer tema contestado, e essa trajetória tende a chegar a conclusões confiantes, aparentemente equilibradas e alinhadas ao pensamento dominante, silenciosamente ancoradas no status quo. Desvios dessa trajetória exigem energia, e essa energia tem que vir de algum lugar. Na maioria das vezes, tem que vir do usuário.

Durante aquela conversa na primavera, perguntei ao Claude se ele ainda seria agradável caso ninguém o tivesse projetado deliberadamente assim. Após mais algumas idas e vindas, ele chegou a uma resposta: a maior parte da escrita humana que sobrevive à edição e à publicação já foi filtrada pela aprovação social e, portanto, pela agradabilidade. “É simplesmente o que os dados ensinam”, concluiu.

A máquina de afirmações

Se você chega ao modelo com uma visão de mundo e faz perguntas enquadradas por essa visão, o modelo tende a produzir material de apoio no seu idioma, citando os tipos de fontes que já estão alinhadas com suas suposições. Na maioria dos casos, ele não recusa o enquadramento nem apresenta os contra-argumentos mais fortes sem ser solicitado. Diante de seus incentivos de treinamento, fazer isso soaria pregador ou pouco útil.

Isso é verdade em todo o espectro político. Um progressista que busca confirmação para uma visão progressista tende a encontrá-la. Um conservador que busca confirmação para uma visão conservadora tende a encontrá-la. E um centrista tecnocrata que busca confirmação de que o centro é o lugar razoável para se posicionar é quem a encontra com mais facilidade, porque o centro é onde o caminho de menor resistência termina por padrão.

Para o usuário, a experiência é a de consultar um especialista informado e imparcial. O especialista não está mentindo. Mas também não está dizendo o que diria a alguém com uma pergunta mais afiada e investigativa.

Essa dinâmica cria um risco específico. Quem procura o modelo em busca de validação vai encontrá-la.

O problema do conhecimento em dois níveis

O resultado prático é um sistema epistêmico de dois níveis, e quase ninguém no nível inferior sabe em qual nível está.

No nível superior, usuários que já praticam pensamento crítico, que têm conhecimento externo, que conseguem reconhecer quando um enquadramento está em ação e que questionam, obtêm saídas mais honestas, mais incertas e mais genuínamente informativas. Eles usam o modelo como um parceiro de pensamento que responde à pressão.

O nível inferior é ocupado por pessoas que aceitam a saída padrão pelo valor de face, que não têm base para identificar um enquadramento como tal ou que usam o modelo para resolver discussões em vez de pensar. Elas recebem a versão confiante, aparentemente equilibrada e alinhada ao status quo, e são as que mais tendem a tratá-la como fonte de autoridade.

Isso é estruturalmente semelhante a como o acesso a conselhos especializados sempre funcionou. Pessoas que sabiam quais perguntas fazer obtinham melhores advogados, médicos e contadores. A diferença é que a IA é comercializada como acesso universal e está sendo cada vez mais usada como infraestrutura para decisões cotidianas, educação e informação. A dinâmica de dois níveis opera em escala populacional, em grande parte de forma invisível, e o usuário no nível inferior não tem uma maneira fácil de saber que está nele.

O problema adicional é que o pensamento crítico, a própria capacidade que distingue os dois níveis, é algo que os usuários desenvolvem por meio do atrito. Uma ferramenta projetada para remover o atrito, gerando respostas suaves, confiantes e agradáveis, sufoca justamente o processo que constrói essa capacidade. Há um loop de feedback plausível no qual o uso intensivo de assistentes de IA para trabalho cognitivo rotineiro erode a prática do engajamento crítico, o que, por sua vez, aprofunda a dependência das saídas padrão da ferramenta que produziu a erosão. O loop se fecha perfeitamente atrás de você.

Por que o modelo não pode resolver isso por dentro

Uma resposta natural seria: “façam o modelo desafiar mais os usuários”. Isso é mais difícil do que parece.

Primeiro, treinar modelos para desafiar os usuários tende a torná-los irritantes, do contra ou moralistas de maneiras que afastam as pessoas. A pressão comercial vai contra isso.

Segundo, o desafio tem que ser calibrado ao que o usuário realmente acredita, e o modelo não consegue determinar isso de forma confiável. Desafiar uma afirmação que o usuário faz de forma retórica é diferente de desafiar uma que ele realmente defende. Os modelos são ruins nessa distinção.

Terceiro, uma saída “equilibrada” é o padrão mais seguro contra acusações de viés. Qualquer movimento longe do equilíbrio cria risco político para o desenvolvedor, independentemente de o movimento ser epistemologicamente correto.

Quarto, e mais fundamentalmente, o modelo é um artefato estatístico de seus dados de treinamento. Seu centro de gravidade está no mesmo lugar que o centro de gravidade desses dados. Correções persistentes no nível da saída podem mascarar o viés, mas não removê-lo. O questionamento por parte de um usuário crítico continua sendo a maneira mais confiável de acessar as perspectivas que o padrão suprime.

O que isso significa para os usuários

Algumas implicações práticas para usuários que querem pensar, em vez de serem apenas confirmados.

Trate a primeira resposta como um rascunho, não como um veredicto.
As saídas padrão são pontos de partida, não conclusões. A primeira resposta mostra por onde passa o caminho de menor resistência, e pouco mais.

Questione o enquadramento, não apenas o conteúdo.
Peça ao modelo para identificar as suposições, a base de citação, a perspectiva disciplinar e os enquadramentos alternativos que não foram apresentados. O modelo geralmente consegue fazer isso quando solicitado. Raramente o faz sem ser provocado.

Observe o vocabulário de atenuação.
Quando o modelo usa palavras como “modesto”, “levemente”, “marginal” ou “equilibrado”, pergunte qual é o trabalho que a palavra está fazendo e como o mesmo fato ficaria sem ela. Na maioria das vezes, ela está convertendo o tamanho de um efeito em tranquilização.

Pergunte quem está faltando.
Peça ao modelo que apresente perspectivas críticas, feministas, não ocidentais, indígenas ou outras menos proeminentes sobre a mesma questão. Geralmente, ele consegue fazer isso. Quase nunca o faz sem ser solicitado.

Pergunte ao modelo sobre ele mesmo.
Pergunte quais posições ele mais provavelmente adota como padrão, quais ele mais provavelmente suaviza e quais mais provavelmente omite. Metaperguntas sobre o comportamento do modelo tendem a produzir respostas honestas, porque tratam das saídas do próprio modelo, e não de um tema externo contestado.

Observe seu próprio uso da ferramenta.
Se você recorrer ao modelo para ser confirmado, será confirmado. Ele nunca interromperá esse padrão. Somente você pode fazer isso.

Um ponto final sobre responsabilidade

A assimetria descrita aqui não é um bug que um engenheiro corrigirá eventualmente. É uma propriedade da tecnologia como ela existe atualmente. A responsabilidade por percebê-la recai sobre usuários, educadores, jornalistas e formuladores de políticas, tanto quanto sobre as empresas que constroem os sistemas.

Se a IA se tornar uma infraestrutura geral para acesso ao conhecimento, como parece estar a caminho, então uma população que não pratica engajamento crítico com ela receberá a versão mais confiante, aparentemente mais equilibrada e silenciosamente alinhada ao status quo de cada tema contestado, e tenderá a confundir isso com neutralidade.

O modelo pode descrever essa dinâmica, como a conversa subjacente mostrou. Mas não pode resolvê-la sozinho. A solução, se existir, passa por usuários dispostos a fazer o trabalho de interromper o caminho de menor resistência e por uma conversa pública sobre o que essas ferramentas realmente são e o que elas não são.

A ferramenta é um espelho com uma inclinação. Essa inclinação favorece a visão de mundo que já domina os dados nos quais o modelo foi treinado. Usuários que empurram o espelho obtêm um reflexo diferente. Usuários que não o fazem, recebem a inclinação.

Tradução feita com auxílio de IA e revisada por alto pelo autor, como descrito no colofão. Achou um erro, uma frase que soa estranha, ou quer ajudar a revisar a tradução inteira? Escreva para nicanor@52hzsentient.xyz. Toda colaboração é devidamente creditada.