Se a IA acerta 97% das decisões, sobram só 3% de casos para recurso?

Resumo: Cresce o uso da IA no judiciário; a presente coluna pretende, de forma colaborativa, questionar alguns pontos, preservando o legitimo interesse dos usuários e dos seus advogados.

Spacca

Vejo no Instagram (eis o vídeo) que o um robô escaneador de livros se prepara para alimentar LLM (Large Language Models) com dados e conhecimentos atualizados de milhões de livros. E aqui entra Chomsky: a IA é plagiadora. Rouba de todo mundo e “entrega” na maior cara de pau sem citar as fontes. Manchete na Folha de S.Paulo: Prioridade de Trump, empresas de IA usaram pirataria para treinar chatbots. Autoexplicativo.

Detalhe: os adeptos e adictos da inteligência artificial vibram com os “avanços” (sic). Coloco na IA um conceito que criei e a IA me rouba, como se fosse escrito por outras pessoas. Chamem o ladrão, diria Chico Buarque na famosa música “Acorda, Amor”.

Leio que a OpenAI lança agente de IA que pode fazer compras e mexer em planilhas sozinho. Claro: comércio eletrônico. Por isso é que, passeando pela cidade, vejo tantas lojas fechadas, com a inscrição Aluga-se!

Os jornais publicam alerta: “O uso da Inteligência Artificial leva a um curto-circuito geral no mundo das artes”. Bingo. O robô pinta melhor. Ganha até prêmio. Faz design bem mais rápido – e melhor – do que os humanos, cuja criatividade desaparece na proporção em que aumentam a dependência da máquina. E todos vibram, no melhor estilo “décadence avec élégance”.

Reportagem em jornal do Rio Grande do Sul fala dos feitos da IA no Judiciário, que lançou a Plataforma Gaia. Ela faz (de) tudo. Até imita, nas minutas de sentença e voto, o estilo do julgador, segundo diz a reportagem.

Em um mês desde o lançamento, conforme a reportagem originada do TJ-RS, a IA do Tribunal de Justiça gaúcho produziu 95 mil minutas que, após revisão, vêm se transformando em decisões judiciais.  Na plataforma do TJ-RS, para gerar uma decisão com IA, o magistrado primeiro insere um comando de texto, o prompt, dizendo se quer, por exemplo, condenar ou inocentar um acusado por determinado crime. Ou se decidiu prover ou rejeitar determinado recurso. No comando, o juiz pode apontar os elementos que a IA deve considerar para redigir a sentença. Aqui me permito lembrar que isso pode gerar o que Bacon já denunciava no século 17 — o viés de confirmação, já que os elementos são previamente escolhidos de modo teleológico.

Pergunto:

• de que modo o robô é alimentado?
• de que modo o juiz ou desembargador (ou o assessor) determinam que o robô absolva, condene, julgue a favor ou contra uma parte?
• examina o processo para saber? Como isso é feito? Mas, por qual razão uma decisão pode ser feita desse modo?
• o que é, afinal, a fundamentação? De que modo a IA vai cumprir os requisitos do art. 489, do CPC ou do 315, do CPP?
• fundamentação é uma busca daquilo que já foi decidido?

Diz um desembargador do TJ-RS: a IA vai produzir uma decisão no mesmo contexto que um assessor produziria. Portanto, não se delega. O juiz é quem julga, diz o magistrado.

1. Aceito o argumento. Não poderia ser diferente, digamos assim. Porém, confesso que não consegui compreender. A comparação com o assessor, está bem. Mas, de novo:

• como eu posso dizer se o réu deve ser condenado ou não ou se uma parte tem direito ou não, se não examinei o processo?
• E é o assessor quem dirá (ou diz) se a IA deve produzir decisão x ou y? E não tem nada no meio do caminho, como nulidades, argumentos de causídicos etc.? E as teses da defesa? Das partes? Perdem a importância?

São os mistérios dessa neociência no mundo jurídico.

Mas, há mais coisas.

Vejo a reportagem do TJ-RS dizendo que a IA comete “apenas” 3% de erro — e que isso seria ótimo, pois seria bem menor que o erro humano. Tudo bem. Em termos de accountability, precisaríamos de saber, por exemplo:

• Mas acertar em relação a quê? Qual a métrica?
• O que e como está sendo aferido? Decisões anteriores? Um padrão médio?
• Uma estatística que o público não conhece?
• A acurácia de 97% é em relação a uma tarefa ao estilo copiar e colar? Troca-se o trabalho manual repetitivo do humano por um operador biônico?

O quadro abaixo é de autoria do advogado e professor Paulo Caliendo:

O juiz federal Bianor Arruda — em diálogo sobre o tema — pergunta, argutamente: o que é, afinal, um erro judicial? Responder a isso não se resolve só com domínio técnico de IA ou de seus produtos de mercado. A coisa vai bem mais fundo.

Um detalhe teórico-histórico: interessante é que, para a expressiva maioria da doutrina jurídica, não existem respostas corretas.  Há “n” livros e doutrinadores fazendo críticas à possibilidade de se falar em respostas corretas. Não é o meu caso. E de Dworkin, quem sempre foi criticado pela busca da resposta correta. Eu também defendo há décadas a possibilidade (e necessidade) de se encontrar respostas corretas (eu chamo de RAC — Respostas Adequadas à Constituição).

Pergunto: agora, com a IA, é possível alcançar a resposta correta (da qual venho falando de há muito, mas sem uso de IA, mas, sim, com uso de critérios hermenêuticos)? Fazendo uma ironia: vencemos o debate?

E me permito a acrescentar:

• se a IA acerta (sic) 97%, só há chance de recursos em 3%? O que houve com os 3%? Parece lógico isso. Chamo de “paradoxo do recurso zero ou o paradoxo da implosão” (ler aqui).
• se há 97% de acerto, como é que, em grau de recurso, a IA dirá que errou?
• se o juiz de Caxias do Sul emite uma decisão (correta — sic), de que modo isso poderá ser reformado no Tribunal pela IA, que segue a mesma lógica do projeto GAIA? Porque se a decisão for reformada, não era correta.
• ou, não é assim? Vejamos: falo apenas do RS; essa experiência já existe em outros tribunais.
• e a colegialidade? Temos duas camadas nesse imbróglio: primeiro, as instâncias; o juiz de primeiro grau decide por meio de IA; como a IA que examinará a apelação é do mesmo sistema Gaia, de que modo essa decisão poderá ser considerada errada? A segunda camada diz respeito aos três desembargadores; haverá uma IA dissidente (poderá votar contra o que a IA de outro desembargador “sustenta”?) Ou tudo será unânime? Ou monocrático?
• Se os votos são todos gerados a partir do mesmo sistema de IA dentro do tribunal e serão revisados pela mesma IA, qual a garantia de que o sistema não irá “alucinar” no meio do caminho?
• Direito é uma questão de caso concreto (sempre se diz); a lei diz que há um direito legal ao distinguishing (artigo 489 CPC; 315 CPP); de que modo a IA examinará?
• qual é o conceito de precedente para a IA? A recomendação 134 do CNJ é de que se leve em conta as razões de decidir e na aplicação de precedentes os juízes e tribunais apliquem os precedentes de forma adequada, considerando as particularidades de cada caso; a recomendação permite que, em casos excepcionais, um precedente vinculante seja afastado, desde que haja uma distinção material relevante e indiscutível entre o caso concreto e o precedente. De que modo isso será feito? Os usuários terão acesso aos critérios?

Perguntas ainda sem respostas

Há quem diga que os críticos da IA, como eu, quando falam da decisão judicial e dos “acertos” em 97% (sic), possuem uma visão idealizada do juiz, como se esse fosse neutro ou racional. Bem, o mínimo que os humanos exigimos é que o juiz, uma vez que a neutralidade é absolutamente impossível, que ele seja imparcial, o que implica um grau de racionalidade. Onde há viés de confirmação a imparcialidade está comprometida. Quero dizer: se o assessor ou o juiz determina que a IA decida monte a decisão de um modo, já há uma decisão e, com isso, a fundamentação, que é meio e não fim, fica comprometida e fragilizada. Nisso nada há de idealização. Ou deixamos isso de lado? Já não reivindicamos isso? O que estamos ensinando nas faculdades?

Além disso, vale dizer que sempre que são apresentadas as grandes vantagens da IA para o Judiciário os números de problemas são minimizados. Conforme anteriormente referido, o TJ-RS diz que o índice de precisão é 97% e apenas 3% de “imprecisões”. Parece pouco. Apenas parece. Para fins argumentativos faço um cálculo, se levarmos em consideração que, de acordo com Justiça em Números, o TJ-RS julgou no ano de 2024, 418.861 processos, 3% desse valor seriam 12.566 processos com “imprecisões”. Daí a questão: como convencer o magistrado, o assessor, o(s) desembargador(es) ou a IA que ela errou?

Além de tudo isso, Dierle Nunes chama a atenção para o perigo das manipulações, no artigo intitulado Decisões à cegas: como as IAs podem ser manipuladas sem você saber  (ler aqui). Fala da preocupação com as técnicas de manipulação oculta, em que tais instruções são escondidas no texto com a colocação de um prompt fantasma (por exemplo, usando fonte branca ou tamanho de fonte microscópico) de forma que passem despercebidas aos leitores humanos, mas ainda sejam interpretadas e absorvidas como comando pela IA. O artigo esmiúça esse problema.

Numa palavra final, do jeito que a coisa vai, e aqui me aproveito de uma ironia de Gustavo Rabay, especialista no tema, “vamos lançar um marketplaces de agentes jurídicos. Peça pelo número.  Qualquer tema, qualquer nicho. Informe o formato e a quantidade de páginas desejada. E sairá tudo sharp and clean. Incluindo um laudo jurimétrico para informar ao juízo a probabilidade da decisão dele ser mantido nas instâncias superiores (na França isso é considerado crime). Suspendam os concursos. Só precisaremos dos oficiais de justiça. Quer dizer, nem deles”. Autoexplicativa a brincadeira do Rabay. A sério.

Eis o que venho dizendo e alertando. Muito cuidado com o que desejamos. Permito-me contar uma historinha retirada do livro de Nick Bostrom, Superinteligência: caminhos, perigos e estratégias para um novo mundo.  Trata-se da fábula inacabada dos pardais. Se não servir para nada, vale pela beleza da narrativa do autor. Diziam os pardais, em um final de tarde, descansando depois de um dia de trabalho:

“Nós somos tão pequenos e fraquinhos… Imagine como a vida seria fácil se tivéssemos uma coruja que nos ajudasse na construção de nossos ninhos!”. Disse o outro: “Sim… E nós poderíamos ter a ajuda dela para cuidar dos pardais mais velhos e dos mais novos”.
Acrescentou um terceiro: “Ela poderia nos aconselhar e ficar de olho no gato do vizinho”.
Então, o pássaro mais velho disse: “Vamos enviar olheiros para procurar em todos os lugares uma corujinha abandonada, ou talvez um ovo. Um filhote de corvo ou de doninha também serviria. Isso poderia ser a melhor coisa que já nos aconteceu, pelo menos desde a abertura do Pavilhão do Grão Ilimitado, no quintal ao lado”.

Conta-se que o bando estava radiante e os pardais começaram a gorjear com toda a força. Apenas Scronkfinkle, o pardal rabugento e de um olho só, não estava convencido da prudência daquela empreitada. Disse ele:

“Será, com certeza, nossa destruição. Não deveríamos pensar um pouco sobre a arte da domesticação e do adestramento das corujas antes de trazer criaturas desse tipo para o nosso meio?”

Scronkfinkle estava certo, mas não foi ouvido pelo bando. A coruja veio e…o resto o leitor(a) imagina.

Sim, é preciso primeiro saber adestrar corujas antes de trazê-las como solução….

Sou, nesse meio, o pardal Skronkfinkle.