Do dever de revisão ao dever de orientação em ferramentas de IA generativa

A incorporação de inteligências artificiais generativas ao funcionamento do Poder Judiciário brasileiro deixou de ser uma hipótese prospectiva. A discussão já não é mais sobre a possibilidade de utilização dessas ferramentas, mas sobre as condições institucionais e constitucionais de seu uso legítimo.

A Resolução nº 615/2025 do Conselho Nacional de Justiça representa importante avanço regulatório ao estabelecer diretrizes para desenvolvimento, governança e utilização de sistemas de inteligência artificial no Judiciário. A norma menciona transparência, auditabilidade, prevenção de vieses, supervisão humana e proteção de direitos fundamentais. Contudo, quando o tema é IA generativa aplicada à elaboração de decisões judiciais, surge um problema mais sofisticado: a mera revisão humana posterior da minuta produzida pela máquina é suficiente para garantir controle efetivo sobre a decisão?

A resposta parece ser negativa.

Isso porque a IA generativa produz uma transformação qualitativa na relação humano-máquina. Diferentemente de ferramentas tradicionais de automação, modelos fundacionais não apenas localizam informações ou executam comandos predefinidos. Eles produzem linguagem, organizam argumentos, sugerem enquadramentos normativos, estruturam narrativas fáticas e formulam justificações juridicamente plausíveis. Em muitos casos, participam diretamente da arquitetura cognitiva da decisão.

Esse ponto é central.

Revisão humana resolveria o problema

No debate público, costuma-se pressupor que o problema estaria resolvido porque “um humano revisa o texto ao final”. Mas a literatura contemporânea sobre automação e modelos de linguagem demonstra que supervisão posterior não necessariamente equivale a controle efetivo.

Estudos recentes indicam que grandes modelos de linguagem podem produzir explicações aparentemente coerentes e detalhadas sem que tais justificações sejam fiéis ao verdadeiro processo que levou à resposta. Turpin, Michael, Perez e Bowman (2023) demonstraram que modelos podem racionalizar conclusões previamente enviesadas sem revelar os fatores que efetivamente influenciaram o resultado. Jacovi e Goldberg (2020), ao tratarem da faithfulness em sistemas de NLP, alertam que explicações produzidas por IA (chain of thought) frequentemente aumentam a aparência de racionalidade sem garantir correspondência real com o processo decisório.

No contexto jurisdicional, isso possui enorme relevância constitucional. A fundamentação judicial não é mero ornamento argumentativo. Trata-se de garantia democrática, mecanismo de controle pelas partes e requisito de legitimidade do exercício da jurisdição. A decisão judicial exige possibilidade de reconstrução racional das premissas, fontes e inferências utilizadas pelo julgador.

O problema é que a IA generativa escreve com fluência. E a fluência produz confiança.

Aumento de produção facilitaria os erros

É justamente aí que emerge o chamado automation bias: a tendência humana de confiar excessivamente em recomendações automatizadas, sobretudo em ambientes complexos, com sobrecarga cognitiva e pressão temporal. Lee e See (2004), Parasuraman e Manzey (2010) e Lyell e Coiera (2017) demonstraram que operadores humanos frequentemente deixam de revisar criticamente sistemas automatizados quando estes aparentam elevada confiabilidade.

Em gabinetes judiciais submetidos a metas de produtividade, elevado acervo e intensa pressão institucional, o risco é evidente. A minuta produzida pela IA pode funcionar como âncora cognitiva invisível. Assim, o magistrado ou assessor acredita estar apenas revisando criticamente o texto, quando, na realidade, já teve a estrutura decisória previamente moldada pela máquina.

A IA seleciona fatos relevantes, organiza argumentos, sugere enquadramentos normativos e define a arquitetura da fundamentação. O humano passa, então, a operar mais como editor incremental do raciocínio automatizado do que como efetivo autor substancial da decisão.

Nessa perspectiva, a simples presença de um humano “no circuito” (human-in-the-loop) torna-se insuficiente.

Dever de orientação previne danos

O European Data Protection Supervisor (2025), em relatório recente sobre supervisão humana de sistemas automatizados, sustenta que inserir um operador humano ao final do fluxo decisório não garante, por si só, controle significativo. O dever de orientação, diferentemente da mera revisão, exige capacidade real de prevenir danos, identificar falhas, compreender limitações do sistema e influenciar concretamente o resultado. Para visualizar a distinção entre mera revisão posterior e efetiva orientação, é possível sugerir um exercício ao usuário de ferramentas de IA generativa para auxílio na redação de decisões judiciais: enquanto estiver realizando a revisão de uma minuta produzida com algum tipo de auxílio de IA, observe e responda à seguinte pergunta: “Estou apenas ratificando a minuta produzida, ou participei efetivamente de sua construção, indicando todo o raciocínio jurídico aplicado?” Se a resposta for a primeira, é preciso ativar todos os alertas possíveis para o modo como a IA está sendo incorporada em sua prática profissional.

Essa distinção é decisiva para o Judiciário.

A assinatura humana ao final da decisão não assegura, automaticamente, controle humano substancial. O ponto relevante é outro: o julgador efetivamente dirigiu a interação com a ferramenta? Houve controle metodológico sobre o processo de construção da resposta? A decisão permaneceu cognitivamente humana?

A literatura mais recente sobre controle humano de IA tem caminhado exatamente nessa direção. Tsamados, Floridi e Taddeo (2025) sustentam que o modelo clássico de mera supervisão tende a ser insuficiente diante dos modelos fundacionais. Em vez de simples monitoramento posterior, seria necessário construir formas de human-machine teaming, nas quais o controle humano ocorre continuamente ao longo da interação. Essa mudança de paradigma possui implicações práticas importantes.

A primeira delas — e este é o argumento central do texto — é reconhecer que o uso legítimo de IA generativa exige orientação prévia da máquina, e não apenas revisão posterior do produto textual.

Não basta solicitar “redija uma sentença” ou “faça um voto”. O operador deve estruturar metodologicamente a interação, atentando-se aos seguintes passos: delimitar a tarefa, indicar fontes (fatos, provas, dispositivos legais, precedentes) admissíveis, exigir separação entre fatos e inferências, solicitar apresentação de teses alternativas, demandar explicitação de incertezas e impor verificação independente de precedentes, normas e dados processuais. Ou seja, mais do que revisar a máquina, é preciso orientar prévia e efetivamente a interação com ela.

Formulação humana antes do resultado automatizado

Outra medida relevante consiste em preservar uma etapa de formulação humana anterior à exposição ao resultado automatizado. Bucinca, Malaya e Gombolay (2021) demonstram que mecanismos de cognitive forcing reduzem dependência excessiva de sistemas automatizados. Aplicado ao Judiciário, isso significa exigir que magistrados e assessores formulem previamente a controvérsia, os fatos relevantes, os pontos de dúvida e a hipótese inicial de solução antes de consultar a IA. Com isso, a ferramenta deixa de atuar como primeira autora cognitiva da decisão.

Também se torna necessário acrescentar uma etapa fundamental no processo de cognição, consistente na verificação adversarial. Não basta perguntar se a resposta “parece correta”. É preciso exigir que a IA identifique fragilidades do próprio raciocínio, apresente argumentos contrários, explicite premissas não demonstradas e destaque pontos que dependem de conferência direta nos autos. Nesse aspecto, a preocupação não é apenas tecnológica. Trata-se de questão processual e democrática.

O processualismo constitucional democrático, desenvolvido por Dierle Nunes (2008), compreende o processo como espaço discursivo de formação comparticipada da decisão, estruturado pelo contraditório substancial, pela fundamentação adequada, pela vedação de decisões-surpresa e pela controlabilidade democrática da jurisdição. Se a IA passa a participar da organização dos argumentos e da estrutura da fundamentação, torna-se inevitável discutir como preservar transparência argumentativa, rastreabilidade das razões e responsabilidade decisória humana.

Eficiência operacional não substitui criticidade decisória

O risco não está apenas na possibilidade de erro factual ou “alucinação”. O problema mais profundo é a criação de uma camada opaca de mediação cognitiva entre os autos e a fundamentação judicial.

Por isso, a Resolução nº 615/2025 precisa avançar além da previsão genérica de supervisão humana. A utilização de IA generativa em decisões judiciais demanda deveres metodológicos mais específicos, como o registro da finalidade de uso, delimitação da tarefa atribuída ao sistema, indicação das fontes autorizadas (fatos, provas, dispositivos legais, precedentes), verificação independente de precedentes e dispositivos legais, preservação mínima de trilha de auditoria e mecanismos estruturados de revisão crítica. Isso sem falar na possibilidade de se definir zonas de exclusão de delegação, “[…] ou seja, de atos jurídicos que, por sua natureza deliberativa, não podem ser executados autonomamente por sistemas artificiais, independentemente da qualidade técnica de seu resultado (SALOMÃO e NUNES, 2026).

Essas preocupações não significam inviabilizar o uso da tecnologia. A IA generativa possui enorme potencial de apoio à atividade jurisdicional, ao possibilitar a organização de informações, síntese processual, revisão linguística, identificação de inconsistências e auxílio à pesquisa. O problema surge quando eficiência operacional passa a substituir criticidade decisória.

A questão central, portanto, consiste em definir se o uso de ferramentas de IA generativa — e, agora, agênticas — preservará a racionalidade pública da jurisdição ou se produzirá decisões formalmente humanas, porém substancialmente induzidas por sistemas cuja lógica permanece opaca até mesmo para aqueles que acreditam estar no controle. Por isso, no âmbito judicial, não basta revisar a máquina; é preciso orientar, o que exige dirigir previamente a atuação, impor limites, definir objetivos, contestar, verificar e auditar sua atuação.

_________________________

Referências

BUCINCA, Zana; MALAYA, Maja Barbara; GOMBOLAY, Matthew. To trust or to think: cognitive forcing functions can reduce overreliance on AI in AI-assisted decision-making. Proceedings of the ACM on Human-Computer Interaction, v. 5, CSCW1, p. 1-21, 2021.

EUROPEAN DATA PROTECTION SUPERVISOR. TechDispatch on human oversight of automated decision-making. Luxembourg: Publications Office of the European Union, 2025. DOI: 10.2804/8957972.

JACOVI, Alon; GOLDBERG, Yoav. Towards faithfully interpretable NLP systems: how should we define and evaluate faithfulness? In: Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics. Online: Association for Computational Linguistics, 2020. p. 4198-4205. DOI: 10.18653/v1/2020.acl-main.386.

LEE, John D.; SEE, Katrina A. Trust in automation: designing for appropriate reliance. Human Factors, v. 46, n. 1, p. 50-80, 2004. DOI: 10.1518/hfes.46.1.50_30392.

LYELL, David; COIERA, Enrico. Automation bias and verification complexity: a systematic review. Journal of the American Medical Informatics Association, v. 24, n. 2, p. 423-431, 2017. DOI: 10.1093/jamia/ocw105.

NUNES, Dierle José Coelho. Processo jurisdicional democrático: uma análise crítica das reformas processuais. Curitiba: Juruá, 2008.

PARASURAMAN, Raja; MANZEY, Dietrich H. Complacency and bias in human use of automation: an attentional integration. Human Factors, v. 52, n. 3, p. 381-410, 2010.

SALOMÃO, Luis Felipe; NUNES, Dierle. O jurista que parou de tentar: IA, dependência cognitiva e como o design importa. Consultor Jurídico (ConJur), 8 maio 2026. Acesso em: 15 maio 2026.

TSAMADOS, Andreas; FLORIDI, Luciano; TADDEO, Mariarosaria. Human control of AI systems: from supervision to teaming. AI and Ethics, v. 5, p. 1535-1548, 2025. DOI: 10.1007/s43681-024-00489-4.

TURPIN, Miles; MICHAEL, Julian; PEREZ, Ethan; BOWMAN, Samuel R. Language models don’t always say what they think: unfaithful explanations in chain-of-thought prompting. In: 37th Conference on Neural Information Processing Systems — NeurIPS 2023. 2023.