REGISTRO DOI: 10.70773/revistatopicos/780549679
RESUMO
Introdução: A incorporação de sistemas de inteligência artificial em processos decisórios ampliou o uso de mecanismos de perfilamento e inferência comportamental capazes de influenciar formas de classificação social e acesso a oportunidades. Nesse cenário, o racismo algorítmico ultrapassa a dimensão da desigualdade de resultados e passa a afetar a maneira como indivíduos racializados são percebidos e avaliados em ambientes institucionais. Objetivo: O artigo investiga em que medida práticas associadas ao racismo algorítmico podem ser juridicamente compreendidas como violação à autodeterminação cognitiva, entendida como dimensão da autonomia individual relacionada à formação do pensamento, das preferências e das decisões. Materiais e Método: A pesquisa adota abordagem qualitativa, de natureza jurídico-dogmática e jurídico-crítica, desenvolvida por meio de revisão bibliográfica e análise normativa, articulando teoria dos direitos fundamentais, proteção de dados pessoais, neurodireito e literatura sobre discriminação algorítmica. Resultados: Identificou-se que o ordenamento jurídico brasileiro dispõe de instrumentos de proteção, especialmente por meio da Constituição Federal de 1988 e da Lei Geral de Proteção de Dados Pessoais, mas ainda apresenta fragilidades relacionadas à transparência, supervisão humana e controle de decisões automatizadas. Contribuição Científica: O estudo formula a categoria da lesão à autodeterminação cognitiva por via algorítmica e propõe um critério de quatro elementos para sua identificação, articulando racismo algorítmico, proteção de dados e neurodireito em torno dos impactos das decisões automatizadas sobre a autonomia individual e a igualdade material. Conclusão: Conclui-se pela necessidade de fortalecimento de mecanismos de accountability, transparência e contestação, capazes de assegurar proteção efetiva à autodeterminação cognitiva diante dos riscos produzidos pela automação decisória.
Palavras-chave: Perfilamento; Discriminação Algorítmica; Igualdade material; Proteção de dados pessoais; Neurodireito.
ABSTRACT
Introduction: The incorporation of artificial intelligence systems into decision-making processes has expanded the use of profiling and behavioral inference mechanisms capable of influencing forms of social classification and access to opportunities. In this context, algorithmic racism extends beyond unequal outcomes and begins to affect the ways in which racialized individuals are perceived and evaluated within institutional environments. Objective: This article investigates to what extent practices associated with algorithmic racism may be legally understood as violations of cognitive self-determination, conceived as a dimension of individual autonomy related to the formation of thoughts, preferences, and decisions. Materials and Methods: The research adopts a qualitative approach, grounded in legal-dogmatic and legal-critical analysis, through bibliographic review and normative examination, articulating theories of fundamental rights, data protection, neurorights, and scholarship on algorithmic discrimination. Results: It was identified that the Brazilian legal system provides protective instruments, especially through the 1988 Federal Constitution and the General Data Protection Law, but still presents weaknesses related to transparency, human oversight, and the control of automated decisions. Scientific Contribution: The study formulates the category of harm to cognitive self-determination through algorithmic means and proposes a four-element criterion for its identification, articulating algorithmic racism, data protection, and neurorights around the impacts of automated decisions on individual autonomy and substantive equality. Conclusion: The article concludes that stronger mechanisms of accountability, transparency, and contestation are necessary to ensure effective protection of cognitive self-determination against the risks posed by automated decision-making systems.
Keywords: Profiling; Algorithmic Discrimination; Substantive Equality; Personal Data Protection; Neurorights.
1. INTRODUÇÃO
A incorporação de sistemas de inteligência artificial em processos decisórios tem reconfigurado os critérios de acesso a direitos e oportunidades, expandindo-se em diferentes esferas sociais. Operando por meio de técnicas de perfilamento, entendido como o tratamento de dados pessoais destinado a avaliar ou prever comportamentos, preferências e riscos (União Europeia, 2016, art. 4º, item 4), esses sistemas passam a estruturar as condições em que indivíduos são percebidos, classificados e avaliados em ambientes institucionais. Como destaca a literatura nacional sobre proteção de dados, o uso dessas tecnologias altera profundamente a dinâmica de exercício da autonomia individual, deslocando o foco do controle sobre informações para os efeitos produzidos por seu tratamento (Doneda, 2021, p. 42).
Diante dessas transformações, o debate jurídico passa a alcançar também os processos que moldam os contextos decisórios. Ao influenciar as possibilidades concretas de escolha, essas tecnologias impõem ao direito o desafio de repensar os instrumentos tradicionais de proteção da autonomia individual diante de mecanismos que operam por meio de classificação, previsão e condicionamento.
Embora frequentemente apresentadas como neutras, essas ferramentas incorporam dados históricos e critérios de modelagem que podem reproduzir desigualdades já existentes. No contexto brasileiro, essa dinâmica se fundamenta no racismo estrutural, compreendido como o amálgama de práticas sociais e institucionais que, de forma sistemática e muitas vezes implícita, produzem hierarquias raciais. É nesse cenário que germina o racismo algorítmico, conceito que designa a forma como tecnologias e sistemas automatizados processam, reforçam e automatizam a discriminação racial sob a aparência de imparcialidade técnica (Silva, 2022, p. 41).
A compreensão desse processo exige considerar a ideia de reprodução de padrões sociais, segundo a qual estruturas de desigualdade são reiteradas por práticas institucionais e instrumentos aparentemente objetivos. No ambiente digital, isso ocorre porque os algoritmos aprendem com dados que refletem essas assimetrias. A crítica à chamada neutralidade tecnológica aponta justamente para esse problema, ao evidenciar que sistemas técnicos carregam escolhas humanas e valores implícitos.
Esses sistemas agem por meio de mecanismos de inferência comportamental, capazes de produzir avaliações e previsões sobre indivíduos a partir do processamento massivo de dados e correlações estatísticas. A utilização dessas inferências influencia diretamente a forma como as pessoas são percebidas em ambientes institucionais, condicionando oportunidades, níveis de vigilância e critérios de acesso a direitos e serviços.
A complexidade desses impactos exige que o debate jurídico ultrapasse a análise de resultados discriminatórios isolados e alcance os efeitos produzidos sobre a própria esfera individual. Torna-se necessário examinar de que modo decisões automatizadas interferem na forma como sujeitos são percebidos, classificados e inseridos em dinâmicas sociais. Nesse ponto, ganha relevância a noção de autodeterminação cognitiva, compreendida como a capacidade de formar pensamentos, percepções e decisões sem interferências indevidas decorrentes de mecanismos opacos de indução ou condicionamento (Balkin, 2015, p. 18).
A discussão dialoga ainda com o campo do neurodireito e com a formulação dos chamados neurorights, voltados à proteção da integridade mental e da liberdade cognitiva diante de tecnologias capazes de influenciar processos psíquicos (Yuste et al., 2017, p. 163). Ainda que essa categoria não esteja expressamente prevista no ordenamento brasileiro, ela pode ser construída a partir de direitos fundamentais como dignidade, liberdade, privacidade e autodeterminação informativa (Sarlet; Marinoni; Mitidiero, 2021, p. 643).
À luz dessas considerações, coloca-se a seguinte questão de pesquisa: Em que medida o racismo algorítmico, especialmente em sistemas de perfilamento e inferência comportamental utilizados em decisões automatizadas, pode ser juridicamente compreendido como uma forma de violação à autodeterminação cognitiva de pessoas racializadas no Brasil?
Parte-se da hipótese de que o racismo algorítmico, quando incorporado a sistemas de perfilamento e inferência comportamental, não se limita à produção de discriminações observáveis em seus resultados, podendo também afetar a esfera cognitiva dos indivíduos. Isso ocorre porque classificações automatizadas, construídas a partir de dados historicamente enviesados, tendem a produzir interpretações assimétricas e pouco transparentes, capazes de influenciar a forma como pessoas racializadas são percebidas e tratadas em diferentes contextos sociais. Sustenta-se, ainda, que o ordenamento jurídico brasileiro oferece proteção fragmentária para esse tipo de lesão, sem desenvolver mecanismos específicos voltados à tutela da autodeterminação cognitiva em ambientes algorítmicos.
Como contribuição ao debate, propõe-se a categoria da lesão à autodeterminação cognitiva por via algorítmica, acompanhada de um critério de quatro elementos para sua identificação: a opacidade da inferência, o impacto sobre direitos fundamentais, o emprego de proxies raciais e a impossibilidade prática de contestação. A junção esses elementos identifica as situações em que a discriminação algorítmica compromete as condições de formação autônoma das percepções e escolhas dos sujeitos racializados.
A relevância do tema está relacionada ao avanço dessas tecnologias e à insuficiência de respostas jurídicas capazes de lidar com seus efeitos mais complexos. O ordenamento brasileiro dispõe de instrumentos importantes, como a Constituição Federal de 1988 e a Lei Geral de Proteção de Dados (Lei nº 13.709/2018), mas ainda enfrenta dificuldades para lidar com impactos que ultrapassam a lógica tradicional da discriminação direta.
O objetivo geral deste estudo é analisar se e em que medida o racismo algorítmico pode ser juridicamente compreendido, no Brasil, como violação à autodeterminação cognitiva de pessoas racializadas.
De forma específica, busca-se: (i) analisar a estrutura do racismo algorítmico em sistemas de perfilamento e inferência comportamental, considerando a reprodução de padrões sociais e os limites da neutralidade tecnológica; (ii) examinar a autodeterminação cognitiva como possível bem jurídico tutelado, à luz dos direitos fundamentais, da proteção de dados e das contribuições do neurodireito; e (iii) avaliar a suficiência do ordenamento jurídico brasileiro para enfrentar decisões automatizadas racialmente enviesadas e propor um critério jurídico de aferição da lesão à autodeterminação cognitiva, com identificação de lacunas e parâmetros de regulação.
Para orientar a análise do problema proposto, o estudo incorpora cinco categorias analíticas: (i) racismo algorítmico e estrutura do viés, voltada à compreensão de como desigualdades raciais são incorporadas em dados e modelos; (ii) perfilamento e inferência comportamental, que examina os mecanismos pelos quais sistemas automatizados atribuem características e previsões aos indivíduos; (iii) autodeterminação cognitiva, entendida como dimensão da autonomia relacionada à liberdade mental e à integridade psíquica; (iv) suficiência normativa, destinada a avaliar a adequação das respostas jurídicas existentes; e (v) accountability e tutela jurídica, que envolve a análise de mecanismos de transparência, controle, contestação e responsabilização. Essas categorias permitem estruturar a investigação, permitindo examinar o fenômeno tanto em sua dimensão técnica quanto em seus desdobramentos jurídicos.
A pesquisa adota abordagem qualitativa, de natureza jurídico-dogmática e jurídico-crítica, voltada à reconstrução conceitual das categorias envolvidas e à avaliação da resposta normativa existente. Desenvolve-se por meio de revisão bibliográfica e análise normativa. A revisão reuniu obras sobre racismo algorítmico, proteção de dados pessoais, decisões automatizadas, neurodireito, liberdade cognitiva e discriminação algorítmica, selecionadas pela centralidade no debate e pela atualidade da discussão. A análise normativa examinou a Constituição Federal de 1988, a Lei Geral de Proteção de Dados Pessoais, o Código de Defesa do Consumidor, o Estatuto da Igualdade Racial, o Regulamento Geral de Proteção de Dados da União Europeia, o Artificial Intelligence Act e projetos legislativos brasileiros sobre inteligência artificial.
2. RACISMO ALGORÍTMICO, NEUTRALIDADE TECNOLÓGICA E PADRÕES DE CLASSIFICAÇÃO
O desenvolvimento tecnológico contemporâneo tem impactado de forma significativa as relações sociais, econômicas e jurídicas, sobretudo pela ascensão da Inteligência Artificial em processos decisórios antes restritos à intervenção humana. Ferramentas baseadas em processamento de dados passaram a ser empregadas nos mais variados contextos alterando a forma como indivíduos são avaliados em diferentes esferas sociais. Decisões que antes sustentavam-se na expertise humana passam a ser mediadas por modelos estatísticos capazes de processar grandes volumes de dados em alta velocidade, reduzindo tempo, custos operacionais e distribuindo oportunidades e riscos.
Esse movimento, frequentemente associado à chamada “Quarta Revolução Industrial” (Schwab, 2016, p. 18), ocorre em contextos atravessados por escolhas políticas e sociais. A ideia de neutralidade tecnológica, muitas vezes atribuída a sistemas automatizados, não se sustenta quando se observa a forma como tais sistemas são concebidos e operam. As mesmas estruturas tecnológicas que ampliam capacidades decisórias também incorporam padrões históricos de desigualdade, permitindo que estigmas sociais antigos sejam reproduzidos em novas formas, sob a aparência de decisões técnicas. Entre essas transformações, destaca-se a reconfiguração do racismo em ambientes digitais, na medida em que práticas discriminatórias passam a operar também por meio de lógicas algorítmicas.
É nessa dinâmica que se insere o conceito de racismo algorítmico, compreendido como a produção ou reprodução de discriminações raciais por sistemas automatizados, a partir da incorporação de vieses presentes nos dados, modelos ou critérios de decisão, os quais refletem e atualizam desigualdades estruturais em ambientes digitais (Silva, 2022, p. 41). Diferentemente de formas tradicionais de segregação, identificáveis em condutas explícitas, o racismo algorítmico opera de maneira difusa e frequentemente invisível, uma vez que se manifesta por meio de processos técnicos que aparentam objetividade.
Um dos principais mecanismos por meio dos quais o racismo algorítmico se materializa é o perfilamento, entendido como o processo que opera por meio da produção de inferências que extrapolam os dados diretamente fornecidos pelos indivíduos, atribuindo significados e projeções a partir de padrões informacionais (Bioni, 2020, p. 134). Com isso, a avaliação dos sujeitos passa a ser orientada por estimativas estatísticas de comportamentos futuros, extraídas de padrões de dados. Em contextos institucionais, essa dinâmica produz impactos sobre pessoas não brancas, sobretudo quando aplicada a áreas sensíveis como segurança pública, acesso a crédito e mercado de trabalho.
Essa lógica altera o próprio fundamento das decisões, considerando que os sistemas passam a operar a partir de probabilidades e correlações estatísticas. A inferência comportamental, nesse contexto, consiste na extração de conclusões sobre características, riscos ou padrões de conduta a partir de dados correlacionais obtidos em grandes bases informacionais (Wachter; Mittelstadt, 2019, p. 2). Assim a decisão algorítmica deixa de se apoiar exclusivamente em informações diretamente fornecidas pelos indivíduos e incorpora projeções produzidas pelo próprio sistema.
Estudos empíricos sobre reconhecimento facial demonstram que sistemas comerciais apresentam índices mais elevados de erro quando aplicados a mulheres negras e pessoas racializadas, evidenciando como vieses presentes nas bases de treinamento impactam diretamente os resultados produzidos pelos modelos automatizados (Buolamwini; Gebru, 2018, p. 12).
Essa compreensão permite avançar na análise do racismo algorítmico para além da ideia de erro técnico, deslocando o debate do resultado para a lógica que estrutura o processo. O viés pode estar presente na seleção dos dados, nos critérios de processamento e nos parâmetros utilizados para classificação. Assim, modelos algorítmicos acabam incorporando desigualdades históricas e reproduzindo-as em novas decisões, utilizando essas assimetrias como referência para futuras classificações (Silva, 2022, p. 45).
A definição de determinadas variáveis como indicadores de risco ilustra esse processo. Elementos como padrões territoriais, históricos de consumo e registros institucionais podem funcionar como proxies de raça, reproduzindo associações historicamente construídas entre determinados grupos e categorias como criminalidade ou inadimplência. Ainda que critérios raciais não sejam explicitamente declarados, a própria estrutura do modelo pode gerar efeitos discriminatórios ao internalizar essas correlações.
A opacidade dos sistemas automatizados agrava esse quadro. Em muitos casos, não é possível identificar com clareza os critérios utilizados para a tomada de decisão, dificultando a contestação por parte dos indivíduos afetados. A ausência de transparência impede a verificação de eventuais vieses e limita o controle social sobre essas tecnologias. A literatura sobre opacidade algorítmica aponta que essa baixa visibilidade favorece a reprodução de discriminações de difícil detecção, especialmente em contextos institucionais sensíveis (Benjamin, 2019, p. 51). Análises críticas sobre mecanismos de busca e classificação digital demonstram que sistemas algorítmicos podem reproduzir hierarquias raciais historicamente construídas e naturalizam estigmas sob aparência de neutralidade técnica (Noble, 2018, p. 15).
Essa ambiência se agrava quando se consideram tecnologias que buscam inferir estados internos a partir de sinais externos. Sistemas de reconhecimento emocional e análise comportamental são associados à chamada fisionomia digital, expressão utilizada para designar práticas que atribuem traços psicológicos ou disposições comportamentais a características observáveis, como expressões faciais, voz ou padrões de linguagem (Paglen, 2019, p. 27). Trata-se de uma abordagem que retoma, sob nova base tecnológica, tentativas historicamente desacreditadas de estabelecer relações diretas entre aparência e caráter.
As críticas dirigidas a essas tecnologias concentram-se tanto em sua fragilidade científica quanto nos parâmetros utilizados para interpretar comportamentos e emoções. Estados emocionais e traços de personalidade não podem ser reduzidos a padrões universais de expressão, sobretudo em sociedades marcadas por diversidade cultural e racial. Ainda assim, muitos desses sistemas são treinados a partir de bases de dados que privilegiam referências específicas de linguagem corporal, expressividade e comportamento, produzindo distorções que afetam de maneira mais intensa grupos racializados (Silva, 2022, p. 112).
A problemática demonstra que o racismo algorítmico decorre de critérios utilizados para estruturar classificações e interpretar condutas. Ao converter dados em categorias operacionais, sistemas automatizados produzem representações que passam a orientar decisões institucionais e formas de vigilância social. Tais classificações incorporam desigualdades históricas e contribuem para sua reprodução em ambientes digitais.
A análise desenvolvida neste tópico demonstra que o racismo algorítmico é um fenômeno estrutural, que emerge da interação entre dados, modelos e contextos sociais. Essa constatação é fundamental para as etapas seguintes do trabalho, nas quais se examinará em que medida tais práticas podem configurar violação à autodeterminação cognitiva e qual é a resposta oferecida pelo ordenamento jurídico brasileiro diante da questão.
3. AUTODETERMINAÇÃO COGNITIVA COMO BEM JURÍDICO: FUNDAMENTOS CONSTITUCIONAIS, PROTEÇÃO DE DADOS E NEURODIREITO
A consolidação da autodeterminação cognitiva como bem jurídico tutelado decorre da necessidade de proteger a esfera mental e os processos de formação da vontade diante da crescente capacidade das tecnologias de inferir, antecipar e influenciar comportamentos humanos. No ordenamento jurídico brasileiro, essa proteção encontra fundamento na dignidade da pessoa humana e nos direitos fundamentais à liberdade, à privacidade e ao livre desenvolvimento da personalidade (Brasil, 1988). A autodeterminação cognitiva relaciona-se, nesse contexto, à preservação da liberdade de pensamento e da integridade dos processos mentais frente a mecanismos tecnológicos capazes de interferir nos contextos em que escolhas, percepções e preferências são construídas.
A compreensão dessa categoria exige partir da tradição da autodeterminação informativa, concebida originalmente no direito alemão e posteriormente desenvolvida pela doutrina da proteção de dados. Trata-se do direito do indivíduo de controlar o fluxo de suas informações pessoais, compreendendo a possibilidade de decidir sobre coleta, tratamento, uso e circulação de dados a seu respeito (Doneda, 2021, p. 97). A relevância desse conceito decorre do fato de que o tratamento de dados pessoais influencia diretamente a forma como sujeitos são percebidos, classificados e inseridos em dinâmicas sociais e institucionais.
Contudo, o avanço das técnicas de perfilamento e inferência evidencia que os efeitos produzidos por sistemas algorítmicos ultrapassam a dimensão clássica da privacidade informacional. Modelos preditivos capazes de atribuir probabilidades comportamentais, definir categorias de risco e antecipar padrões de conduta passam a interferir nos próprios ambientes em que decisões são tomadas. A preocupação jurídica desloca-se, assim, para os impactos produzidos sobre a formação da vontade, especialmente quando fluxos informacionais são organizados por classificações opacas e mecanismos contínuos de direcionamento comportamental.
As contribuições do neurodireito oferecem importante suporte teórico para compreensão desse problema. O campo surge da necessidade de atualização das categorias jurídicas diante do desenvolvimento de tecnologias capazes de acessar, monitorar e influenciar processos mentais (Ienca; Andorno, 2017, p. 5). Ganha destaque a noção de liberdade cognitiva, compreendida como o direito de manter controle sobre o próprio domínio mental e sobre os processos de formação do pensamento e da decisão (Ienca; Andorno, 2017, p. 7). A integridade psíquica assume dimensão jurídica própria, relacionada à proteção contra formas indevidas de condicionamento mental incompatíveis com a autonomia individual.
Para precisar essa aproximação, convém distinguir dois momentos em que a discriminação algorítmica opera. No primeiro, de natureza informacional e distributiva, a classificação automatizada define como o sujeito é percebido por instituições e quais oportunidades lhe são abertas ou recusadas, dimensão já amparada pela igualdade e pela autodeterminação informativa. No segundo, de natureza cognitiva, a submissão contínua a categorias preditivas condiciona a própria formação das percepções, expectativas e escolhas de quem é classificado. A esse segundo plano se dirige a noção de autodeterminação cognitiva.
Poder-se-ia objetar que tais efeitos se esgotam no campo da igualdade, sem alcançar a liberdade cognitiva. A objeção é parcialmente procedente, porém desconsidera o modo como a classificação racial atua sobre o classificado. Sistemas de perfilamento operam sobre o ambiente informacional e o tratamento institucional ao selecionar conteúdos, direcionar estímulos e condicionar oportunidades a partir de inferências estatísticas, organizam o contexto em que a decisão é tomada (Pasquale, 2015; Bioni, 2020). Quando essa organização recai reiteradamente sobre grupos racializados, a suspeição, a vigilância diferenciada e a atribuição de baixa confiabilidade tendem a ser internalizadas, moldando antecipadamente comportamentos e expectativas (Benjamin, 2019; Noble, 2018). Além disso, há a retroalimentação dos modelos, que convertem condutas induzidas por classificações anteriores em novos dados confirmadores da classificação inicial. Assim, compromete-se o domínio sobre os processos de formação da decisão que a liberdade cognitiva resguarda (Ienca; Andorno, 2017).
A relação entre racismo algorítmico e autodeterminação cognitiva revela-se relevante quando indivíduos racializados passam a ser continuamente submetidos a categorias preditivas construídas a partir de históricos discriminatórios. A utilização reiterada de perfis de risco, suspeição ou baixa confiabilidade afeta as possibilidades concretas de autodeterminação ao restringir horizontes de escolha e reforçar expectativas sociais negativas sobre determinados grupos. O problema não se limita aos resultados produzidos pelas decisões automatizadas, alcançando os próprios contextos em que a autonomia é exercida.
Ainda que a autodeterminação cognitiva não esteja expressamente positivada no ordenamento jurídico brasileiro, sua proteção pode ser extraída da interpretação sistemática dos direitos fundamentais e das garantias já reconhecidas pela ordem constitucional. A liberdade, nesse contexto, abrange a preservação das condições necessárias para a formação autônoma da vontade. A proteção da privacidade e dos dados pessoais funciona como instrumento dessa tutela, especialmente diante da crescente utilização de sistemas automatizados capazes de produzir inferências sobre comportamentos, preferências e padrões decisórios (Mendes; Blanco, 2021, p. 52-60).
A Lei Geral de Proteção de Dados Pessoais (Lei nº 13.709/18) incorporou parte dessas preocupações ao estabelecer princípios relacionados à transparência, à não discriminação e ao controle sobre decisões automatizadas. O direito de revisão previsto no art. 20 da LGPD (Brasil, 2018, art. 20) representa mecanismo de limitação do poder algorítmico ao assegurar ao titular a possibilidade de questionar decisões produzidas exclusivamente por processamento automatizado. Ainda assim, a complexidade dos sistemas contemporâneos demonstra que a proteção da autonomia exige instrumentos capazes de enfrentar os efeitos produzidos por arquiteturas tecnológicas voltadas ao direcionamento e condicionamento comportamental.
A autodeterminação cognitiva pode, portanto, ser compreendida como dimensão juridicamente protegida da autonomia individual, voltada à preservação da liberdade mental e da integridade psíquica diante de mecanismos tecnológicos de inferência, previsão e influência comportamental. Seu reconhecimento permite compreender que determinadas práticas algorítmicas produzem lesões que alcançam a própria estrutura de formação das escolhas e possibilidades de ação dos indivíduos. É a partir dessa perspectiva que se torna possível examinar os limites jurídicos aplicáveis às decisões automatizadas e a suficiência das respostas oferecidas pelo ordenamento brasileiro diante do racismo algorítmico.
4. LIMITES JURÍDICOS ÀS DECISÕES AUTOMATIZADAS: SUFICIÊNCIA NORMATIVA, ACCOUNTABILITY E TUTELA NO ORDENAMENTO BRASILEIRO
A transposição de processos decisórios para o domínio algorítmico impõe ao ordenamento jurídico brasileiro o desafio de compatibilizar a eficiência tecnológica com o núcleo essencial dos direitos fundamentais. A análise da suficiência normativa brasileira perpassa, necessariamente, pela Lei Geral de Proteção de Dados Pessoais (LGPD), que se apresenta como o principal marco de contenção ao arbítrio digital. Contudo, a adequação dessa resposta jurídica deve ser aferida pela sua capacidade de enfrentar a opacidade inerente aos sistemas de aprendizado de máquina (machine learning), especialmente quando estes operam como vetores de discriminação racial estrutural.
A base para qualquer limite jurídico às decisões automatizadas reside na Constituição Federal de 1988, que, ao erigir a dignidade da pessoa humana (Art. 1º, III) e o repúdio ao racismo (Art. 3º, IV) como pilares da República, estabelece um mandamento de interpretação para todo o desenvolvimento tecnológico nacional. Nesse sentido, a LGPD surge como o principal instrumento infraconstitucional de tutela, consolidando o princípio da não discriminação (Art. 6º, IX) como um limite intransponível ao tratamento de dados. Todavia, a adequação dessa resposta jurídica é posta à prova pela natureza do racismo algorítmico que opera de forma difusa e frequentemente desprovida do dado racial explícito, utilizando-se de correlações estatísticas que mimetizam a exclusão histórica sob o manto de variáveis técnicas (Silva 2022, p. 35).
A correlação com experiências regulatórias estrangeiras evidencia algumas fragilidades do modelo brasileiro. O Regulamento Geral de Proteção de Dados da União Europeia (GDPR) influenciou diretamente a estrutura normativa da LGPD, especialmente no reconhecimento de direitos relacionados a decisões automatizadas. Entretanto, o avanço europeu em direção a uma regulação baseada em riscos, atualmente aprofundado pelo Artificial Intelligence Act - AI Act (União Europeia, 2024), demonstra maior preocupação com mecanismos preventivos de controle e supervisão de sistemas de alto impacto social. No Brasil, embora a LGPD estabeleça direitos importantes, persistem dificuldades práticas relacionadas à implementação de mecanismos efetivos de accountability em ambientes marcados pela opacidade algorítmica.
No contexto da proteção de dados, a accountability corresponde ao dever de responsabilidade e prestação de contas atribuído aos agentes de tratamento, exigindo que os agentes, além da conformidade formal com a legislação, demonstrem a eficácia das medidas adotadas para proteção dos direitos dos titulares (Bioni, 2020, p. 155). Trata-se de mecanismo voltado à limitação do exercício de poder decorrente do tratamento massivo de dados, permitindo controle sobre práticas potencialmente lesivas à autonomia e à igualdade (Doneda, 2021, p. 112). Em sistemas algorítmicos utilizados para tomada de decisão, a accountability demanda capacidade de identificação, rastreamento e explicação dos critérios utilizados pelos modelos.
Entretanto, a efetividade desse controle encontra obstáculos na proteção conferida ao segredo comercial e industrial pelo art. 20, §1º, da LGPD. Em muitos casos, a invocação dessa garantia impede o acesso à lógica de funcionamento dos sistemas, criando uma espécie de blindagem da arquitetura decisória algorítmica. Como observa Pasquale (2015, p. 18), a opacidade algorítmica favorece a formação de “caixas-pretas” decisórias incompatíveis com mecanismos efetivos de fiscalização democrática e controle social.
A insuficiência dos mecanismos atualmente existentes torna-se particularmente evidente no tratamento conferido ao direito de revisão de decisões automatizadas previsto no art. 20 da LGPD. O texto originalmente aprovado pelo Congresso Nacional previa, em seu §3º, a garantia de revisão por pessoa natural das decisões tomadas exclusivamente com base em tratamento automatizado de dados. O dispositivo, contudo, foi vetado durante o processo de sanção presidencial da Lei nº 13.709/2018, suprimindo a exigência expressa de supervisão humana no procedimento de revisão (Doneda, 2021, p. 389), veto posteriormente mantido pelo Congresso Nacional. A supressão fragilizou significativamente a proteção conferida aos titulares de dados, especialmente em contextos marcados por discriminações estruturais.
A ausência de previsão legal específica acerca da revisão humana abre espaço para que o próprio sistema responsável pela decisão automatizada participe de sua reavaliação, o que reduz a efetividade do direito de contestação assegurado ao titular. Em aplicações de alto impacto social, essa limitação compromete a identificação de distorções produzidas pelos modelos e enfraquece os mecanismos de controle sobre decisões potencialmente lesivas a direitos fundamentais, o que acentua a relevância da supervisão humana qualificada como garantia mínima de accountability algorítmica (Bioni, 2020, p. 140).
A preocupação com os riscos produzidos por mecanismos tecnicamente opacos já começa a aparecer na jurisprudência brasileira. No HC 598.886/SC, o Superior Tribunal de Justiça reconheceu a fragilidade do reconhecimento fotográfico como elemento probatório isolado, destacando os riscos de falsas identificações e a necessidade de maior rigor na validação desse tipo de procedimento, especialmente em contextos marcados por seletividade racial (STJ, 2020). A insuficiência do modelo brasileiro torna-se ainda mais perceptível quando comparada ao GDPR europeu, cuja disciplina adota postura mais rigorosa quanto às salvaguardas aplicáveis a contextos decisórios sensíveis.
O debate regulatório brasileiro, contudo, permanece em desenvolvimento. A Autoridade Nacional de Proteção de Dados - ANPD, passou a exigir parâmetros mínimos de transparência e informação relacionados ao uso de decisões automatizadas, reforçando a necessidade de mecanismos capazes de reduzir a assimetria informacional entre agentes de tratamento e indivíduos afetados (ANPD, 2024).
Projetos legislativos recentes, como o PL nº 21/2020, o PL nº 3.438/2021 e o PL nº 2.338/2023, evidenciam o avanço das discussões legislativas brasileiras voltadas à supervisão humana, à governança algorítmica e aos deveres de transparência aplicáveis a sistemas de inteligência artificial (Brasil, 2020; Brasil, 2021; Brasil, 2023). Essas iniciativas demonstram crescente preocupação com riscos discriminatórios associados ao uso de modelos algorítmicos em contextos de elevado impacto social.
A definição de limites jurídicos à automação decisória exige, portanto, parâmetros materiais mais robustos para utilização dessas tecnologias. Em situações capazes de produzir efeitos sobre direitos fundamentais, decisões exclusivamente automatizadas devem ser submetidas à supervisão humana qualificada, acompanhada de deveres reforçados de transparência e justificativa (Pasquale, 2015, p. 8). A utilização de modelos preditivos em processos decisórios também exige critérios rigorosos de validação, rastreabilidade e supervisão, especialmente quando tais sistemas produzem efeitos capazes de restringir acesso a direitos, oportunidades ou serviços essenciais.
À luz dessas fragilidades, mecanismos de explicabilidade e auditoria externa são decisivos. A governança algorítmica não pode se limitar à produção formal de documentos de conformidade, exigindo instrumentos efetivos de fiscalização capazes de avaliar impactos discriminatórios produzidos pelos sistemas. Relatórios de Impacto à Proteção de Dados, auditorias independentes e avaliações prévias de impacto algorítmico racial constituem mecanismos para identificação de riscos sistêmicos e prevenção de discriminações em larga escala (Bioni, 2020, p. 160). A transparência, nesse sentido, envolve não apenas a divulgação de informações técnicas, mas também a possibilidade concreta de compreensão, contestação e revisão das decisões produzidas (Pasquale, 2015, p. 18).
A suficiência do ordenamento jurídico brasileiro para enfrentar a automação da discriminação racial exige, ainda, uma leitura sistêmica que articule a LGPD ao microssistema protetivo do Código de Defesa do Consumidor (Lei nº 8.078/1990) e às diretrizes estabelecidas pelo Estatuto da Igualdade Racial (Lei nº 12.288/2010). A própria arquitetura das decisões automatizadas produz obstáculos ao exercício da tutela jurisdicional, sobretudo pela dificuldade de acesso aos parâmetros utilizados pelos sistemas e pela desigualdade técnica existente entre agentes de tratamento e indivíduos submetidos ao processamento de dados. A complexidade probatória decorrente dessa dinâmica exige instrumentos processuais capazes de assegurar efetividade à proteção de direitos fundamentais (Mendes; Blanco, 2021, p. 201).
A complexidade dessas violações autoriza a incidência da teoria do risco da atividade, segundo a qual aquele que desenvolve atividade potencialmente lesiva e dela extrai proveito econômico deve responder pelos danos decorrentes de sua atuação, independentemente de culpa (Cavalieri Filho, 2023, p. 326). Essa lógica encontra fundamento no art. 927, parágrafo único, do Código Civil e nos arts. 12 e 14 do Código de Defesa do Consumidor, especialmente quando sistemas automatizados forem utilizados em contextos capazes de restringir acesso a direitos, oportunidades ou serviços essenciais.
A inversão do ônus da prova é indispensável à efetividade da tutela jurisdicional, considerando que indivíduos submetidos a decisões automatizadas, em regra, não possuem acesso aos critérios de processamento, às variáveis utilizadas ou à lógica de funcionamento dos modelos. A dificuldade de compreensão da arquitetura decisória algorítmica compromete a demonstração do dano e limita a própria possibilidade de contestação racional da decisão produzida (Doneda, 2021, p. 387).
Essa limitação projeta efeitos diretos sobre a autodeterminação cognitiva, na medida em que impede o indivíduo de compreender os critérios que condicionam sua inserção em ambientes institucionais e processos decisórios. Em contextos marcados por discriminações estruturais, a opacidade algorítmica dificulta o exercício de contestação e amplia o potencial de reprodução de classificações capazes de restringir oportunidades e formas de participação social.
Esses elementos permitem sistematizar um critério para identificar quando a discriminação algorítmica configura lesão à autodeterminação cognitiva. Sustenta-se, que essa lesão se caracteriza pela presença simultânea de quatro requisitos. O primeiro é a opacidade da inferência, situação em que o titular não acessa a lógica que o classifica, agravada pela proteção conferida ao segredo comercial e industrial pelo art. 20, §1º, da LGPD (Pasquale, 2015). O segundo é o impacto sobre direitos fundamentais, presente quando a decisão automatizada repercute sobre acesso a serviços essenciais, crédito, trabalho ou liberdade, hipótese que aproxima o caso brasileiro da lógica de regulação por risco adotada pelo AI Act (União Europeia, 2024). O terceiro é o emprego de proxies raciais, ou seja, de variáveis aparentemente neutras, como território, histórico de consumo e registros institucionais, que operam como substitutos da raça e reproduzem associações historicamente construídas (Silva, 2022). O quarto é a impossibilidade prática de contestação, decorrente da assimetria informacional e da ausência de revisão humana qualificada, fragilizada desde o veto ao §3º do art. 20 da LGPD.
A presença desses quatro elementos registra o momento em que a automação decisória ultrapassa a discriminação observável e atinge as condições de formação autônoma das escolhas. A verificação atrai o regime de tutela reforçada examinado nesta seção, incluindo a necessidade de supervisão humana qualificada, deveres de explicabilidade, auditoria independente, inversão do ônus da prova e responsabilização fundada na teoria do risco da atividade.
A tutela jurídica dessas violações não pode permanecer restrita à reparação individual posterior ao dano. A proteção contra discriminações algorítmicas exige mecanismos preventivos e coletivos voltados à fiscalização contínua de práticas automatizadas capazes de reproduzir desigualdades estruturais em larga escala. Isso implica reconhecer que a governança de dados demanda instrumentos efetivos de transparência, auditabilidade, supervisão humana e controle social, aptos a impedir que decisões automatizadas operem como mecanismos de reatualização de hierarquias raciais sob aparência de neutralidade técnica.
A suficiência normativa do ordenamento jurídico brasileiro dependerá, portanto, da capacidade de desenvolver respostas jurídicas compatíveis com os riscos produzidos pela automação decisória. Mais do que disciplinar o tratamento de dados pessoais, o desafio contemporâneo consiste em estabelecer limites jurídicos capazes de impedir que sistemas de inferência e classificação comprometam a igualdade material, a autonomia individual e a autodeterminação cognitiva de grupos historicamente vulnerabilizados.
5. CONCLUSÃO
Este estudo analisou em que medida o racismo algorítmico pode ser juridicamente compreendido, no Brasil, como forma de violação à autodeterminação cognitiva de pessoas racializadas. Partiu-se da hipótese de que sistemas de perfilamento e inferência comportamental, ao operarem com bases de dados historicamente marcadas por desigualdades raciais, produzem efeitos que ultrapassam a discriminação perceptível em seus resultados, alcançando também os processos de formação das percepções, escolhas e possibilidades concretas de inserção social dos indivíduos submetidos a decisões automatizadas.
A hipótese mostrou-se juridicamente consistente à luz do referencial teórico e normativo examinado. Observou-se que o racismo algorítmico não decorre apenas de falhas técnicas isoladas, relacionando-se à própria estrutura de sistemas capazes de reproduzir padrões históricos de exclusão sob aparência de neutralidade tecnológica. O uso de mecanismos de perfilamento e inferência comportamental demonstrou que decisões automatizadas influenciam formas de classificação social, acesso a oportunidades e critérios institucionais de avaliação, especialmente em contextos sensíveis como segurança pública, crédito, recrutamento profissional e moderação de conteúdo.
A investigação permitiu, ainda, compreender a autodeterminação cognitiva como categoria juridicamente relevante para a interpretação desses impactos. Embora não expressamente positivada no ordenamento brasileiro, sua proteção pode ser extraída da articulação entre dignidade da pessoa humana, liberdade, igualdade, privacidade e autodeterminação informativa, especialmente diante de tecnologias capazes de interferir indiretamente nos processos de formação da vontade e da tomada de decisão.
No plano normativo, verificou-se que o ordenamento jurídico brasileiro dispõe de instrumentos para enfrentamento de práticas discriminatórias em ambientes algorítmicos, sobretudo por meio da Constituição Federal, da Lei Geral de Proteção de Dados Pessoais, do Código de Defesa do Consumidor e do Estatuto da Igualdade Racial. Persistem, contudo, limitações relacionadas à opacidade dos modelos, à insuficiência de mecanismos efetivos de supervisão humana, à dificuldade de acesso aos critérios utilizados pelos sistemas e à assimetria informacional existente entre agentes de tratamento e indivíduos afetados.
A análise do art. 20 da LGPD evidenciou fragilidades quanto ao controle de decisões automatizadas, especialmente após o veto à exigência expressa de revisão por pessoa natural. Também se observou que mecanismos de accountability, auditabilidade e transparência ainda se mostram insuficientes para responder adequadamente aos riscos produzidos pela automação decisória em contextos marcados por discriminações estruturais.
A contribuição central deste estudo consiste na formulação da categoria da lesão à autodeterminação cognitiva por via algorítmica e de um critério para sua identificação, articulado em quatro elementos cumulativos: a opacidade da inferência, o impacto sobre direitos fundamentais, o emprego de proxies raciais e a impossibilidade prática de contestação. Esse critério aproxima os debates sobre racismo algorítmico, proteção de dados e neurodireito e oferece parâmetro para distinguir a discriminação algorítmica observável daquela que compromete as condições de formação autônoma das escolhas dos sujeitos racializados.
Reconhece-se como limite deste trabalho o recorte estritamente dogmático e normativo, que não comporta verificação empírica do funcionamento dos sistemas analisados nem mensuração da magnitude dos efeitos descritos. Essa delimitação sugere uma agenda de pesquisa que inclui o teste do critério proposto em setores específicos, como segurança pública, crédito e recrutamento; a análise empírica de decisões automatizadas; e o exame da construção jurisprudencial brasileira sobre discriminação algorítmica e sobre os limites da inferência comportamental.
Confirmou-se, ao longo da análise, que a lesão à autodeterminação cognitiva se configura pela reunião dos quatro elementos sistematizados na seção anterior, cuja presença simultânea desloca o problema do plano dos resultados para o das condições de formação das escolhas. O enfrentamento jurídico do racismo algorítmico depende, por isso, de mecanismos efetivos de transparência, supervisão humana qualificada, controle democrático e responsabilização compatíveis com os riscos da automação decisória, sob pena de que sistemas técnicos operem como instrumentos de reatualização de hierarquias raciais historicamente consolidadas.
REFERÊNCIAS BIBLIOGRÁFICAS
ALMEIDA, Sílvio Luiz de. Racismo estrutural. São Paulo: Pólen, 2019. (Série Feminismos Plurais).
AUTORIDADE NACIONAL DE PROTEÇÃO DE DADOS (ANPD). Tomada de subsídios sobre direitos dos titulares e decisões automatizadas. Brasília: ANPD, 2024. Disponível em: https://www.gov.br/anpd/pt-br/assuntos/noticias/anpd-apresenta-resultados-da-tomada-de-subsidios-sobre-tratamento-automatizado-de-dados-pessoais. Acesso em: 01 maio 2026.
BALKIN, Jack M. Information fiduciaries and the first amendment. UC Davis Law Review, Davis, v. 49, n. 4, p. 1183-1234, 2015.
BENJAMIN, Ruha. Race after technology: abolitionist tools for the new Jim code. Medford: Polity Press, 2019.
BIONI, Bruno Ricardo. Proteção de dados pessoais: a função e os limites do consentimento. 3. ed. Rio de Janeiro: Forense, 2020.
BRASIL. [Constituição (1988)]. Constituição da República Federativa do Brasil de 1988. Brasília, DF: Presidência da República, 1988.
BRASIL. Câmara dos Deputados. Projeto de Lei nº 21, de 2020. Estabelece fundamentos, princípios e diretrizes para o desenvolvimento e a aplicação da inteligência artificial no Brasil. Brasília, DF: Câmara dos Deputados, 2020. Disponível em: https://www.camara.leg.br/propostas-legislativas/2236340. Acesso em: 15 abril 2026.
BRASIL. Câmara dos Deputados. Projeto de Lei nº 3.438, de 2021. Dispõe sobre princípios, direitos e deveres para o uso de inteligência artificial no Brasil. Brasília, DF: Câmara dos Deputados, 2021. Disponível em: https://www.camara.leg.br/propostas-legislativas/2299983. Acesso em: 15 abril 2026.
BRASIL. Lei nº 8.078, de 11 de setembro de 1990. Código de Defesa do Consumidor. Brasília, DF: Presidência da República, 1990.
BRASIL. Lei nº 12.288, de 20 de julho de 2010. Institui o Estatuto da Igualdade Racial. Brasília, DF: Presidência da República, 2010.
BRASIL. Lei nº 13.709, de 14 de agosto de 2018. Lei Geral de Proteção de Dados Pessoais (LGPD). Brasília, DF: Presidência da República, 2018.
BRASIL. Senado Federal. Projeto de Lei nº 2.338, de 2023. Dispõe sobre o uso da inteligência artificial no Brasil. Brasília, DF: Senado Federal, 2023. Disponível em: https://www25.senado.leg.br/web/atividade/materias/-/materia/157233. Acesso em: 15 abril 2026.
BRASIL. Superior Tribunal de Justiça. Habeas Corpus nº 598.886/SC. Relator: Ministro Rogerio Schietti Cruz. Sexta Turma. Julgado em 27 out. 2020. Diário da Justiça eletrônico: Brasília, DF, 18 dez. 2020. Disponível em: https://processo.stj.jus.br/processo/revista/documento/mediado/?componente=ITA&sequencial=1913709&num_registro=202001568960&data=20201218&formato=PDF. Acesso em: 25 maio 2026.
BUOLAMWINI, Joy; GEBRU, Timnit. Gender shades: intersectional accuracy disparities in commercial gender classification. Proceedings of Machine Learning Research, v. 81, p. 1-15, 2018.
CAVALIERI FILHO, Sérgio. Programa de responsabilidade civil. 16. ed. São Paulo: Atlas, 2023.
DONEDA, Danilo. Da privacidade à proteção de dados pessoais: elementos da formação do direito à proteção de dados pessoais. 2. ed. São Paulo: Thomson Reuters Brasil, 2021.
IENCA, Marcello; ANDORNO, Roberto. Towards new human rights in the age of neuroscience and neurotechnology. Life Sciences, Society and Policy, v. 13, n. 5, 2017.
MENDES, Gilmar Ferreira; BRANCO, Paulo Gustavo Gonet. Direito à proteção de dados pessoais. São Paulo: Saraiva, 2021.
NOBLE, Safiya Umoja. Algorithms of oppression: how search engines reinforce racism. New York: New York University Press, 2018.
PAGLEN, Trevor. Machine visions. Cambridge: MIT Press, 2019.
PASQUALE, Frank. The black box society: the secret algorithms that control money and information. Cambridge: Harvard University Press, 2015.
SARLET, Ingo Wolfgang; MARINONI, Luiz Guilherme; MITIDIERO, Daniel. Curso de direito constitucional. 10. ed. São Paulo: Saraiva, 2021.
SCHWAB, Klaus. A quarta revolução industrial. Tradução de Daniel Moreira Miranda. São Paulo: Edipro, 2016.
SILVA, Tarcízio. Racismo algorítmico: inteligência artificial e discriminação nas redes digitais. São Paulo: Estação Liberdade, 2022.
UNIÃO EUROPEIA. Regulamento (UE) 2016/679 do Parlamento Europeu e do Conselho, de 27 de abril de 2016. Regulamento Geral sobre a Proteção de Dados (GDPR). Estrasburgo: Jornal Oficial da União Europeia, 2016. Disponível em: https://eur-lex.europa.eu/legal-content/PT/TXT/?uri=CELEX%3A32016R0679. Acesso em: 15 abril 2026.
UNIÃO EUROPEIA. Artificial Intelligence Act (AI Act). Regulamento (UE) 2024/1689 do Parlamento Europeu e do Conselho, de 13 de junho de 2024, que estabelece regras harmonizadas em matéria de inteligência artificial. Bruxelas, 2024. Disponível em: https://eur-lex.europa.eu/eli/reg/2024/1689/oj/eng. Acesso em: 15 abril 2026.
WACHTER, Sandra; MITTELSTADT, Brent. A right to reasonable inferences: re-thinking data protection law in the age of big data and AI. Columbia Business Law Review, v. 2019, n. 2, p. 494-620, 2019.
YUSTE, Rafael et al. Four ethical priorities for neurotechnologies and AI. Nature, v. 551, p. 159-163, 2017.
1 Discente do Curso de Direito do Centro Universitário Santa Terezinha - CEST. Lattes: http://lattes.cnpq.br/6686671458145191. E-mail: [clique para visualizar o e-mail]acesse o artigo original para visualizar o e-mail
2 Doutor em Direito (Unimar). Mestre em Direito e Instituições do Sistema de Justiça (UFMA). Especialista em Direito Público e Direito Constitucional (PUC-MG). Graduado em Direito (UFMA). Professor e pesquisador (UEMASUL, UFMA e CEST). Advogado e consultor jurídico. E-mail: [clique para visualizar o e-mail]acesse o artigo original para visualizar o e-mail. Lattes: http://lattes.cnpq.br/7305075206820876. Orcid: https://orcid.org/0000-0002-3863-7125