Nos Estados Unidos, um cidadão entrou em um supermercado na cidade de Minneapolis para reclamar que sua filha adolescente estava recebendo propagandas para grávidas. Dias depois, o pai da garota se desculpou com o estabelecimento ao confirmar com a filha que ela realmente esperava um bebê.

A história, revelada em reportagem do New York Times em 2012, foi retomada pelo professor da Ohio State Univerity Dennis Hirsch para ilustrar o poder de tecnologias de coleta e análise de dados (chamada em inglês de Big Data Analytics) utilizadas para prever comportamentos e aplicar essas inferências em diversos campos, do marketing à concessão de créditos ou acesso a serviços de saúde.

O docente abordou o tema no 10º Seminário de Proteção à Privacidade e aos Dados Pessoais, evento organizado pelo Comitê Gestor da Internet no Brasil nesta semana em São Paulo. Segundo o docente, o caso exemplifica um dos riscos dessas técnicas ao considerar sentimentos, traços de personalidade e comportamentos como forma de persuadir pessoas a adquirem algum produto ou serviço.

Outro risco potencial, acrescentou, é a manipulação de indivíduos em processos políticos. Ele citou o escândalo da empresa Cambridge Analytica, que utilizou dados levantados no Facebook por um aplicativo para explorar emoções das pessoas em campanhas eleitorais, como na disputa presidencial dos Estados Unidos de 2016 e no referendo que avaliou a permanência ou não do Reino Unido na União Europeia.

Esses tipos de ferramentas examina grande quantidade de bases de dados, estabelece correlações entre elas e identifica padrões. Estes são tomados como base para prever comportamentos das pessoas, como se um consumidor tem maior ou menor propensão a ficar adimplente ou inadimplente em um serviço, como cartão de crédito.

Um problema potencial nesse tipo de operação é a discriminação. Esta pode ocorrer tanto pela finalidade do uso quanto pela forma como a tecnologia é desenhada. Ao traçar padrões e classificar pessoas e atitudes, um sistema pode definir parâmetros considerados adequados e desvalorizar quem não se enquadra neles, com risco de colocar nessa posição segmentos sociais, como no exemplo dos problemas do reconhecimento facial para negros.

Este tipo de tratamento pode ainda ser reforçado pelos registros utilizados para treinar o sistema. Hirsch citou como exemplo a empresa de comércio eletrônico Amazon. Ao desenvolver um algoritmo para avaliar currículos, a base empregada foi a dos próprios funcionários da companhia. Como na área de tecnologia há mais profissionais homens, o programa passou a utilizar como currículo desejável critérios que desvalorizavam mulheres.

Explicação e cuidados

O pesquisador e professor da Data Privacy BR Renato Leite Monteiro colocou como problema chave a opacidade dessas tecnologias e a falta de conhecimento sobre como elas funcionam. Diante disso, defendeu o que chamou de um direito à explicação. Este consistiria na garantia ao cidadão de ter informações inteligíveis sobre como o dado foi processado, de modo que possa compreender como uma decisão foi tomada sobre ele e de que maneira pode reagir a ela.

Ele lembrou que hoje o processamento de informações por algoritmos e sistemas inteligentes está em diversas áreas e os problemas nele podem afetar direitos em setores como saúde (notas para planos de saúde), moradia (financiamento habitacional), mercado financeiro (concessão de crédito), educação (acesso a escolas e cursos), emprego (análise para contratação), entre outros.

A diretora de políticas para transformação digital do Ministério da Ciência, Tecnologia, Inovações e Comunicações (MCTIC), Miriam Wimmer, abordou esses riscos no caso de sistemas de inteligência artificial. Ela reforçou que também no caso destas tecnologias existem diversas pesquisas mostrando casos de discriminação.

Diante destes problemas, a gestora pública defendeu alguns princípios orientadores. O desenvolvimento dessas soluções deveria ser orientado por valores. Este processo deveria abarcar avaliações prévias do impacto e dos riscos. A coleta de dados deveria ser restrita ao mínimo possível nas fases de treinamento. E ao longo do ciclo desses produtos deveriam ser implementados mecanismos de monitoramento com participação dos atores impactados.