14.137 – IA – Algoritmos Controlam Tudo


algoritmo
Quando você procura por um novo par de sapatos online, escolhe um filme na Netflix ou solicita um aluguel de carro, provavelmente um algoritmo tem sua palavra para dizer no resultado.
Algoritmos estão sendo experimentalmente usados para escrever novos artigos de dados brutos, enquanto a campanha presidencial de Donald Trump foi feita por profissionais de marketing comportamental que usaram um algoritmo para localizar as maiores concentrações de “eleitores persuasíveis”.
Mas, embora tais ferramentas automatizadas possam introduzir uma certa dose de objetividade em decisões antes subjetivas, os temores estão aumentando em relação à falta transparência que algoritmos podem acarretar, com pressão crescente para aplicar padrões de ética ou “responsabilização”.
A cientista de dados Cathy O’Neil adverte para não “confiar cegamente” em fórmulas para determinar um resultado justo.

“Algoritmos não são inerentemente justos, porque a pessoa que desenvolve um modelo define êxito em alcançar o resultado desejado”, disse ela.

Aumentando as desvantagens
O’Neil argumenta que, embora alguns algoritmos possam ser úteis, outros podem ser nefastos. Em seu livro de 2016, “Weapons of Math Destruction”, ela cita alguns exemplos preocupantes nos Estados Unidos:
– Em 2010 , as escolas públicas em Washington DC despediram mais de 200 professores – incluindo vários professores respeitados – com base nas pontuações de um algoritmo com uma fórmula que avaliava seus desempenhos.

– Um homem diagnosticado com transtorno bipolar foi rejeitado para um emprego em sete grandes varejistas após um teste de “personalidade” de terceiros o considerar um grande risco baseado em sua classificação algorítmica.

– Muitas jurisdições estão usando “policiamento preditivo” para transferir recursos para prováveis “áreas perigosas”. O’Neil diz que dependendo em como os dados são alimentados no sistema, isso poderia levar a revelar mais crimes menores e gerar um “ciclo contínuo” que estigmatiza comunidades pobres.

– Alguns tribunais contam com fórmulas classificadas por computadores para determinar sentenças de prisão e liberdade condicional, o que pode discriminar minorias ao levar em conta fatores de “risco”, como seus bairros, amigos ou familiares ligados ao crime.

– No mundo das finanças, os corretores coletam dados de fontes online e outras fontes como novas formas de tomar decisões sobre crédito ou seguro. Isso muitas vezes amplifica o preconceito contra os menos favorecidos, argumenta O’Neil.
Suas descobertas foram repercutidas em um relatório na Casa Branca ano passado alertando que sistemas algorítmicos “não são infalíveis – eles contam com entradas imperfeitas, lógica, probabilidade e pessoas que os planejam”.
O relatório observou que sistemas de dados podem, de forma ideal, ajudar a eliminar o viés humano, mas alerta contra algoritmos que “desfavorece sistematicamente certos grupos”.

Rastros digitais
Zeynep Tufekci, um professor da Universidade da Carolina do Norte que estuda tecnologia e sociedade, disse que decisões automatizadas são frequentemente baseadas em dados coletados sobre pessoas, algumas vezes sem o conhecimento delas.
“Estes sistemas computacionais podem deduzir todo tipo de coisa sobre você a partir de seus rastros digitais”, Tufekci disse em uma palestra no TED recentemente.
“Eles podem concluir sua orientação sexual, seus traços de personalidade, suas tendências políticas. Eles têm um poder preditivo com altos níveis de precisão”.
Estas percepções podem ser úteis em certos contextos, como ajudando médicos profissionais a diagnosticar depressão pós-parto, mas injustas em outros, ele disse.
Parte do problema, ele disse, vem do fato de pedir para computadores responder questões que não tem uma única resposta certa.
“São questões subjetivas, abertas e carregadas de valores pessoais, perguntando quem a empresa deve contratar, qual atualização de qual amigo deve ser mostrada, qual condenado é mais provável de reincidir”.