Em 2019, os guardas nas fronteiras da Grécia, Hungria e Letônia começaram a testar um detector de mentiras alimentado por uma IA (inteligência artificial). O sistema, chamado iBorderCtrl, analisou os movimentos faciais para tentar detectar sinais de que uma pessoa estava mentindo para um agente de fronteira. O julgamento foi impulsionado por quase US $ 5 milhões em financiamento de pesquisa da União Europeia e quase 20 anos de pesquisa na Manchester Metropolitan University, no Reino Unido.
O julgamento gerou polêmica. Polígrafos e outras tecnologias construídas para detectar mentiras de atributos físicos foram amplamente declaradas por psicólogos não confiáveis. Logo, erros também foram relatados no iBorderCtrl. Relatos da mídia indicaram que seu algoritmo de previsão de mentiras não funcionou , e o próprio site do projeto reconheceu que a tecnologia “pode implicar riscos para os direitos humanos fundamentais”.
Este mês, a Silent Talker, uma empresa desmembrada do Manchester Met que fez a tecnologia subjacente ao iBorderCtrl, foi dissolvida. Mas esse não é o fim da história. Advogados, ativistas e legisladores estão pressionando por uma lei da União Europeia para regular a IA, que baniria sistemas que alegam detectar fraudes humanas na migração – citando o iBorderCtrl como um exemplo do que pode dar errado. Ex-executivos da Silent Talker não foram encontrados para comentar.
A proibição de detectores de mentiras de IA nas fronteiras é uma das milhares de emendas à Lei sobre IAs que estão sendo consideradas por funcionários de países da UE e membros do Parlamento Europeu. A legislação destina-se a proteger os direitos fundamentais dos cidadãos da UE, como o direito de viver sem discriminação ou de declarar asilo. Ele rotula alguns casos de uso de IAs de “alto risco”, alguns de “baixo risco” e proíbe outros. Aqueles que fazem lobby para mudar o AI Act incluem grupos de direitos humanos, sindicatos e empresas como Google e Microsoft , que querem que o AI Act estabeleça uma distinção entre aqueles que fazem sistemas de IA de propósito geral e aqueles que os implantam para usos específicos.
No mês passado, grupos de defesa, incluindo European Digital Rights e Platform for International Cooperation on Undocumented Migrants, pediram que a lei proibisse o uso de polígrafos de IA que medem coisas como movimento dos olhos, tom de voz ou expressão facial nas fronteiras.
A Statewatch, uma organização sem fins lucrativos de liberdades civis, divulgou uma análise alertando que a Lei de IA, conforme escrita, permitiria o uso de sistemas como o iBorderCtrl, somando-se ao existente “ecossistema de IA de fronteira com financiamento público” da Europa. A análise calculou que, nas últimas duas décadas, cerca de metade dos € 341 milhões (US$ 356 milhões) em financiamento para uso de IA na fronteira, como perfis de migrantes, foi para empresas privadas.
O uso de detectores de mentiras de IA nas fronteiras cria efetivamente uma nova política de imigração por meio da tecnologia, diz Petra Molnar, diretora associada do Refugee Law Lab, sem fins lucrativos, rotulando todos como suspeitos. Segundo ela:
“Você tem que provar que é um refugiado e é considerado um mentiroso, a menos que prove o contrário”, diz ela. “Essa lógica sustenta tudo. Ele sustenta detectores de mentiras de IA e sustenta mais vigilância e resistência nas fronteiras.”
Molnar, que é uma advogada especializada em imigração, diz que as pessoas muitas vezes evitam contato visual com oficiais de fronteira ou migração por razões inócuas – como cultura, religião ou trauma – mas isso às vezes é interpretado erroneamente como um sinal de que uma pessoa está escondendo algo. Os humanos muitas vezes lutam com a comunicação intercultural ou falando com pessoas que sofreram traumas, diz ela, então por que as pessoas acreditariam que uma máquina pode fazer melhor?
O primeiro rascunho do chamado “AI Act“, lançado em abril de 2021, listava as pontuações de crédito social e o uso em tempo real de reconhecimento facial em locais públicos como tecnologias que seriam totalmente banidas. Ele rotulou o reconhecimento de emoções e os detectores de mentiras de IA para aplicação da lei ou fronteira como de alto risco, o que significa que as implantações teriam que ser listadas em um registro público. Molnar diz que isso não iria longe o suficiente, e a tecnologia deveria ser adicionada à lista de proibidos.
Dragoș Tudorache, um dos dois relatores nomeados por membros do Parlamento Europeu para liderar o processo de emendas, disse que os legisladores apresentaram emendas este mês e espera uma votação até o final de 2022. Os relatores do parlamento em abril recomendaram adicionar policiamento preditivo à lista de tecnologias proibidas, dizendo que “viola a presunção de inocência, bem como a dignidade humana”, mas não sugeriu a adição de polígrafos de fronteira de IA. Eles também recomendaram categorizar os sistemas de triagem de pacientes nos cuidados de saúde ou decidir se as pessoas recebem seguro de saúde ou de vida como de alto risco.
Enquanto o Parlamento Europeu prossegue com o processo de emenda, o Conselho da União Europeia também considerará emendas à Lei de IA. Lá, autoridades de países como Holanda e França defenderam uma isenção de segurança nacional para a Lei de IA, de acordo com documentos obtidos com um pedido de liberdade de informação pelo Centro Europeu para Leis Sem Fins Lucrativos.
Vanja Skoric, diretora de programa da organização, diz que uma isenção de segurança nacional criaria uma brecha para que sistemas de IA que ponham em risco os direitos humanos, como polígrafos administrados por IAs, possam escapar e cair nas mãos da polícia ou agências de fronteira.
As medidas finais para aprovar ou rejeitar a lei podem ocorrer no final do próximo ano. Antes que os membros do Parlamento Europeu apresentassem suas emendas em 1º de junho, Tudorache disse ao site internacional WIRED em entrevista:
“Se conseguirmos emendas aos milhares, como algumas pessoas antecipam, o trabalho para realmente produzir algum compromisso entre milhares de emendas será gigantesco”.
Agora, ele diz que cerca de 3.300 propostas de emenda à Lei de IA foram recebidas, mas acha que o processo legislativo da Lei de IA pode ser concluído até meados de 2023.
As preocupações de que as previsões baseadas em dados possam ser discriminatórias não são apenas teóricas. Descobriu-se que um algoritmo implantado pela autoridade fiscal holandesa para detectar possíveis fraudes no benefício infantil entre 2013 e 2020 prejudicou dezenas de milhares de pessoas e levou mais de 1.000 crianças a serem colocadas em um orfanato. O sistema, que foi considerado falho, usava dados como se uma pessoa tinha uma segunda nacionalidade como um sinal para investigação e teve um impacto desproporcional sobre os imigrantes.
O escândalo holandês de benefícios sociais poderia ter sido evitado ou diminuído se as autoridades holandesas tivessem produzido uma avaliação de impacto para o sistema, conforme proposto pela Lei de IA, que poderia ter levantado bandeiras vermelhas, diz Skoric. Ela argumenta que a lei deve ter uma explicação clara de por que um modelo ganha certos rótulos, por exemplo, quando os relatores mudaram o policiamento preditivo da categoria de alto risco para uma proibição recomendada.
Alexandru Circiumaru, líder de políticas públicas europeias do grupo independente de pesquisa e direitos humanos Ada Lovelace Institute, no Reino Unido, concorda, dizendo que a Lei de IA precisa explicar melhor a metodologia que leva um tipo de sistema de IA a ser recategorizado de proibido para alto. Ele pergunta: “Por que esses sistemas estão incluídos nessas categorias agora e por que não foram incluídos antes? Qual é o teste?”
Mais clareza sobre essas questões também é necessária para evitar que o AI Act anule algoritmos potencialmente empoderadores, diz Sennay Ghebreab, fundador e diretor do Civic AI Lab da Universidade de Amsterdã. A criação de perfis pode ser punitiva, como no escândalo de benefícios holandês, e ele apóia a proibição do policiamento preditivo.
No entanto, outros algoritmos podem ser úteis – por exemplo, para ajudar a reinstalar refugiados ao traçar o perfil das pessoas com base em seus antecedentes e habilidades. Um estudo de 2018 publicado na Science calculou que um algoritmo de aprendizado de máquina poderia expandir as oportunidades de emprego para refugiados nos Estados Unidos em mais de 40% e mais de 70% na Suíça, a um custo baixo.
“Não acredito que possamos construir sistemas perfeitos. Mas acredito que podemos melhorar continuamente os sistemas de IA observando o que deu errado e obtendo feedback de pessoas e comunidades.”
Muitas das milhares de mudanças sugeridas no AI Act não serão integradas na versão final da lei. Mas Petra Molnar, do Refugee Law Lab, que sugeriu quase duas dúzias de mudanças, incluindo a proibição de sistemas como o iBorderCtrl, diz que é um momento importante para esclarecer quais formas de IA devem ser banidas ou merecem cuidados especiais. Segundo a advogada:
“Esta é uma oportunidade realmente importante para pensar em como queremos que nosso mundo seja, como queremos que nossas sociedades sejam, o que realmente significa praticar os direitos humanos na realidade, não apenas no papel. É sobre o que devemos uns aos outros, que tipo de mundo estamos construindo e quem foi excluído dessas conversas.”
Essa matéria é uma tradução da escrita por Khari Johnson para o site Wired.
Quer saber mais sobre as novidades? Não deixe de seguir o ADNEWS nas redes sociais e fique por dentro de tudo!
