Um coletivo de 28 organizações de direitos humanos pediu Ampliação interromper seu trabalho em um sistema de rastreamento de emoções que visa analisar o engajamento e os sentimentos dos usuários. Claro, a ideia parece invasiva desde o início, mas não é o primeiro projeto desse tipo quando se trata do objetivo final. Já existem muitos produtos de software por aí direcionados a trabalhadores remotos que rastreiam tudo, desde cliques de mouse até atividades na Web em nome dos empregadores.
Esses produtos já dividem opiniões, mas o monitoramento da atividade do usuário acontece de todas as formas e, às vezes, de fontes extremamente desavisadas. Uma investigação recente descobriu que um número saudável de aplicativos de saúde mental e meditação se dedicava à mineração de dados e os entregava a terceiros para publicidade. Mas o escopo de monitoramento da atividade do usuário se ampliou na era da pandemia sob o manto de soluções corporativas para avaliar a disponibilidade e atenção dos trabalhadores. Parece que o Zoom, uma das maiores histórias de sucesso nesta era de dramática mudança de trabalho, também estava envolvido em um projeto próprio.
A Luta pelo Futuro, ao lado de 27 outras organizações de direitos humanos, tem escrito uma carta aberta ao Zoom, pedindo que interrompa o software de rastreamento de emoções orientado por IA que estuda a expressão facial dos participantes de videochamadas. A organização classificou o software como “discriminatório, manipulador, potencialmente perigoso”, ressaltando ainda que se baseia na suposição equivocada de que marcadores como padrão de voz, expressões faciais e linguagem corporal são uniformes para todas as pessoas. Há uma preocupação válida por trás das críticas, pois os algoritmos de reconhecimento facial e outros produtos baseados em IA provaram ser propensos a erros quando se trata de processar imagens que retratam pessoas de cores e formas corporais variadas. De acordo com um relatório da Protocoloa gigante da videoconferência está trabalhando em um produto chamado Zoom IQ que oferecerá algo chamado relatório de análise de sentimentos ao anfitrião de uma reunião assim que a chamada terminar.
Existem empresas como Uniphore e Sybill que estão desenvolvendo produtos que visam alavancar a IA para monitorar o comportamento humano durante chamadas de vídeo em tempo real. Diz-se que o Zoom, por outro lado, está pesquisando maneiras que permitirão incorporar esse sistema em seu portfólio de produtos. “Estes são sinais informativos que podem ser úteis; eles não são necessariamente decisivos” Josh Dulberger, chefe de produto (dados e IA) da Zoom, foi citado como tendo dito. Apesar da visão cautelosa do executivo da Zoom, a ideia de IA analisando expressões faciais e classificando os sentimentos dos participantes de uma videochamada é bastante enervante, para dizer o mínimo. As preocupações são legítimas e, após anos de defesa de especialistas e ativistas, o governo dos EUA também se animou com a ideia de regular a inteligência artificial.
Embora a premissa de invasão de privacidade com o produto da Zoom certamente esteja tocando alarmes, o que é realmente preocupante é a suposição de “tamanho único” e se essa tecnologia é confiável. Na outra carta ao Zoom, os especialistas alertaram que esse sistema é baseado em pseudociência, pois o aprendizado de máquina não se provou realmente capaz de entender as emoções humanas com base em expressões faciais. Os especialistas alertaram ainda que, apesar de todas as suas boas intenções, tal produto pode ser distorcido para impor ações punitivas em mais domínios do que apenas o mundo corporativo, e também abrirá caminho para uma nova indústria onde a análise de emoções levará a uma manipulação digital mais potente. e abrir as comportas para coletar dados de usuários extremamente pessoais. Se for imposta, Zoom produto adicionaria uma dimensão totalmente nova às normas discriminatórias de IA.
Fonte: Lute pelo futuro, Protocolo