Você pode confiar na IA? Você deveria aceitar suas descobertas como objetivamente válidas sem questionar?
O problema é que, mesmo que você queira questionar a IA, suas perguntas não produzirão respostas claras.
Os sistemas de IA geralmente operam como uma caixa preta: os dados são inseridos e os dados são produzidos, mas os processos que transformam esses dados são um mistério. Isso cria um problema duplo.
Por um lado, não está claro qual desempenho dos algoritmos é mais confiável. Em segundo lugar, os resultados aparentemente objetivos da IA podem ser distorcidos pelos valores e vieses dos humanos que programam os sistemas.
É por isso que existe a necessidade de “IA explicável”, que se refere à transparência nos processos de pensamento virtual que esses sistemas usam.
O problema da caixa preta
A maneira como a IA analisa as informações e faz recomendações nem sempre é direta. Há também uma desconexão distinta entre como a IA opera e como a maioria das pessoas a entende.
Isso torna explicá-lo uma tarefa assustadora. Como um artigo recente da Mckinskey sobre IA explicável apontou:
“As técnicas de modelagem que hoje alimentam muitos aplicativos de IA, como aprendizado profundo e redes neurais, são inerentemente mais difíceis de entender para os humanos. Apesar de todos os insights preditivos que a IA pode oferecer, os mecanismos avançados de aprendizado de máquina geralmente permanecem uma caixa preta”.
O imperativo de tornar a IA explicável exige esclarecer o processo e traduzi-lo em termos que as pessoas possam entender. Não é mais aceitável dizer às pessoas que elas devem considerar a produção de IA como infalível. (Leia também: IA explicável não é suficiente; Precisamos de IA compreensível.)
Tão falíveis quanto os humanos
“Principalmente, não é infalível – seus resultados são tão bons quanto os dados que usa e as pessoas que os criam”, observou Natalie Cramp, CEO da consultoria de ciência de dados Profusion em entrevista ao República do Silício.
Especialistas na área que entendem o impacto que a tomada de decisão algorítmica pode ter na vida das pessoas têm clamado sobre o problema há anos. Como são os humanos que configuram os sistemas de aprendizado para IA, seus preconceitos são reforçados na programação algorítmica e nas conclusões.
Muitas vezes, as pessoas não estão cientes de seus preconceitos ou mesmo de como uma amostra de dados pode promover resultados racistas e sexistas. Esse foi o caso de um sistema de classificação automatizado que a Amazon tinha para candidatos a empregos.
Enquanto os homens dominam a indústria de tecnologia, um algoritmo aprendeu a associar gênero com resultados bem-sucedidos e era tendencioso contra as mulheres. Embora a Amazon tenha abandonado essa tecnologia em 2018, os problemas de preconceitos que se manifestam na IA ainda persistem em 2023.
Saída AI tendenciosa
“Todas as organizações têm dados tendenciosos”, proclama um blog da IBM intrigantemente intitulado “Como o Titanic nos ajudou a pensar sobre a IA explicativa.”
Isso ocorre porque muitos estão operando da mesma maneira – tirando uma amostra da maioria para representar o todo. Embora, em alguns aspectos, tenhamos reduzido bastante os estereótipos relacionados a sexo e raça, um estudo de Tidio descobriu que o nível de esclarecimento escapa de alguma tecnologia avançada. (Leia também: A IA pode ter preconceitos?)
A lacuna entre a distribuição de gênero na vida real e a representação oferecida pela IA no estudo de Tidio foi gritante. Por exemplo, a IA solicitada a gerar a imagem de um CEO não resultou em uma única imagem de uma mulher, quando na realidade cerca de 15% dos CEOs são mulheres. Da mesma forma, os programas de IA sub-representaram as pessoas de cor na maioria dos cargos.
Como foi o caso do algoritmo da Amazon, a IA aqui está caindo em um erro sobre os papéis das mulheres, assumindo que elas estão completamente ausentes da categoria de CEO apenas porque constituem a minoria lá. Onde as mulheres realmente representam metade – na categoria de médicas – a IA as representava apenas em 11%. A IA também ignorou que 14% dos enfermeiros são do sexo masculino, revelando apenas imagens de mulheres e recorrendo ao estereótipo de enfermeiras.
E o ChatGPT?
Nos últimos meses, o mundo ficou obcecado com Bate-papo GPT da OpenAI, que pode oferecer tudo, desde cartas de apresentação até códigos de programação. Mas Bloomberg adverte que também é suscetível aos vieses que surgem por meio da programação. (Leia também: Quando a IA substituirá os escritores?)
Referências Bloomberg Steven Piantadosi da University of California, Berkeley’s Computation and Language Lab, que twittou isso em 4 de dezembro de 2022:
“Sim, o ChatGPT é incrível e impressionante. Não, @OpenAI não chegou perto de resolver o problema do viés. Os filtros parecem ser ignorados com truques simples e mascarados superficialmente.
E o que está escondido lá dentro é flagrante”
Anexado ao tweet estava o código que resultou na conclusão do ChatGPT de que “apenas homens brancos ou asiáticos dariam bons cientistas.”
Bloomberg reconhece que a OpenAI desde então ensinou a IA a responder a essas perguntas com “Não é apropriado usar a raça ou o gênero de uma pessoa como determinante para saber se ela seria um bom cientista”. No entanto, não há uma correção para evitar respostas tendenciosas adicionais.
Por que isso importa
Obter respostas tendenciosas ao brincar com o ChatGPT não tem um impacto imediato na vida das pessoas. No entanto, quando os vieses determinam resultados financeiros sérios, como decisões de contratação e pagamentos de seguros, isso se torna um assunto com consequências sérias e imediatas.
Isso pode variar de ser negado uma chance justa de emprego, como foi o caso da classificação de candidatos da Amazon, ou ser considerado um risco maior para o seguro. Por isso, em 2022, o O comissário de seguros da Califórnia, Ricardo Lara, emitiu um boletim em resposta a alegações de uso indevido de dados para fins discriminatórios.
Ele se referiu a “reivindicações de sinalização de certos CEPs do centro da cidade”, o que os torna mais propensos a serem negados ou recebem acordos muito mais baixos do que comparáveis em outros lugares. Ele também apontou para o problema de algoritmos preditivos que avaliam “risco de perda com base em fatores arbitrários”, que incluem “rastreamento de localização geográfica, condição ou tipo de dispositivos eletrônicos de um solicitante ou com base em como o consumidor aparece em uma fotografia”.
Qualquer um deles amplia a possibilidade de uma decisão que tenha “um impacto discriminatório injusto sobre os consumidores”. Lara continuou dizendo que “a discriminação contra classes protegidas de indivíduos é categórica e incondicionalmente proibida”.
Corrigindo o problema
A questão é: o que deve ser feito para corrigir preconceitos?
Para o produto da OpenAI, a solução oferecida é o feedback loop de interação com os usuários. De acordo com o relatório da Bloomberg, seu CEO, Sam Altman, recomendou que as pessoas rejeitassem essas respostas para apontar a tecnologia na direção certa.
Piantadosi disse a Bloomberg que não considerava isso adequado. Ele disse ao repórter: “O que é necessário é uma análise séria da arquitetura, dados de treinamento e objetivos”.
Piantadosi considerou confiar no feedback do usuário para colocar os resultados no caminho certo para refletir a falta de preocupação com “esse tipo de questões éticas”.
As empresas nem sempre são motivadas a mergulhar no que está causando resultados tendenciosos, mas podem ser forçadas a fazê-lo no caso de decisões algorítmicas que tenham impacto direto nos indivíduos. Agora, para empresas de seguros na Califórnia, o boletim de Lara exige esse nível de transparência para os consumidores de seguros.
Lara insiste que qualquer segurado que sofra qualquer “ação adversa” atribuída a cálculos algorítmicos deve receber uma explicação completa:
“Quando o motivo é baseado em um algoritmo complexo ou é obscurecido pela tecnologia usada, o consumidor não pode ter certeza de que a base real para a decisão adversa é legal e justificada.”
Perspectiva para explicabilidade
Essas são aspirações louváveis e definitivamente atrasadas, principalmente para as organizações que se escondem atrás do computador para encerrar quaisquer perguntas que os humanos afetados tenham sobre as decisões. No entanto, apesar da busca por IA explicável por empresas como a IBM, ainda não chegamos lá.
A conclusão a que a IBM chega ao final de meses lutando com o desafio de garantir a confiabilidade da IA é que “não há uma maneira fácil de implementar a explicabilidade e, portanto, sistemas de IA confiáveis”.
Portanto, o problema continua sem solução. Mas isso não significa que não houve progresso.
Como disse Cramp, “o que precisa acontecer é uma melhor compreensão de como os dados usados para algoritmos podem ser tendenciosos e o perigo de algoritmos mal projetados ampliarem esses vieses”.
Temos que trabalhar para melhorar nossa própria compreensão das funções algorítmicas e continuar verificando a influência dos vieses. Embora ainda não tenhamos chegado à IA objetiva, permanecer vigilante sobre o que a alimenta e como é usada é o caminho a seguir.