“Errar é humano; para realmente estragar as coisas requer um computador. William E. Vaughan fez essa observação em 1969. Entregar o controle a um sistema automatizado acarreta potencial para o sistema dar errado e causar sérios danos antes de ser verificado.
A automação não é nova, mas está se tornando muito mais difundida graças à integração de sistemas digitais e físicos. A vantagem da automação em escala é a grande eficiência. Mas a desvantagem de confiar em um sistema de configurar e esquecer é que alguém pode não conseguir configurá-lo corretamente.
A automação pode ter efeitos destrutivos. Essa possibilidade distópica foi imaginada em 1936, quando o personagem de Charlie Chaplin passa por percalços mecanizados ao ser puxado da linha de montagem da fábrica para a máquina em “Tempos modernos.”
No mundo de hoje, temos uma precisão muito maior em nossas máquinas e eletrônicos, embora erros possam ocorrer e ocorrem. Mesmo quando os processos automatizados funcionam conforme projetado, a experiência para os humanos envolvidos pode estar longe de ser ideal, como foi o caso do demissões em larga escala na Alphabet.
Benefícios da automação de IA
Os defensores da automação de inteligência artificial (IA) apontam que uma maior eficiência pode oferecer a vantagem da automação, aliviando os humanos de realizar tarefas repetitivas, pesquisas e análises de dados. Maior eficiência em tarefas domésticas permite mais tempo que pode ser aplicado na solução de problemas, desenvolvimento e pesquisa.
Alguns apontaram que a IA já está sendo aplicada para usos específicos que levam a diagnósticos médicos mais precisos, melhor uso de recursos naturais e educação mais personalizada do que professores humanos em sala de aula podem fornecer. Também melhora a segurança em três áreas:
- Detectar a presença de armas, como armas de fogo.
- Eliminar a necessidade de os seres humanos serem expostos a perigos físicos e químicos.
- Previsão de desastres naturais.
Estas não são apenas possibilidades, mas a realização dos avanços da vida real na IA. Neste ponto, a IA provou ser capaz de realizar decisões automatizadas. No entanto, essas decisões nem sempre são as corretas, o que levanta o problema do possível uso indevido da IA. (Leia também: IA na área da saúde: identificando riscos e economizando dinheiro)
Uso indevido de automação de IA
Nem tudo que pode ser automatizado deve ser. A blog da Forrester apontou que agora estamos sofrendo os efeitos do que chama de “atos aleatórios de automação”.
Em vez de melhorar os resultados conforme pretendido, essas automações pioram a experiência para clientes e empresas que dependem delas. Processos automatizados sem supervisão para corrigi-los podem levar a resultados que variam de incômodos a sérios riscos de segurança.
Aqui estão alguns exemplos de quando a automação pela automação dá errado:
- Falhas no self-checkout aumentam os atrasos que pretendiam eliminar.
- Chatbots que não respondem a perguntas e atrasam o acesso a um humano real aumentam a frustração do cliente.
- Os efeitos discriminatórios que negam empregos ou empréstimos às pessoas podem ser o resultado de algoritmos tendenciosos.
- A automação pode até levar a mortes em acidentes envolvendo veículos e máquinas autônomos.
Automação que perde o objetivo
Uma das irritações menores que surgem da automação é a proliferação de mensagens de marketing às quais todos estamos sujeitos online. As marcas que usam essas táticas bombardeiam seus clientes com e-mails e textos destinados a usar o FOMO para impulsionar as vendas.
Mas o uso excessivo de automação diminui o impacto do FOMO porque os clientes aprenderam que a oferta de hoje será seguida por outra amanhã, no dia seguinte e no dia seguinte. Portanto, os profissionais de marketing tentam chamar sua atenção com tentativas de personalização que desmentem a automação. (Leia também: AI Washing: tudo o que você precisa saber)
Por exemplo, no ano passado, a Old Navy tentou chamar minha atenção combinando uma promoção sazonal com um lembrete de que eu tinha recompensas que poderia usar na compra. Ele até tentou brincar com a vaidade dizendo “esses looks têm seu nome neles”, mas sem nenhum humano ou algorítmico para verificar, o e-mail foi enviado com o lembrete absurdo de que eu tinha um total de $ 0 em recompensas para usar.
Embora não tenha havido nenhum dano sério resultante deste e-mail, mensagens automáticas impensadas podem mostrar falta de sensibilidade e consideração. Esse foi o caso de alguns dos destinatários de avisos de rescisão da empresa controladora do Google, a Alphabet.
Vários funcionários que foram demitidos da gigante da tecnologia foram às mídias sociais para reclamar da insensibilidade da empresa. Por exemplo, Blair Bolick, que havia sido recrutadora do Google, compartilhou sua reação em uma postagem no LinkedIn:
“Para mim, a positividade tóxica que estou encontrando é quase insuportável. Não consigo sentir gratidão neste momento por uma empresa à qual dei tanto de mim, mas achei apropriado me separar bloqueando a mim (e 12.000 de meus colegas) de minha conta corporativa às 4 da manhã.”
Outro recrutador da empresa, Dan Lanigan-Ryan, disse ao Business Insider “ele descobriu que havia perdido o emprego depois que uma ligação com um de seus candidatos foi desconectada repentinamente”.
A princípio, ele e seu gerente assumiram que os problemas técnicos eram os culpados. Pouco tempo depois, porém, seu e-mail foi cortado e ele percebeu que algo estava acontecendo. Isso foi confirmado quando ele viu a notícia das 12.000 demissões.
Um ex-engenheiro de software do Google, Tommy York, também postou no LinkedIn sobre sua experiência:
“Fui demitido do Google na semana passada. Descobri no meu quarto dia de volta da licença de luto para minha mãe, que morreu de câncer em dezembro… Certamente já ouvi histórias piores, incluindo demissões de pais grávidas e de Googlers em licença por invalidez. Mas ainda parece um tapa na cara, como levar um soco quando você está no chão.”
Outros ex-funcionários ecoaram o sentimento de se sentirem traídos porque não receberam absolutamente nenhum aviso sobre a rescisão com e-mails e mensagens de texto enquanto ainda dormiam sem acompanhamento ou contexto fornecido. Quando as demissões em escala são deixadas para a eficiência automatizada, a única preocupação é obter um efeito rápido e imediato. Os sentimentos humanos não entram nesses cálculos.
Mantendo o Humano Envolvido
É provável que a Alphabet tenha usado parte de sua própria tecnologia avançada de IA para realizar o processo de demissão. O resultado levanta a questão: os humanos devem permitir que a IA tenha o poder de executar sua decisão?
Absolutamente não, respondem alguns especialistas; “A IA não está pronta para tomar decisões sem supervisão”, foi o aviso no título do outro artigo da HBR publicado há alguns meses. Ele observou que a IA avançou muito nos últimos anos e se tornou mais precisa, no entanto, os autores do artigo insistem que ainda não é totalmente confiável.
Eles explicam que o algoritmo só pode compreender “modelos e dados”, o que não leva em conta “o quadro geral e, na maioria das vezes, não consegue analisar a decisão com o raciocínio por trás dela”. Consequentemente, os humanos devem ter o poder de tomar a decisão final usando “inteligência aumentada em vez de inteligência artificial pura”.
Essa parece ser a abordagem mais sábia e humana, especialmente para casos que afetam a vida e o sustento das pessoas. (Leia também: Por que a tecnologia de ML/IA do consumidor é tão “incorporada” em comparação com projetos mecânicos/robóticos industriais?)