Viés de automação
Confiar demais em sugestões de sistemas automáticos, e ignorar sinais contrários.
O que é
Quando uma máquina dá uma resposta, tendemos a aceitá-la sem conferir, mesmo que nossos olhos ou a lógica digam outra coisa.
Como funciona e como se proteger
Sistemas automáticos acertam com frequência, e cada acerto reforça a confiança; conferir cada saída é cansativo e parece desnecessário. Quando o sistema erra, a vigilância já foi desligada, e o humano no circuito não está mais olhando. Pilotos, médicos e motoristas com GPS já pagaram caro por isso.
Mantenha uma regra de conferência proporcional ao custo do erro, e não à frequência dele. Em políticas públicas, algoritmos de triagem, policiamento e benefícios precisam de auditoria regular, porque quem os opera deixa de questionar as saídas com o tempo.
Como isso afeta a moral e a política
No pensamento moral
Delega decisões morais à máquina sem examiná-las, como quem nega um pedido porque “o sistema mandou”.
No pensamento político
Órgãos públicos podem aplicar decisões de algoritmos sem revisão humana.
Na mesma categoria
Lacuna de letramento em IA
Usar IA sem entender seus limites, o que leva a confiar ou desconfiar demais.
Tecnologia e IADiluição da responsabilidade na IA
Quando há IA no processo, ninguém se sente totalmente responsável pelo resultado.
Tecnologia e IADelegação progressiva
Passar mais e mais tarefas à IA, até nem perceber quanto se delegou.