Diluição da responsabilidade na IA

Quando há IA no processo, ninguém se sente totalmente responsável pelo resultado.

Tecnologia e IA

O que é

Quando uma decisão passa por pessoas e por um sistema de IA, cada um acha que o outro é o responsável. No fim, quando algo dá errado, ninguém assume.

No dia a dia: O banco nega um pedido e o atendente diz: “não fui eu, foi o sistema”.

Como funciona e como se proteger

A responsabilidade já se dilui em grupos humanos: quanto mais gente envolvida, menos cada um se sente responsável. Um sistema de IA no circuito acrescenta um participante que não pode ser cobrado, e que parece objetivo. O humano que confirma a sugestão sente que apenas seguiu; quem desenhou o sistema sente que apenas forneceu uma ferramenta.

Exija que cada decisão com IA tenha uma pessoa nomeada que responde por ela, com poder de recusar a sugestão. Em políticas públicas, sistemas automatizados que negam benefícios ou classificam pessoas precisam de recurso humano e de um responsável, ou produzirão injustiças sem autor.

Como isso afeta a moral e a política

No pensamento moral

O dano fica sem autor: “foi o sistema”. A culpa moral some entre programadores, empresas e usuários.

No pensamento político

Governos podem negar benefícios ou punir com ajuda de algoritmos, e ninguém responde pelo erro.

Como reduzir: A tecnologia não tira a responsabilidade de quem decide. Exija que alguém responda pelo resultado.

Na mesma categoria