A maioria das decisões políticas olha para os próximos quatro anos. Mas algumas ameaças poderiam afetar todo o futuro: uma pandemia projetada, uma guerra nuclear, uma inteligência artificial fora de controle. Pesquisadores chamam de riscos-x os riscos existenciais, que podem acabar com a humanidade ou destruir seu potencial, e de riscos-s os riscos de sofrimento em escala astronômica, muito maior do que todo o sofrimento que já existiu.
Nesta lição, você vai
- Distinguir riscos-x (existenciais) e riscos-s (de sofrimento)
- Conhecer políticas que ajudam: IA, biossegurança, armas, instituições
- Avaliar as críticas: especulação, uso do medo, quem decide
Ajuda ter lido: Fanatismo ideológico no longo prazo, Política baseada na senciência.
Uma analogia
Um prédio pode passar décadas sem pegar fogo, e ainda assim instalamos extintores e saídas de emergência. Não porque o incêndio é provável amanhã, mas porque, se acontecer, o dano é enorme e irreversível. Riscos-x e riscos-s são incêndios em escala de civilização.
Explicando para uma criança
Os adultos colocam grade na janela e guardam remédios no alto, mesmo achando que nada vai acontecer, porque um acidente poderia ser muito grave. Alguns cientistas estudam perigos muito grandes para o mundo todo, para que nunca aconteçam.
Antes de ler: o que você faria?
Uma pandemia projetada em laboratório, uma guerra nuclear, uma IA fora de controle, uma criação industrial em escala global permanente.
Que riscos são de extinção e quais de sofrimento? O que a política pode fazer antes?
Ver o que a lição responde
Riscos X ameaçam a existência; riscos S, sofrimento em escala astronômica. A lição mostra as duas categorias, as políticas que ajudam (biossegurança, controle de armas, governança de IA, proteção animal) e as críticas.
As duas categorias
| Riscos-x (existenciais) | Riscos-s (de sofrimento) | |
|---|---|---|
| O que é | Extinção humana ou perda permanente do futuro | Sofrimento em escala muito maior do que o atual, por muito tempo |
| Exemplos discutidos | Guerra nuclear, pandemia projetada, IA desalinhada, colapso climático extremo | Regimes totalitários permanentes com tecnologia avançada, IA que cause sofrimento, exploração de seres sencientes em escala imensa, inclusive mentes digitais |
| Quem estuda | Pesquisadores de risco existencial, como Toby Ord, em The Precipice | Grupos como o Center for Reducing Suffering e o Center on Long-Term Risk |
O Center for Reducing Suffering distingue riscos-s acidentais, causados por agentes que querem fazer mal e naturais. O foco no sofrimento extremo se liga às ideias de política baseada na senciência e de Magnus Vinding.
Políticas que ajudam
| Área | Exemplos |
|---|---|
| Inteligência artificial | Testes de segurança, transparência, limites ao uso militar e cooperação internacional. Veja o debate sobre IA |
| Biossegurança | Vigilância de pandemias, controle de pesquisas perigosas e de síntese de DNA |
| Armas nucleares | Redução de arsenais, canais de comunicação e tratados |
| Instituições | Evitar a concentração permanente de poder e manter freios e contrapesos. Veja o fanatismo ideológico e os atores malevolentes |
| Círculo moral | Garantir que seres sencientes, inclusive animais e futuras mentes digitais, sejam considerados antes que tecnologias poderosas se consolidem |
| Representação do futuro | Comissões e metas de longo prazo, como as que alguns países criaram para as próximas gerações |
As críticas
- Especulação: as probabilidades são muito incertas, e às vezes apenas palpites.
- Problemas de hoje: focar no futuro distante pode desviar recursos de quem sofre agora.
- Uso do medo: riscos enormes podem justificar vigilância e concentração de poder, que também são perigosos. Veja a política do medo.
- Quem decide: o debate é concentrado em poucos países e instituições.
Para guardar
- Instalamos extintores sem esperar o incêndio: o dano enorme e irreversível justifica a prevenção.
- Riscos enormes também podem justificar vigilância e concentração de poder, que são perigosos.
- Muitas medidas valem mesmo para quem não aceita as projeções: prevenir pandemias e conter armas.
Para pensar
Quanto do orçamento de hoje você aceitaria gastar em riscos que talvez nunca aconteçam? Como decidiria?
Teste rápido · 1 de 3
Aplique · 2 de 3
Confira · 3 de 3
Você concluiu o curso
Revise o nível Avançado e siga pelos debates, pelas vertentes e pelos dossiês.