No ano passado, escrevi um artigo sobre otimismo tecnológico, onde expus a minha paixão pela tecnologia e os enormes benefícios que ela pode trazer, ao mesmo tempo que manifestei uma atitude cautelosa em relação a algumas questões específicas, especialmente os riscos que a superinteligência artificial pode acarretar.
O ponto central do artigo é promover uma abordagem de aceleração defensiva que seja descentralizada, democrática e diversificada. É necessário acelerar o desenvolvimento tecnológico, ao mesmo tempo em que se presta atenção específica às tecnologias que possam aumentar a capacidade de defesa em vez de causar destruição, e se dedica a descentralizar o poder, evitando que ele se concentre nas mãos de poucos elites.
Um ano se passou e essas ideias tiveram um desenvolvimento e amadurecimento significativos. Compartilhei essas ideias na plataforma "80.000 horas" e recebi muito feedback, a maior parte positiva, mas também houve algumas críticas.
Este trabalho continuou a avançar e obteve resultados substanciais: houve progressos no campo das vacinas de código aberto verificáveis; a compreensão do valor do ar interior saudável está a aprofundar-se; os "notas da comunidade" continuam a desempenhar um papel positivo; o mercado de previsões teve um ano de ruptura como ferramenta de informação; as provas de conhecimento zero foram aplicadas na identificação de identidade governamental e nas redes sociais; ferramentas de imagem de código aberto foram aplicadas na medicina e na interface cérebro-máquina, entre outros.
No outono do ano passado, realizamos o nosso primeiro grande evento d/acc: "Dia de Descobrimento d/acc". O evento reuniu oradores de várias áreas d/acc ( como biologia, física, redes, defesa da informação e tecnologia neural ). Pessoas que se dedicam a essas tecnologias há muito tempo entenderam melhor o trabalho umas das outras, e o público externo também se tornou cada vez mais consciente dessa visão mais ampla: os valores que impulsionam o desenvolvimento do Ethereum e das criptomoedas podem ser expandidos para um mundo mais vasto.
O significado e a extensão de d/acc
A ideia central do d/acc é simples e clara: uma aceleração defensiva descentralizada, democrática e diferenciada. Construir uma tecnologia que possa inclinar o equilíbrio de ataque e defesa em direção à defesa, sem depender da delegação de mais poder a uma autoridade central durante o processo de implementação. Existe uma conexão intrínseca e estreita entre esses dois aspectos: qualquer estrutura política descentralizada, democrática ou livre tende a prosperar quando a defesa é fácil de implementar, mas enfrenta sérios desafios quando a defesa encontra dificuldades significativas.
Uma forma de entender a importância de tentar implementar simultaneamente a descentralização, a defesa e a aceleração é compará-la com as ideias resultantes da renúncia a qualquer um desses três aspectos.
Aceleração descentralizada, mas ignorando a parte de "defesa diferenciada", isso é semelhante a se tornar um aceleracionista eficaz (e/acc), mas ao mesmo tempo buscando a descentralização. Essa abordagem pode evitar o risco de um grupo específico implementar uma ditadura sobre a humanidade global, mas não resolve os problemas estruturais potenciais: em um ambiente favorável ao ataque, sempre existe o risco contínuo de desastres, ou alguém se posicionará como protetor e ocupará permanentemente a posição de domínio.
A defesa diferenciada acelera, mas ignora "descentralização e democracia", aceitando o controle centralizado para alcançar objetivos de segurança, o que tem um certo apelo para algumas pessoas. No entanto, o controle centralizado apresenta um problema de grau. Uma forma de controle centralizado relativamente moderada, geralmente ignorada, mas ainda prejudicial, se reflete na resistência à supervisão pública no campo da biotecnologia, bem como na permissão para que esse comportamento de resistência permaneça incontestado por normas de código fechado.
Defesa descentralizada, mas rejeição à aceleração, isso é essencialmente uma tentativa de retardar o progresso tecnológico ou promover uma recessão econômica. Essa estratégia enfrenta um desafio duplo. Primeiro, no geral, o crescimento tecnológico e econômico é extremamente benéfico para a humanidade, qualquer atraso nisso acarretará custos incalculáveis. Em segundo lugar, em um mundo não autoritário, a estagnação é instável: aqueles que "trapaceiam" mais, capazes de encontrar maneiras aparentemente razoáveis de continuar avançando, terão vantagem.
Através do d/acc, estamos empenhados em alcançar os seguintes objetivos:
Manter princípios em um mundo cada vez mais tribalizado, e não apenas construir coisas de forma cega.
Reconhecer que o avanço tecnológico exponencial significa que o mundo se tornará extremamente peculiar, e a "pegada" geral da humanidade no universo inevitavelmente continuará a aumentar. Nossa capacidade de proteger animais, plantas e populações vulneráveis de danos deve ser continuamente aprimorada, e a única saída é avançar corajosamente.
Construir tecnologias que possam realmente nos proteger, em vez de se basear na suposição de que "boas pessoas ( ou boas IAs ) controlam tudo". Atingimos esse objetivo construindo ferramentas que, quando usadas para construir e proteger, são naturalmente mais eficazes do que quando utilizadas para destruir.
Uma outra forma de pensar d/acc é voltar ao quadro do movimento Pirata na Europa do final da década de 2000: empoderamento. O nosso objetivo é construir um mundo que possa preservar a agência humana, realizando a liberdade negativa, ou seja, evitando a intervenção ativa de outros na nossa capacidade de moldar o nosso próprio destino, enquanto realizamos a liberdade positiva, ou seja, garantindo que temos conhecimento e recursos para exercer essa capacidade.
Terceira Dimensão: Desenvolvimento Sinérgico da Sobrevivência e Prosperidade
No artigo do ano passado, a d/acc focou especialmente em tecnologias defensivas: defesa física, defesa biológica, defesa cibernética e defesa da informação. No entanto, uma defesa descentralizada pura não é suficiente para construir um grande mundo: também precisamos de uma visão proativa e de longo prazo, que defina quais objetivos a humanidade pode alcançar após obter uma nova descentralização e segurança.
Existe um padrão consistente em várias áreas, que é o de que as ciências, ideias e ferramentas que nos ajudam a "sobreviver" em um determinado campo estão intimamente relacionadas com as ciências, ideias e ferramentas que nos ajudam a "prosperar". Aqui estão alguns exemplos específicos:
Muitas pesquisas recentes sobre a COVID-19 se concentram na persistência do vírus no corpo, o que é visto como um mecanismo chave do problema da COVID longa. Recentemente, também houve indícios de que a persistência do vírus pode ser um fator patogênico da doença de Alzheimer.
Ferramentas de baixo custo e microimagem têm um grande potencial no tratamento de microtrombos, persistência viral, câncer, entre outros, e também podem ser aplicadas no campo das interfaces cérebro-máquina.
A ideia de promover a construção de ferramentas sociais adequadas a ambientes altamente adversariais e ferramentas sociais para um ambiente de cooperação razoável é extremamente semelhante.
O mercado de previsões tem um valor importante tanto em ambientes de alta cooperação como de alta competição.
Provas de conhecimento zero e tecnologias semelhantes realizam cálculos sobre os dados enquanto protegem a privacidade, aumentando tanto a quantidade de dados disponíveis para trabalhos benéficos, como a pesquisa científica, quanto o reforço da proteção da privacidade.
A energia solar e as baterias são fundamentais para impulsionar a próxima onda de crescimento da economia limpa, ao mesmo tempo que se destacam em descentralização e resiliência física.
Além disso, existem importantes interdependências entre diferentes áreas do conhecimento:
A interface cérebro-máquina é crucial como uma tecnologia de defesa de informação e colaboração, pois permite uma comunicação mais refinada de nossos pensamentos e intenções.
Muitas biotecnologias dependem do compartilhamento de informações, e em muitos casos, as pessoas só estão dispostas a compartilhar informações quando têm certeza de que serão usadas apenas para aplicações específicas. Isso depende de tecnologias de privacidade.
A tecnologia de colaboração pode ser utilizada para coordenar o financiamento de qualquer outro domínio tecnológico.
Desafio: Segurança da IA, prazos urgentes e dilemas regulatórios
O argumento mais convincente contra o meu artigo no ano passado veio da comunidade de segurança da IA. O argumento é: "Embora tenhamos meio século para desenvolver IA forte, podemos nos concentrar em construir todas essas coisas benéficas. Mas, na verdade, parece que podemos ter apenas três anos para desenvolver IA geral e, em seguida, mais três anos para desenvolver inteligência superinteligente. Portanto, se não quisermos que o mundo caia em destruição ou de outra forma em uma situação irreversível, não podemos apenas acelerar o desenvolvimento de tecnologias benéficas, mas também devemos desacelerar o desenvolvimento de tecnologias prejudiciais, o que significa que precisamos de medidas regulatórias robustas que podem irritar os poderosos."
Razões para uma atitude cautelosa em relação à nova regulamentação:
No ano passado, a principal proposta de regulamentação de IA foi a lei SB-1047 da Califórnia. A SB-1047 exige que os desenvolvedores dos modelos mais poderosos adotem uma série de medidas de teste de segurança antes do lançamento. Além disso, se os desenvolvedores de modelos de IA não forem suficientemente cautelosos, serão responsabilizados. Muitos críticos acreditam que a lei "representa uma ameaça ao código aberto"; eu discordo, pois o limiar de custos significa que afeta apenas os modelos mais poderosos. No entanto, olhando para o passado, acredito que a lei tem um problema mais sério: como a maioria das medidas regulatórias, ela se adapta excessivamente à situação atual.
Os agentes mais prováveis de serem responsáveis pelo cenário de destruição da superinteligência artificial:
Na verdade, os atores mais propensos a serem responsáveis por cenários de destruição da superinteligência artificial são os militares. Como vimos na bioproteção ao longo do último meio século, os militares estão dispostos a tomar algumas ações terríveis e são propensos a cometer erros. Hoje, a aplicação de IA no setor militar está se desenvolvendo rapidamente. Além disso, quaisquer medidas de regulamentação de segurança aprovadas por um governo isentam, por padrão, as suas próprias forças armadas e as empresas que colaboram estreitamente com os militares.
Estratégia de resposta:
No entanto, esses argumentos não são uma razão para nos sentirmos impotentes. Pelo contrário, podemos usá-los como orientação para tentar formular regras que gerem o menor número possível dessas preocupações.
Estratégia 1: Responsabilidade
Se o comportamento de alguém causou danos que podem ser legalmente responsabilizados, essa pessoa pode ser processada. Isso não resolve a questão dos riscos trazidos por forças armadas e outros agentes que estão "acima da lei", mas é uma abordagem bastante genérica que evita o sobreajuste, e por isso, economistas tendentes ao liberalismo geralmente apoiam essa prática.
Os principais objetivos de responsabilidade considerados até agora são os seguintes:
Usuário: Aquele que usa IA.
Implementador: intermediário que fornece serviços de IA aos usuários.
Desenvolvedor: A pessoa que constrói a IA.
Atribuir a responsabilidade ao usuário parece ser o mais alinhado com o mecanismo de incentivos. Embora a relação entre a forma como o modelo é desenvolvido e a forma como é utilizado final muitas vezes não seja clara, os usuários decidem a maneira específica de uso da IA. A responsabilização dos usuários gera uma pressão poderosa, incentivando as pessoas a usarem a IA da maneira que considero correta: focando em construir um conjunto mecânico para o pensamento humano, em vez de criar novas formas de vida inteligente autossustentáveis.
Estratégia 2: Botão de "pausa suave" global em hardware de escala industrial
Se eu estiver convencido de que precisamos de medidas mais "fortes" do que as regras de responsabilidade, eu escolheria esta estratégia. O objetivo é ter a capacidade de reduzir a capacidade de computação global disponível em cerca de 90%-99% durante períodos críticos, por um período de 1-2 anos, para dar à humanidade mais tempo de preparação. O valor de 1-2 anos não deve ser superestimado: um ano de "modo de guerra" em situações de complacência pode facilmente valer cem anos de trabalho convencional.
Uma abordagem mais avançada é usar técnicas de criptografia sofisticadas: por exemplo, o hardware de IA em escala industrial (, mas não de consumo ), pode ser equipado com um chip de hardware confiável, que só permitirá a continuidade de sua operação após a obtenção de uma assinatura 3/3 de instituições internacionais principais a cada semana. Essas assinaturas serão independentes do dispositivo, portanto, será tudo ou nada: não há um método prático para autorizar um dispositivo a continuar funcionando sem autorizar todos os outros dispositivos.
O papel da tecnologia d/acc nos riscos de IA:
Essas duas estratégias ( de responsabilidade e botão de pausa de hardware ) têm vulnerabilidades, e é evidente que são apenas soluções temporárias. Portanto, precisamos de medidas mais estáveis para ganhar tempo. Muitas tecnologias de d/acc são relevantes aqui. Podemos ver a função da tecnologia d/acc da seguinte forma: se a IA assumir o mundo, como ela faria isso?
Esta página pode conter conteúdo de terceiros, que é fornecido apenas para fins informativos (não para representações/garantias) e não deve ser considerada como um endosso de suas opiniões pela Gate nem como aconselhamento financeiro ou profissional. Consulte a Isenção de responsabilidade para obter detalhes.
d/acc um ano: Descentralização da defesa aceleração dos progressos e desafios
d/acc: Revisão e Perspectivas após um Ano
No ano passado, escrevi um artigo sobre otimismo tecnológico, onde expus a minha paixão pela tecnologia e os enormes benefícios que ela pode trazer, ao mesmo tempo que manifestei uma atitude cautelosa em relação a algumas questões específicas, especialmente os riscos que a superinteligência artificial pode acarretar.
O ponto central do artigo é promover uma abordagem de aceleração defensiva que seja descentralizada, democrática e diversificada. É necessário acelerar o desenvolvimento tecnológico, ao mesmo tempo em que se presta atenção específica às tecnologias que possam aumentar a capacidade de defesa em vez de causar destruição, e se dedica a descentralizar o poder, evitando que ele se concentre nas mãos de poucos elites.
Um ano se passou e essas ideias tiveram um desenvolvimento e amadurecimento significativos. Compartilhei essas ideias na plataforma "80.000 horas" e recebi muito feedback, a maior parte positiva, mas também houve algumas críticas.
Este trabalho continuou a avançar e obteve resultados substanciais: houve progressos no campo das vacinas de código aberto verificáveis; a compreensão do valor do ar interior saudável está a aprofundar-se; os "notas da comunidade" continuam a desempenhar um papel positivo; o mercado de previsões teve um ano de ruptura como ferramenta de informação; as provas de conhecimento zero foram aplicadas na identificação de identidade governamental e nas redes sociais; ferramentas de imagem de código aberto foram aplicadas na medicina e na interface cérebro-máquina, entre outros.
No outono do ano passado, realizamos o nosso primeiro grande evento d/acc: "Dia de Descobrimento d/acc". O evento reuniu oradores de várias áreas d/acc ( como biologia, física, redes, defesa da informação e tecnologia neural ). Pessoas que se dedicam a essas tecnologias há muito tempo entenderam melhor o trabalho umas das outras, e o público externo também se tornou cada vez mais consciente dessa visão mais ampla: os valores que impulsionam o desenvolvimento do Ethereum e das criptomoedas podem ser expandidos para um mundo mais vasto.
O significado e a extensão de d/acc
A ideia central do d/acc é simples e clara: uma aceleração defensiva descentralizada, democrática e diferenciada. Construir uma tecnologia que possa inclinar o equilíbrio de ataque e defesa em direção à defesa, sem depender da delegação de mais poder a uma autoridade central durante o processo de implementação. Existe uma conexão intrínseca e estreita entre esses dois aspectos: qualquer estrutura política descentralizada, democrática ou livre tende a prosperar quando a defesa é fácil de implementar, mas enfrenta sérios desafios quando a defesa encontra dificuldades significativas.
Uma forma de entender a importância de tentar implementar simultaneamente a descentralização, a defesa e a aceleração é compará-la com as ideias resultantes da renúncia a qualquer um desses três aspectos.
Aceleração descentralizada, mas ignorando a parte de "defesa diferenciada", isso é semelhante a se tornar um aceleracionista eficaz (e/acc), mas ao mesmo tempo buscando a descentralização. Essa abordagem pode evitar o risco de um grupo específico implementar uma ditadura sobre a humanidade global, mas não resolve os problemas estruturais potenciais: em um ambiente favorável ao ataque, sempre existe o risco contínuo de desastres, ou alguém se posicionará como protetor e ocupará permanentemente a posição de domínio.
A defesa diferenciada acelera, mas ignora "descentralização e democracia", aceitando o controle centralizado para alcançar objetivos de segurança, o que tem um certo apelo para algumas pessoas. No entanto, o controle centralizado apresenta um problema de grau. Uma forma de controle centralizado relativamente moderada, geralmente ignorada, mas ainda prejudicial, se reflete na resistência à supervisão pública no campo da biotecnologia, bem como na permissão para que esse comportamento de resistência permaneça incontestado por normas de código fechado.
Defesa descentralizada, mas rejeição à aceleração, isso é essencialmente uma tentativa de retardar o progresso tecnológico ou promover uma recessão econômica. Essa estratégia enfrenta um desafio duplo. Primeiro, no geral, o crescimento tecnológico e econômico é extremamente benéfico para a humanidade, qualquer atraso nisso acarretará custos incalculáveis. Em segundo lugar, em um mundo não autoritário, a estagnação é instável: aqueles que "trapaceiam" mais, capazes de encontrar maneiras aparentemente razoáveis de continuar avançando, terão vantagem.
Através do d/acc, estamos empenhados em alcançar os seguintes objetivos:
Uma outra forma de pensar d/acc é voltar ao quadro do movimento Pirata na Europa do final da década de 2000: empoderamento. O nosso objetivo é construir um mundo que possa preservar a agência humana, realizando a liberdade negativa, ou seja, evitando a intervenção ativa de outros na nossa capacidade de moldar o nosso próprio destino, enquanto realizamos a liberdade positiva, ou seja, garantindo que temos conhecimento e recursos para exercer essa capacidade.
Terceira Dimensão: Desenvolvimento Sinérgico da Sobrevivência e Prosperidade
No artigo do ano passado, a d/acc focou especialmente em tecnologias defensivas: defesa física, defesa biológica, defesa cibernética e defesa da informação. No entanto, uma defesa descentralizada pura não é suficiente para construir um grande mundo: também precisamos de uma visão proativa e de longo prazo, que defina quais objetivos a humanidade pode alcançar após obter uma nova descentralização e segurança.
Existe um padrão consistente em várias áreas, que é o de que as ciências, ideias e ferramentas que nos ajudam a "sobreviver" em um determinado campo estão intimamente relacionadas com as ciências, ideias e ferramentas que nos ajudam a "prosperar". Aqui estão alguns exemplos específicos:
Além disso, existem importantes interdependências entre diferentes áreas do conhecimento:
Desafio: Segurança da IA, prazos urgentes e dilemas regulatórios
O argumento mais convincente contra o meu artigo no ano passado veio da comunidade de segurança da IA. O argumento é: "Embora tenhamos meio século para desenvolver IA forte, podemos nos concentrar em construir todas essas coisas benéficas. Mas, na verdade, parece que podemos ter apenas três anos para desenvolver IA geral e, em seguida, mais três anos para desenvolver inteligência superinteligente. Portanto, se não quisermos que o mundo caia em destruição ou de outra forma em uma situação irreversível, não podemos apenas acelerar o desenvolvimento de tecnologias benéficas, mas também devemos desacelerar o desenvolvimento de tecnologias prejudiciais, o que significa que precisamos de medidas regulatórias robustas que podem irritar os poderosos."
Razões para uma atitude cautelosa em relação à nova regulamentação:
No ano passado, a principal proposta de regulamentação de IA foi a lei SB-1047 da Califórnia. A SB-1047 exige que os desenvolvedores dos modelos mais poderosos adotem uma série de medidas de teste de segurança antes do lançamento. Além disso, se os desenvolvedores de modelos de IA não forem suficientemente cautelosos, serão responsabilizados. Muitos críticos acreditam que a lei "representa uma ameaça ao código aberto"; eu discordo, pois o limiar de custos significa que afeta apenas os modelos mais poderosos. No entanto, olhando para o passado, acredito que a lei tem um problema mais sério: como a maioria das medidas regulatórias, ela se adapta excessivamente à situação atual.
Os agentes mais prováveis de serem responsáveis pelo cenário de destruição da superinteligência artificial:
Na verdade, os atores mais propensos a serem responsáveis por cenários de destruição da superinteligência artificial são os militares. Como vimos na bioproteção ao longo do último meio século, os militares estão dispostos a tomar algumas ações terríveis e são propensos a cometer erros. Hoje, a aplicação de IA no setor militar está se desenvolvendo rapidamente. Além disso, quaisquer medidas de regulamentação de segurança aprovadas por um governo isentam, por padrão, as suas próprias forças armadas e as empresas que colaboram estreitamente com os militares.
Estratégia de resposta:
No entanto, esses argumentos não são uma razão para nos sentirmos impotentes. Pelo contrário, podemos usá-los como orientação para tentar formular regras que gerem o menor número possível dessas preocupações.
Estratégia 1: Responsabilidade
Se o comportamento de alguém causou danos que podem ser legalmente responsabilizados, essa pessoa pode ser processada. Isso não resolve a questão dos riscos trazidos por forças armadas e outros agentes que estão "acima da lei", mas é uma abordagem bastante genérica que evita o sobreajuste, e por isso, economistas tendentes ao liberalismo geralmente apoiam essa prática.
Os principais objetivos de responsabilidade considerados até agora são os seguintes:
Atribuir a responsabilidade ao usuário parece ser o mais alinhado com o mecanismo de incentivos. Embora a relação entre a forma como o modelo é desenvolvido e a forma como é utilizado final muitas vezes não seja clara, os usuários decidem a maneira específica de uso da IA. A responsabilização dos usuários gera uma pressão poderosa, incentivando as pessoas a usarem a IA da maneira que considero correta: focando em construir um conjunto mecânico para o pensamento humano, em vez de criar novas formas de vida inteligente autossustentáveis.
Estratégia 2: Botão de "pausa suave" global em hardware de escala industrial
Se eu estiver convencido de que precisamos de medidas mais "fortes" do que as regras de responsabilidade, eu escolheria esta estratégia. O objetivo é ter a capacidade de reduzir a capacidade de computação global disponível em cerca de 90%-99% durante períodos críticos, por um período de 1-2 anos, para dar à humanidade mais tempo de preparação. O valor de 1-2 anos não deve ser superestimado: um ano de "modo de guerra" em situações de complacência pode facilmente valer cem anos de trabalho convencional.
Uma abordagem mais avançada é usar técnicas de criptografia sofisticadas: por exemplo, o hardware de IA em escala industrial (, mas não de consumo ), pode ser equipado com um chip de hardware confiável, que só permitirá a continuidade de sua operação após a obtenção de uma assinatura 3/3 de instituições internacionais principais a cada semana. Essas assinaturas serão independentes do dispositivo, portanto, será tudo ou nada: não há um método prático para autorizar um dispositivo a continuar funcionando sem autorizar todos os outros dispositivos.
O papel da tecnologia d/acc nos riscos de IA:
Essas duas estratégias ( de responsabilidade e botão de pausa de hardware ) têm vulnerabilidades, e é evidente que são apenas soluções temporárias. Portanto, precisamos de medidas mais estáveis para ganhar tempo. Muitas tecnologias de d/acc são relevantes aqui. Podemos ver a função da tecnologia d/acc da seguinte forma: se a IA assumir o mundo, como ela faria isso?