В прошлом году я написал статью о технологическом оптимизме, в которой изложил свою страсть к технологиям и огромные преимущества, которые они могут принести, одновременно выражая осторожное отношение к некоторым конкретным проблемам, особенно к рискам, связанным с суперумным ИИ.
Суть статьи заключается в пропаганде идеи децентрализованного, демократичного и дифференцированного защитного ускорения. Необходимо не только ускорять развитие технологий, но и целенаправленно обращать внимание на те технологии, которые могут улучшить обороноспособность, а не разрушительную способность, и стремиться к распределению власти, избегая ее концентрации в руках немногих элит.
Год прошёл, и эти идеи значительно развились и созрели. Я поделился этими идеями на платформе "80,000 часов", получил много отзывов, большинство из которых были положительными, но, конечно, имелись и некоторые критические.
Эта работа продолжает развиваться и достигла существенных результатов: достигнут прогресс в области проверяемых открытых вакцин; осознание ценности здорового воздуха в помещениях углубляется; "Сообщество заметок" продолжает играть активную роль; предсказательные рынки стали инструментом информации и вступили в год прорыва; нулевое знание применяется в области идентификации личности в правительстве и социальных сетях; открытые инструменты визуализации находят применение в медицине и интерфейсах мозг-компьютер и т.д.
Осенью прошлого года мы провели наше первое важное событие d/acc: "День открытий d/acc". Мероприятие собрала спикеров из различных областей d/acc, таких как ( биология, физика, сеть, информационная защита и нейротехнологии ). Люди, долгое время занимающиеся этими технологиями, лучше поняли работу друг друга, а внешние лица также начали осознавать эту более широкую мечту: ценности, которые могут способствовать развитию Ethereum и криптовалют, могут быть распространены на более широкий мир.
Содержание и объем d/acc
Основная идея d/acc проста и ясна: децентрализованная, демократическая и дифференцированная защитная акселерация. Создание технологий, способствующих смещению баланса сил в сторону защиты, при этом не полагаясь на передачу большего количества власти центральным авторитетам в процессе реализации. Между этими двумя аспектами существует внутренняя тесная связь: любая децентрализованная, демократическая или свободная политическая структура, как правило, процветает, когда защита легко реализуема, и сталкивается с серьезными проблемами, когда защита испытывает большие трудности.
Один из способов понять важность одновременной реализации децентрализации, защиты и ускорения - это сопоставить его с концепцией, возникающей при отказе от любого из этих трех аспектов.
Децентрализация ускоряется, но игнорирует часть "дифференцированной защиты", что похоже на то, чтобы стать эффективным ускорителем ( e/acc ), одновременно стремясь к децентрализации. Этот подход может избежать риска диктатуры определенной группы над всем человечеством, но он не решает потенциальные структурные проблемы: в среде, благоприятствующей нападению, всегда существует постоянный риск катастрофы, или кто-то может позиционировать себя как защитника и занять доминирующее положение навсегда.
Дифференцированная защита ускоряется, но игнорирует "децентрализацию и демократию", принимая централизованный контроль для достижения целей безопасности, что всегда привлекает определенную группу людей. Однако централизованный контроль имеет свои пределы. Одна из форм относительно мягкого централизованного контроля, которая обычно игнорируется, но все же вредна, проявляется в сопротивлении общественному контролю в области биотехнологий и в позволении этому сопротивлению оставаться не оспоренным в рамках закрытых стандартов.
Децентрализованная защита, но отторжение ускорения, по сути, это попытка замедлить технологический прогресс или способствовать экономическому спаду. Эта стратегия сталкивается с двойными вызовами. Во-первых, в целом, технологический и экономический рост крайне полезен для человечества, любое его замедление будет иметь трудноизмеримую цену. Во-вторых, в неавторитарном мире стагнация нестабильна: те, кто "жульничает" больше всего, смогут найти на первый взгляд разумные способы продолжать развитие.
С помощью d/acc мы стремимся достичь следующих целей:
В условиях растущей племенной тенденции в современном мире придерживаться принципов, а не просто слепо строить различные вещи.
Осознание экспоненциального прогресса технологий означает, что мир станет крайне необычным, и общий "след" человечества во Вселенной будет неизбежно возрастать. Наша способность защищать уязвимые животные, растения и людей от вреда должна постоянно улучшаться, и единственный выход - это смело двигаться вперед.
Создание технологий, которые действительно могут нас защитить, а не основываются на предположении, что "хорошие люди ( или хороший ИИ ) контролируют все". Мы достигаем этой цели, создавая инструменты, которые по своей природе более эффективны для строительства и защиты, чем для разрушения.
Другой взгляд на d/acc заключается в возвращении к рамкам движения пиратской партии в Европе в конце 2000-х годов: наделение правами. Наша цель состоит в том, чтобы построить мир, который может сохранить человеческую агентивность, достичь негативной свободы, то есть избежать активного вмешательства других в нашу способность формировать собственную судьбу, одновременно достигая позитивной свободы, то есть обеспечивая наличие знаний и ресурсов для реализации этой способности.
Третье измерение: Синергетическое развитие выживания и процветания
В статье прошлого года d/acc особенно сосредоточилась на защитных технологиях: физической защите, биозащите, киберзащите и информационной защите. Однако простая децентрализованная защита недостаточна для построения великого мира: нам также нужно проактивное позитивное видение, которое четко определяет, какие цели человечество сможет достичь после получения новой децентрализации и безопасности.
Существует единая модель в различных областях, а именно, что науки, идеи и инструменты, которые могут помочь нам "выжить" в определенной области, тесно связаны с науками, идеями и инструментами, способствующими нашему "процветанию". Вот некоторые конкретные примеры:
Многие недавние исследования по борьбе с коронавирусом сосредоточены на продолжительном присутствии вируса в организме, что рассматривается как ключевой механизм проблемы длительного COVID. В последнее время также появились признаки того, что продолжительное присутствие вируса может быть патогенным фактором болезни Альцгеймера.
Низкозатратные и микроимиджинг инструменты имеют огромный потенциал в лечении микро тромбов, вирусов, устойчивых к лечению, рака и т.д., а также могут быть применены в области интерфейсов мозг-машина.
Идея содействия созданию социальных инструментов, подходящих для высокоантигонистической среды, и социальных инструментов для разумного сотрудничества весьма схожа.
Прогнозные рынки имеют важную ценность как в условиях высокой кооперации, так и в условиях высокой конфронтации.
Нулевое раскрытие и аналогичные технологии вычисления данных при защите конфиденциальности не только увеличивают объем данных, которые могут быть использованы для научных исследований и других полезных работ, но и усиливают защиту конфиденциальности.
Солнечная энергия и аккумуляторы имеют огромное значение для стимулирования следующей волны роста чистой экономики, а также демонстрируют отличные результаты в области децентрализации и физической устойчивости.
Кроме того, между различными дисциплинарными областями существует важная взаимозависимость:
Мозговые интерфейсы являются ключевыми технологиями для защиты информации и совместной работы, так как они позволяют более тонко передавать наши мысли и намерения.
Многие биотехнологии зависят от обмена информацией, и во многих случаях люди готовы делиться информацией только в том случае, если они уверены, что она будет использоваться исключительно для конкретного применения. Это зависит от технологий конфиденциальности.
Кооперативные технологии могут быть использованы для координации финансирования в любых других областях технологий.
Проблема: Безопасность ИИ, срочные сроки и регуляторные дилеммы
В прошлом году наиболее убедительные аргументы против моей статьи пришли из сообщества по безопасности ИИ. Их доводы заключаются в следующем: "Хотя у нас есть полвека для разработки сильного ИИ, мы можем сосредоточиться на создании всех этих полезных вещей. Но на самом деле, похоже, у нас может быть всего три года для достижения общего ИИ, а затем еще три года для достижения супер интеллекта. Поэтому, если мы не хотим, чтобы мир оказался на грани разрушения или каким-либо образом попал в необратимую ловушку, мы не можем просто ускорять развитие полезных технологий, но также должны замедлить развитие вредных технологий, что требует мощного регулирования, которое может рассердить власть имущих."
Причины для осторожного отношения к новым регуляциям:
В прошлом году основным предложением по регулированию ИИ стал законопроект SB-1047 в штате Калифорния. SB-1047 требует от разработчиков самых мощных моделей принять ряд мер по тестированию безопасности перед выпуском. Кроме того, если разработчики ИИ-моделей не проявят достаточной осторожности, они будут привлечены к ответственности. Многие критики считают, что этот законопроект "угрожает открытым исходным кодам"; я с этим не согласен, поскольку порог стоимости означает, что он затрагивает только самые мощные модели. Однако, оглядываясь в прошлое, я считаю, что у этого законопроекта есть более серьезная проблема: как и большинство регулирующих мер, он чрезмерно адаптирован к текущей ситуации.
Наиболее вероятные действия, ответственные за сценарии уничтожения суперинтеллекта ИИ:
На самом деле, наиболее вероятными действующими лицами, ответственными за сценарии уничтожения, связанные с суперумным ИИ, являются армии. Как мы видели в области биобезопасности за последние полвека, армии готовы принимать некоторые ужасные меры и могут легко ошибаться. В настоящее время применение ИИ в военной сфере стремительно развивается. Кроме того, любые меры безопасности, одобренные правительством, по умолчанию освобождают от ответственности армию страны и компании, тесно сотрудничающие с армией.
Стратегия реагирования:
Тем не менее, эти аргументы не являются причиной, по которой мы должны сложить руки. Напротив, мы можем использовать их в качестве руководства и попытаться разработать такие правила, которые вызовут наименьшие опасения.
Стратегия 1: Ответственность
Если поведение кого-то причиняет законно преследуемый ущерб, они могут быть подвергнуты судебному разбирательству. Это не решает проблему рисков, возникающих от армии и других "превосходящих закон" участников, но это очень общий подход, который позволяет избежать чрезмерной настройки, и именно поэтому экономисты, склонные к либерализму, обычно поддерживают эту практику.
Основные целевые обязательства, рассматриваемые до настоящего времени, следующие:
Пользователь: тот, кто использует ИИ.
Разработчик: посредник, предоставляющий пользователям услуги ИИ.
Разработчик: создающий ИИ.
Возложение ответственности на пользователя, похоже, наиболее соответствует механизму стимулов. Хотя связь между способом разработки модели и ее конечным использованием часто неясна, пользователи определяют конкретные способы использования ИИ. Привлечение пользователей к ответственности создаст сильное давление, побуждая людей использовать ИИ таким образом, как я считаю правильным: сосредоточиться на создании механических конструкций для человеческого мышления, а не на создании новых форм самоподдерживающегося интеллекта.
Стратегия 2: Глобальная "мягкая пауза" на оборудовании промышленного масштаба
Если я уверен, что нам нужны более "сильные" меры, чем правила ответственности, я выберу эту стратегию. Цель заключается в том, чтобы в критические моменты иметь возможность сократить глобальные доступные вычислительные мощности примерно на 90%-99% на срок от 1 до 2 лет, чтобы дать человечеству больше времени для подготовки. Ценность 1-2 лет не должна быть переоценена: год "военного времени" в условиях самодовольства может легко равняться ста годам обычной работы.
Более продвинутый метод заключается в использовании хитроумных криптографических технологий: например, производимые в промышленных масштабах (, но не потребительские ) ИИ-аппаратные средства могут быть оснащены надежным аппаратным чипом, который разрешает их дальнейшую работу только при получении еженедельной 3/3 подписи от основных международных организаций. Эти подписи будут независимы от устройства, поэтому это будет либо все, либо ничего: нет реального способа разрешить одному устройству продолжать работу без разрешения всех остальных устройств.
Роль технологии d/acc в рисках ИИ:
Эти две стратегии ( ответственность и аппаратная кнопка паузы ) имеют недостатки, и очевидно, что они всего лишь временные меры. Поэтому нам нужны более стабильные решения, чтобы выиграть время. Многие технологии d/acc здесь имеют отношение. Мы можем рассмотреть роль технологий d/acc следующим образом: если ИИ возьмёт мир под контроль, как бы он это сделал?
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
d/acc один год: Децентрализация защиты, ускорение прогресса и вызовы
d/acc: Обзор и перспективы через год
В прошлом году я написал статью о технологическом оптимизме, в которой изложил свою страсть к технологиям и огромные преимущества, которые они могут принести, одновременно выражая осторожное отношение к некоторым конкретным проблемам, особенно к рискам, связанным с суперумным ИИ.
Суть статьи заключается в пропаганде идеи децентрализованного, демократичного и дифференцированного защитного ускорения. Необходимо не только ускорять развитие технологий, но и целенаправленно обращать внимание на те технологии, которые могут улучшить обороноспособность, а не разрушительную способность, и стремиться к распределению власти, избегая ее концентрации в руках немногих элит.
Год прошёл, и эти идеи значительно развились и созрели. Я поделился этими идеями на платформе "80,000 часов", получил много отзывов, большинство из которых были положительными, но, конечно, имелись и некоторые критические.
Эта работа продолжает развиваться и достигла существенных результатов: достигнут прогресс в области проверяемых открытых вакцин; осознание ценности здорового воздуха в помещениях углубляется; "Сообщество заметок" продолжает играть активную роль; предсказательные рынки стали инструментом информации и вступили в год прорыва; нулевое знание применяется в области идентификации личности в правительстве и социальных сетях; открытые инструменты визуализации находят применение в медицине и интерфейсах мозг-компьютер и т.д.
Осенью прошлого года мы провели наше первое важное событие d/acc: "День открытий d/acc". Мероприятие собрала спикеров из различных областей d/acc, таких как ( биология, физика, сеть, информационная защита и нейротехнологии ). Люди, долгое время занимающиеся этими технологиями, лучше поняли работу друг друга, а внешние лица также начали осознавать эту более широкую мечту: ценности, которые могут способствовать развитию Ethereum и криптовалют, могут быть распространены на более широкий мир.
Содержание и объем d/acc
Основная идея d/acc проста и ясна: децентрализованная, демократическая и дифференцированная защитная акселерация. Создание технологий, способствующих смещению баланса сил в сторону защиты, при этом не полагаясь на передачу большего количества власти центральным авторитетам в процессе реализации. Между этими двумя аспектами существует внутренняя тесная связь: любая децентрализованная, демократическая или свободная политическая структура, как правило, процветает, когда защита легко реализуема, и сталкивается с серьезными проблемами, когда защита испытывает большие трудности.
Один из способов понять важность одновременной реализации децентрализации, защиты и ускорения - это сопоставить его с концепцией, возникающей при отказе от любого из этих трех аспектов.
Децентрализация ускоряется, но игнорирует часть "дифференцированной защиты", что похоже на то, чтобы стать эффективным ускорителем ( e/acc ), одновременно стремясь к децентрализации. Этот подход может избежать риска диктатуры определенной группы над всем человечеством, но он не решает потенциальные структурные проблемы: в среде, благоприятствующей нападению, всегда существует постоянный риск катастрофы, или кто-то может позиционировать себя как защитника и занять доминирующее положение навсегда.
Дифференцированная защита ускоряется, но игнорирует "децентрализацию и демократию", принимая централизованный контроль для достижения целей безопасности, что всегда привлекает определенную группу людей. Однако централизованный контроль имеет свои пределы. Одна из форм относительно мягкого централизованного контроля, которая обычно игнорируется, но все же вредна, проявляется в сопротивлении общественному контролю в области биотехнологий и в позволении этому сопротивлению оставаться не оспоренным в рамках закрытых стандартов.
Децентрализованная защита, но отторжение ускорения, по сути, это попытка замедлить технологический прогресс или способствовать экономическому спаду. Эта стратегия сталкивается с двойными вызовами. Во-первых, в целом, технологический и экономический рост крайне полезен для человечества, любое его замедление будет иметь трудноизмеримую цену. Во-вторых, в неавторитарном мире стагнация нестабильна: те, кто "жульничает" больше всего, смогут найти на первый взгляд разумные способы продолжать развитие.
С помощью d/acc мы стремимся достичь следующих целей:
Другой взгляд на d/acc заключается в возвращении к рамкам движения пиратской партии в Европе в конце 2000-х годов: наделение правами. Наша цель состоит в том, чтобы построить мир, который может сохранить человеческую агентивность, достичь негативной свободы, то есть избежать активного вмешательства других в нашу способность формировать собственную судьбу, одновременно достигая позитивной свободы, то есть обеспечивая наличие знаний и ресурсов для реализации этой способности.
Третье измерение: Синергетическое развитие выживания и процветания
В статье прошлого года d/acc особенно сосредоточилась на защитных технологиях: физической защите, биозащите, киберзащите и информационной защите. Однако простая децентрализованная защита недостаточна для построения великого мира: нам также нужно проактивное позитивное видение, которое четко определяет, какие цели человечество сможет достичь после получения новой децентрализации и безопасности.
Существует единая модель в различных областях, а именно, что науки, идеи и инструменты, которые могут помочь нам "выжить" в определенной области, тесно связаны с науками, идеями и инструментами, способствующими нашему "процветанию". Вот некоторые конкретные примеры:
Кроме того, между различными дисциплинарными областями существует важная взаимозависимость:
Проблема: Безопасность ИИ, срочные сроки и регуляторные дилеммы
В прошлом году наиболее убедительные аргументы против моей статьи пришли из сообщества по безопасности ИИ. Их доводы заключаются в следующем: "Хотя у нас есть полвека для разработки сильного ИИ, мы можем сосредоточиться на создании всех этих полезных вещей. Но на самом деле, похоже, у нас может быть всего три года для достижения общего ИИ, а затем еще три года для достижения супер интеллекта. Поэтому, если мы не хотим, чтобы мир оказался на грани разрушения или каким-либо образом попал в необратимую ловушку, мы не можем просто ускорять развитие полезных технологий, но также должны замедлить развитие вредных технологий, что требует мощного регулирования, которое может рассердить власть имущих."
Причины для осторожного отношения к новым регуляциям:
В прошлом году основным предложением по регулированию ИИ стал законопроект SB-1047 в штате Калифорния. SB-1047 требует от разработчиков самых мощных моделей принять ряд мер по тестированию безопасности перед выпуском. Кроме того, если разработчики ИИ-моделей не проявят достаточной осторожности, они будут привлечены к ответственности. Многие критики считают, что этот законопроект "угрожает открытым исходным кодам"; я с этим не согласен, поскольку порог стоимости означает, что он затрагивает только самые мощные модели. Однако, оглядываясь в прошлое, я считаю, что у этого законопроекта есть более серьезная проблема: как и большинство регулирующих мер, он чрезмерно адаптирован к текущей ситуации.
Наиболее вероятные действия, ответственные за сценарии уничтожения суперинтеллекта ИИ:
На самом деле, наиболее вероятными действующими лицами, ответственными за сценарии уничтожения, связанные с суперумным ИИ, являются армии. Как мы видели в области биобезопасности за последние полвека, армии готовы принимать некоторые ужасные меры и могут легко ошибаться. В настоящее время применение ИИ в военной сфере стремительно развивается. Кроме того, любые меры безопасности, одобренные правительством, по умолчанию освобождают от ответственности армию страны и компании, тесно сотрудничающие с армией.
Стратегия реагирования:
Тем не менее, эти аргументы не являются причиной, по которой мы должны сложить руки. Напротив, мы можем использовать их в качестве руководства и попытаться разработать такие правила, которые вызовут наименьшие опасения.
Стратегия 1: Ответственность
Если поведение кого-то причиняет законно преследуемый ущерб, они могут быть подвергнуты судебному разбирательству. Это не решает проблему рисков, возникающих от армии и других "превосходящих закон" участников, но это очень общий подход, который позволяет избежать чрезмерной настройки, и именно поэтому экономисты, склонные к либерализму, обычно поддерживают эту практику.
Основные целевые обязательства, рассматриваемые до настоящего времени, следующие:
Возложение ответственности на пользователя, похоже, наиболее соответствует механизму стимулов. Хотя связь между способом разработки модели и ее конечным использованием часто неясна, пользователи определяют конкретные способы использования ИИ. Привлечение пользователей к ответственности создаст сильное давление, побуждая людей использовать ИИ таким образом, как я считаю правильным: сосредоточиться на создании механических конструкций для человеческого мышления, а не на создании новых форм самоподдерживающегося интеллекта.
Стратегия 2: Глобальная "мягкая пауза" на оборудовании промышленного масштаба
Если я уверен, что нам нужны более "сильные" меры, чем правила ответственности, я выберу эту стратегию. Цель заключается в том, чтобы в критические моменты иметь возможность сократить глобальные доступные вычислительные мощности примерно на 90%-99% на срок от 1 до 2 лет, чтобы дать человечеству больше времени для подготовки. Ценность 1-2 лет не должна быть переоценена: год "военного времени" в условиях самодовольства может легко равняться ста годам обычной работы.
Более продвинутый метод заключается в использовании хитроумных криптографических технологий: например, производимые в промышленных масштабах (, но не потребительские ) ИИ-аппаратные средства могут быть оснащены надежным аппаратным чипом, который разрешает их дальнейшую работу только при получении еженедельной 3/3 подписи от основных международных организаций. Эти подписи будут независимы от устройства, поэтому это будет либо все, либо ничего: нет реального способа разрешить одному устройству продолжать работу без разрешения всех остальных устройств.
Роль технологии d/acc в рисках ИИ:
Эти две стратегии ( ответственность и аппаратная кнопка паузы ) имеют недостатки, и очевидно, что они всего лишь временные меры. Поэтому нам нужны более стабильные решения, чтобы выиграть время. Многие технологии d/acc здесь имеют отношение. Мы можем рассмотреть роль технологий d/acc следующим образом: если ИИ возьмёт мир под контроль, как бы он это сделал?