Минулого року я написав статтю про технологічний оптимізм, в якій виклав своє захоплення технологіями та їх потенційними перевагами, а також висловив обережність щодо деяких конкретних проблем, зокрема ризиків, пов'язаних з надінтелектуальним ШІ.
Основна ідея статті полягає в пропаганді децентралізованої, демократичної та диференційованої концепції захисного прискорення. Необхідно прискорити розвиток технологій, а також цілеспрямовано зосередитися на тих технологіях, які можуть підвищити захисні можливості, а не руйнівні, і прагнути до розподілу влади, уникаючи концентрації влади в руках небагатьох еліт.
Минув рік, ці ідеї значно розвинулися та зріли. Я поділився цими думками на платформі "80,000 годин", отримав багато відгуків, більшість з яких позитивні, звичайно, були й деякі критичні.
Ця робота продовжує просуватися і досягла суттєвих результатів: у сфері перевіряємих відкритих вакцин відбулися зрушення; розуміння цінності здорового indoor повітря продовжує поглиблюватися; "громадські нотатки" продовжують відігравати позитивну роль; прогнозні ринки стали проривом року в якості інформаційного інструменту; нульові знання були застосовані в урядовій ідентифікації та соціальних мережах; відкриті інструменти зображення знайшли застосування в медицині та нейрокомп'ютерних інтерфейсах, і так далі.
Минулої осені ми провели нашу першу важливу подію d/acc: "День відкриття d/acc". Захід зібрав спікерів з різних сфер d/acc, таких як ( біологія, фізика, мережі, інформаційна безпека та нейротехнології ). Люди, які давно займаються цими технологіями, краще зрозуміли роботу один одного, а зовнішні спостерігачі все більше усвідомлюють цю велику мету: цінності, що просувають розвиток Ethereum та криптовалют, можуть розширитися на більш широкий світ.
Суть та межі d/acc
Основна ідея d/acc проста і зрозуміла: децентралізований, демократичний і диференційований захисний прискорювач. Створення технологій, які можуть сприяти зміщенню балансу сил у бік захисту, і при цьому не покладатися на передачу більшої влади центральним органам влади під час реалізації. Між цими двома аспектами існує внутрішня тісна зв'язок: будь-яка децентралізована, демократична чи вільна політична структура, як правило, може процвітати, коли захист легко реалізується, і стикається з серйозними викликами, коли захист стикається з численними труднощами.
Розуміння важливості одночасного досягнення децентралізації, захисту та прискорення можна порівняти з ідеєю відмови від будь-якого з цих трьох аспектів.
Децентралізація прискорюється, але ігнорує частину "диференційованої оборони", що схоже на те, щоб стати ефективним акцелераціоністом (e/acc), але водночас прагнути до децентралізації. Такий підхід, можливо, може уникнути ризику встановлення диктатури певною групою над глобальним людством, але він не вирішує потенційні структурні проблеми: в середовищі, що сприяє атаці, завжди існує постійний ризик катастрофи, або хтось може позиціонувати себе як захисник і постійно займати домінуючу позицію.
Диференційована оборона прискорюється, але ігнорує "децентралізацію та демократичність", приймаючи централізоване управління для досягнення цілей безпеки, що завжди має певну привабливість для частини людей. Проте централізоване управління має проблему ступеня. Одна з форм відносно поміркованого централізованого управління, яка зазвичай ігнорується, але все ще є шкідливою, проявляється в опорі громадського контролю в біотехнологічній сфері і дозволяє цій поведінці залишатися без виклику завдяки закритим стандартам.
Децентралізована оборона, але відмова від прискорення, по суті, намагається сповільнити технологічний прогрес або сприяти економічному спаду. Ця стратегія стикається з подвійними викликами. По-перше, загалом, технологічний і економічний зріст є надзвичайно корисними для людства, і будь-яка затримка цього процесу принесе важко оцінювані витрати. По-друге, в неавторитарному світі застій є нестабільним: ті, хто "обманює" найбільше, зможуть знайти, здавалося б, розумні способи продовжувати розвиток, займуть вигідні позиції.
Ми прагнемо досягти наступних цілей через d/acc:
Дотримуйтесь принципів у світі, що дедалі більше стає племінним, а не просто сліпо будуючи різні речі.
Визнання експоненціального технологічного прогресу означає, що світ стане надзвичайно дивним, і загальний "відбиток" людства у всесвіті, безумовно, буде постійно зростати. Наша здатність захищати в脆кі тварини, рослини та людей від шкоди повинна безперервно покращуватися, і єдиний шлях вперед - це йти вперед.
Створити технології, які дійсно захищають нас, а не базуються на припущенні "хороших людей ( або хорошого ШІ ), які контролюють все". Ми досягаємо цієї мети, створюючи інструменти, які природно є більш ефективними для створення та захисту, ніж для руйнування.
Інший погляд на d/acc можна розглядати в контексті руху піратської партії в Європі наприкінці 2000-х років: наділення повноваженнями. Наша мета полягає в побудові світу, який зможе зберегти людську агенцію, реалізуючи негативну свободу, тобто уникати активного втручання інших у наше право формувати власну долю, а також досягти позитивної свободи, тобто забезпечити, щоб у нас були знання та ресурси для реалізації цієї можливості.
Третій вимір: Спільний розвиток виживання та процвітання
У статті минулого року d/acc особливо зосередилася на технологіях захисту: фізичний захист, біозахист, кіберзахист та інформаційний захист. Проте просто децентралізований захист недостатній для побудови великого світу: нам також потрібно мати прогресивне активне бачення, яке чітко визначає, яких цілей людство може досягти після отримання нової децентралізації та безпеки.
У всіх сферах існує узгоджена модель, а саме ті науки, ідеї та інструменти, які можуть допомогти нам "вижити" в певній сфері, тісно пов'язані з науками, ідеями та інструментами, які можуть сприяти нашій "процвітанню". Ось кілька конкретних прикладів:
Багато недавніх досліджень проти коронавірусу зосереджені на тривалій присутності вірусу в організмі, що вважається ключовим механізмом проблеми довгого COVID. Нещодавно також з'явилися ознаки того, що тривала присутність вірусу може бути патогенним фактором хвороби Альцгеймера.
Низькозатратні та мікроіміджинг інструменти мають великий потенціал у лікуванні мікротромбів, постійної присутності вірусів, раку тощо, а також можуть бути використані у сфері мозково-комп'ютерних інтерфейсів.
Ідея сприяння створенню соціальних інструментів, що підходять для високозмагального середовища, та соціальних інструментів для раціонального співробітництва є надзвичайно схожою.
Прогнозні ринки мають важливу цінність як в умовах високої співпраці, так і в умовах високої протидії.
Нульові докази та подібні технології, захищаючи приватність, одночасно обробляють дані, що збільшує обсяги даних, які можуть бути використані для наукових досліджень та інших корисних робіт, а також посилює захист приватності.
Сонячна енергія та батареї мають величезне значення для сприяння наступній хвилі зростання чистої економіки, а також демонструють відмінні результати в децентралізації та фізичній стійкості.
Окрім цього, між різними науковими дисциплінами існує важлива взаємозалежність:
Мозково-комп'ютерний інтерфейс є надзвичайно важливою технологією інформаційної оборони та співпраці, оскільки він дозволяє нам здійснювати більш тонке спілкування наших думок та намірів.
Багато біотехнологій залежать від обміну інформацією, і в багатьох випадках люди готові ділитися інформацією лише тоді, коли впевнені, що вона буде використана тільки для конкретних застосувань. Це залежить від технологій конфіденційності.
Технології співпраці можуть бути використані для координації фінансування в будь-якій іншій галузі технологій.
Складна проблема: безпека AI, термінові терміни та регуляторні труднощі
Минулого року найпереконливіші критичні аргументи на мою статтю надали спільноти з безпеки AI. Їх аргумент полягав у тому, що: "Хоча у нас є півстоліття для розвитку сильного AI, ми можемо зосередитися на створенні всіх цих корисних речей. Але насправді, здається, що у нас може бути лише три роки на розвиток загального AI, а через три роки - на розвиток суперінтелекту. Тому, якщо ми не хочемо, щоб світ потрапив у руйнування або іншим чином опинився в незворотному становищі, ми не можемо просто пришвидшити розвиток корисних технологій, але також повинні уповільнити розвиток шкідливих технологій, що означає потребу в рішучих регуляторних заходах, які можуть розсердити владні кола."
Причини обережного ставлення до нових регуляцій:
Минулого року основною пропозицією щодо регулювання ШІ був законопроект SB-1047 штату Каліфорнія. SB-1047 вимагає від розробників найпотужніших моделей вжити ряд заходів безпеки перед випуском. Крім того, якщо розробники моделей ШІ не проявлять достатньої обережності, вони будуть притягнуті до відповідальності. Багато критиків вважають, що цей законопроект "становить загрозу для відкритого коду"; я з цим не згоден, оскільки поріг витрат означає, що він вплине лише на найпотужніші моделі. Однак, оглядаючи минуле, я вважаю, що в цього законопроекту є більш серйозна проблема: як і більшість регуляторних заходів, він надто пристосований до поточної ситуації.
Найбільш ймовірні учасники, відповідальні за сценарії знищення суперактивного штучного інтелекту:
Насправді, найімовірнішими винуватцями сценаріїв знищення, пов'язаних з надзвичайним штучним інтелектом, є військові. Як ми спостерігали за останнє півстоліття у сфері біобезпеки, військові готові вжити деяких жахливих дій і дуже схильні до помилок. Сьогодні застосування ШІ у військовій сфері швидко розвивається. І будь-які заходи безпеки, ухвалені урядом, за замовчуванням звільняють від них вітчизняні збройні сили та компанії, які тісно співпрацюють із військовими.
Стратегії реагування:
Незважаючи на це, ці аргументи не є причиною, щоб ми залишалися бездіяльними. Навпаки, ми можемо використовувати їх як орієнтир, щоб спробувати розробити правила, які викликатимуть найменше занепокоєння.
Стратегія 1: Відповідальність
Якщо чиясь поведінка якимось чином завдала шкоди, за яку можна притягнути до відповідальності, їх можуть притягнути до суду. Це не вирішує питання ризиків, які виникають від дій армії та інших "вищих за закон" суб'єктів, але це дуже загальний підхід, який дозволяє уникнути надмірної адаптації, саме тому економісти, схильні до лібералізму, зазвичай підтримують цю практику.
Основні цільові зобов'язання, які були розглянуті до цього часу, такі:
Користувач: той, хто використовує ШІ.
Розгортач: посередник, який надає користувачам послуги штучного інтелекту.
Розробник: той, хто створює ШІ.
Покласти відповідальність на користувачів, здається, найбільше відповідає механізму стимулювання. Хоча зв'язок між способом розробки моделі та її остаточним використанням часто є неясним, користувачі визначають конкретний спосіб використання ШІ. Вимагання відповідальності з боку користувачів створює потужний тиск, що змушує людей використовувати ШІ таким чином, яким я вважаю правильним: зосереджуючись на створенні механічних наборів для людського мислення, а не на створенні нових форм самопідтримуваного інтелекту.
Стратегія 2: Глобальна "м'яка пауза" на апаратному забезпеченні промислового масштабу
Якщо я впевнений, що нам потрібні більш "сильні" заходи, ніж правила відповідальності, я обрав би цю стратегію. Мета полягає в тому, щоб у критичний період мати можливість знизити глобальну доступну обчислювальну потужність приблизно на 90%–99% протягом 1–2 років, щоб дати людству більше часу для підготовки. Цінність 1–2 років не повинна бути переоцінена: один рік "воєнного режиму" в умовах самозадоволення може легко зрівнятися з сотнею років звичайної роботи.
Більш просунутим методом є використання витончених криптографічних технологій: наприклад, промислові масштаби (, але не споживчі ), апаратне забезпечення AI може бути оснащене надійним апаратним чіпом, який дозволяє продовжувати роботу лише після отримання щотижневого 3/3 підпису від основних міжнародних установ. Ці підписи не будуть пов'язані з пристроєм, тому це буде повністю або нічого: немає реального способу надати дозвіл одному пристрою продовжувати роботу без дозволу всіх інших пристроїв.
Роль d/acc технологій у ризиках ШІ:
Ці дві стратегії ( відповідальність і апаратна кнопка паузи ) мають вади, і очевидно, що вони лише тимчасові заходи. Тому нам потрібні більш стабільні заходи, щоб виграти час. Багато технологій d/acc тут є доречними. Ми можемо розглядати роль технологій d/acc так: якщо AI захопить світ, як це станеться?
Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.
d/acc один рік: прогрес та виклики прискореної децентралізаційної оборони
d/acc: Огляд і прогнози через рік
Минулого року я написав статтю про технологічний оптимізм, в якій виклав своє захоплення технологіями та їх потенційними перевагами, а також висловив обережність щодо деяких конкретних проблем, зокрема ризиків, пов'язаних з надінтелектуальним ШІ.
Основна ідея статті полягає в пропаганді децентралізованої, демократичної та диференційованої концепції захисного прискорення. Необхідно прискорити розвиток технологій, а також цілеспрямовано зосередитися на тих технологіях, які можуть підвищити захисні можливості, а не руйнівні, і прагнути до розподілу влади, уникаючи концентрації влади в руках небагатьох еліт.
Минув рік, ці ідеї значно розвинулися та зріли. Я поділився цими думками на платформі "80,000 годин", отримав багато відгуків, більшість з яких позитивні, звичайно, були й деякі критичні.
Ця робота продовжує просуватися і досягла суттєвих результатів: у сфері перевіряємих відкритих вакцин відбулися зрушення; розуміння цінності здорового indoor повітря продовжує поглиблюватися; "громадські нотатки" продовжують відігравати позитивну роль; прогнозні ринки стали проривом року в якості інформаційного інструменту; нульові знання були застосовані в урядовій ідентифікації та соціальних мережах; відкриті інструменти зображення знайшли застосування в медицині та нейрокомп'ютерних інтерфейсах, і так далі.
Минулої осені ми провели нашу першу важливу подію d/acc: "День відкриття d/acc". Захід зібрав спікерів з різних сфер d/acc, таких як ( біологія, фізика, мережі, інформаційна безпека та нейротехнології ). Люди, які давно займаються цими технологіями, краще зрозуміли роботу один одного, а зовнішні спостерігачі все більше усвідомлюють цю велику мету: цінності, що просувають розвиток Ethereum та криптовалют, можуть розширитися на більш широкий світ.
Суть та межі d/acc
Основна ідея d/acc проста і зрозуміла: децентралізований, демократичний і диференційований захисний прискорювач. Створення технологій, які можуть сприяти зміщенню балансу сил у бік захисту, і при цьому не покладатися на передачу більшої влади центральним органам влади під час реалізації. Між цими двома аспектами існує внутрішня тісна зв'язок: будь-яка децентралізована, демократична чи вільна політична структура, як правило, може процвітати, коли захист легко реалізується, і стикається з серйозними викликами, коли захист стикається з численними труднощами.
Розуміння важливості одночасного досягнення децентралізації, захисту та прискорення можна порівняти з ідеєю відмови від будь-якого з цих трьох аспектів.
Децентралізація прискорюється, але ігнорує частину "диференційованої оборони", що схоже на те, щоб стати ефективним акцелераціоністом (e/acc), але водночас прагнути до децентралізації. Такий підхід, можливо, може уникнути ризику встановлення диктатури певною групою над глобальним людством, але він не вирішує потенційні структурні проблеми: в середовищі, що сприяє атаці, завжди існує постійний ризик катастрофи, або хтось може позиціонувати себе як захисник і постійно займати домінуючу позицію.
Диференційована оборона прискорюється, але ігнорує "децентралізацію та демократичність", приймаючи централізоване управління для досягнення цілей безпеки, що завжди має певну привабливість для частини людей. Проте централізоване управління має проблему ступеня. Одна з форм відносно поміркованого централізованого управління, яка зазвичай ігнорується, але все ще є шкідливою, проявляється в опорі громадського контролю в біотехнологічній сфері і дозволяє цій поведінці залишатися без виклику завдяки закритим стандартам.
Децентралізована оборона, але відмова від прискорення, по суті, намагається сповільнити технологічний прогрес або сприяти економічному спаду. Ця стратегія стикається з подвійними викликами. По-перше, загалом, технологічний і економічний зріст є надзвичайно корисними для людства, і будь-яка затримка цього процесу принесе важко оцінювані витрати. По-друге, в неавторитарному світі застій є нестабільним: ті, хто "обманює" найбільше, зможуть знайти, здавалося б, розумні способи продовжувати розвиток, займуть вигідні позиції.
Ми прагнемо досягти наступних цілей через d/acc:
Інший погляд на d/acc можна розглядати в контексті руху піратської партії в Європі наприкінці 2000-х років: наділення повноваженнями. Наша мета полягає в побудові світу, який зможе зберегти людську агенцію, реалізуючи негативну свободу, тобто уникати активного втручання інших у наше право формувати власну долю, а також досягти позитивної свободи, тобто забезпечити, щоб у нас були знання та ресурси для реалізації цієї можливості.
Третій вимір: Спільний розвиток виживання та процвітання
У статті минулого року d/acc особливо зосередилася на технологіях захисту: фізичний захист, біозахист, кіберзахист та інформаційний захист. Проте просто децентралізований захист недостатній для побудови великого світу: нам також потрібно мати прогресивне активне бачення, яке чітко визначає, яких цілей людство може досягти після отримання нової децентралізації та безпеки.
У всіх сферах існує узгоджена модель, а саме ті науки, ідеї та інструменти, які можуть допомогти нам "вижити" в певній сфері, тісно пов'язані з науками, ідеями та інструментами, які можуть сприяти нашій "процвітанню". Ось кілька конкретних прикладів:
Окрім цього, між різними науковими дисциплінами існує важлива взаємозалежність:
Складна проблема: безпека AI, термінові терміни та регуляторні труднощі
Минулого року найпереконливіші критичні аргументи на мою статтю надали спільноти з безпеки AI. Їх аргумент полягав у тому, що: "Хоча у нас є півстоліття для розвитку сильного AI, ми можемо зосередитися на створенні всіх цих корисних речей. Але насправді, здається, що у нас може бути лише три роки на розвиток загального AI, а через три роки - на розвиток суперінтелекту. Тому, якщо ми не хочемо, щоб світ потрапив у руйнування або іншим чином опинився в незворотному становищі, ми не можемо просто пришвидшити розвиток корисних технологій, але також повинні уповільнити розвиток шкідливих технологій, що означає потребу в рішучих регуляторних заходах, які можуть розсердити владні кола."
Причини обережного ставлення до нових регуляцій:
Минулого року основною пропозицією щодо регулювання ШІ був законопроект SB-1047 штату Каліфорнія. SB-1047 вимагає від розробників найпотужніших моделей вжити ряд заходів безпеки перед випуском. Крім того, якщо розробники моделей ШІ не проявлять достатньої обережності, вони будуть притягнуті до відповідальності. Багато критиків вважають, що цей законопроект "становить загрозу для відкритого коду"; я з цим не згоден, оскільки поріг витрат означає, що він вплине лише на найпотужніші моделі. Однак, оглядаючи минуле, я вважаю, що в цього законопроекту є більш серйозна проблема: як і більшість регуляторних заходів, він надто пристосований до поточної ситуації.
Найбільш ймовірні учасники, відповідальні за сценарії знищення суперактивного штучного інтелекту:
Насправді, найімовірнішими винуватцями сценаріїв знищення, пов'язаних з надзвичайним штучним інтелектом, є військові. Як ми спостерігали за останнє півстоліття у сфері біобезпеки, військові готові вжити деяких жахливих дій і дуже схильні до помилок. Сьогодні застосування ШІ у військовій сфері швидко розвивається. І будь-які заходи безпеки, ухвалені урядом, за замовчуванням звільняють від них вітчизняні збройні сили та компанії, які тісно співпрацюють із військовими.
Стратегії реагування:
Незважаючи на це, ці аргументи не є причиною, щоб ми залишалися бездіяльними. Навпаки, ми можемо використовувати їх як орієнтир, щоб спробувати розробити правила, які викликатимуть найменше занепокоєння.
Стратегія 1: Відповідальність
Якщо чиясь поведінка якимось чином завдала шкоди, за яку можна притягнути до відповідальності, їх можуть притягнути до суду. Це не вирішує питання ризиків, які виникають від дій армії та інших "вищих за закон" суб'єктів, але це дуже загальний підхід, який дозволяє уникнути надмірної адаптації, саме тому економісти, схильні до лібералізму, зазвичай підтримують цю практику.
Основні цільові зобов'язання, які були розглянуті до цього часу, такі:
Покласти відповідальність на користувачів, здається, найбільше відповідає механізму стимулювання. Хоча зв'язок між способом розробки моделі та її остаточним використанням часто є неясним, користувачі визначають конкретний спосіб використання ШІ. Вимагання відповідальності з боку користувачів створює потужний тиск, що змушує людей використовувати ШІ таким чином, яким я вважаю правильним: зосереджуючись на створенні механічних наборів для людського мислення, а не на створенні нових форм самопідтримуваного інтелекту.
Стратегія 2: Глобальна "м'яка пауза" на апаратному забезпеченні промислового масштабу
Якщо я впевнений, що нам потрібні більш "сильні" заходи, ніж правила відповідальності, я обрав би цю стратегію. Мета полягає в тому, щоб у критичний період мати можливість знизити глобальну доступну обчислювальну потужність приблизно на 90%–99% протягом 1–2 років, щоб дати людству більше часу для підготовки. Цінність 1–2 років не повинна бути переоцінена: один рік "воєнного режиму" в умовах самозадоволення може легко зрівнятися з сотнею років звичайної роботи.
Більш просунутим методом є використання витончених криптографічних технологій: наприклад, промислові масштаби (, але не споживчі ), апаратне забезпечення AI може бути оснащене надійним апаратним чіпом, який дозволяє продовжувати роботу лише після отримання щотижневого 3/3 підпису від основних міжнародних установ. Ці підписи не будуть пов'язані з пристроєм, тому це буде повністю або нічого: немає реального способу надати дозвіл одному пристрою продовжувати роботу без дозволу всіх інших пристроїв.
Роль d/acc технологій у ризиках ШІ:
Ці дві стратегії ( відповідальність і апаратна кнопка паузи ) мають вади, і очевидно, що вони лише тимчасові заходи. Тому нам потрібні більш стабільні заходи, щоб виграти час. Багато технологій d/acc тут є доречними. Ми можемо розглядати роль технологій d/acc так: якщо AI захопить світ, як це станеться?