Оригінальний заголовок: «AI як двигун, люди як кермо»
Автор: Віталік, засновник Ethereum
Компіляція: Байшуй, Золота економіка
Якщо ви запитаєте людей, що саме їм подобається в демократичній структурі, незалежно від того, чи йдеться про уряд, робоче місце чи DAO на основі блокчейну, ви часто почуєте одні й ті ж аргументи: вони уникають концентрації влади, вони надають користувачам потужні гарантії, оскільки ніхто не може вільно змінювати напрямок системи, вони можуть приймати рішення вищої якості, збираючи багато точок зору та мудрості.
Якщо ви попитаєте людей, які аспекти демократичної структури їм не подобаються, вони часто висловлюють однакові скарги: звичайні виборці не досить досвідчені, оскільки кожен виборець має дуже невеликий шанс вплинути на результат, дуже мало виборців вкладають високоякісні думки у прийняття рішень, і ви часто отримуєте низький рівень участі (що робить систему вразливою до атак) або фактичну централізацію, оскільки кожен за замовчуванням довіряє та реплікує погляди впливових осіб.
Метою цієї статті є дослідження парадигми, яка може, можливо, дозволити використання штучного інтелекту для отримання користі від демократичної структури без негативного впливу. «Штучний інтелект - це двигун, людина - це кермо». Людина надає системі лише невелику кількість інформації, можливо, лише кілька сотень, але це дуже обдумана й високоякісна інформація. Штучний інтелект розглядає ці дані як «цільову функцію» і невтомно приймає велику кількість рішень, щоб максимально досягти цих цілей. Зокрема, у цій статті буде досліджено цікаве питання: чи можемо ми досягти цього без централізації окремого штучного інтелекту, а залежити від конкурентного відкритого ринку, в якому будь-який штучний інтелект (або людино-машинний гібрид) може вільно брати участь?
Каталог
Чому б не дозволити штучний інтелект взяти владу?(
Футархія
Дистиляція людського судження
Глибинне фінансування (Глибоке фінансування)
Збільшити конфіденційність
Переваги конструкції двигуна + керма
Чому б не дати це робити штучному інтелекту?
Найпростіший спосіб внесення людських вподобань у механізми на основі штучного інтелекту полягає в створенні моделі штучного інтелекту та введенні людських вподобань у цю модель яким-небудь чином. Є прості способи зробити це: достатньо просто вставити текстовий файл зі списком інструкцій для персоналу у системний промпт. Далі ви можете надати штучному інтелекту доступ до Інтернету за допомогою однієї з багатьох «агентських фреймворків штучного інтелекту», передавши йому ключі до вашого активу та соціальних медіа, що ви організуєте, і успіх гарантований.
Після кількох ітерацій цього, ймовірно, буде достатньо для задоволення потреб багатьох випадків застосування, я повністю очікую, що у найближчий час ми побачимо багато структур, які використовують команди, надані групою читачів AI (навіть в режимі реального часу), і вживатимуть заходів.
Ця структура не є ідеальною для механізму управління довгостроковими установами. Однією з цінних властивостей, якою повинні володіти довгострокові установи, є довіра та нейтральність. У своєму пості про це поняття я навів чотири цінні властивості довіри та нейтральності.
Не вписуйте конкретних людей або конкретні результати в механізм
відкрите та перевірене виконання
Зберігайте простоту
Не часто змінюйте
LLM (або AI-агент) задовольняє 0/4. Ця модель невід'ємно кодує велику кількість конкретних людей та результатів у процесі навчання. Іноді це може призвести до несподіваних уподобань штучного інтелекту, наприклад, нещодавнє дослідження показало, що головна LLM більше цінує життя в Пакистані, ніж в США (!!). Вона може бути відкритою для змін, але це зовсім не означає, що відкритий код; ми дійсно не знаємо, що приховується в глибинах цієї моделі. Вона протилежна простоті: Колмогорова складність LLM складає кілька мільярдів бітів, що приблизно відповідає загальній кількості всіх законів у США (федеральних + штатових + місцевих). І через швидкий розвиток штучного інтелекту вам потрібно змінювати її щочверть.
З цієї причини я підтримую інший підхід, який досліджується в багатьох випадках, - зробити простий механізм грою, де штучний інтелект стане гравцем. Саме ця проникливість робить ринок настільки ефективним: правила - це дещо дурний правовий режим, межові випадки вирішує судова система, яка повільно накопичує та коригує приклади, а всі дані надходять від підприємців, які працюють на «межі».
Один «гравець» може бути LLM, взаємодіяти та викликати різноманітні інтернет-сервіси у LLM-групі, різноманітні комбінації AI + людина та багато інших конструкцій; як механік-дизайнер, вам не потрібно знати. Ідеальна мета - мати механізм, який може автоматично працювати - якщо мета цього механізму полягає у виборі того, що фінансувати, то він повинен бути якомога ближчий до винагороди за блоки біткоїна або ефіріуму.
Перевага цього методу полягає в тому, що:
Він уникає включення будь-якої одиничної моделі у механізм; натомість, ви отримаєте відкритий ринок, що складається з багатьох різних учасників та архітектур, які мають свої власні упередження. Відкриті моделі, закриті моделі, агентські групи, суміш людей та штучного інтелекту, роботи, нескінчені мавпи та інші - все це чесна гра; цей механізм не дискримінує жодного.
Цей механізм є відкритим. Гравці можуть бути не відкритими, але гра є відкритою - і це вже досить добре розумний шаблон (наприклад, політичні партії та ринок працюють саме таким чином)
Ця схема досить проста, тому автори схеми мають досить обмежені можливості вкладення своїх упереджень у дизайн.
Цей механізм залишиться незмінним, навіть починаючи з цього моменту і до кінця дивного, архітектуру учасників бази потрібно переглянути кожні три місяці.
Мета регулювання полягає в тому, щоб вірно відображати основні цілі учасників. Це потребує лише обмеженої кількості інформації, але ця інформація повинна бути високої якості.
Ви можете вважати, що цей механізм використовує асиметрію між наданням відповіді та перевіркою відповіді. Це схоже на складання кросворду, яке важко розв'язати, але легко перевірити, чи вірне рішення. Ви )i( створюєте відкритий ринок, де гравці виступають у ролі "розв'язувачів", а потім )ii( підтримуєте механізм, який виконує набагато простіші завдання перевірки запропонованого рішення, здійснювані людьми.
Футархія
Futarchy спочатку запропонував Робін Генсон, що означає "голосування за цінностями, але ставки на віру". Механізм голосування вибирає групу цілей (це може бути будь-які цілі, але вони повинні бути вимірювані), а потім комбінує їх у вимір M. Коли вам потрібно прийняти рішення (для спрощення ми припускаємо, що це YES/NO), ви створюєте умовний ринок: ви просите людей зробити ставку )i(, чи вони оберуть YES або NO, )ii(, якщо оберуть YES, то значення M, в іншому випадку нуль, )iii(, якщо оберуть NO, то значення M, в іншому випадку нуль. З цими трема змінними ви можете визначити, чи ринок вважає, що YES або NO краще підходять для значення M.
«Ціна акцій компанії» (або, в разі криптовалют, ціна токенів) є найбільш поширеним показником, оскільки його легко розуміти та вимірювати, але цей механізм може підтримувати різноманітні показники: активні користувачі за місяць, медіана самооцінки щастя деяких груп, децентралізовані показники та інше.
Футархія спочатку була винайдена до епохи штучного інтелекту. Однак Футархія дуже природним чином вписується в парадигму "складний розв'язувальник, простий верифікатор", описану у попередньому розділі, причому учасники у Футархії можуть бути штучним інтелектом (або комбінацією людини та штучного інтелекту). Роль "розв'язувальника" (торгівельника на ринку прогнозів) полягає в тому, щоб визначити, як впливатиме кожен пропозиціяний план на майбутню вартість показників. Це складно. Якщо розв'язувальник правильний, він заробляє гроші, якщо ні - втрачає. Верифікатори (люди, які голосують за показники, якщо вони помічають, що показники "маніпулюються" або стають застарілими, вони коригують їх і визначають реальне значення показників у майбутньому) потрібно відповісти лише на більш просте питання: "Яке поточне значення цього показника?"
парування судження людини
Дистиляція людського судження - це тип механізму, принцип його роботи наступний. Є багато (припустимо: 1000000) питань, на які потрібно відповісти. Природні приклади включають:
Кожна людина в цьому списку повинна бути винагороджена за свій внесок у проект або завдання?
Які з цих коментарів порушують правила платформи соціальних мереж (або підспільноти)?
Які з наданих адрес Ethereum представляють справжніх та унікальних людей?
Які з цих фізичних об'єктів позитивно чи негативно впливають на естетику навколишнього середовища?
У вас є команда, яка може відповісти на ці питання, але це вимагає великих зусиль на кожну відповідь. Ви можете запросити команду відповісти лише на кілька питань (наприклад, якщо загальний список містить 1 мільйон пунктів, команда може відповісти лише на 100 з них). Ви навіть можете поставити команді косвенні питання: не запитуйте, «Які відсотки загального кредиту має отримати Еліс?», а запитайте, «Чи повинні Еліс або Боб отримати більше кредиту і у скільки разів?» При створенні механізму журі ви можете використовувати вже перевірені часом механізми реального світу, такі як комітет з фінансування, суд (визначення цінності рішення), оцінка та інші, звичайно, учасники журі також можуть використовувати новітні засоби дослідження штучного інтелекту для пошуку відповідей.
Потім ви дозволяєте будь-кому подавати списки цифрових відповідей на всі набори питань (наприклад, надавати приблизні значення кожного учасника у всьому списку кредитів). Заохочується учасників використовувати штучний інтелект для виконання цього завдання, але вони можуть використовувати будь-яку технологію: штучний інтелект, людсько-машинне співробітництво, штучний інтелект, який може здійснювати доступ до Інтернет-пошуку та самостійно наймати інших людей або робітників штучного інтелекту, підсиленого контрольною теорією мавп тощо.
Як тільки постачальники повного списку та судді надішлють відповіді, список буде перевірений у відповідності з відповідями суддів, і якась комбінація повного списку, найбільш сумісна з відповідями суддів, буде вибрана як остаточна відповідь.
Механізм людського судження дистиляції відрізняється від механізму футаркії, але є деякі важливі подібності:
У футаркії «розв'язувач» робить прогнози, а «реальні дані», на яких ґрунтуються його прогнози (використовуються для винагороди або покарання розв'язувача), — це оракул, який виводить значення індикатора, яким керує журі.
У світлі аналізу людських рішень, "розрахункові" надають відповіді на багато питань, проте їхні прогнози ґрунтуються на "реальних даних", що становлять лише невелику частку високоякісних відповідей, наданих журі.
Для прикладу іграшковий приклад розподілу кредитів на основі судових висновків людини, будь ласка, відвідайте код Python тут. Сценарій вимагає вас як члена журі та містить повний список попередньо зазначених у коді штучно створених (і людських) відповідей. Цей механізм ідентифікує лінійну комбінацію повного списку відповідей, яка найкраще відповідає журі. У цьому випадку переможна комбінація - це 0,199 * відповідь Клода + 0,801 * відповідь Діпсік; ця комбінація краще відповідає відповідям журі, ніж будь-яка окрема модель. Ці коефіцієнти також будуть винагородою для відправника.
У цьому прикладі "Побиття Сорена" аспекти "людського керма" проявляються у двох місцях. По-перше, до кожної проблеми застосовується високоякісне людське розсуд, хоча це все ще використовує присяжних як "технократичних" оцінювачів ефективності. Вдруге, існує прихований голосувальний механізм, який вирішує, чи є "Побиття Сорена" правильною метою (а не, скажімо, спробою укласти союз з Сореном або віддати йому всю територію сходному від певної важливої річки як мирний жест). Існують інші приклади використання людського розсуду, де завдання присяжних більш прямо пов'язане з цінностями: наприклад, уявіть розсіяну соціальну мережу (або підсайт), де завдання присяжних полягає в позначенні випадково вибраних форумних повідомлень як відповідних або не відповідних правилам спільноти.
У паровій людського судження існує кілька відкритих змінних:
Як відбувається вибіркове зразкове опитування? Роль учасників, які подали повний список, полягає в наданні великої кількості відповідей; роль суддів полягає в наданні відповідей високої якості. Нам потрібно вибирати суддів таким чином і вибирати для них питання так, щоб здатність моделі відповідно відображати загальну продуктивність суддів була максимальною. Деякі фактори, які слід враховувати, включають:
Компроміс між експертизою та упередженістю: Кваліфіковані присяжні часто спеціалізуються у своїй галузі знань, тому дозвольте їм вибрати, що оцінити, і ви отримаєте більш якісні матеріали. З іншого боку, занадто великий вибір може призвести до упередженості (присяжні віддають перевагу контенту тих, з ким вони асоціюються) або слабкості вибірки (деякий контент систематично не оцінюється)
Анти-Гудхарт: Наприклад, буде контент, який намагається «пограти» з механікою штучного інтелекту, де учасники генерують багато коду, який виглядає вражаюче, але марний. Це означає, що журі може це виявити, але статична модель штучного інтелекту цього не зробить, якщо не докладе всіх зусиль. Один із можливих способів зафіксувати таку поведінку — додати механізм оскарження, за допомогою якого люди можуть позначати такі спроби, гарантуючи їм винесення рішення судом присяжних (і, таким чином, стимулюючи розробників ШІ гарантувати, що вони захоплені правильно). Якщо присяжні погодяться, викривач отримає винагороду, а якщо присяжні не погодяться, буде сплачено штраф.
Яку функцію скорингу ви використовуєте? Одна з ідей, яка використовується в нинішньому пілотному проекті Deep Grant, полягає в тому, щоб запитати присяжних: «Чи повинні А або Б отримати більше балів, і на скільки?» Функція підрахунку балів має вигляд score)x( = sum((log[B]x)( - log[A]x)( - log)juror_ratio)( ** 2 для )A, B, присяжний_ratio) у присяжних_answers(: Тобто для кожної відповіді присяжних він запитує, наскільки далека ставка в повному списку від ставки, наданої присяжним, і додає штраф, пропорційний квадрату відстані (у логарифмічному просторі). Це робиться для того, щоб показати, що існує багато простору для підрахунку балів, і вибір функції оцінювання пов'язаний з вашим вибором питань, які ставити присяжним.
Як ви нагороджуєте тих, хто надсилає повний список? Ідеально, ви хочете часто надавати нульову винагороду для кількох учасників, щоб уникнути монопольного механізму, але ви також хочете мати такі вимоги: учасники не можуть збільшити винагороду, надсилаючи кілька разів однаковий (або трохи змінений) набір відповідей. Одним зі способів є безпосередній розрахунок лінійної комбінації повного списку відповідей, який найкраще відповідає відповідям журі (коефіцієнти невід'ємні і сума дорівнює 1), та використання цих же коефіцієнтів для розподілу винагороди. Можливі інші методи.
Загалом, мета полягає в тому, щоб взяти механізми людських суджень, які, як відомо, працюють, мінімізовані упередженнями та витримали випробування часом (наприклад, уявіть, що змагальна структура судової системи включає двох сторін спору, які мають багато інформації, але є упередженими, і суддю, який має невелику кількість інформації, але може бути неупередженим), і використовувати відкритий ринок штучного інтелекту як досить високоточний і дуже недорогий предиктор цих механізмів (подібно до того, як працює модель великого пророцтва «дистиляція»).
Глибоке фінансування (глибоке фінансування)
Глибоке фінансування полягає в тому, щоб застосувати судження про дистиляцію людини, щоб відповісти на запитання «Який відсоток кредиту X належить Y?» Вагова задача у верхній частині графіка.
Найпростіше це зробити, проілюструвавши це безпосередньо прикладом:
Вихідний приклад глибинного фінансування рівня 2: походження думки про Ethereum. Будь ласка, перегляньте код Python тут.
Тут мета полягає в розподілі визнання за філософський внесок у справу Ethereum. Давайте розглянемо приклад:
Цей симульований раунд фінансування показує, що 20.5% заслуговує на кіберпанк-рух, а 9.2% на технологічний прогресивізм.
У кожному вузлі ви ставите собі питання: наскільки великим є оригінальний внесок (тобто, чи варто йому заслуговувати на власну винагороду), наскільки це перетворення інших вхідних впливів? Для криптопанк-руху він становить 40% нового і 60% залежності.
Потім ви можете поглянути на вплив цих вузлів: ліберальний дрібний уряд та анархізм принесли 17,3% заслуг шифропанк-руху, але лише 5% прямої демократії у Швейцарії.
Однак зауважте, що ліберальний дрібний уряд і анархізм також надихнули монетарну філософію Bitcoin, тому вони вплинули на філософію Ethereum двома способами.
Щоб розрахувати загальну частку внеску ліберального малого уряду та анархізму в Ethereum, потрібно помножити ребра на кожному шляху, а потім скласти шляхи разом: 0,205 * 0,6 * 0,173 + 0,195 * 0,648 * 0,201 ~= 0,0466. Отже, якби вам довелося пожертвувати 100 доларів США, щоб винагородити всіх тих, хто зробив внесок у філософію Ethereum, ліберальні дрібні урядовці та анархісти отримали б 4,66 долара США відповідно до цього змодельованого раунду глибокого фінансування.
Цей підхід покликаний бути застосовним до тих областей, де робота ґрунтується на попередніх роботах і має високий ступінь структурної чіткості. Академічні кола (подумайте: графіки цитування) та програмне забезпечення з відкритим вихідним кодом (подумайте: бібліотечні залежності та форки) є двома природними прикладами.
Мета добре функціонуючої системи глибинного фінансування полягає в створенні та підтримці глобального графа, в якому будь-який спонсор, зацікавлений у підтримці певного проекту, може надсилати кошти на адресу, яка представляє цей вузол, кошти будуть автоматично розповсюджуватися відповідно до ваги ребра графа до його залежностей (і рекурсивно до їхніх залежностей і так далі).
Ви можете уявити собі децентралізований протокол, який використовує вбудований пристрій глибокого фінансування для випуску своїх токенів: децентралізоване управління всередині протоколу обере журі, яке запустить механізм глибокого фінансування, оскільки протокол автоматично випускає токени та депонує їх у відповідні йому вузли. Роблячи це, протокол програмно винагороджує всіх своїх прямих і непрямих учасників, нагадуючи про те, як винагороди за блок Bitcoin або Ethereum винагороджують один конкретний тип вкладників (майнерів). Впливаючи на вагу країв, журі може постійно визначати тип внеску, який воно оцінює. Цей механізм може служити децентралізованою та довгостроковою стійкою альтернативою майнінгу, продажу або одноразовим аірдропам.
Збільшити конфіденційність
Зазвичай, для правильного вирішення проблеми вказаного прикладу потрібен доступ до особистої інформації: внутрішніх чат-записів організації, конфіденційної інформації, наданої членами спільноти тощо. Однією з переваг «використання лише одного ШІ» особливо в масштабах невеликого середовища є те, що дозволити ШІ отримати доступ до інформації легше приймається, ніж публічне розголошення інформації всім.
Для того, щоб людське судження або глибоке фінансування спрацювали в цих випадках, ми можемо спробувати використовувати криптографію, щоб безпечно надати ШІ доступ до приватної інформації. Ідея полягає у використанні багатосторонніх обчислювальних )MPC(, повністю гомоморфного шифрування )FHE(, довіреного середовища виконання )TEE або подібних механізмів для надання приватної інформації, але лише якщо його єдиним результатом є "повний коміт", який потрапляє безпосередньо до механіки.
Якщо ви це зробите, то ви повинні обмежити набір механізмів до моделі штучного інтелекту (а не людини або комбінації штучного інтелекту та людини, оскільки ви не можете дати людині змогу переглядати дані), а також визначити модель, яка працює на певних основах (наприклад, MPC, FHE, довірене обладнання). Одним з основних напрямків досліджень є виявлення недавної ефективної та значущої практичної версії.
Переваги дизайну двигуна + керма
У такої конструкції є багато багатообіцяючих переваг. Безумовно, найважливішою перевагою є те, що вони дозволяють створювати DAO, надаючи людським виборцям контроль над напрямком, але вони не будуть загрузнути в занадто великій кількості рішень. Вони досягають компромісу, коли кожен не зобов'язаний приймати N-рішення, але вони мають владу вийти за рамки простого прийняття рішення (як зазвичай працюють делегати) і викликати багаті переваги, які важко висловити безпосередньо.
Крім того, такий механізм має стимулюючу характеристику згладжування. Під «стимулюючим згладженням» я маю на увазі поєднання двох факторів:
Дифузія: Будь-яка окрема дія, вжита механізмом голосування, не матиме надмірного впливу на інтереси будь-якого окремого учасника.
Хаос: зв'язок між голосуванням прийняття рішень та його впливом на інтереси учасників стає складнішим і складнішим для обчислення.
Терміни «обфускація» і «дифузія» тут взяті з криптографії, які є ключовими властивостями криптографічної безпеки і безпеки хеш-функцій.
Хорошим прикладом згладжування стимулів у сучасному реальному світі є верховенство права: замість того, щоб регулярно вживати заходів у вигляді «$200 млн для компанії Аліси», «$100 млн для компанії Боба» на регулярній основі, верхівка уряду приймає правила, призначені для рівномірного застосування до великої кількості учасників, які потім інтерпретуються іншою групою суб'єктів. Коли цей підхід працює, перевага полягає в тому, що він значно зменшує переваги хабарництва та інших форм корупції. При його порушенні, що часто трапляється на практиці, ці проблеми швидко значно посилюються.
Очевидно, що штучний інтелект стане важливою частиною майбутнього, і він неминуче стане важливою частиною майбутнього управління. Однак, якщо ви залучаєте ШІ до управління, є очевидні ризики: ШІ упереджений, його можуть навмисно підірвати під час навчання, а технологія штучного інтелекту розвивається настільки швидко, що «введення ШІ в дію» насправді може означати «поставити на посаду відповідального за модернізацію ШІ». Дистильоване людське судження пропонує альтернативний шлях уперед, дозволяючи нам використовувати можливості штучного інтелекту у відкритий спосіб вільного ринку, зберігаючи при цьому демократію, контрольовану людиною.
Особлива подяка за відгуки та рецензії від Devansh Mehta, Davide Crapis та Julian Zawistowski, а також за обговорення з Tinou Zhen, Shaw Walters та іншими людьми.
Контент має виключно довідковий характер і не є запрошенням до участі або пропозицією. Інвестиційні, податкові чи юридичні консультації не надаються. Перегляньте Відмову від відповідальності , щоб дізнатися більше про ризики.
Новий текст Віталіка: нова парадигма управління майбутнім «Штучний інтелект + Людське кермо»
Оригінальний заголовок: «AI як двигун, люди як кермо»
Автор: Віталік, засновник Ethereum
Компіляція: Байшуй, Золота економіка
Якщо ви запитаєте людей, що саме їм подобається в демократичній структурі, незалежно від того, чи йдеться про уряд, робоче місце чи DAO на основі блокчейну, ви часто почуєте одні й ті ж аргументи: вони уникають концентрації влади, вони надають користувачам потужні гарантії, оскільки ніхто не може вільно змінювати напрямок системи, вони можуть приймати рішення вищої якості, збираючи багато точок зору та мудрості.
Якщо ви попитаєте людей, які аспекти демократичної структури їм не подобаються, вони часто висловлюють однакові скарги: звичайні виборці не досить досвідчені, оскільки кожен виборець має дуже невеликий шанс вплинути на результат, дуже мало виборців вкладають високоякісні думки у прийняття рішень, і ви часто отримуєте низький рівень участі (що робить систему вразливою до атак) або фактичну централізацію, оскільки кожен за замовчуванням довіряє та реплікує погляди впливових осіб.
Метою цієї статті є дослідження парадигми, яка може, можливо, дозволити використання штучного інтелекту для отримання користі від демократичної структури без негативного впливу. «Штучний інтелект - це двигун, людина - це кермо». Людина надає системі лише невелику кількість інформації, можливо, лише кілька сотень, але це дуже обдумана й високоякісна інформація. Штучний інтелект розглядає ці дані як «цільову функцію» і невтомно приймає велику кількість рішень, щоб максимально досягти цих цілей. Зокрема, у цій статті буде досліджено цікаве питання: чи можемо ми досягти цього без централізації окремого штучного інтелекту, а залежити від конкурентного відкритого ринку, в якому будь-який штучний інтелект (або людино-машинний гібрид) може вільно брати участь?
Каталог
Чому б не дозволити штучний інтелект взяти владу?(
Футархія
Дистиляція людського судження
Глибинне фінансування (Глибоке фінансування)
Збільшити конфіденційність
Переваги конструкції двигуна + керма
Чому б не дати це робити штучному інтелекту?
Найпростіший спосіб внесення людських вподобань у механізми на основі штучного інтелекту полягає в створенні моделі штучного інтелекту та введенні людських вподобань у цю модель яким-небудь чином. Є прості способи зробити це: достатньо просто вставити текстовий файл зі списком інструкцій для персоналу у системний промпт. Далі ви можете надати штучному інтелекту доступ до Інтернету за допомогою однієї з багатьох «агентських фреймворків штучного інтелекту», передавши йому ключі до вашого активу та соціальних медіа, що ви організуєте, і успіх гарантований.
Після кількох ітерацій цього, ймовірно, буде достатньо для задоволення потреб багатьох випадків застосування, я повністю очікую, що у найближчий час ми побачимо багато структур, які використовують команди, надані групою читачів AI (навіть в режимі реального часу), і вживатимуть заходів.
Ця структура не є ідеальною для механізму управління довгостроковими установами. Однією з цінних властивостей, якою повинні володіти довгострокові установи, є довіра та нейтральність. У своєму пості про це поняття я навів чотири цінні властивості довіри та нейтральності.
Не вписуйте конкретних людей або конкретні результати в механізм
відкрите та перевірене виконання
Зберігайте простоту
Не часто змінюйте
LLM (або AI-агент) задовольняє 0/4. Ця модель невід'ємно кодує велику кількість конкретних людей та результатів у процесі навчання. Іноді це може призвести до несподіваних уподобань штучного інтелекту, наприклад, нещодавнє дослідження показало, що головна LLM більше цінує життя в Пакистані, ніж в США (!!). Вона може бути відкритою для змін, але це зовсім не означає, що відкритий код; ми дійсно не знаємо, що приховується в глибинах цієї моделі. Вона протилежна простоті: Колмогорова складність LLM складає кілька мільярдів бітів, що приблизно відповідає загальній кількості всіх законів у США (федеральних + штатових + місцевих). І через швидкий розвиток штучного інтелекту вам потрібно змінювати її щочверть.
З цієї причини я підтримую інший підхід, який досліджується в багатьох випадках, - зробити простий механізм грою, де штучний інтелект стане гравцем. Саме ця проникливість робить ринок настільки ефективним: правила - це дещо дурний правовий режим, межові випадки вирішує судова система, яка повільно накопичує та коригує приклади, а всі дані надходять від підприємців, які працюють на «межі».
Один «гравець» може бути LLM, взаємодіяти та викликати різноманітні інтернет-сервіси у LLM-групі, різноманітні комбінації AI + людина та багато інших конструкцій; як механік-дизайнер, вам не потрібно знати. Ідеальна мета - мати механізм, який може автоматично працювати - якщо мета цього механізму полягає у виборі того, що фінансувати, то він повинен бути якомога ближчий до винагороди за блоки біткоїна або ефіріуму.
Перевага цього методу полягає в тому, що:
Він уникає включення будь-якої одиничної моделі у механізм; натомість, ви отримаєте відкритий ринок, що складається з багатьох різних учасників та архітектур, які мають свої власні упередження. Відкриті моделі, закриті моделі, агентські групи, суміш людей та штучного інтелекту, роботи, нескінчені мавпи та інші - все це чесна гра; цей механізм не дискримінує жодного.
Цей механізм є відкритим. Гравці можуть бути не відкритими, але гра є відкритою - і це вже досить добре розумний шаблон (наприклад, політичні партії та ринок працюють саме таким чином)
Ця схема досить проста, тому автори схеми мають досить обмежені можливості вкладення своїх упереджень у дизайн.
Цей механізм залишиться незмінним, навіть починаючи з цього моменту і до кінця дивного, архітектуру учасників бази потрібно переглянути кожні три місяці.
Мета регулювання полягає в тому, щоб вірно відображати основні цілі учасників. Це потребує лише обмеженої кількості інформації, але ця інформація повинна бути високої якості.
Ви можете вважати, що цей механізм використовує асиметрію між наданням відповіді та перевіркою відповіді. Це схоже на складання кросворду, яке важко розв'язати, але легко перевірити, чи вірне рішення. Ви )i( створюєте відкритий ринок, де гравці виступають у ролі "розв'язувачів", а потім )ii( підтримуєте механізм, який виконує набагато простіші завдання перевірки запропонованого рішення, здійснювані людьми.
Футархія
Futarchy спочатку запропонував Робін Генсон, що означає "голосування за цінностями, але ставки на віру". Механізм голосування вибирає групу цілей (це може бути будь-які цілі, але вони повинні бути вимірювані), а потім комбінує їх у вимір M. Коли вам потрібно прийняти рішення (для спрощення ми припускаємо, що це YES/NO), ви створюєте умовний ринок: ви просите людей зробити ставку )i(, чи вони оберуть YES або NO, )ii(, якщо оберуть YES, то значення M, в іншому випадку нуль, )iii(, якщо оберуть NO, то значення M, в іншому випадку нуль. З цими трема змінними ви можете визначити, чи ринок вважає, що YES або NO краще підходять для значення M.
«Ціна акцій компанії» (або, в разі криптовалют, ціна токенів) є найбільш поширеним показником, оскільки його легко розуміти та вимірювати, але цей механізм може підтримувати різноманітні показники: активні користувачі за місяць, медіана самооцінки щастя деяких груп, децентралізовані показники та інше.
Футархія спочатку була винайдена до епохи штучного інтелекту. Однак Футархія дуже природним чином вписується в парадигму "складний розв'язувальник, простий верифікатор", описану у попередньому розділі, причому учасники у Футархії можуть бути штучним інтелектом (або комбінацією людини та штучного інтелекту). Роль "розв'язувальника" (торгівельника на ринку прогнозів) полягає в тому, щоб визначити, як впливатиме кожен пропозиціяний план на майбутню вартість показників. Це складно. Якщо розв'язувальник правильний, він заробляє гроші, якщо ні - втрачає. Верифікатори (люди, які голосують за показники, якщо вони помічають, що показники "маніпулюються" або стають застарілими, вони коригують їх і визначають реальне значення показників у майбутньому) потрібно відповісти лише на більш просте питання: "Яке поточне значення цього показника?"
парування судження людини
Дистиляція людського судження - це тип механізму, принцип його роботи наступний. Є багато (припустимо: 1000000) питань, на які потрібно відповісти. Природні приклади включають:
Кожна людина в цьому списку повинна бути винагороджена за свій внесок у проект або завдання?
Які з цих коментарів порушують правила платформи соціальних мереж (або підспільноти)?
Які з наданих адрес Ethereum представляють справжніх та унікальних людей?
Які з цих фізичних об'єктів позитивно чи негативно впливають на естетику навколишнього середовища?
У вас є команда, яка може відповісти на ці питання, але це вимагає великих зусиль на кожну відповідь. Ви можете запросити команду відповісти лише на кілька питань (наприклад, якщо загальний список містить 1 мільйон пунктів, команда може відповісти лише на 100 з них). Ви навіть можете поставити команді косвенні питання: не запитуйте, «Які відсотки загального кредиту має отримати Еліс?», а запитайте, «Чи повинні Еліс або Боб отримати більше кредиту і у скільки разів?» При створенні механізму журі ви можете використовувати вже перевірені часом механізми реального світу, такі як комітет з фінансування, суд (визначення цінності рішення), оцінка та інші, звичайно, учасники журі також можуть використовувати новітні засоби дослідження штучного інтелекту для пошуку відповідей.
Потім ви дозволяєте будь-кому подавати списки цифрових відповідей на всі набори питань (наприклад, надавати приблизні значення кожного учасника у всьому списку кредитів). Заохочується учасників використовувати штучний інтелект для виконання цього завдання, але вони можуть використовувати будь-яку технологію: штучний інтелект, людсько-машинне співробітництво, штучний інтелект, який може здійснювати доступ до Інтернет-пошуку та самостійно наймати інших людей або робітників штучного інтелекту, підсиленого контрольною теорією мавп тощо.
Як тільки постачальники повного списку та судді надішлють відповіді, список буде перевірений у відповідності з відповідями суддів, і якась комбінація повного списку, найбільш сумісна з відповідями суддів, буде вибрана як остаточна відповідь.
Механізм людського судження дистиляції відрізняється від механізму футаркії, але є деякі важливі подібності:
У футаркії «розв'язувач» робить прогнози, а «реальні дані», на яких ґрунтуються його прогнози (використовуються для винагороди або покарання розв'язувача), — це оракул, який виводить значення індикатора, яким керує журі.
У світлі аналізу людських рішень, "розрахункові" надають відповіді на багато питань, проте їхні прогнози ґрунтуються на "реальних даних", що становлять лише невелику частку високоякісних відповідей, наданих журі.
Для прикладу іграшковий приклад розподілу кредитів на основі судових висновків людини, будь ласка, відвідайте код Python тут. Сценарій вимагає вас як члена журі та містить повний список попередньо зазначених у коді штучно створених (і людських) відповідей. Цей механізм ідентифікує лінійну комбінацію повного списку відповідей, яка найкраще відповідає журі. У цьому випадку переможна комбінація - це 0,199 * відповідь Клода + 0,801 * відповідь Діпсік; ця комбінація краще відповідає відповідям журі, ніж будь-яка окрема модель. Ці коефіцієнти також будуть винагородою для відправника.
У цьому прикладі "Побиття Сорена" аспекти "людського керма" проявляються у двох місцях. По-перше, до кожної проблеми застосовується високоякісне людське розсуд, хоча це все ще використовує присяжних як "технократичних" оцінювачів ефективності. Вдруге, існує прихований голосувальний механізм, який вирішує, чи є "Побиття Сорена" правильною метою (а не, скажімо, спробою укласти союз з Сореном або віддати йому всю територію сходному від певної важливої річки як мирний жест). Існують інші приклади використання людського розсуду, де завдання присяжних більш прямо пов'язане з цінностями: наприклад, уявіть розсіяну соціальну мережу (або підсайт), де завдання присяжних полягає в позначенні випадково вибраних форумних повідомлень як відповідних або не відповідних правилам спільноти.
У паровій людського судження існує кілька відкритих змінних:
Як відбувається вибіркове зразкове опитування? Роль учасників, які подали повний список, полягає в наданні великої кількості відповідей; роль суддів полягає в наданні відповідей високої якості. Нам потрібно вибирати суддів таким чином і вибирати для них питання так, щоб здатність моделі відповідно відображати загальну продуктивність суддів була максимальною. Деякі фактори, які слід враховувати, включають:
Компроміс між експертизою та упередженістю: Кваліфіковані присяжні часто спеціалізуються у своїй галузі знань, тому дозвольте їм вибрати, що оцінити, і ви отримаєте більш якісні матеріали. З іншого боку, занадто великий вибір може призвести до упередженості (присяжні віддають перевагу контенту тих, з ким вони асоціюються) або слабкості вибірки (деякий контент систематично не оцінюється)
Анти-Гудхарт: Наприклад, буде контент, який намагається «пограти» з механікою штучного інтелекту, де учасники генерують багато коду, який виглядає вражаюче, але марний. Це означає, що журі може це виявити, але статична модель штучного інтелекту цього не зробить, якщо не докладе всіх зусиль. Один із можливих способів зафіксувати таку поведінку — додати механізм оскарження, за допомогою якого люди можуть позначати такі спроби, гарантуючи їм винесення рішення судом присяжних (і, таким чином, стимулюючи розробників ШІ гарантувати, що вони захоплені правильно). Якщо присяжні погодяться, викривач отримає винагороду, а якщо присяжні не погодяться, буде сплачено штраф.
Яку функцію скорингу ви використовуєте? Одна з ідей, яка використовується в нинішньому пілотному проекті Deep Grant, полягає в тому, щоб запитати присяжних: «Чи повинні А або Б отримати більше балів, і на скільки?» Функція підрахунку балів має вигляд score)x( = sum((log[B]x)( - log[A]x)( - log)juror_ratio)( ** 2 для )A, B, присяжний_ratio) у присяжних_answers(: Тобто для кожної відповіді присяжних він запитує, наскільки далека ставка в повному списку від ставки, наданої присяжним, і додає штраф, пропорційний квадрату відстані (у логарифмічному просторі). Це робиться для того, щоб показати, що існує багато простору для підрахунку балів, і вибір функції оцінювання пов'язаний з вашим вибором питань, які ставити присяжним.
Як ви нагороджуєте тих, хто надсилає повний список? Ідеально, ви хочете часто надавати нульову винагороду для кількох учасників, щоб уникнути монопольного механізму, але ви також хочете мати такі вимоги: учасники не можуть збільшити винагороду, надсилаючи кілька разів однаковий (або трохи змінений) набір відповідей. Одним зі способів є безпосередній розрахунок лінійної комбінації повного списку відповідей, який найкраще відповідає відповідям журі (коефіцієнти невід'ємні і сума дорівнює 1), та використання цих же коефіцієнтів для розподілу винагороди. Можливі інші методи.
Загалом, мета полягає в тому, щоб взяти механізми людських суджень, які, як відомо, працюють, мінімізовані упередженнями та витримали випробування часом (наприклад, уявіть, що змагальна структура судової системи включає двох сторін спору, які мають багато інформації, але є упередженими, і суддю, який має невелику кількість інформації, але може бути неупередженим), і використовувати відкритий ринок штучного інтелекту як досить високоточний і дуже недорогий предиктор цих механізмів (подібно до того, як працює модель великого пророцтва «дистиляція»).
Глибоке фінансування (глибоке фінансування)
Глибоке фінансування полягає в тому, щоб застосувати судження про дистиляцію людини, щоб відповісти на запитання «Який відсоток кредиту X належить Y?» Вагова задача у верхній частині графіка.
Найпростіше це зробити, проілюструвавши це безпосередньо прикладом:
Вихідний приклад глибинного фінансування рівня 2: походження думки про Ethereum. Будь ласка, перегляньте код Python тут.
Тут мета полягає в розподілі визнання за філософський внесок у справу Ethereum. Давайте розглянемо приклад:
Цей симульований раунд фінансування показує, що 20.5% заслуговує на кіберпанк-рух, а 9.2% на технологічний прогресивізм.
У кожному вузлі ви ставите собі питання: наскільки великим є оригінальний внесок (тобто, чи варто йому заслуговувати на власну винагороду), наскільки це перетворення інших вхідних впливів? Для криптопанк-руху він становить 40% нового і 60% залежності.
Потім ви можете поглянути на вплив цих вузлів: ліберальний дрібний уряд та анархізм принесли 17,3% заслуг шифропанк-руху, але лише 5% прямої демократії у Швейцарії.
Однак зауважте, що ліберальний дрібний уряд і анархізм також надихнули монетарну філософію Bitcoin, тому вони вплинули на філософію Ethereum двома способами.
Щоб розрахувати загальну частку внеску ліберального малого уряду та анархізму в Ethereum, потрібно помножити ребра на кожному шляху, а потім скласти шляхи разом: 0,205 * 0,6 * 0,173 + 0,195 * 0,648 * 0,201 ~= 0,0466. Отже, якби вам довелося пожертвувати 100 доларів США, щоб винагородити всіх тих, хто зробив внесок у філософію Ethereum, ліберальні дрібні урядовці та анархісти отримали б 4,66 долара США відповідно до цього змодельованого раунду глибокого фінансування.
Цей підхід покликаний бути застосовним до тих областей, де робота ґрунтується на попередніх роботах і має високий ступінь структурної чіткості. Академічні кола (подумайте: графіки цитування) та програмне забезпечення з відкритим вихідним кодом (подумайте: бібліотечні залежності та форки) є двома природними прикладами.
Мета добре функціонуючої системи глибинного фінансування полягає в створенні та підтримці глобального графа, в якому будь-який спонсор, зацікавлений у підтримці певного проекту, може надсилати кошти на адресу, яка представляє цей вузол, кошти будуть автоматично розповсюджуватися відповідно до ваги ребра графа до його залежностей (і рекурсивно до їхніх залежностей і так далі).
Ви можете уявити собі децентралізований протокол, який використовує вбудований пристрій глибокого фінансування для випуску своїх токенів: децентралізоване управління всередині протоколу обере журі, яке запустить механізм глибокого фінансування, оскільки протокол автоматично випускає токени та депонує їх у відповідні йому вузли. Роблячи це, протокол програмно винагороджує всіх своїх прямих і непрямих учасників, нагадуючи про те, як винагороди за блок Bitcoin або Ethereum винагороджують один конкретний тип вкладників (майнерів). Впливаючи на вагу країв, журі може постійно визначати тип внеску, який воно оцінює. Цей механізм може служити децентралізованою та довгостроковою стійкою альтернативою майнінгу, продажу або одноразовим аірдропам.
Збільшити конфіденційність
Зазвичай, для правильного вирішення проблеми вказаного прикладу потрібен доступ до особистої інформації: внутрішніх чат-записів організації, конфіденційної інформації, наданої членами спільноти тощо. Однією з переваг «використання лише одного ШІ» особливо в масштабах невеликого середовища є те, що дозволити ШІ отримати доступ до інформації легше приймається, ніж публічне розголошення інформації всім.
Для того, щоб людське судження або глибоке фінансування спрацювали в цих випадках, ми можемо спробувати використовувати криптографію, щоб безпечно надати ШІ доступ до приватної інформації. Ідея полягає у використанні багатосторонніх обчислювальних )MPC(, повністю гомоморфного шифрування )FHE(, довіреного середовища виконання )TEE або подібних механізмів для надання приватної інформації, але лише якщо його єдиним результатом є "повний коміт", який потрапляє безпосередньо до механіки.
Якщо ви це зробите, то ви повинні обмежити набір механізмів до моделі штучного інтелекту (а не людини або комбінації штучного інтелекту та людини, оскільки ви не можете дати людині змогу переглядати дані), а також визначити модель, яка працює на певних основах (наприклад, MPC, FHE, довірене обладнання). Одним з основних напрямків досліджень є виявлення недавної ефективної та значущої практичної версії.
Переваги дизайну двигуна + керма
У такої конструкції є багато багатообіцяючих переваг. Безумовно, найважливішою перевагою є те, що вони дозволяють створювати DAO, надаючи людським виборцям контроль над напрямком, але вони не будуть загрузнути в занадто великій кількості рішень. Вони досягають компромісу, коли кожен не зобов'язаний приймати N-рішення, але вони мають владу вийти за рамки простого прийняття рішення (як зазвичай працюють делегати) і викликати багаті переваги, які важко висловити безпосередньо.
Крім того, такий механізм має стимулюючу характеристику згладжування. Під «стимулюючим згладженням» я маю на увазі поєднання двох факторів:
Дифузія: Будь-яка окрема дія, вжита механізмом голосування, не матиме надмірного впливу на інтереси будь-якого окремого учасника.
Хаос: зв'язок між голосуванням прийняття рішень та його впливом на інтереси учасників стає складнішим і складнішим для обчислення.
Терміни «обфускація» і «дифузія» тут взяті з криптографії, які є ключовими властивостями криптографічної безпеки і безпеки хеш-функцій.
Хорошим прикладом згладжування стимулів у сучасному реальному світі є верховенство права: замість того, щоб регулярно вживати заходів у вигляді «$200 млн для компанії Аліси», «$100 млн для компанії Боба» на регулярній основі, верхівка уряду приймає правила, призначені для рівномірного застосування до великої кількості учасників, які потім інтерпретуються іншою групою суб'єктів. Коли цей підхід працює, перевага полягає в тому, що він значно зменшує переваги хабарництва та інших форм корупції. При його порушенні, що часто трапляється на практиці, ці проблеми швидко значно посилюються.
Очевидно, що штучний інтелект стане важливою частиною майбутнього, і він неминуче стане важливою частиною майбутнього управління. Однак, якщо ви залучаєте ШІ до управління, є очевидні ризики: ШІ упереджений, його можуть навмисно підірвати під час навчання, а технологія штучного інтелекту розвивається настільки швидко, що «введення ШІ в дію» насправді може означати «поставити на посаду відповідального за модернізацію ШІ». Дистильоване людське судження пропонує альтернативний шлях уперед, дозволяючи нам використовувати можливості штучного інтелекту у відкритий спосіб вільного ринку, зберігаючи при цьому демократію, контрольовану людиною.
Особлива подяка за відгуки та рецензії від Devansh Mehta, Davide Crapis та Julian Zawistowski, а також за обговорення з Tinou Zhen, Shaw Walters та іншими людьми.