Пересылка оригинального заголовка: Mira: Доверенный проверенный ИИ
Галлюцинации: это опыт, связанный с явным восприятием чего-то, чего нет на самом деле.
Андрей Карпати называет искусственный интеллект «машинами мечты». Он считает, что галлюцинации - это не ошибка, а особенность. Бесполезно пытаться полностью их искоренить. И честно говоря, в этом есть что-то поэтическое.
Большие языковые модели (LLM) - это художник, творец. Она мечтает в коде, порождает идеи из ниоткуда и извлекает смысл из данных. Но для того чтобы искусственный интеллект перешел от прекрасных грез к практическим, повседневным применениям, мы должны ограничить эти галлюцинации.
Коэффициенты ошибок для LLM остаются высокими во многих задачах, часто колеблясь около 30%. На этом уровне LLM все еще требуют участия человека для достижения приемлемого уровня точности.
Но когда мы достигаем этой недостижимой точности в 99.x% - где результаты надежны без человеческого контроля - происходит волшебство. Это порог, где искусственный интеллект достигает надежности на уровне человека, открывая бесконечную вселенную использования, ранее недоступную.
Однако достичь такого уровня точности - это непростая задача. Это требует неустанного инженерного труда и инноваций.
История @Mira_Network Начинается здесь. Но прежде чем мы углубимся в тему, давайте поговорим о разработке LLM и о том, почему верификация становится следующим большим событием в области ИИ.
Разработка LLM является последним шагом в пути глубокого обучения - отличается от традиционных практик разработки программного обеспечения, которые мы оттачивали более 50 лет. LLM, которые существуют всего около трех лет, полностью меняют ситуацию, переходя от детерминистического мышления (если X, то Y) к вероятностному рассуждению (если X, то... возможно, Y?).
Это означает, что инфраструктура для мира, основанного на искусственном интеллекте, требует совершенно нового набора инструментов и рабочих процессов. Однако многие из этих инструментов по-прежнему находятся внутри лабораторий исследований, создавших LLMs.
Хорошая новость в том, что эти инструменты начинают попадать в общественное владение, открывая мир возможностей для разработчиков повсюду.
В конце этого нового рабочего процесса находится важная часть головоломки: оценки и верификации. Сегодня наша цель - это они. Они отвечают на фундаментальный вопрос: работает ли искусственный интеллект хорошо?
Доверие является основой любого великого продукта искусственного интеллекта.
Поскольку искусственный интеллект становится все более неотъемлемой частью нашей жизни, сама технология остается хрупкой. Ошибки случаются, и когда это происходит, доверие быстро подрывается. Пользователи ожидают, что искусственный интеллект будет точным, без предвзятости и действительно полезным, но без надежных систем, обеспечивающих это, растет фрустрация - а фрустрация приводит к оттоку.
Вот где вступают в силу проверки.
Проверки действуют как защитный механизм. Они являются слоем контроля качества, на котором разработчики полагаются для улучшения результатов и создания систем, которым пользователи могут доверять.
Mira решает основную проблему Web2 с помощью недоверительной прозрачности криптовалюты. Используя децентрализованную сеть узлов верификаторов, Mira гарантирует, что выводы искусственного интеллекта точно и независимо проверены.
Допустим, у вас есть абзац вывода из LLM о городе Париже. Как вы проверяете, что он точен? Это сложно сделать, потому что вокруг всего, начиная от утверждений и структуры контента, заканчивая стилем письма, есть так много тонкостей.
Вот где вступает Мира.
Видение Миры смелое: создать сеть уровня 1, которая обеспечивает децентрализованную, масштабируемую и точную верификацию выводов искусственного интеллекта. Используя коллективную мудрость, Mira уменьшает предвзятость и галлюцинации, решая основные проблемы, такие как справедливость и стоимость, доказывая, как блокчейн действительно может усовершенствовать искусственный интеллект.
Источник: Mira
Ранние результаты обнадеживают. В недавнемисследование, опубликованное на Arxiv, Mira продемонстрировала, что использование нескольких моделей для генерации выходных данных и требование консенсуса значительно повышает точность. Точность достигла 95,6% при трех моделях, по сравнению с 73,1% для выходных данных одной модели.
Два ключевых элемента дизайна определяют подход Mira:
AI-сгенерированные выводы варьируются от простых утверждений до обширных эссе благодаря близкому к нулю стоимости генерации контента. Но это изобилие сложности создает вызов: как обеспечить точность такого разнообразного вывода?
Решение Mira простое: разбейте это на части.
@Mira_Networkпреобразует сложное содержимое, созданное искусственным интеллектом, в более мелкие, усваиваемые части, которые модели искусственного интеллекта могут объективно рассмотреть в процессе, называемом шардингом.
Стандартизируя результаты и разбивая их на отдельные, подтверждаемые утверждения, Mira обеспечивает возможность последовательной оценки каждой части, устраняя неоднозначность, которая часто возникает при оценках.
Например, рассмотрим этот составной оператор:
«Фотосинтез происходит в растениях для преобразования солнечной энергии, а пчелы играют критическую роль в опылении, перенося пыльцу между цветами».
На первый взгляд кажется, что это просто проверить. Но когда передается нескольким моделям, особенности интерпретации могут привести к разным ответам. Преобразование контента Mira через шардинг решает эту проблему, разделяя утверждение на два независимых заявления:
После разделения каждое требование подвергается бинаризации, где оно преобразуется в множественный выбор вопроса. Эти вопросы распределяются по сети узлов, запускающих модели искусственного интеллекта. Используя метод ансамблевой верификации Mira, модели сотрудничают для оценки и подтверждения достоверности каждого требования.
В настоящее время возможности фрагментации и бинаризации контента Mira сосредоточены на текстовых вводах. К началу 2025 года эти процессы будут расширены для поддержки мультимодальных вводов, таких как изображения и видео.
Mira разработала передовую систему верификации, которая объединяет преимущества нескольких моделей искусственного интеллекта для оценки качества выходных данных AI.
Давайте разберем это.
Традиционные автоматические оценки часто полагаются на единственную большую языковую модель (LLM), как GPT-4, в качестве окончательного арбитра качества. Несмотря на функциональность, такой подход имеет существенные недостатки: это дорого, подвержено предубеждениям и ограничено особенностями и «личностью», присущими моделям.
Прорыв Mira заключается в переходе от полной зависимости от одной масштабной модели к использованиюансамбль разнообразных LLMs. Этот ансамбль превосходит в задачах, где фактическая точность важнее творческой изящности, снижая уровень ошибок и обеспечивая более надежные и последовательные проверки.
Ансамблевые методы были хорошо изучены в задачах машинного обучения, таких как классификация, и Mira теперь внедряет это в верификацию.
В центре системы Mira находится Панель верификаторов LLM (PoLL) - совместная сеть моделей, которые работают вместе, чтобы проверять результаты. Представьте себе разнообразную панель экспертов, высказывающих свое мнение по решению, а не оставляющих его на усмотрение одиночного, потенциально предвзятого судьи.
И это не просто желание, а основано на исследованиях. Взгляните на диаграмму ниже:
Исследование Cohereопубликованов апреле 2024 года было продемонстрировано, что панель из трех более маленьких моделей - GPT-3.5, Claude-3 Haiku и Command R - более точно соответствуют человеческим суждениям, чем только GPT-4. Удивительно, что этот метод ансамбля также стоит в 7 раз дешевле.
Mira теперь внедряет этот исследовательский метод, масштабно развертывая свой метод ансамблеверификации. Представленные ими внутренние результаты до сих пор убедительны:
• Снижение погрешности с 80% до 5% для сложных задач рассуждения.
• Улучшение скорости и стоимости в 5 раз по сравнению с человеческой верификацией.
Это нелегкая задача. За счет механизмов консенсуса разнообразный ансамбль моделей Mira эффективно фильтрует галлюцинации и уравновешивает индивидуальные предубеждения моделей. Вместе они достигают того, что больше, чем сумма их частей: верификации, которые быстрее, дешевле и более соответствуют нашим потребностям.
Подводя итоги, система верификации Mira построена на двух фундаментальных принципах проектирования:
Поддержание разнообразного набора моделей является важным условием для получения продуктов высокого качества, что делает дизайн Mira идеальным для децентрализованной архитектуры. Исключение одиночных точек отказа критически важно для любого верификационного продукта.
Mira использует блокчейн-подход, чтобы гарантировать, что ни одно отдельное лицо не может манипулировать результатами. Премисса проста: выводы, сгенерированные искусственным интеллектом, должны быть проверены так же, как изменения состояния блокчейна.
Проверка происходит через сеть независимых узлов, операторы которых получают экономическое стимулирование для выполнения точных проверок. Выравнивая вознаграждение с честностью, система Mira отпугивает плохих участников и обеспечивает надежные результаты.
Вот как это работает:
Mira обеспечивает конфиденциальность данных путем разделения входных данных на более мелкие части, гарантируя, что ни один узел не имеет доступа к полному набору данных.
Для дополнительной безопасности Mira поддерживает динамические уровни конфиденциальности, позволяя пользователям настраивать количество шардов в зависимости от степени конфиденциальности данных. Высокие уровни конфиденциальности требуют большего количества шардов (и, следовательно, более высокие затраты), но обеспечивают дополнительную конфиденциальность для пользователей, обрабатывающих чувствительную информацию.
Каждая проверка, которую выполняет узел, записывается в блокчейн, создавая прозрачную и аудируемую запись процесса проверки. Этот неизменяемый реестр обеспечивает доверие и ответственность, которые традиционные, неоснованные на блокчейне подходы не могут достичь.
Это устанавливает новый стандарт для безопасной и непредвзятой верификации искусственного интеллекта.
В децентрализованной сети Mira честный труд вознаграждается.
Эксперты могут развертывать специализированные модели ИИ с помощью программного обеспечения узла и получать токены за точные проверки. Разработчики ИИ, в свою очередь, платят комиссию за каждую проверку, создавая самообеспечивающийся экономический цикл между спросом и предложением.
Этот подход связывает реальную ценность рабочих процессов Web2 с экосистемой Web3, прямо вознаграждая участников, таких как поставщики вывода и создатели моделей.
Но стимулы сопряжены с вызовами. В любой децентрализованной системе плохие участники будут пытаться эксплуатировать сеть, представляя фальшивые результаты, чтобы заработать вознаграждение без выполнения работы.
Так, как мы можем убедиться, что узлы действительно выполняют свои задачи точно и честно?
Для поддержания целостности Mira использует механизм Proof-of-Verification, вдохновленный proof-of-work Bitcoin, но разработанный для искусственного интеллекта. Вместо добычи блоков узлы должны доказать, что они выполнили задачи верификации, чтобы участвовать в процессе консенсуса.
Вот как это работает:
Proof-of-Verification создает сбалансированную систему, в которой узлы имеют экономическую мотивацию выполнять высококачественные проверки. Этот механизм обеспечивает безопасность и надежность сети со временем.
Вопрос таков: если подход Миры настолько эффективен, почему его не использует каждый?
Ответ заключается в компромиссах и сложностях внедрения такой системы в реальном мире. Добиться идеального баланса между быстрыми и точными оценками и управлением сложностями нескольких моделей - это непростая задача.
Одной из самых больших преград для Mira является задержка. Хотя использование ансамблей моделей позволяет выполнять проверки параллельно, синхронизация результатов и достижение согласия вызывает задержки. Процесс проходит только так быстро, как самый медленный узел.
В настоящее время это делает Mira идеальным для пакетной обработки выходных данных искусственного интеллекта - в случаях использования, где не требуются результаты в реальном времени. По мере роста сети с большим количеством узлов и доступностью вычислений, долгосрочная цель - достичь верификации в реальном времени, расширяя применимость Mira на более широкий спектр сценариев.
Помимо задержки, другие проблемы включают:
Сложность инженерии: оркестровка оценок по нескольким моделям и обеспечение плавной работы механизма консенсуса требует значительных инженерных усилий.
Требования к вычислениям: даже при использовании более маленьких моделей их одновременное выполнение в ансамблях увеличивает вычислительные требования.
Хороший дизайн механизма консенсуса: Способ достижения консенсуса - путем голосования большинства, взвешенной оценки или других методов - играет важную роль в надежности системы. В неоднозначных случаях ансамбли могут испытывать трудности с выравниванием, что приводит к несогласованным результатам.
Источник: Mira
API Mira легко интегрируется с любым приложением, аналогично GPT-4o OpenAI. Он не зависит от потребителя и приложений B2B, что делает его универсальным решением для различных случаев использования. Сегодня более десятка приложений используют инфраструктуру Mira.
Интеграции потребителей
С точки зрения потребителя, Мира уже обеспечивает поддержку AI-проверки для нескольких ранних AI-приложений:
Delphi Oracleэто последняя и, возможно, самая передовая интеграция. Этот искусственный интеллект, работающий в роли исследовательского помощника, позволяет @Delphi_Digitalчлены могут непосредственно взаимодействовать с исследовательским содержимым, задавать вопросы, уточнять моменты, интегрировать информацию о ценах и настраивать содержимое под различные уровни сложности.
Delphi Oracle использует технологию проверки Mira Network для доставки надежных и точных ответов. Путем проверки ответов с использованием нескольких моделей Mira снижает уровень галлюцинаций с ~30% до менее 5%, обеспечивая прочную основу доверия.
В основе Delphi Oracle лежит высокопроизводительный маршрутизатор запросов
Эта умная система маршрутизации, совмещенная с интеллектуальным кэшированием, обеспечивает оптимальную производительность за счет балансировки задержки, стоимости и качества.
Исследование Миры показало, что более маленькие, экономичные модели могут обрабатывать большинство запросов практически так же хорошо, как и более крупные модели. Это привело к снижению операционных издержек на 90%, при этом сохраняя высококачественные ответы, которые ожидают пользователи.
Хотя многие из этих приложений для потребителей все еще находятся на ранних стадиях, они подчеркивают способность Mira интегрироваться без проблем и поддерживать большие активные пользовательские базы. Не трудно представить, что тысячи приложений подключаются к экосистеме Mira, если опыт разработчика остается простым, а предложение остается ясным.
B2B Приложения
На фронте B2B Mira сосредотачивается на специализированных интеграциях в отраслях, где доверие и точность играют первостепенную роль, с начальным акцентом на здравоохранение и образование.
Ключевые приложения включают:
Окончательная цель Mira - предлагать собственно верифицированные поколения, где пользователи просто подключаются через API, так же, как OpenAI или Anthropic, и получают предварительно проверенные результаты до их возврата.
Они стремятся заменить существующие модели API, предоставляя высоконадежные версии существующих моделей (например, Mira-Claude-3.5-Sonnet или Mira-OpenAI-GPT-4o), усовершенствованных с встроенной надежностью, основанной на консенсусе.
Генеративный искусственный интеллект находится на ракете. СогласноBloomberg, рынок ожидается, что будет расти с поразительными темпами в 42% годовых, с доходом, превышающим $1 триллион к 2030 году. В этой огромной волне инструменты, которые улучшают скорость, точность и надежность рабочих процессов ИИ, захватят значительную долю.
Поскольку все больше предприятий интегрируют LLM в свои рабочие процессы - от чат-ботов для поддержки клиентов до сложных исследовательских помощников, возникает все большая потребность в надежных проверках моделей.
Организации будут искать инструменты, которые могут (1) измерять точность и надежность модели, (2) диагностировать неэффективность оперативности и параметров, (3) непрерывно мониторить производительность и дрейф, и (4) обеспечивать соответствие с появляющимися регулятивными каркасами в области безопасности искусственного интеллекта.
Звучит знакомо? Это сценарий, который мы уже видели раньше с MLOps (сокращение от «Machine Learning Operations»). По мере масштабирования машинного обучения в 2010-х годах инструменты для развертывания, отслеживания и обслуживания моделей стали необходимыми, создав многомиллиардный рынок. С развитием генеративного ИИ LLMOps движется по той же траектории.
Захват даже маленького кусочка триллионного рынка может привести этот субсектор к отметке в 100 миллиардов долларов к 2030 году.
Несколько стартапов Web2 уже позиционируют себя, предлагая инструменты для аннотирования данных, настройки моделей и оценки производительности:
• Braintrust ($36M raised)
• Vellum AI ($5M raised)
• Humanloop ($2.8M поднято)
Эти ранние участники заложили основу, но ситуация в сфере динамична. В 2025 году мы, вероятно, увидим рост стартапов в этом секторе. Некоторые из них могут специализироваться на нишевых оценочных метриках (например, обнаружение предвзятости и тестирование надежности), в то время как другие расширяют свои предложения, чтобы охватить всю жизненный цикл разработки искусственного интеллекта.
Крупные технологические компании, такие как основные облачные провайдеры и платформы искусственного интеллекта, вероятно, включат оценочные функции в свои предложения. В прошлом месяце,OpenAIввела оценки непосредственно на своей платформе. Чтобы оставаться конкурентоспособными, стартапы должны дифференцироваться посредством специализации, удобства использования и продвинутой аналитики.
Mira не является прямым конкурентом для этих стартапов или участников рынка. Вместо этого, она является поставщиком инфраструктуры, который без проблем интегрируется с обоими через API. Ключевое преимущество? Ей просто нужно работать.
Начальный рыночный размер Mira связан с LLMOps, но ее полный адресуемый рынок расширится до всей сферы искусственного интеллекта, потому что каждое приложение искусственного интеллекта будет нуждаться в более надежных выходных данных.
С точки зрения теории игр, Mira находится в уникальной ситуации. В отличие от других поставщиков моделей, таких как OpenAI, которые привязаны к поддержке своих собственных систем, Mira может интегрироваться с различными моделями. Это позволяет Mira выступать в качестве уровня доверия для искусственного интеллекта, предлагая надежность, которую ни один другой поставщик не может сравнить.
Дорожная карта Mira на 2025 год направлена на балансирование целостности, масштабируемости и участия сообщества на пути к полной децентрализации:
Фаза 1: Загрузка доверия (Где мы сегодня)
На ранней стадии проверенные операторы узлов обеспечивают надежность сети. Известные провайдеры вычислительных мощностей GPU выступают в качестве первой волны операторов, обрабатывая начальные операции и создавая прочную основу для роста.
Фаза 2: Прогрессивная децентрализация
Mira вводит разработанное дублирование, при котором несколько экземпляров того же модели верификатора обрабатывают каждый запрос. Хотя это увеличивает затраты на верификацию, это важно для выявления и удаления злонамеренных операторов. Путем сравнения результатов на различных узлах злоумышленников можно выявить на ранних стадиях.
В зрелой форме Mira будет использовать случайное шардирование для распределения задач по проверке. Это делает коллузию экономически невыгодной и укрепляет устойчивость и безопасность сети по мере ее масштабирования.
Фаза 3: Синтетическая модель основы
Здесь Mira будет предлагать поколения с нативной верификацией. Пользователи будут подключаться через API, аналогичный OpenAI или Anthropic, и получать предварительно проверенные выходные данные - надежные, готовые к использованию результаты без дополнительной проверки.
В ближайшие месяцы Mira готовится к нескольким важным событиям:
Mira расширяет возможности участия сообщества через своиПрограмма делегирования узлаЭта инициатива позволяет каждому поддерживать сеть — не требуется техническая экспертиза.
Процесс прост: вы можете арендовать вычислительные ресурсы и делегировать их курируемой группе операторов узлов. Взносы могут варьироваться от $35 до $750, и предлагаются вознаграждения за поддержку сети. Mira управляет всей сложной инфраструктурой, поэтому делегаты узлов могут расслабиться, наблюдать за ростом сети и получать прибыль.
Сегодня у Миры есть небольшая, но крепкая команда, в основном сосредоточенная на инженерии.
Есть 3 сооснователя:
Вместе они объединяют инвестиционный талант, техническое инновационное мышление и продуктовое руководство, чтобы реализовать видение Mira по децентрализованной проверке ИИ. Mira привлекла $9 млн. раунд заложниковв июле 2024 года под руководством BITKRAFT и Framework Ventures.
Приятно видеть, как команда Crypto AI решает фундаментальную проблему ИИ Web2 — делает ИИ лучше, а не играет в спекулятивные игры в пузыре криптовалюты.
Индустрия просыпается и понимает важность верификации. Полагаться на "ощущения" уже недостаточно. В скором времени каждому приложению и рабочему процессу ИИ понадобится надлежащий процесс верификации, и несложно представить будущие регулятивные нормы, требующие этих процессов для обеспечения безопасности.
Подход Миры использует несколько моделей для независимой проверки результатов, избегая зависимости от одной централизованной модели. Эта децентрализованная структура усиливает доверие и снижает риски предвзятости и манипуляции.
И давайте рассмотрим, что произойдет, если мы достигнем ИИ общего уровня в ближайшие годы (реальная возможность).
КакАнанд Айер (@AIкак отмечает Canonical, если ИИ может незаметно манипулировать решениями и кодом, как можно доверять системам, тестирующим эти поведения? Умные люди думают вперед.Исследования Anthropicподчеркивает насущность, выделяя оценки как критический инструмент для выявления потенциально опасных возможностей искусственного интеллекта до того, как они превратятся в проблемы.
Обеспечивая радикальную прозрачность, блокчейны добавляют мощный уровень защиты от недобросовестных систем искусственного интеллекта. Бесдоверительные механизмы консенсуса обеспечивают проверку безопасности тысячами независимых узлов (как на Mira), существенно снижая риск атак Сибиля.
Mira гонится за огромным рынком с явным спросом на решение, которое работает. Но вызовы реальны. Улучшение задержки, точности и эффективности затрат потребует неусыпных инженерных усилий и времени. Команде придется постоянно демонстрировать, что их подход измеримо лучше существующих альтернатив.
Основная инновация заключается в бинаризации и расщеплении процесса Mira. Этот "секретный соус" обещает решить проблемы масштабируемости и доверия. Для успеха Mira эта технология должна выполнить свое обещание.
В любой децентрализованной сети дизайн токена и стимулирования являются решающими факторами. Успех Mira будет зависеть от того, насколько хорошо эти механизмы выравнивают интересы участников, сохраняя при этом целостность сети.
Хотя детали токеномики Mira остаются в секрете, я ожидаю, что команда раскроет больше по мере приближения запуска токена в начале 2025 года.
«Мы обнаружили, что команды инженеров, которые проводят отличные оценки, двигаются значительно быстрее - до 10 раз быстрее - чем те, кто просто наблюдает за тем, что происходит в производстве, и пытается исправить их импровизированным образом», - Анкур Гойял, Брейнтраст
В мире, управляемом искусственным интеллектом, доверие - это все.
По мере усложнения моделей, надежные проверки будут лежать в основе каждого великого продукта искусственного интеллекта. Они помогают нам бороться с галлюцинациями, устранять предвзятость и обеспечивать соответствие выводов искусственного интеллекта фактическим потребностям пользователей.
Mira автоматизирует проверки, снижая затраты и зависимость от человеческого вмешательства. Это обеспечивает более быстрое выполнение, вносит корректировки в режиме реального времени и предоставляет масштабируемые решения без узких мест.
В конечном итоге, Mira стремится стать API для доверия - децентрализованной системой верификации, на которую может положиться каждый разработчик и приложение и получить проверенные ответы.
Это смелый, амбициозный и именно то, что нужно миру искусственного интеллекта.
Спасибо за чтение, Teng Yan
Пересылка оригинального заголовка: Mira: Доверенный проверенный ИИ
Галлюцинации: это опыт, связанный с явным восприятием чего-то, чего нет на самом деле.
Андрей Карпати называет искусственный интеллект «машинами мечты». Он считает, что галлюцинации - это не ошибка, а особенность. Бесполезно пытаться полностью их искоренить. И честно говоря, в этом есть что-то поэтическое.
Большие языковые модели (LLM) - это художник, творец. Она мечтает в коде, порождает идеи из ниоткуда и извлекает смысл из данных. Но для того чтобы искусственный интеллект перешел от прекрасных грез к практическим, повседневным применениям, мы должны ограничить эти галлюцинации.
Коэффициенты ошибок для LLM остаются высокими во многих задачах, часто колеблясь около 30%. На этом уровне LLM все еще требуют участия человека для достижения приемлемого уровня точности.
Но когда мы достигаем этой недостижимой точности в 99.x% - где результаты надежны без человеческого контроля - происходит волшебство. Это порог, где искусственный интеллект достигает надежности на уровне человека, открывая бесконечную вселенную использования, ранее недоступную.
Однако достичь такого уровня точности - это непростая задача. Это требует неустанного инженерного труда и инноваций.
История @Mira_Network Начинается здесь. Но прежде чем мы углубимся в тему, давайте поговорим о разработке LLM и о том, почему верификация становится следующим большим событием в области ИИ.
Разработка LLM является последним шагом в пути глубокого обучения - отличается от традиционных практик разработки программного обеспечения, которые мы оттачивали более 50 лет. LLM, которые существуют всего около трех лет, полностью меняют ситуацию, переходя от детерминистического мышления (если X, то Y) к вероятностному рассуждению (если X, то... возможно, Y?).
Это означает, что инфраструктура для мира, основанного на искусственном интеллекте, требует совершенно нового набора инструментов и рабочих процессов. Однако многие из этих инструментов по-прежнему находятся внутри лабораторий исследований, создавших LLMs.
Хорошая новость в том, что эти инструменты начинают попадать в общественное владение, открывая мир возможностей для разработчиков повсюду.
В конце этого нового рабочего процесса находится важная часть головоломки: оценки и верификации. Сегодня наша цель - это они. Они отвечают на фундаментальный вопрос: работает ли искусственный интеллект хорошо?
Доверие является основой любого великого продукта искусственного интеллекта.
Поскольку искусственный интеллект становится все более неотъемлемой частью нашей жизни, сама технология остается хрупкой. Ошибки случаются, и когда это происходит, доверие быстро подрывается. Пользователи ожидают, что искусственный интеллект будет точным, без предвзятости и действительно полезным, но без надежных систем, обеспечивающих это, растет фрустрация - а фрустрация приводит к оттоку.
Вот где вступают в силу проверки.
Проверки действуют как защитный механизм. Они являются слоем контроля качества, на котором разработчики полагаются для улучшения результатов и создания систем, которым пользователи могут доверять.
Mira решает основную проблему Web2 с помощью недоверительной прозрачности криптовалюты. Используя децентрализованную сеть узлов верификаторов, Mira гарантирует, что выводы искусственного интеллекта точно и независимо проверены.
Допустим, у вас есть абзац вывода из LLM о городе Париже. Как вы проверяете, что он точен? Это сложно сделать, потому что вокруг всего, начиная от утверждений и структуры контента, заканчивая стилем письма, есть так много тонкостей.
Вот где вступает Мира.
Видение Миры смелое: создать сеть уровня 1, которая обеспечивает децентрализованную, масштабируемую и точную верификацию выводов искусственного интеллекта. Используя коллективную мудрость, Mira уменьшает предвзятость и галлюцинации, решая основные проблемы, такие как справедливость и стоимость, доказывая, как блокчейн действительно может усовершенствовать искусственный интеллект.
Источник: Mira
Ранние результаты обнадеживают. В недавнемисследование, опубликованное на Arxiv, Mira продемонстрировала, что использование нескольких моделей для генерации выходных данных и требование консенсуса значительно повышает точность. Точность достигла 95,6% при трех моделях, по сравнению с 73,1% для выходных данных одной модели.
Два ключевых элемента дизайна определяют подход Mira:
AI-сгенерированные выводы варьируются от простых утверждений до обширных эссе благодаря близкому к нулю стоимости генерации контента. Но это изобилие сложности создает вызов: как обеспечить точность такого разнообразного вывода?
Решение Mira простое: разбейте это на части.
@Mira_Networkпреобразует сложное содержимое, созданное искусственным интеллектом, в более мелкие, усваиваемые части, которые модели искусственного интеллекта могут объективно рассмотреть в процессе, называемом шардингом.
Стандартизируя результаты и разбивая их на отдельные, подтверждаемые утверждения, Mira обеспечивает возможность последовательной оценки каждой части, устраняя неоднозначность, которая часто возникает при оценках.
Например, рассмотрим этот составной оператор:
«Фотосинтез происходит в растениях для преобразования солнечной энергии, а пчелы играют критическую роль в опылении, перенося пыльцу между цветами».
На первый взгляд кажется, что это просто проверить. Но когда передается нескольким моделям, особенности интерпретации могут привести к разным ответам. Преобразование контента Mira через шардинг решает эту проблему, разделяя утверждение на два независимых заявления:
После разделения каждое требование подвергается бинаризации, где оно преобразуется в множественный выбор вопроса. Эти вопросы распределяются по сети узлов, запускающих модели искусственного интеллекта. Используя метод ансамблевой верификации Mira, модели сотрудничают для оценки и подтверждения достоверности каждого требования.
В настоящее время возможности фрагментации и бинаризации контента Mira сосредоточены на текстовых вводах. К началу 2025 года эти процессы будут расширены для поддержки мультимодальных вводов, таких как изображения и видео.
Mira разработала передовую систему верификации, которая объединяет преимущества нескольких моделей искусственного интеллекта для оценки качества выходных данных AI.
Давайте разберем это.
Традиционные автоматические оценки часто полагаются на единственную большую языковую модель (LLM), как GPT-4, в качестве окончательного арбитра качества. Несмотря на функциональность, такой подход имеет существенные недостатки: это дорого, подвержено предубеждениям и ограничено особенностями и «личностью», присущими моделям.
Прорыв Mira заключается в переходе от полной зависимости от одной масштабной модели к использованиюансамбль разнообразных LLMs. Этот ансамбль превосходит в задачах, где фактическая точность важнее творческой изящности, снижая уровень ошибок и обеспечивая более надежные и последовательные проверки.
Ансамблевые методы были хорошо изучены в задачах машинного обучения, таких как классификация, и Mira теперь внедряет это в верификацию.
В центре системы Mira находится Панель верификаторов LLM (PoLL) - совместная сеть моделей, которые работают вместе, чтобы проверять результаты. Представьте себе разнообразную панель экспертов, высказывающих свое мнение по решению, а не оставляющих его на усмотрение одиночного, потенциально предвзятого судьи.
И это не просто желание, а основано на исследованиях. Взгляните на диаграмму ниже:
Исследование Cohereопубликованов апреле 2024 года было продемонстрировано, что панель из трех более маленьких моделей - GPT-3.5, Claude-3 Haiku и Command R - более точно соответствуют человеческим суждениям, чем только GPT-4. Удивительно, что этот метод ансамбля также стоит в 7 раз дешевле.
Mira теперь внедряет этот исследовательский метод, масштабно развертывая свой метод ансамблеверификации. Представленные ими внутренние результаты до сих пор убедительны:
• Снижение погрешности с 80% до 5% для сложных задач рассуждения.
• Улучшение скорости и стоимости в 5 раз по сравнению с человеческой верификацией.
Это нелегкая задача. За счет механизмов консенсуса разнообразный ансамбль моделей Mira эффективно фильтрует галлюцинации и уравновешивает индивидуальные предубеждения моделей. Вместе они достигают того, что больше, чем сумма их частей: верификации, которые быстрее, дешевле и более соответствуют нашим потребностям.
Подводя итоги, система верификации Mira построена на двух фундаментальных принципах проектирования:
Поддержание разнообразного набора моделей является важным условием для получения продуктов высокого качества, что делает дизайн Mira идеальным для децентрализованной архитектуры. Исключение одиночных точек отказа критически важно для любого верификационного продукта.
Mira использует блокчейн-подход, чтобы гарантировать, что ни одно отдельное лицо не может манипулировать результатами. Премисса проста: выводы, сгенерированные искусственным интеллектом, должны быть проверены так же, как изменения состояния блокчейна.
Проверка происходит через сеть независимых узлов, операторы которых получают экономическое стимулирование для выполнения точных проверок. Выравнивая вознаграждение с честностью, система Mira отпугивает плохих участников и обеспечивает надежные результаты.
Вот как это работает:
Mira обеспечивает конфиденциальность данных путем разделения входных данных на более мелкие части, гарантируя, что ни один узел не имеет доступа к полному набору данных.
Для дополнительной безопасности Mira поддерживает динамические уровни конфиденциальности, позволяя пользователям настраивать количество шардов в зависимости от степени конфиденциальности данных. Высокие уровни конфиденциальности требуют большего количества шардов (и, следовательно, более высокие затраты), но обеспечивают дополнительную конфиденциальность для пользователей, обрабатывающих чувствительную информацию.
Каждая проверка, которую выполняет узел, записывается в блокчейн, создавая прозрачную и аудируемую запись процесса проверки. Этот неизменяемый реестр обеспечивает доверие и ответственность, которые традиционные, неоснованные на блокчейне подходы не могут достичь.
Это устанавливает новый стандарт для безопасной и непредвзятой верификации искусственного интеллекта.
В децентрализованной сети Mira честный труд вознаграждается.
Эксперты могут развертывать специализированные модели ИИ с помощью программного обеспечения узла и получать токены за точные проверки. Разработчики ИИ, в свою очередь, платят комиссию за каждую проверку, создавая самообеспечивающийся экономический цикл между спросом и предложением.
Этот подход связывает реальную ценность рабочих процессов Web2 с экосистемой Web3, прямо вознаграждая участников, таких как поставщики вывода и создатели моделей.
Но стимулы сопряжены с вызовами. В любой децентрализованной системе плохие участники будут пытаться эксплуатировать сеть, представляя фальшивые результаты, чтобы заработать вознаграждение без выполнения работы.
Так, как мы можем убедиться, что узлы действительно выполняют свои задачи точно и честно?
Для поддержания целостности Mira использует механизм Proof-of-Verification, вдохновленный proof-of-work Bitcoin, но разработанный для искусственного интеллекта. Вместо добычи блоков узлы должны доказать, что они выполнили задачи верификации, чтобы участвовать в процессе консенсуса.
Вот как это работает:
Proof-of-Verification создает сбалансированную систему, в которой узлы имеют экономическую мотивацию выполнять высококачественные проверки. Этот механизм обеспечивает безопасность и надежность сети со временем.
Вопрос таков: если подход Миры настолько эффективен, почему его не использует каждый?
Ответ заключается в компромиссах и сложностях внедрения такой системы в реальном мире. Добиться идеального баланса между быстрыми и точными оценками и управлением сложностями нескольких моделей - это непростая задача.
Одной из самых больших преград для Mira является задержка. Хотя использование ансамблей моделей позволяет выполнять проверки параллельно, синхронизация результатов и достижение согласия вызывает задержки. Процесс проходит только так быстро, как самый медленный узел.
В настоящее время это делает Mira идеальным для пакетной обработки выходных данных искусственного интеллекта - в случаях использования, где не требуются результаты в реальном времени. По мере роста сети с большим количеством узлов и доступностью вычислений, долгосрочная цель - достичь верификации в реальном времени, расширяя применимость Mira на более широкий спектр сценариев.
Помимо задержки, другие проблемы включают:
Сложность инженерии: оркестровка оценок по нескольким моделям и обеспечение плавной работы механизма консенсуса требует значительных инженерных усилий.
Требования к вычислениям: даже при использовании более маленьких моделей их одновременное выполнение в ансамблях увеличивает вычислительные требования.
Хороший дизайн механизма консенсуса: Способ достижения консенсуса - путем голосования большинства, взвешенной оценки или других методов - играет важную роль в надежности системы. В неоднозначных случаях ансамбли могут испытывать трудности с выравниванием, что приводит к несогласованным результатам.
Источник: Mira
API Mira легко интегрируется с любым приложением, аналогично GPT-4o OpenAI. Он не зависит от потребителя и приложений B2B, что делает его универсальным решением для различных случаев использования. Сегодня более десятка приложений используют инфраструктуру Mira.
Интеграции потребителей
С точки зрения потребителя, Мира уже обеспечивает поддержку AI-проверки для нескольких ранних AI-приложений:
Delphi Oracleэто последняя и, возможно, самая передовая интеграция. Этот искусственный интеллект, работающий в роли исследовательского помощника, позволяет @Delphi_Digitalчлены могут непосредственно взаимодействовать с исследовательским содержимым, задавать вопросы, уточнять моменты, интегрировать информацию о ценах и настраивать содержимое под различные уровни сложности.
Delphi Oracle использует технологию проверки Mira Network для доставки надежных и точных ответов. Путем проверки ответов с использованием нескольких моделей Mira снижает уровень галлюцинаций с ~30% до менее 5%, обеспечивая прочную основу доверия.
В основе Delphi Oracle лежит высокопроизводительный маршрутизатор запросов
Эта умная система маршрутизации, совмещенная с интеллектуальным кэшированием, обеспечивает оптимальную производительность за счет балансировки задержки, стоимости и качества.
Исследование Миры показало, что более маленькие, экономичные модели могут обрабатывать большинство запросов практически так же хорошо, как и более крупные модели. Это привело к снижению операционных издержек на 90%, при этом сохраняя высококачественные ответы, которые ожидают пользователи.
Хотя многие из этих приложений для потребителей все еще находятся на ранних стадиях, они подчеркивают способность Mira интегрироваться без проблем и поддерживать большие активные пользовательские базы. Не трудно представить, что тысячи приложений подключаются к экосистеме Mira, если опыт разработчика остается простым, а предложение остается ясным.
B2B Приложения
На фронте B2B Mira сосредотачивается на специализированных интеграциях в отраслях, где доверие и точность играют первостепенную роль, с начальным акцентом на здравоохранение и образование.
Ключевые приложения включают:
Окончательная цель Mira - предлагать собственно верифицированные поколения, где пользователи просто подключаются через API, так же, как OpenAI или Anthropic, и получают предварительно проверенные результаты до их возврата.
Они стремятся заменить существующие модели API, предоставляя высоконадежные версии существующих моделей (например, Mira-Claude-3.5-Sonnet или Mira-OpenAI-GPT-4o), усовершенствованных с встроенной надежностью, основанной на консенсусе.
Генеративный искусственный интеллект находится на ракете. СогласноBloomberg, рынок ожидается, что будет расти с поразительными темпами в 42% годовых, с доходом, превышающим $1 триллион к 2030 году. В этой огромной волне инструменты, которые улучшают скорость, точность и надежность рабочих процессов ИИ, захватят значительную долю.
Поскольку все больше предприятий интегрируют LLM в свои рабочие процессы - от чат-ботов для поддержки клиентов до сложных исследовательских помощников, возникает все большая потребность в надежных проверках моделей.
Организации будут искать инструменты, которые могут (1) измерять точность и надежность модели, (2) диагностировать неэффективность оперативности и параметров, (3) непрерывно мониторить производительность и дрейф, и (4) обеспечивать соответствие с появляющимися регулятивными каркасами в области безопасности искусственного интеллекта.
Звучит знакомо? Это сценарий, который мы уже видели раньше с MLOps (сокращение от «Machine Learning Operations»). По мере масштабирования машинного обучения в 2010-х годах инструменты для развертывания, отслеживания и обслуживания моделей стали необходимыми, создав многомиллиардный рынок. С развитием генеративного ИИ LLMOps движется по той же траектории.
Захват даже маленького кусочка триллионного рынка может привести этот субсектор к отметке в 100 миллиардов долларов к 2030 году.
Несколько стартапов Web2 уже позиционируют себя, предлагая инструменты для аннотирования данных, настройки моделей и оценки производительности:
• Braintrust ($36M raised)
• Vellum AI ($5M raised)
• Humanloop ($2.8M поднято)
Эти ранние участники заложили основу, но ситуация в сфере динамична. В 2025 году мы, вероятно, увидим рост стартапов в этом секторе. Некоторые из них могут специализироваться на нишевых оценочных метриках (например, обнаружение предвзятости и тестирование надежности), в то время как другие расширяют свои предложения, чтобы охватить всю жизненный цикл разработки искусственного интеллекта.
Крупные технологические компании, такие как основные облачные провайдеры и платформы искусственного интеллекта, вероятно, включат оценочные функции в свои предложения. В прошлом месяце,OpenAIввела оценки непосредственно на своей платформе. Чтобы оставаться конкурентоспособными, стартапы должны дифференцироваться посредством специализации, удобства использования и продвинутой аналитики.
Mira не является прямым конкурентом для этих стартапов или участников рынка. Вместо этого, она является поставщиком инфраструктуры, который без проблем интегрируется с обоими через API. Ключевое преимущество? Ей просто нужно работать.
Начальный рыночный размер Mira связан с LLMOps, но ее полный адресуемый рынок расширится до всей сферы искусственного интеллекта, потому что каждое приложение искусственного интеллекта будет нуждаться в более надежных выходных данных.
С точки зрения теории игр, Mira находится в уникальной ситуации. В отличие от других поставщиков моделей, таких как OpenAI, которые привязаны к поддержке своих собственных систем, Mira может интегрироваться с различными моделями. Это позволяет Mira выступать в качестве уровня доверия для искусственного интеллекта, предлагая надежность, которую ни один другой поставщик не может сравнить.
Дорожная карта Mira на 2025 год направлена на балансирование целостности, масштабируемости и участия сообщества на пути к полной децентрализации:
Фаза 1: Загрузка доверия (Где мы сегодня)
На ранней стадии проверенные операторы узлов обеспечивают надежность сети. Известные провайдеры вычислительных мощностей GPU выступают в качестве первой волны операторов, обрабатывая начальные операции и создавая прочную основу для роста.
Фаза 2: Прогрессивная децентрализация
Mira вводит разработанное дублирование, при котором несколько экземпляров того же модели верификатора обрабатывают каждый запрос. Хотя это увеличивает затраты на верификацию, это важно для выявления и удаления злонамеренных операторов. Путем сравнения результатов на различных узлах злоумышленников можно выявить на ранних стадиях.
В зрелой форме Mira будет использовать случайное шардирование для распределения задач по проверке. Это делает коллузию экономически невыгодной и укрепляет устойчивость и безопасность сети по мере ее масштабирования.
Фаза 3: Синтетическая модель основы
Здесь Mira будет предлагать поколения с нативной верификацией. Пользователи будут подключаться через API, аналогичный OpenAI или Anthropic, и получать предварительно проверенные выходные данные - надежные, готовые к использованию результаты без дополнительной проверки.
В ближайшие месяцы Mira готовится к нескольким важным событиям:
Mira расширяет возможности участия сообщества через своиПрограмма делегирования узлаЭта инициатива позволяет каждому поддерживать сеть — не требуется техническая экспертиза.
Процесс прост: вы можете арендовать вычислительные ресурсы и делегировать их курируемой группе операторов узлов. Взносы могут варьироваться от $35 до $750, и предлагаются вознаграждения за поддержку сети. Mira управляет всей сложной инфраструктурой, поэтому делегаты узлов могут расслабиться, наблюдать за ростом сети и получать прибыль.
Сегодня у Миры есть небольшая, но крепкая команда, в основном сосредоточенная на инженерии.
Есть 3 сооснователя:
Вместе они объединяют инвестиционный талант, техническое инновационное мышление и продуктовое руководство, чтобы реализовать видение Mira по децентрализованной проверке ИИ. Mira привлекла $9 млн. раунд заложниковв июле 2024 года под руководством BITKRAFT и Framework Ventures.
Приятно видеть, как команда Crypto AI решает фундаментальную проблему ИИ Web2 — делает ИИ лучше, а не играет в спекулятивные игры в пузыре криптовалюты.
Индустрия просыпается и понимает важность верификации. Полагаться на "ощущения" уже недостаточно. В скором времени каждому приложению и рабочему процессу ИИ понадобится надлежащий процесс верификации, и несложно представить будущие регулятивные нормы, требующие этих процессов для обеспечения безопасности.
Подход Миры использует несколько моделей для независимой проверки результатов, избегая зависимости от одной централизованной модели. Эта децентрализованная структура усиливает доверие и снижает риски предвзятости и манипуляции.
И давайте рассмотрим, что произойдет, если мы достигнем ИИ общего уровня в ближайшие годы (реальная возможность).
КакАнанд Айер (@AIкак отмечает Canonical, если ИИ может незаметно манипулировать решениями и кодом, как можно доверять системам, тестирующим эти поведения? Умные люди думают вперед.Исследования Anthropicподчеркивает насущность, выделяя оценки как критический инструмент для выявления потенциально опасных возможностей искусственного интеллекта до того, как они превратятся в проблемы.
Обеспечивая радикальную прозрачность, блокчейны добавляют мощный уровень защиты от недобросовестных систем искусственного интеллекта. Бесдоверительные механизмы консенсуса обеспечивают проверку безопасности тысячами независимых узлов (как на Mira), существенно снижая риск атак Сибиля.
Mira гонится за огромным рынком с явным спросом на решение, которое работает. Но вызовы реальны. Улучшение задержки, точности и эффективности затрат потребует неусыпных инженерных усилий и времени. Команде придется постоянно демонстрировать, что их подход измеримо лучше существующих альтернатив.
Основная инновация заключается в бинаризации и расщеплении процесса Mira. Этот "секретный соус" обещает решить проблемы масштабируемости и доверия. Для успеха Mira эта технология должна выполнить свое обещание.
В любой децентрализованной сети дизайн токена и стимулирования являются решающими факторами. Успех Mira будет зависеть от того, насколько хорошо эти механизмы выравнивают интересы участников, сохраняя при этом целостность сети.
Хотя детали токеномики Mira остаются в секрете, я ожидаю, что команда раскроет больше по мере приближения запуска токена в начале 2025 года.
«Мы обнаружили, что команды инженеров, которые проводят отличные оценки, двигаются значительно быстрее - до 10 раз быстрее - чем те, кто просто наблюдает за тем, что происходит в производстве, и пытается исправить их импровизированным образом», - Анкур Гойял, Брейнтраст
В мире, управляемом искусственным интеллектом, доверие - это все.
По мере усложнения моделей, надежные проверки будут лежать в основе каждого великого продукта искусственного интеллекта. Они помогают нам бороться с галлюцинациями, устранять предвзятость и обеспечивать соответствие выводов искусственного интеллекта фактическим потребностям пользователей.
Mira автоматизирует проверки, снижая затраты и зависимость от человеческого вмешательства. Это обеспечивает более быстрое выполнение, вносит корректировки в режиме реального времени и предоставляет масштабируемые решения без узких мест.
В конечном итоге, Mira стремится стать API для доверия - децентрализованной системой верификации, на которую может положиться каждый разработчик и приложение и получить проверенные ответы.
Это смелый, амбициозный и именно то, что нужно миру искусственного интеллекта.
Спасибо за чтение, Teng Yan