Эволюция доступа к данным Web3: обзор индексаторов и связанных проектов

Ядро технологии блокчейн заключается в данных, которые являются основой для разработки децентрализованных приложений (dApp). Хотя в настоящее время большинство обсуждений сосредоточено на доступности данных (DA), то есть на обеспечении доступа всех участников сети к актуальным данным о транзакциях для их проверки, существует еще один не менее важный, но часто игнорируемый аспект: доступность данных.

В эпоху модульного блокчейна решения DA стали неотъемлемой частью. Эти решения обеспечивают доступ всех участников к данным о транзакциях, что позволяет осуществлять валидацию в реальном времени и поддерживать целостность сети. Тем не менее, функции уровня DA больше похожи на временную доску объявлений, а не на постоянную базу данных. Это означает, что данные не будут храниться неопределенно, а будут удаляться с течением времени, как постеры на доске объявлений в конечном итоге заменяются новыми постерами.

В сравнении с этим, доступность данных сосредоточена на способности извлекать исторические данные, что имеет решающее значение для разработки dApp и проведения анализа блокчейна. Этот аспект особенно важен для задач, требующих доступа к прошлым данным для обеспечения точного представления и выполнения. Несмотря на то, что доступность данных редко обсуждается, она столь же важна, как и доступность данных. Оба играют разные, но взаимодополняющие роли в экосистеме блокчейна, и комплексный подход к управлению данными должен одновременно решать обе эти проблемы, чтобы поддерживать мощные и эффективные блокчейн-приложения.

Традиционные методы поиска данных в блокчейне

С момента своего появления блокчейн кардинально изменил инфраструктуру, способствуя созданию децентрализованных приложений (dApp) в различных областях, таких как игры, финансы и социальные сети (. Однако создание этих dApp требует доступа к огромному объему данных блокчейна, что является как трудным, так и дорогостоящим.

Для разработчиков dApp одним из вариантов является хостинг и запуск собственного архива RPC-узла. Эти узлы с самого начала хранят все исторические данные блокчейна, что позволяет полностью получить доступ к данным. Однако поддержка архивного узла обходится дорого, а возможности запросов ограничены, что не позволяет запрашивать данные в формате, необходимом разработчикам. Хотя запуск более дешевых узлов является вариантом, возможности извлечения данных этих узлов ограничены, что может повлиять на работу dApp.

Другой метод заключается в использовании провайдеров коммерческих RPC-узлов. Эти провайдеры отвечают за стоимость и управление узлами и предоставляют данные через RPC-точки. Общие RPC-точки бесплатны, но имеют ограничения по скорости, что может негативно сказаться на пользовательском опыте dApp. Частные RPC-точки обеспечивают лучшую производительность за счет уменьшения перегрузки, но даже для простого извлечения данных требуется значительное количество обратных запросов. Это делает их трудоемкими в запросах и неэффективными для сложных запросов данных. Кроме того, частные RPC-точки обычно трудно масштабировать и не совместимы с различными сетями.

Лучший выбор: Блокчейн индексатор

Индексаторы блокчейна играют ключевую роль в организации данных в цепочке и их отправке в базу данных для удобства запроса, именно поэтому их часто называют "Гуглом блокчейна". Их работа заключается в индексации данных блокчейна и использовании API, таких как GraphQL, через язык запросов, подобный SQL, ), чтобы сделать эти данные доступными в любое время. Предоставляя единый интерфейс для запроса данных, индексаторы позволяют разработчикам быстро и точно извлекать необходимую информацию с помощью стандартизированного языка запросов, значительно упрощая процесс.

Различные типы индексаторов оптимизируют извлечение данных различными способами:

1. Полный узловой индексатор: извлекает данные напрямую из полного узла блокчейна, обеспечивая полную и точную информацию, но требует значительных объемов хранения и вычислительных мощностей.

2. Легковесный индексатор: полагается на полные узлы для получения определенных данных по мере необходимости, снижая требования к хранению, но возможно увеличивая время запроса.

3. Специальный индексатор: оптимизирован для определенных типов данных или конкретной блокчейна, таких как данные NFT или сделки DeFi.

4. Агрегирующий индексатор: извлекает данные из нескольких блокчейнов и источников (, включая оффлайн информацию ), предоставляя унифицированный интерфейс для запросов, что особенно полезно для многосетевых dApp.

Только для Ethereum требуется 3 ТБ пространства для хранения, и с ростом блокчейна объем данных, хранящихся в архивных узлах Erigon, также продолжает увеличиваться. Протокол индексирования разворачивает несколько индексаторов, которые могут эффективно индексировать и быстро запрашивать большие объемы данных, что невозможно для RPC.

Индексы также поддерживают сложные запросы, позволяют легко фильтровать данные по различным критериям и анализировать данные после извлечения. Некоторые индексаторы позволяют агрегировать данные из нескольких источников, избегая развертывания нескольких API в многосетевых dApp. Распределяясь по нескольким узлам, индексаторы обеспечивают повышенную безопасность и производительность, в то время как провайдеры RPC могут сталкиваться с перебоями и простоями из-за своей централизованной природы.

В целом, по сравнению с поставщиками RPC-узлов, индексаторы повышают эффективность и надежность извлечения данных, одновременно снижая затраты на развертывание одного узла. Это делает протокол индексатора блокчейна предпочтительным выбором для разработчиков dApp.

Примеры использования индексатора

Как упоминалось ранее, для создания dApp необходимо извлекать и считывать данные из блокчейна, чтобы обеспечить его функционирование. Это касается любых типов dApp, таких как DeFi, NFT-платформы, игры и даже социальные сети, поскольку эти платформы сначала должны считывать данные, чтобы выполнять другие транзакции.

( DeFi

Дефи-протоколам нужна разная информация, чтобы предоставить пользователям конкретные цены, коэффициенты, сборы и т. д. Автоматический маркет-мейкер )AMM### требует определенной информации о ценах и ликвидности пулов, чтобы рассчитать ставки свопа, в то время как кредитные протоколы используют коэффициент использования для определения ставок заемных средств и соотношения долгов при ликвидации. Ввод этой информации в dApp является необходимым перед расчетом ставок, которые будут применены к пользователям.

( игра

GameFi требует быстрого индексирования и доступа к данным, чтобы обеспечить пользователям плавный игровой процесс. Только с помощью быстрого извлечения и выполнения данных игры Web3 могут по производительности соперничать с играми Web2, привлекая больше пользователей. Эти игры требуют данных о праве собственности на землю, балансе токенов внутри игры, игровых операциях и т.д. С помощью индексатора они могут лучше обеспечить стабильный поток данных и стабильное время безотказной работы, чтобы предоставить идеальный игровой опыт.

) НФТ

Рынок NFT и платформы кредитования нуждаются в индексированных данных для доступа к различной информации, такой как метаданные NFT, данные о праве собственности и передаче, информация о роялти и т.д. Быстрая индексация таких данных позволяет избежать просмотра каждого NFT по отдельности для поиска данных о праве собственности или атрибутах NFT.

Будь то DeFi автоматические маркет-мейкеры с информацией о ценах и ликвидности ###AMM### или приложения SocialFi, которые требуют обновления постов для новых пользователей, быстрая возможность поиска данных имеет решающее значение для нормальной работы dApp. Благодаря индексатору они могут эффективно и точно извлекать данные, обеспечивая тем самым плавный пользовательский опыт.

( анализ

Индексатор предоставляет метод извлечения конкретных данных из сырых данных блокчейна ), включая события смарт-контрактов в каждом блоке ###. Это открывает возможности для более конкретного анализа данных, что, в свою очередь, предоставляет всестороннее понимание.

Например, соглашение о вечных сделках может определить, какие токены имеют большой объем торговли и высокие комиссии, и, таким образом, решить, включать ли эти токены в качестве вечных контрактов на своей платформе. Разработчики DEX могут создать панели управления для своих продуктов, чтобы глубже понять, какие пулы ликвидности имеют наивысшую доходность или наибольшую ликвидность. Также можно создать общие панели управления, которые позволят разработчикам свободно и гибко запрашивать любой тип данных для отображения на графиках.

Поскольку доступно несколько индексаторов блокчейна, распознавание различий между индексными протоколами имеет решающее значение для обеспечения выбора разработчиками наиболее подходящего для их потребностей индексатора.

Обзор индексатора блокчейна

( Граф

The Graph — это первый протокол индексирования, запущенный на Ethereum, который позволяет легко запрашивать данные о транзакциях, ранее труднодоступные. Он использует подграфы для определения и фильтрации подмножеств данных, собранных с блокчейна, например, всех транзакций, связанных с пулом USDC/ETH на каком-либо DEX.

Используя доказательство индекса, индексатор ставит нативные токены GRT для индексации и запросов, делегаторы могут выбрать ставить свои токены здесь. Кураторы могут получить доступ к высококачественным субграфам, чтобы помочь индексатору определить, для каких субграфов собирать данные для получения наилучших сборов за запросы. В процессе перехода к большей степени децентрализованности The Graph в конечном итоге прекратит свои хостинговые услуги и потребует обновления субграфов на своей сети, а также предоставит обновление индексаторов.

Его инфраструктура позволяет снизить среднюю стоимость до 40 долларов за миллион запросов, что значительно ниже стоимости собственных узлов. Используя файловые источники данных, он также поддерживает параллельное индексирование как онлайновых, так и оффлайновых данных для эффективного извлечения информации.

Награды индексатора The Graph стабильно растут в последние несколько кварталов. Это отчасти связано с увеличением объема запросов, но также и с ростом цен на токены, поскольку они планируют интеграцию запросов с искусственным интеллектом в будущем.

) Субсквид

Subsquid — это одноранговый, горизонтально масштабируемый децентрализованный дата-озеро, которое эффективно агрегирует большие объемы данных как с блокчейна, так и вне его, и защищает их с помощью доказательства с нулевым разглашением. В качестве децентрализованной сети рабочих узлов каждый узел отвечает за хранение данных из определенного подмножества блоков, ускоряя процесс извлечения данных путем быстрой идентификации узлов, хранящих необходимые данные.

Subsquid также поддерживает индексирование в реальном времени, позволяя индексировать его до окончательного подтверждения блока. Он также поддерживает хранение данных в формате, выбранном разработчиком, что облегчает использование таких инструментов, как BigQuery, Parquet или CSV для более простого анализа. Кроме того, подграфы можно развертывать в сети Subsquid без необходимости миграции на Squid SDK, что обеспечивает развертывание без кода.

Несмотря на то, что проект все еще находится на стадии тестовой сети, Subsquid достиг впечатляющих показателей, имея более 80 000 пользователей тестовой сети, развернув более 60 000 индексаторов Squid и более 20 000 проверенных разработчиков в сети. Недавно, 3 июня, Subsquid запустил основную сеть своего Data Lake.

Помимо индексации, дата-озеро Subsquid Network также может использоваться вместо RPC в таких случаях, как анализ, ZK/TEE сопроцессоры, AI-агенты и оракулы.

Подзапрос

SubQuery — это децентрализованная сетевая инфраструктура промежуточного программного обеспечения, предлагающая услуги RPC и индексирования данных. Изначально она поддерживала сети Polkadot и Substrate, но теперь расширилась до более чем 200 цепочек. Она работает аналогично The Graph с использованием индексных доказательств, где индексатор индексирует данные и предоставляет запросы на выборку, а делегаторы ставят свои доли в индексатор. Однако она вводит потребителей для подачи заказов на покупку, чтобы гарантировать доход индексатора, а не управляющего.

Он введет поддерживающие шардирование узлы данных SubQuery, чтобы предотвратить постоянную синхронизацию новых данных между каждым узлом, тем самым оптимизируя эффективность запросов и продвигаясь к большей децентрализации. Пользователи могут выбрать оплату вычислительных затрат примерно 1 SQT токеном за каждые 1000 запросов или установить пользовательские сборы для индексаторов через протокол.

Несмотря на то, что SubQuery только что выпустил свой токен в начале этого года, вознаграждения за выпуск узлов и делегатов также увеличились в долларовом эквиваленте, что также свидетельствует о росте количества запросов, предоставляемых на его платформе. С момента TGE общее количество застейканных SQT увеличилось с 6 миллионов до 125 миллионов, что подчеркивает рост участия в его сети.

Ковалентный

Covalent — это децентрализованная сеть индексаторов, созданная производителями образцов блоков ###BSP### сетевых узлов, которые создают копии данных блокчейна с помощью пакетного экспорта и публикуют доказательства на блокчейне Covalent L1. Эти данные затем уточняются производителями результатов блоков (BRP) узлов в соответствии с установленными правилами, отбирая данные, соответствующие требованиям.

С помощью единого API разработчики могут легко извлекать релевантные данные блокчейна в одном формате запросов и ответов, не написав сложные пользовательские запросы для доступа к данным. Эти преднастроенные наборы данных можно извлекать у провайдеров сети с использованием токена CQT, который рассчитывается на Moonbeam, в качестве средства оплаты.

Награды Covalent, похоже, в целом имеют тенденцию к росту с первого квартала 2023 года по первый квартал 2024 года, отчасти благодаря росту цены токена Covalent CQT.

Важные моменты при выборе индексатора

( Настраиваемость данных

Некоторые индексаторы ), такие как Covalent ###, являются универсальными индексаторами, которые предоставляют стандартные преднастроенные наборы данных только через API. Хотя они могут быть быстрыми, они не могут предоставить