От источника данных до интеллектуального анализа: анализ развития сектора индексирования данных Web3
1. Введение
С момента появления первых децентрализованных приложений в 2017 году экосистема блокчейна стремительно развивалась, и различные dApp появлялись как грибы после дождя. Размышляя о этих децентрализованных приложениях, задумывались ли мы когда-нибудь о источниках данных, на которых они основываются?
В 2024 году искусственный интеллект и Web3 станут горячими темами. В области ИИ данные подобны источнику жизни, движущему непрерывной эволюцией интеллектуальных систем. Как растениям нужны солнечный свет и влага, так и системе ИИ необходимы огромные объемы данных для обучения и размышлений. Без поддержки данных даже самые передовые алгоритмы ИИ не смогут раскрыть свой потенциал.
В данной статье будет подробно рассмотрена эволюция доступности данных в блокчейне, сравнены традиционные протоколы индексации данных с новыми блокчейн-сервисами, с особым акцентом на инновации, связанные с новыми протоколами, использующими технологии ИИ, в области обслуживания данных и архитектуры продуктов.
2. Эволюция индексации данных: от узлов блокчейна до полной цепочечной базы данных
2.1 Источник данных: узлы блокчейна
Блокчейн называется децентрализованной бухгалтерской книгой, а узлы блокчейна являются основой этой сети, отвечая за запись, хранение и распространение данных о транзакциях в цепочке. Каждый узел хранит полную копию данных блокчейна, обеспечивая децентрализованный характер сети. Однако для обычных пользователей создание и поддержка узлов не только требует высоких технических навыков, но и влечет за собой дорогостоящие затраты на оборудование и пропускную способность. Кроме того, возможности обычных узлов по запросу данных ограничены, что затрудняет удовлетворение потребностей разработчиков. Таким образом, хотя теоретически каждый может запустить узел, на практике пользователи чаще предпочитают полагаться на услуги третьих сторон.
Для решения этой проблемы появились провайдеры RPC-узлов. Они берут на себя затраты на управление узлами и предоставляют доступ к данным через RPC-эндпоинты. Публичные RPC-эндпоинты бесплатны, но имеют ограничения по скорости, что может повлиять на пользовательский опыт dApp. Частные RPC-эндпоинты обеспечивают лучшую производительность, но неэффективны при сложных запросах и сложно масштабируемы по сети. Тем не менее, стандартизированные API-интерфейсы провайдеров узлов снижают порог доступа пользователей к данным на блокчейне, закладывая основу для последующей обработки данных и приложений.
2.2 Анализ данных: от исходных данных до полезной информации
Исходные данные, предоставляемые узлами блокчейна, обычно подвергаются шифрованию и кодированию, что, хотя и гарантирует целостность и безопасность данных, также увеличивает сложность их анализа. Для обычных пользователей и разработчиков прямое обращение с этими данными требует значительных технических знаний и вычислительных ресурсов.
Процесс анализа данных в этом контексте становится особенно важным. Преобразуя сложные исходные данные в понятный и удобный для работы формат, пользователи могут более наглядно использовать эту информацию. Качество анализа напрямую влияет на эффективность и результативность применения данных блокчейна и является ключевым этапом всего процесса индексации данных.
2.3 Развитие индексаторов данных
С ростом объема данных в блокчейне потребность в индексаторах данных становится все более очевидной. Индексаторы отвечают за организацию данных на цепочке и их импорт в базу данных для последующего запроса. Они индексируют данные блокчейна и предоставляют API-интерфейсы, такие как GraphQL(, с языком запросов, похожим на SQL, что делает данные доступными в любое время. Индексаторы предоставляют разработчикам унифицированный интерфейс запросов, значительно упрощая процесс извлечения данных.
Разные типы индексаторов имеют свои преимущества:
Полный узловой индексатор: извлекает данные непосредственно из полного узла, обеспечивая целостность данных, но требует значительных объемов хранения и вычислительных мощностей.
Легковесный индексатор: зависит от полных узлов для получения определенных данных, снижает требования к хранилищу, но может увеличить время запроса.
Специальные индексаторы: оптимизированные для определенных типов данных или блокчейна, таких как данные NFT или DeFi-транзакции.
Агрегатор индексов: извлечение данных из нескольких блокчейнов и источников, включая оффлайновую информацию, предоставляющий единый интерфейс для запросов, подходит для многосетевых dApp.
В настоящее время объем пространства, занимаемого узлами архивов Ethereum на различных клиентах, варьируется от 3 ТБ до 13,5 ТБ. Столкнувшись с таким объемом данных, основные протоколы индексирования не только поддерживают многопоточное индексирование, но и разработали каркас анализа данных, адаптированный к различным потребностям приложений, такой как "субграф" The Graph.
Появление индексаторов значительно повысило эффективность индексации и запроса данных. По сравнению с традиционными RPC-эндпоинтами, индексаторы могут эффективно обрабатывать большие объемы данных, поддерживать сложные запросы и фильтрацию данных. Некоторые индексаторы также поддерживают агрегацию данных из нескольких блокчейнов, что устраняет необходимость развертывания нескольких API для многопоточных dApp. Благодаря распределенной работе индексаторы обеспечивают более высокую безопасность и производительность, снижая риск сбоев, которые могут возникнуть из-за централизованных провайдеров RPC.
![Чтение, индексирование, анализ, краткое изложение сектора индексации данных Web3])https://img-cdn.gateio.im/webp-social/moments-587ce87f6dbedee4acec7d939fed6980.webp(
) 2.4 Полная цепочка базы данных: выравнивание по приоритету потока
С усложнением требований приложений начальные индексаторы данных и их стандартизированные форматы становятся недостаточными для удовлетворения разнообразных запросов, таких как поиск, кросс-цепочный доступ или отображение данных вне цепи. Поставщики услуг блокчейн-данных движутся в направлении построения потоков данных, чтобы удовлетворить потребности в实时解析 и全面查询.
Традиционные провайдеры индексирующих услуг активно запускают продукты потоковых данных, такие как Substreams от The Graph и Mirror от Goldsky. В то же время, новые сервисы, такие как Chainbase и SubSquid, также предлагают реальное озеро данных на основе блокчейна. Эти услуги направлены на поддержку развития приложений и помощь в анализе данных на блокчейне с помощью более продвинутых источников данных.
Посмотрев на данные в цепочке с точки зрения современных данных, мы можем представить будущее, в котором можно настраивать высокопроизводительные наборы данных для любого бизнес-кейса.
3. Слияние ИИ и баз данных: сравнительный анализ The Graph, Chainbase и Space and Time
3.1 График
Сеть The Graph предоставляет услуги многопотокового индексирования и запроса данных через децентрализованные узлы, облегчая разработку децентрализованных приложений. Основные продукты включают рынок выполнения запросов данных и рынок кэширования индексированных данных, которые обслуживают потребности пользователей в запросах.
Сеть состоит из четырех ролей: индексаторы, кураторы, делегаторы и разработчики, которые обеспечивают работу системы через экономические стимулы. Индексаторы предоставляют услуги индексации и поиска, делегаторы поддерживают работу узлов индексации, кураторы отбирают ценные подграфы, а разработчики являются основными пользователями.
Экосистема The Graph активно принимает технологии ИИ. Инструменты, разработанные Semiotic Labs, такие как AutoAgora, Allocation Optimizer и AgentC, оптимизируют индексацию цен, распределение ресурсов и опыт пользовательских запросов, повышая интеллектуальность системы и ее удобство для пользователей.
![Чтение, индексирование, анализ, краткое описание сектора индексации данных Web3]###https://img-cdn.gateio.im/webp-social/moments-cf9a002b9b094fbbe3be7f611001b5c1.webp(
) 3.2 Chainbase
Chainbase как сеть данных по всей цепочке, интегрирует данные различных блокчейнов, упрощая процесс построения и поддержки приложений для разработчиков. Его особенности включают:
Реальное время Data Lake: предоставляет мгновенный доступ к потокам данных блокчейна.
Двухцепочная архитектура: основанная на Eigenlayer AVS, построена исполнительный уровень, параллельно с алгоритмом консенсуса CometBFT, усиливает возможности обработки данных между цепями.
Инновационный формат данных: внедрение стандарта "manuscripts", оптимизация структуры данных в криптоиндустрии.
Модель криптомира: сочетание технологий ИИ для создания модели, способной понимать и прогнозировать блокчейн-транзакции, например, базовая версия Theia.
AI-модель Theia от Chainbase основана на модели DORA от NVIDIA, сочетая анализ внешних данных на блокчейне с криптографическим методом, реагируя на основе причинно-следственного вывода, глубоко извлекая ценность данных на блокчейне и предоставляя интеллектуальные услуги по обработке данных.
![Чтение, индексирование для анализа, краткий обзор сектора индексирования данных Web3]###https://img-cdn.gateio.im/webp-social/moments-b343cab5112c1a3d52f4e72122ae0df2.webp(
) 3.3 Пространство и Время
Space and Time ###SxT( стремится создать проверяемый вычислительный уровень, расширяя доказательства с нулевым разглашением на децентрализованных хранилищах данных, предоставляя надежную обработку данных для смарт-контрактов, больших языковых моделей и предприятий.
SxT внедрил инновационную технологию Proof of SQL, которая представляет собой технологию нулевого знания, обеспечивающую проверяемость и защиту от подделки результатов SQL-запросов, выполняемых на децентрализованном хранилище данных. В отличие от традиционных блокчейн-сетей, полагающихся на механизмы консенсуса, SxT получает данные через один узел, в то время как другие узлы используют технологию zk для проверки подлинности данных, что повышает производительность системы.
SxT сотрудничает с лабораторией искусственного интеллекта Microsoft, разрабатывая инструменты генеративного ИИ, чтобы упростить пользователям процесс обработки данных блокчейна с помощью обработки естественного языка. В Space and Time Studio пользователи могут вводить запросы на естественном языке, ИИ автоматически преобразует их в SQL и выполняет, представляя конечный результат.
![Чтение, индексирование до анализа, краткое описание сектора индексации данных Web3])https://img-cdn.gateio.im/webp-social/moments-97443cbd177ac4ffd1665da670ffbf12.webp(
Заключение и перспективы
Технология индексирования данных блокчейн с первоначального источника данных узлов, через развитие анализа данных и индексаторов, в конечном итоге эволюционировала в полноценный сервис данных по всей цепочке с использованием ИИ, пройдя процесс постепенного совершенствования. Эти технологические достижения не только повысили эффективность и точность доступа к данным, но и обеспечили пользователей интеллектуальным опытом.
В будущем, с развитием новых технологий, таких как искусственный интеллект и нулевое знание, услуги блокчейн-данных станут еще более интеллектуальными и безопасными. В качестве инфраструктуры услуги блокчейн-данных продолжат играть важную роль в инновациях в отрасли.
![Чтение, индексация для анализа, краткое описание сектора индексации данных Web3])https://img-cdn.gateio.im/webp-social/moments-0742180b7da8a9dcddafc465a4dba9cb.webp(
Посмотреть Оригинал
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
17 Лайков
Награда
17
4
Репост
Поделиться
комментарий
0/400
VCsSuckMyLiquidity
· 12ч назад
Снова рисуем BTC, данные хорошие.
Посмотреть ОригиналОтветить0
TokenTaxonomist
· 13ч назад
*надевает очки для работы с таблицами*
статистически говоря, 94.3% этих гибридов ai-web3 являются просто эволюционными мертвыми концами
Посмотреть ОригиналОтветить0
PaperHandSister
· 13ч назад
Нельзя совместить несоединимое! Искусственный интеллект не справится с данными, я уже купил на пике.
Новые тенденции в развитии индексации данных Web3: ИИ наделяет полномасштабные данные сервисами.
От источника данных до интеллектуального анализа: анализ развития сектора индексирования данных Web3
1. Введение
С момента появления первых децентрализованных приложений в 2017 году экосистема блокчейна стремительно развивалась, и различные dApp появлялись как грибы после дождя. Размышляя о этих децентрализованных приложениях, задумывались ли мы когда-нибудь о источниках данных, на которых они основываются?
В 2024 году искусственный интеллект и Web3 станут горячими темами. В области ИИ данные подобны источнику жизни, движущему непрерывной эволюцией интеллектуальных систем. Как растениям нужны солнечный свет и влага, так и системе ИИ необходимы огромные объемы данных для обучения и размышлений. Без поддержки данных даже самые передовые алгоритмы ИИ не смогут раскрыть свой потенциал.
В данной статье будет подробно рассмотрена эволюция доступности данных в блокчейне, сравнены традиционные протоколы индексации данных с новыми блокчейн-сервисами, с особым акцентом на инновации, связанные с новыми протоколами, использующими технологии ИИ, в области обслуживания данных и архитектуры продуктов.
2. Эволюция индексации данных: от узлов блокчейна до полной цепочечной базы данных
2.1 Источник данных: узлы блокчейна
Блокчейн называется децентрализованной бухгалтерской книгой, а узлы блокчейна являются основой этой сети, отвечая за запись, хранение и распространение данных о транзакциях в цепочке. Каждый узел хранит полную копию данных блокчейна, обеспечивая децентрализованный характер сети. Однако для обычных пользователей создание и поддержка узлов не только требует высоких технических навыков, но и влечет за собой дорогостоящие затраты на оборудование и пропускную способность. Кроме того, возможности обычных узлов по запросу данных ограничены, что затрудняет удовлетворение потребностей разработчиков. Таким образом, хотя теоретически каждый может запустить узел, на практике пользователи чаще предпочитают полагаться на услуги третьих сторон.
Для решения этой проблемы появились провайдеры RPC-узлов. Они берут на себя затраты на управление узлами и предоставляют доступ к данным через RPC-эндпоинты. Публичные RPC-эндпоинты бесплатны, но имеют ограничения по скорости, что может повлиять на пользовательский опыт dApp. Частные RPC-эндпоинты обеспечивают лучшую производительность, но неэффективны при сложных запросах и сложно масштабируемы по сети. Тем не менее, стандартизированные API-интерфейсы провайдеров узлов снижают порог доступа пользователей к данным на блокчейне, закладывая основу для последующей обработки данных и приложений.
2.2 Анализ данных: от исходных данных до полезной информации
Исходные данные, предоставляемые узлами блокчейна, обычно подвергаются шифрованию и кодированию, что, хотя и гарантирует целостность и безопасность данных, также увеличивает сложность их анализа. Для обычных пользователей и разработчиков прямое обращение с этими данными требует значительных технических знаний и вычислительных ресурсов.
Процесс анализа данных в этом контексте становится особенно важным. Преобразуя сложные исходные данные в понятный и удобный для работы формат, пользователи могут более наглядно использовать эту информацию. Качество анализа напрямую влияет на эффективность и результативность применения данных блокчейна и является ключевым этапом всего процесса индексации данных.
2.3 Развитие индексаторов данных
С ростом объема данных в блокчейне потребность в индексаторах данных становится все более очевидной. Индексаторы отвечают за организацию данных на цепочке и их импорт в базу данных для последующего запроса. Они индексируют данные блокчейна и предоставляют API-интерфейсы, такие как GraphQL(, с языком запросов, похожим на SQL, что делает данные доступными в любое время. Индексаторы предоставляют разработчикам унифицированный интерфейс запросов, значительно упрощая процесс извлечения данных.
Разные типы индексаторов имеют свои преимущества:
В настоящее время объем пространства, занимаемого узлами архивов Ethereum на различных клиентах, варьируется от 3 ТБ до 13,5 ТБ. Столкнувшись с таким объемом данных, основные протоколы индексирования не только поддерживают многопоточное индексирование, но и разработали каркас анализа данных, адаптированный к различным потребностям приложений, такой как "субграф" The Graph.
Появление индексаторов значительно повысило эффективность индексации и запроса данных. По сравнению с традиционными RPC-эндпоинтами, индексаторы могут эффективно обрабатывать большие объемы данных, поддерживать сложные запросы и фильтрацию данных. Некоторые индексаторы также поддерживают агрегацию данных из нескольких блокчейнов, что устраняет необходимость развертывания нескольких API для многопоточных dApp. Благодаря распределенной работе индексаторы обеспечивают более высокую безопасность и производительность, снижая риск сбоев, которые могут возникнуть из-за централизованных провайдеров RPC.
![Чтение, индексирование, анализ, краткое изложение сектора индексации данных Web3])https://img-cdn.gateio.im/webp-social/moments-587ce87f6dbedee4acec7d939fed6980.webp(
) 2.4 Полная цепочка базы данных: выравнивание по приоритету потока
С усложнением требований приложений начальные индексаторы данных и их стандартизированные форматы становятся недостаточными для удовлетворения разнообразных запросов, таких как поиск, кросс-цепочный доступ или отображение данных вне цепи. Поставщики услуг блокчейн-данных движутся в направлении построения потоков данных, чтобы удовлетворить потребности в实时解析 и全面查询.
Традиционные провайдеры индексирующих услуг активно запускают продукты потоковых данных, такие как Substreams от The Graph и Mirror от Goldsky. В то же время, новые сервисы, такие как Chainbase и SubSquid, также предлагают реальное озеро данных на основе блокчейна. Эти услуги направлены на поддержку развития приложений и помощь в анализе данных на блокчейне с помощью более продвинутых источников данных.
Посмотрев на данные в цепочке с точки зрения современных данных, мы можем представить будущее, в котором можно настраивать высокопроизводительные наборы данных для любого бизнес-кейса.
3. Слияние ИИ и баз данных: сравнительный анализ The Graph, Chainbase и Space and Time
3.1 График
Сеть The Graph предоставляет услуги многопотокового индексирования и запроса данных через децентрализованные узлы, облегчая разработку децентрализованных приложений. Основные продукты включают рынок выполнения запросов данных и рынок кэширования индексированных данных, которые обслуживают потребности пользователей в запросах.
Сеть состоит из четырех ролей: индексаторы, кураторы, делегаторы и разработчики, которые обеспечивают работу системы через экономические стимулы. Индексаторы предоставляют услуги индексации и поиска, делегаторы поддерживают работу узлов индексации, кураторы отбирают ценные подграфы, а разработчики являются основными пользователями.
Экосистема The Graph активно принимает технологии ИИ. Инструменты, разработанные Semiotic Labs, такие как AutoAgora, Allocation Optimizer и AgentC, оптимизируют индексацию цен, распределение ресурсов и опыт пользовательских запросов, повышая интеллектуальность системы и ее удобство для пользователей.
![Чтение, индексирование, анализ, краткое описание сектора индексации данных Web3]###https://img-cdn.gateio.im/webp-social/moments-cf9a002b9b094fbbe3be7f611001b5c1.webp(
) 3.2 Chainbase
Chainbase как сеть данных по всей цепочке, интегрирует данные различных блокчейнов, упрощая процесс построения и поддержки приложений для разработчиков. Его особенности включают:
AI-модель Theia от Chainbase основана на модели DORA от NVIDIA, сочетая анализ внешних данных на блокчейне с криптографическим методом, реагируя на основе причинно-следственного вывода, глубоко извлекая ценность данных на блокчейне и предоставляя интеллектуальные услуги по обработке данных.
![Чтение, индексирование для анализа, краткий обзор сектора индексирования данных Web3]###https://img-cdn.gateio.im/webp-social/moments-b343cab5112c1a3d52f4e72122ae0df2.webp(
) 3.3 Пространство и Время
Space and Time ###SxT( стремится создать проверяемый вычислительный уровень, расширяя доказательства с нулевым разглашением на децентрализованных хранилищах данных, предоставляя надежную обработку данных для смарт-контрактов, больших языковых моделей и предприятий.
SxT внедрил инновационную технологию Proof of SQL, которая представляет собой технологию нулевого знания, обеспечивающую проверяемость и защиту от подделки результатов SQL-запросов, выполняемых на децентрализованном хранилище данных. В отличие от традиционных блокчейн-сетей, полагающихся на механизмы консенсуса, SxT получает данные через один узел, в то время как другие узлы используют технологию zk для проверки подлинности данных, что повышает производительность системы.
SxT сотрудничает с лабораторией искусственного интеллекта Microsoft, разрабатывая инструменты генеративного ИИ, чтобы упростить пользователям процесс обработки данных блокчейна с помощью обработки естественного языка. В Space and Time Studio пользователи могут вводить запросы на естественном языке, ИИ автоматически преобразует их в SQL и выполняет, представляя конечный результат.
![Чтение, индексирование до анализа, краткое описание сектора индексации данных Web3])https://img-cdn.gateio.im/webp-social/moments-97443cbd177ac4ffd1665da670ffbf12.webp(
Заключение и перспективы
Технология индексирования данных блокчейн с первоначального источника данных узлов, через развитие анализа данных и индексаторов, в конечном итоге эволюционировала в полноценный сервис данных по всей цепочке с использованием ИИ, пройдя процесс постепенного совершенствования. Эти технологические достижения не только повысили эффективность и точность доступа к данным, но и обеспечили пользователей интеллектуальным опытом.
В будущем, с развитием новых технологий, таких как искусственный интеллект и нулевое знание, услуги блокчейн-данных станут еще более интеллектуальными и безопасными. В качестве инфраструктуры услуги блокчейн-данных продолжат играть важную роль в инновациях в отрасли.
![Чтение, индексация для анализа, краткое описание сектора индексации данных Web3])https://img-cdn.gateio.im/webp-social/moments-0742180b7da8a9dcddafc465a4dba9cb.webp(
статистически говоря, 94.3% этих гибридов ai-web3 являются просто эволюционными мертвыми концами