Google опубликовала массив данных блокчейна Ethereum для использования в BigQuery

Google представила в своем блоге набор данных блокчейна Ethereum для анализа смарт-контрактов. Датасет обновляется ежедневно и доступен всем желающим для использования в BigQuery. Ранее в 2018 году компания опубликовала набор данных Bitcoin.

Цель сбора данных

API блокчейна Ethereum содержит набор часто используемых функций: проверку баланса кошелька, статус транзакции и других. Однако отсутствовали конечные точки интерфейса, которые бы учитывали все данные, содержащиеся в блокчейне. Для их сбора BigQuery использует проект Ethereum ETL и по задумке компании станет платформой как для анализа криптовалют, так и для других операций. В пример приведена возможность выводить количество транзакций и их стоимость за день:

Специалисты из Google утверждают, что это поможет в принятии бизнес-решений, например, улучшить архитектуру Ethereum и корректировать балансовые отчёты. По их словам, BigQuery использует технологию OLAP, подходящую для общих и частных случаев анализа, без использования стороннего API. Созданное на платформе Google Cloud ПО умеет:

• синхронизировать блокчейн Ethereum c компьютерами, на которых запущен Parity;
• предоставлять ежедневную выборку данных из блокчейна, включая результаты транзакций смарт-контрактов, например, перевода токенов;
• денормализовать и сохранять данные в BigQuery для дальнейшего использования.

Пример использования

Собранная информация доступна на Kaggle. В качестве одного из примеров специалисты использовали информацию об OmiseGO Token Airdrop. В середине сентября 2017 года количество адресатов существенно возросло, в то время, как количество отправителей осталось прежним.

На графике ниже отображены первые 50 тыс. транзакций с участием минимум двух партнёров. Точками показаны адреса, линиями — передача токенов между ними. Чем больше токенов передавалось между адресами, тем ближе точки находятся друг к другу. Группы часто обменивающихся адресов выделили цветами для большей наглядности. График построили, используя Gephi, а расчёт групп произвели с помощью алгоритма Modularity.

Google запустила бета-тест BigQuery ML в конце июля 2018 года, чтобы предоставить пользователям инструмент для работы с моделями машинного обучения. Создавать и запускать модели стало возможным на структурированных и полуструктурированных наборах данных внутри BigQuery, используя стандартные SQL-запросы.