Google Cloud связала BigQuery с каталогами AWS Glue, Databricks и Snowflake без копирования данных

Google Cloud расширила платформу Borderless Lakehouse средствами федерации каталогов AWS Glue, Databricks Unity Catalog и Snowflake Horizon. Функции, пока доступные в предварительном режиме, позволяют BigQuery, Managed Spark и ИИ-агентам работать с данными в других облаках без их предварительного переноса.

Google Cloud расширила Borderless Lakehouse — построенный на Apache Iceberg слой доступа к данным, находящимся в локальной инфраструктуре, других облаках и корпоративных SaaS-системах.

Главным нововведением стала федерация каталогов AWS Glue, Databricks Unity Catalog и Snowflake Horizon. Она позволяет обнаруживать удалённые наборы данных и получать к ним двунаправленный доступ через BigQuery, Managed Service for Apache Spark и другие совместимые с Iceberg движки. Функция пока находится в режиме предварительного доступа.

Метаданные из внешних каталогов может синхронизировать Knowledge Catalog — сервис контекста и управления данными Google Cloud. Он индексирует схемы, связи между столбцами и правила доступа, чтобы аналитические приложения и ИИ-агенты могли выбирать подходящие источники и соблюдать заданные ограничения.

Для создания таких агентов Google предлагает открытый Data Agent Kit, Conversational Analytics API и инструменты Model Context Protocol. Готовые агенты можно публиковать в Gemini Enterprise и подключать к BigQuery, Managed Spark и Cloud Storage.

Доступ к данным в AWS и Azure обеспечивают выделенные соединения Cross-Cloud Interconnect и межоблачное кэширование. Google заявляет об отсутствии переменной платы за исходящий трафик при обращении к данным AWS, однако отдельно взимается почасовая плата за сервис межоблачного соединения.