BigQuery Omni:通过对数据进行分析来解决跨云挑战

研究表明,超过90%的大型企业已经部署了多云架构,并且他们的数据分布在多个公共云提供商中。此外,数据也越来越多地分布在各种存储系统中,例如仓库、操作和关系数据库、对象存储等。随着新应用程序的激增,数据服务范围越加广泛,例如数据科学、商业智能、分析、流媒体......这样的例子不胜枚举。随着这些数据趋势,客户越来越倾向于开放的多云数据湖。然而,多云数据湖也带来了一些挑战,例如数据孤岛、数据重复、分散治理、工具复杂性和成本增加。


借助 Google 的数据云技术,客户可以利用其进行分布式云服务的独特组合。他们可以使用 Looker 创建敏捷的跨云语义业务层,并使用 BigQuery 以及 BigLake 和 BigQuery Omni 等功能,大规模管理跨云环境的数据湖和数据仓库。


BigLake 是一种存储引擎,它通过对不同的存储格式(包括 BigQuery 托管表)和开放文件格式(例如对象存储上的 Parquet 和 Apache Iceberg)进行标准化管理,从而统一数据仓库和湖屋。BigQuery Omni 便提供在本地运行到 AWS 或 Azure 上存储的计算引擎,客户可以使用它在 AWS 或 Azure 中无缝查询数据。这带来了不少好处,例如:

  1. 用于查询多云数据湖的单一管理平台(跨 Google Cloud Platform、Amazon Web Services 和 Microsoft Azure)

  2. 通过将不同平台的数据组合起来进行跨云分析,几乎没有出口成本

  3. 统一治理和安全管理你的数据,无论其位于何处

在此博客中,我们将分享客户正在使用 Google 的数据云解决的跨云分析用例以及他们正在实现的优势。



用于 360 度洞察的统一营销分析


企业希望获得营销分析、广告优化、库存管理、客户流失预测、购买者倾向趋势以及更多此类分析。要在 BigQuery Omni 之前做到这一点,客户必须使用来自多个不同来源的数据,例如 Google Analytics、公共数据集和存储在云环境中的其他专有信息。这需要移动大量数据、管理重复副本和增量成本。借助 BigQuery Omni,企业能够大大简化此工作流程。使用熟悉的 BigQuery 界面,用户可以访问驻留在 AWS 或 Azure 中的数据,发现并仅选择需要组合以进行进一步的分析。同时,还可以使用 Omni 的新功能将此数据子集移动到 Google Cloud 中。客户可以将这些数据与其他谷歌云数据集结合起来,这些合并后的表格可以通过 Looker 和 Looker Studio 等高级分析工具提供给关键的业务利益相关者。客户现在还可以通过 Vertex AI 将这些数据与世界一流的 AI 模型联系起来。


作为一个说明性示例,考虑一家零售商,其销售和库存、用户和搜索数据分布在多个数据孤岛中。使用 BigQuery Omni,他们可以将这些数据集无缝地整合在一起,并为多种营销分析场景提供支持,例如客户细分、活动管理和需求预测等。



跨云治理统一的数据平台


另一种模式是客户希望通过统一的数据平台跨不同云中的数据孤岛分析运营、交易和业务数据。这些孤岛生成原因各不相同,例如合并和收购、分析工具的标准化、在不同云中利用同类最佳解决方案以及跨云数据足迹的多样化。除了用于跨孤岛数据访问的单一管理平台外,客户还非常希望跨云对其数据进行统一的治理。


通过 BigLake 和 BigQuery Omni 分别抽象存储层和计算层,企业可以访问和查询他们在 Google Cloud 中的数据,无论数据位于何处。他们还可以在 BigQuery 中设置细粒度的行级别和列访问策略,并跨云对其进行一致的管理。这些构建块使数据工程团队能够为其数据用户构建统一且受监管的数据平台,而无需处理构建和管理复杂数据管道的复杂性。此外,通过 BigQuery Omni 与 Dataplex 和 Data Catalog 的集成,你可以跨云发现、搜索你的数据,并通过添加具有业务词汇表和富文本的相关业务上下文来丰富你的数据。



简化数据提供商与其客户之间的数据共享


跨云分析的第三个新兴模式是数据共享。一些服务的业务需要将库存数据、订户数据等信息共享给他们的客户或用户,这些客户或用户反过来分析或汇总这些数据及其专有数据,并经常与服务提供商分享结果。在某些情况下,双方处于不同的云环境中,需要他们来回移动数据。


这里有一个案例可以用佐餐卡片。一家在客户数据平台(CDP) 领域运营的公司,旨在帮助激活客户数据,其中关键的第一步是统一和管理客户数据。为了实现这一点,许多 CDP 供应商构建了他们的解决方案,选择了一种可用的云基础设施技术,并从客户的系统中复制了数据。


虽然一小部分客户对跨云环境移动数据没有问题,但大多数客户对加入新服务犹豫不决,而更愿意提供对其数据集的受控访问。


借助 BigQuery Omni,Google Cloud Platform 中的服务可以更轻松地访问数据并与其他云环境中的客户和用户共享数据,且数据移动受限。英国最大的统计数据提供商之一已经探索了 Omni 以满足他们的数据共享需求。

我们测试了 BigQuery Omni,非常喜欢将数据从 AWS 直接获取到 BQ 的能力。我们很高兴能够在不使用新云的情况下管理与不同组织的数据共享” 


——Simon Sandford-Taylor,英国办公室首席信息和数字官国家统计局



借助 BigQuery Omni,客户能够:

  • 通过单一用户界面跨云访问和查询数据

  • 在分析数据之前减少对数据工程的需求

  • 通过部署跨多个云运行的应用程序,利用相同、一致的安全控制,降低运营开销和风险

  • 通过显著减少数据处理和分析的时间来加速获取洞察力

  • 跨多个云足迹创建一致且可预测的预算

  • 实现长期敏捷性并最大化每项云投资的收益


在过去的一年里,谷歌看到了客户采用的巨大势头,并为 BigQuery Omni 添加了重大创新,包括改进了在 AWS S3 或 Azure Blob 存储中查询数据的性能和可扩展性、对 Omni 的 Iceberg 支持、更大的查询结果集大小高达20GB和跨云传输,可帮助客户轻松、安全且经济高效地跨云环境移动足够的数据以进行高级分析。


BigQuery Omni 推出了多项功能来支持对跨多个云的数据进行统一治理 - 你可以通过行级和列级安全性对多云数据进行细粒度访问。在此基础上,谷歌还宣布 BigQuery Omni 现在支持数据屏蔽,并将在2023年3月30日之前提供 限时免费试用,从而让客户轻松试用并了解 BigQuery Omni 的优势。


在 Google Cloud 之外的其他公共云上运行的 BigQuery Omni 在 AWS 美国东部 1(弗吉尼亚北部)和 Azure 美国东部 2(美国东部)区域可用。未来 BigQuery Omni 还将去到更多地区,首先是即将推出的亚太地区(AWS 韩国)。


———

WebEye是中国大陆地区首家获得 Google Cloud MSP 资质的合作伙伴。WebEye致力于用创新的技术向中国企业提供数字化效率创新服务,实现数字化赋能。我们不断帮助客户打造新的运营与协作方式,打造新的竞争优势,构建资源高效链接,共创价值生长空间。

WebEye整合全球资源,打造全球数字化营销体系,为企业提供营销增长服务营销增长引擎以及企业上云三大板块业务,涵盖数字营销、数字创意、游戏发行、流量变现、程序化广告、数据洞察、云计算等一站式全链条增长产品矩阵,是中国互联网出海领军企业。


返回全部