使用谷歌 Log Analytics 的 10 大理由

日志记录是软件开发生命周期的关键部分,开发人员可以调试他们的应用程序,DevOps/SRE 团队可以解决问题,安全管理员可以分析访问模式。Log Analytics是Cloud Logging中的一组新功能,预览版可帮助你对日志数据执行强大的分析。在这篇文章中,我们将介绍应该使用 Log Analytics 的 10 个原因!


#1

Log Analytics 包含在 Cloud Logging 定价中


如果你已使用 Cloud Logging,则 Log Analytics 包含在 Cloud Logging定价中。升级日志存储桶或在 Log Analytics UI 上运行查询不会产生额外费用。


标准定价基于摄取,其中包括将日志存储在日志存储桶中 30 天(默认期限),或者你可以设置自定义日志保留期限。查看定价博客,了解如何利用 Cloud Logging 实现价值最大化:https://cloud.google.com/blog/topics/cost-management/how-to-approach-cloud-logging-pricing-for-cloud-admins



#2

一键启用托管日志管道


Log Analytics 管理日志管道,无需构建和管理你自己的复杂数据管道,这会增加成本和运营开销。简单的一键设置允许你升级现有的日志存储桶或使用 Log Analytics 创建新的日志存储桶。数据是实时可用的,允许用户通过 Log Explorer 或 Log Analytics 页面立即访问他们的数据。



#3

日志数据在 Cloud Logging BigQuery 中可用


将日志存储桶升级到 Log Analytics 意味着可以通过 Cloud Logging 中的 Log Analytics 页面访问日志。如果还想从 BigQuery 访问日志数据,可以启用该复选框以在 BigQuery 中公开链接到 Log Analytics 存储桶的链接数据集。



升级日志存储桶后,可以从 Cloud Logging 中的 Log Analytics 或 BigQuery 访问日志数据,从而无需管理或构建数据管道以在 BigQuery 中存储日志数据。Cloud Logging 仍将管理日志数据,包括访问、不变性和保留。此外,Cloud Logging 使用 BigQuery 对半结构化数据的全新原生支持,因此你无需管理日志中的架构。


这在以下情况下很有用:

  • 已在 BigQuery 中拥有其他应用或业务数据,并希望将其与来自 Cloud Logging 的日志数据相结合
  • 想在 BigQuery 生态系统中使用 Looker Studio 或其他工具。


在 BigQuery 中创建链接数据集不需要任何费用,但标准 BigQuery 查询费用适用于通过 BigQuery API 查询日志。



#4

在高基数日志上更快地确定根本原因


应用程序、基础设施和网络日志通常可以包含具有唯一 IP 地址、会话 ID 和实例 ID 的高基数数据。高基数数据可能难以转换、存储和分析为指标。


例如,两个常见的用例是:

  • 应用程序和基础架构故障排除
  • 网络故障排除


应用程序和基础架构故障排除

假设你正在对在Google Kubernetes Engine上运行的应用程序的问题进行故障排除,并且你需要按会话分解请求。使用 Log Analytics 可以轻松地按会话对请求日志进行分组和聚合,从而深入了解请求延迟及其随时间的变化情况。这种洞察力可以帮助你通过仅执行一个 SQL 查询来减少故障排除时间。


网络故障排除

Google Cloud 上的网络遥测日志包含详细的网络数据,这些数据通常是海量和基数。使用 Log Analytics 可以轻松地对 VPC 流日志运行 SQL 查询,以查找按目标 IP 地址分组的前 10 个最高数据包计数和总字节数。借助此信息,你可以深入了解这些目标 IP 地址中的任何一个是否代表需要进行更深入分析的异常流量级别。作为网络故障排除或日常网络分析的一部分,这种延迟分析可以更轻松地识别任何异常值。



#5

从日志数据中收集业务洞察


Log Analytics 通过减少数据孤岛来减少对多种工具的需求。相同的日志数据可用于获得对业务运营团队有用的业务洞察力。


以下是一些有关如何使用 Log Analytics 的示例:

  • 确定下载内容的前 5 个区域
  • 确定 URL 路径的前 10 个引荐来源网址
  • 将 IP 地址转换为城市/州/国家/地区映射。
  • 识别来自给定国家/地区访问 URL 的唯一 IP 地址



#6

为安全用户简化审计日志分析


对于安全分析,一种常见的模式是查看给定用户、IP 地址或应用程序的所有 GCP 审核日志。这种类型的分析需要非常广泛的搜索和可扩展能力,因为不同的服务可能会在不同的字段中记录 IP 地址。


在 Log Analytics 中,可以使用SEARCH功能轻松地在日志中查找值,从而在 TB 级日志中梳理日志条目中的所有字段,而无需担心数据库的速度和性能。



使用 SEARCH 功能,可以在 SQL 中搜索日志数据,即使你不确定你的特定搜索词将出现在日志条目中的哪个字段中。



#7

使用可视化获得更好的洞察力


谷歌对路线图进行了许多重大改进,这将使产生见解变得更加容易。图表是可以轻松帮助用户理解其日志的功能之一。Log Analytics 中的图表现在作为私人预览版提供。



在图表功能的私人预览期间,支持其他图表类型和简单的图表选择器。



#8

Cloud Logging 提供企业级日志记录平台


虽然 Log Analytics 目前处于预览阶段,但 Cloud Logging 平台已经是 GA,并提供了一个企业级日志记录解决方案,其中包含警报、基于日志的指标和高级日志管理功能。借助 Cloud Logging,可以帮助减少运营支出,同时满足你的安全性和合规性需求。



#9

使用示例查询


常见查询放在Github 存储库中,以便于开始。


  • 使用此链接SQL 查询来确定为服务分组的最小、最大和平均请求数:https://github.com/GoogleCloudPlatform/logging-analytics-samples/blob/main/samples/kubernetes/min_max_avg_requests.sql
  • 使用此链接查询来确定你的负载均衡器延迟是否超过 2 秒:https://github.com/GoogleCloudPlatform/logging-analytics-samples/blob/main/samples/gclb/https-lb-high_latency_logs.sql
  • 在主动排查时,可以确定前 50 个请求的列表,以通过此链接查询过滤掉 HTTP 错误:https://github.com/GoogleCloudPlatform/logging-analytics-samples/blob/main/samples/gclb/https-lb-status_code_not_200.sql



#10

使用实验室获得有关 Log Analytics 的实践经验


使用Google Cloud 上的 Log Analytics实验室,你可以完成部署示例应用程序、管理日志存储桶和分析日志数据的工作。这可能是一种很好的入门方式,尤其是在你尚未使用 Cloud Logging 的情况下。



谷歌为开发人员、SRE、DevOps 和运营团队构建 Log Analytics,以便在控制成本的同时更快地获得洞察力。


———

WebEye是中国大陆地区首家获得 Google Cloud MSP 资质的合作伙伴。WebEye致力于用创新的技术向中国企业提供数字化效率创新服务,实现数字化赋能。我们不断帮助客户打造新的运营与协作方式,打造新的竞争优势,构建资源高效链接,共创价值生长空间。

WebEye整合全球资源,打造全球数字化营销体系,为企业提供营销增长服务营销增长引擎以及企业上云三大板块业务,涵盖数字营销、数字创意、游戏发行、流量变现、程序化广告、数据洞察、云计算等一站式全链条增长产品矩阵,是中国互联网出海领军企业。

返回全部