监控与指标分析工具Grafana新增原生云端日誌平台Loki

Grafana团队释出Loki专案Alpha测试版，这是一个綑绑Grafana指标查询与视觉化功能的日誌平台，Loki增加了一个新的客户端代理Promtail，以及伺服器端的日誌元资料索引和储存日誌元件。

Grafana是用来监控与分析指标的工具，提供Graphite、InfluxDB和Prometheus仪表板功能。Grafana提供完整的时间序列资料的仪表板解决方案，支援超过40个资料来源，官方提到，现在仪表板故事（Dashboarding Story）已经成熟，他们希望把仪表板解决方案转变成可观察的平台，成为侦错系统的首选。

由于指标是事件回应的关键，警示则通常会以时间序列为条件写入，但是指标只能用于揭露可预期的行为，需要预先宣告而且基数有限，因此指标只能用来叙述仪表板故事的一半，为了了解完整的事故原因，工程师通常会使用日誌来获得更详细的资讯。

事件的处理通常从警示开始，接着查询仪表板，以找出发生错误的服务、主机或是执行个体，而后工程师会尝试从各日誌中找出错误发生的根本原因。但由于目前的状况，是将指标和日誌储存在两个不同的系统中，因此工程师需要转换查询，转换语言成另一个系统的语言与介面。

日誌聚合方法可以简化这样的程序，有许多SaaS供应商与开源专案提供了像是时间序列监控专案，几乎所有的解决方案都使用全文搜寻系统以检索日誌，虽提供丰富强大的功能集，允许进行複杂的查询，但对于日誌聚合来说，反而有规模複杂、资源密集且难以操作的问题。Grafana团队提到，在这些系统执行日誌聚合工作，简直就像杀鸡用牛刀。

由于Grafana团队对于现有的所有解决方案都不满意，因此开始着手设计自有的系统Loki。Loki的设计目标，就是要最小化日誌和指标之间上下文切换，而这将有助于事故回应时间和改善使用者体验。Loki由客户端的Promtail代理和伺服器端的Distributor与Ingester元件组成。

Distributor从Promtail代理接收日誌资料，从标籤和日誌资料中使用者产生一致杂凑，并且传送到多个Ingester中。Ingester接收条目建置成一组具特别标籤与时间跨度的日誌，并以gzip进行压缩。Ingester使用元资料而非日誌内容建誌索引，以便简单地供使用者进行查询，还能与时间序列指标标籤相关联。官方表示，这是在功能与操作複杂性中权衡的结果。

查询API接受以时间範围和标籤选择器为条件，并且能与Ingester沟通尚未更新的最新资料。搜寻可以使用正规表示式，但由于日誌内容未编入索引，因此对内容搜寻的速度会比较缓慢。

经编列的日誌会定期更新至Amazon S3这类的物件储存中，并指向Cassandra、Bigtable或DynamoDB等资料库。AWS与GCP等公有云供应商提供自定义的指标萃取，AWS还提供从指标导航到日誌的功能，两者都使用不同的查询语言以查询日誌资料，而Loki可以简化这个过程，并解决日誌从短暂来源Kubernetes pod崩溃时丢失的问题。