Spotify开源可加速音乐产品开发的音讯处理工作管线Klio

音乐串流服务Spotify开源了可以大规模处理音讯档案的工作管线Klio，Spotify称Klio为一个生态系，是为了要执行大规模音讯智慧系统，让开发团队能够与音讯研究人员良好协作，更易于部署音讯演算法而开发。

Klio的取名，来自于希腊神话掌管历史的缪斯女神之一克利俄（Kleio），为了方便发音而将e去掉，成为了Klio。Klio让用户能够建置媒体处理系统，让生产系统和研究团队，可以共用工具和基础设施，使工作成果和输出能够重複使用，进而降低维护和重新计算的成本。

Klio同时支援开发人员与音讯研究人员的工作，研究人员可以使用与开发工程师相同的基础设施，并且获得处理完整内容目录的能力，而开发人员则能以简单地方法，将研究人员产出的大量媒体处理成果直接产品化，Spotify提到，由于双方共用相同的开发框架，因此这项工作也变得容易许多。

当Klio透过串流工作管线提取新内容时，便能立刻对内容进行处理，用户可以从像是Google Pub/Sub等事件输入撷取音讯档案，并将这些档案下载到工作机台上，并使用librosa、ffmpeg或机器学习演算法处理档案，最后将输出结果储存到选择的目标上。

处理档案的演算法可以是机器学习模型，也可以是各种方法，只要能以Python打包就没问题，Klio可以扩展针对整个媒体集进行处理，也能够对单一项目快速迭代。不过，目前Klio仅支援读写至Google Pub/Sub，Spotify开源Klio欢迎社群能够贡献强化I/O支援。

Klio建立在统一程式开发模型Apache Beam之上，并且调校使其适合处理音讯和二进位档案，Apache Beam一开始主要由Google开发，并在2016年的时贡献给Apache软体基金会，能够用来定义和执行资料处理管线，进行ETL、批次处理和串流处理工作负载。

官方提到，由于目前Klio还在快速开发阶段，也就是说，API和功能可能会不停变更，新版本也不一定会与旧版本相容，他们建议使用者在Klio新版本释出时，就立刻升级。