超越 Hadoop，Luigi 打通云端大数据管道
发布于 2014-10-14 23:59:27 | 260 次阅读 | 评论: 0 | 来源: 网友投递
Hadoop分布式系统
一个分布式系统基础架构，由Apache基金会所开发。
用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储。
Liugi数据管线的可视化管理图
新的大数据开源技术和工具往往来自互联网公司，除了Facebook、Google和Twitter这样的巨头外，一些甚至是你想不到的互联网公司，例如Netflix和Spotify（音乐流媒体服务）也会贡献一些优秀的大数据分析开源工具（Suro和Luigi）。
近日创业公司Mortar就将Spotify开发的开源大数据工具Luigi搬上云端，在亚马逊云上提供复杂的，涉及大量工具和数据库的大数据流水线处理服务，不论是否使用Hadoop，用户都可以用Luigi管理复杂的大数据工作流。
Mortar公司最初的产品是提供一个编写和启动Hadoop任务的简单框架，运行在亚马逊弹性MapReduce云服务上。2012 年，Mortar开始开源一些产品代码并分享一些Hadoop任务模板。2013年，Mortar与一群优秀的数据科学家协作，帮助用户开发推荐引擎，并 期望能够从中摸索出在Mortar平台上运行这些任务的流程。
如今，Mortar的产品战略已经扩展到了Hadoop以外，希望用户通过Mortar管理的应用不再局限于Hadoop圈子。
Mortar首席执行官K Young指出：虽然Hadoop在客户那里非常受欢迎，但还是有很多重要的数据并不需要Hadoop，或者根本就不适用。通过以云服务的方式提供 Luigi工具，Mortar的用户如今能够使用Python开发和可视化通往任何数据库或处理环境的大数据管线，只要它们支持API访问。
Young还认为云端版Liugi将帮助用户更快完成从原型到产品的过渡。Mortar也不准备放弃Hadoop，因为当今的大数据应用需要与多种处理环境对接，而开发者需要一种更简单的方法来管理这个流程。
“事实上，很多大数据项目搁浅并非因为大数据技术的复杂性格或者缺少数据科学家，最大的问题是如何将数据从所在的地方转移到需要（处理）的地方。”Young说道。