发布于 2015-09-06 15:17:41 | 172 次阅读 | 评论: 0 | 来源: 网友投递
Apache Kylin OLAP 分析引擎
Kylin 是一个开源的分布式的 OLAP 分析引擎,来自 eBay 公司开发,基于 Hadoop 提供 SQL 接口和 OLAP 接口,支持 TB 到 PB 级别的数据量。
Apache Kylin 团队非常高兴宣布Apache Kylin v1.0 (incubating) 正式发布。Apache Kylin是一个分布式分析引擎,在Hadoop之上提供SQL接口及OLAP在线多维分析以支持超大规模数据集。
该版本带来了更加稳定,可靠及更好管理的版本,解决了诸多Bug,增强及新功能等47个任务。
主要变化
Kylin核心增强
支持动态数据模型,在特定条件下对新增/删除字段的数据模型不需要从头构建
升级Apache Calcite至1.3以修复多个Bug及支持新的SQL函数等
增强了清理任务以确保Cube构建成功后在本地操作系统,HDFS/HBase等不遗留垃圾文件等
添加配置项允许讲Hive中间表输出到指定数据库
增强HBase Corprocessor 以提升查询性能
Kylin 系统仪表盘(Beta)以展现使用情况,存储及性能等指标
主要的Bug修复
不能获取原始记录值,特别是使用非HDP的Hadoop版本
前端缓存未及时刷新
不再使用的Hive中间表会在Cube构建完成后自动删除
支持大Lookup表
JDBC驱动,ODBC驱动及UI等Bug修复
Zeppelin 整合
Apache Zeppelin是一个类似Spark Notebook的基于web的交互式数据分析工具,Apache Kylin 团队为Zeppelin贡献了Kylin Interpreter以让Zeppelin用户能够在Notebook中与Kylin以标准SQL的方式进行交互式查询。目前已经由Zeppelin社区合并至其主代码中,有兴趣的同学可以去Zeppelin网站下载来试用。
升级
我们推荐从v0.7.x甚至更早的版本升级到该版本,以获得更好的性能,稳定性及更干净的版本(大部分中间文件将被自动回收),并且与社区保持同步以获得最新的功能及支持。
升级过程如有任何问题或疑问,请发送邮件至Apache Kylin邮件列表:dev@kylin.incubator.apache.org
感谢
本次版本发布中,除了来自eBay的核心开发团队外,更有来自美团,明略数据,广东移动等多位小伙伴的大力支持,并贡献了多个Patch及新功能。其中来自美团的高大月和明略数据的黄桦已经成为Apache Kylin committer。
感谢每一位为Apache Kylin社区贡献的朋友。