发布于 2016-03-17 12:55:02 | 187 次阅读 | 评论: 0 | 来源: 网友投递
Apache Kylin OLAP 分析引擎
Kylin 是一个开源的分布式的 OLAP 分析引擎,来自 eBay 公司开发,基于 Hadoop 提供 SQL 接口和 OLAP 接口,支持 TB 到 PB 级别的数据量。
Apache Kylin社区非常高兴宣布全新设计的新一代Apache Kylin (v1.5.0)正式发布。
Apache Kylin是一个开源的分布式分析引擎,提供Hadoop之上的SQL查询接口及多维分析(OLAP)能力以支持超大规模数据,最初由eBay Inc. 开发并贡献至开源社区。
这是一个主要的版本发布带来了更稳定,健壮及更好管理的版本,Apache Kylin社区解决了207个issue,包括Bug修复,功能增强及一些新特性等。
Plugin 架构
Apache Kylin的Plugin架构使得Kylin可以扩展计算框架,数据源以及Cube存储等。在之前的版本中,Kylin与作为计算框架的Hadoop MapReduce,数据源的Hive及作为存储的HBase耦合紧密。常有人问及例如:Spark可否作为Cubing引擎,或者是否可以使用Cassandra作为存储?我们希望借此重新设计和架构的新版本提供各种可能性,以使得Kylin与最新的技术栈一起演进。这是本次重大更新中最大的变化,同时,新的版本经实践测试,Cubing时间及网络传输可以缩减30~50%、查询速度成倍提升、支持TopN、支持Excel及PowerBI等,另外,实验性的Streaming Cubing技术也随之发布。
下载安装
下载Apache Kylin v1.5.0源代码及二进制安装包,请访问下载页面。
升级
此版本并不向前兼容。Cube格式和元数据格式都经过重构,以获得成倍的性能提升。我们建议使用此版本,但不建议直接从之前的版本升级。重新部署是最好的方式。如果必需从之前的版本升级,社区稍后会给出指南。
KYLIN-875 - 一个插入式的总体架构,支持多样的构建引擎、存储引擎和数据源。
KYLIN-1245 - 一个内存Cube构建引擎,在内存充足情况下比之前版本快1.5倍左右。
KYLIN-942 - 一个更快的存储引擎,查询比之前版本快2倍左右,尤其是对原本较慢的查询。
KYLIN-738 - (实验性)流式Cube构建,从Kafka读取数据,以分钟间隔实时构建。
KYLIN-242 - 重新设计Aggregation Group,支持20+维度变得更加简单。
KYLIN-976 - 自定义聚合函数。
KYLIN-943 - TopN预聚合。
KYLIN-1065 - ODBC驱动支持Tableau 9.1, MS Excel, MS PowerBI。
KYLIN-1219 - 支持单点登录,使用SAML协议。
支持
升级和使用过程中有任何问题,请:
提交至Kylin的JIRA: https://issues.apache.org/jira/browse/KYLIN/
或者
发送邮件到Apache Kylin邮件列表: dev@kylin.apache.org
感谢每一位朋友的参与和贡献!