发布于 2015-06-16 00:19:54 | 214 次阅读 | 评论: 0 | 来源: 网友投递
Apache Storm 分布式实时计算系统
Apache Storm 的前身是 Twitter Storm 平台,目前已经归于 Apache 基金会管辖。Apache Storm 是一个免费开源的分布式实时计算系统。简化了流数据的可靠处理,像 Hadoop 一样实现实时批处理。Storm 很简单,可用于任意编程语言。Apache Storm 采用 Clojure 开发。
Apache Storm 0.10.0-beta 发布,值得关注的更新如下:
安全,多租户部署:
Kerberos Authentication with Automatic Credential Push and Renewal
Pluggable Authorization and ACLs
Multi-Tenant Scheduling with Per-User isolation and configurable resource limits.
User Impersonation
SSL Support for Storm UI, Log Viewer, and DRPC (Distributed Remote Procedure Call)
Secure integration with other Hadoop Projects (such as ZooKeeper, HDFS, HBase, etc.)
User isolation (Storm topologies run as the user who submitted them)
更容易部署和用流量声明拓扑布线:
Easily configure and deploy Storm topologies (Both Storm core and Micro-batch API) without embedding configuration in your topology code
Support for existing topology code
Define Storm Core API (Spouts/Bolts) using a flexible YAML DSL
YAML DSL support for most Storm components (storm-kafka, storm-hdfs, storm-hbase, etc.)
Convenient support for multi-lang components
External property substitution/filtering for easily switching between configurations/environments (similar to Maven-style ${variable.name}
substitution)
更多更新内容请查看这里
该版本下载请点这里:the downloads page.
Apache Storm 的前身是 Twitter Storm 平台,目前已经归于 Apache 基金会管辖。Apache Storm 是一个免费开源的分布式实时计算系统。简化了流数据的可靠处理,像 Hadoop 一样实现实时批处理。Storm 很简单,可用于任意编程语言。Apache Storm 采用 Clojure 开发。
Storm 有很多应用场景,包括实时数据分析、联机学习、持续计算、分布式 RPC、ETL 等。Storm 速度非常快,一个测试在单节点上实现每秒一百万的组处理。
目前已经有包括阿里百度在内的数家大型互联网公司在使用该平台。