发布于 2014-11-19 23:22:30 | 237 次阅读 | 评论: 0 | 来源: 网友投递
Spring XD
Spring XD是一个统一的,分布式,可扩展的系统用于 data ingestion,实时分析,批量处理和数据导出。该项目的目标是简化大数据应用的开发。
Spring XD 1.1 M1/1.0.2 发布,这两个版本现已提供下载:
Spring XD 1.0.2 除了一些 bug 修复,Spring XD 1.0.2 现在支持 Apache Hadoop 2.5.1,Pivotal PHD 2.1 和 Cloudera CDH 5.1.3。
Spring XD 1.1 M1 包括 bug 修复,功能增强和一些新特性:
Kafka source and sink
HDFS sink supports writing to a Kerberized Hadoop Cluster
Modules can be created using Java @Configuration classes as an alternative to XML
Hadoop distribution updates. Support for Apache Hadoop 2,4.1/2.5.1 (default), Pivotal PHD 2.0/2.1, Cloudera CDH 5.2, and Hortonworks HDP 2.1. Apache Hadoop 2.2 support was removed
Configurable location of Spring XD’s top level node in Zookeeper
下一个版本是 Spring XD 1.1 RC1,将会支持:
A Kafka based message bus in addition to revamped Kafka support based on the low level consumer API
使用 Spark Streaming 的 Processor 和 Sink 模块
简化基于 Spring Boot 的模块贡献
更多内容请看发行说明。
Spring XD 是一个统一的,分布式,可扩展的系统用于数据摄取,实时分析,批量处理和数据导出。该项目的目标是简化大数据应用的开发。
Spring XD是一个统一的,分布式,可扩展的系统用于 data ingestion,实时分析,批量处理和数据导出。该项目的目标是简化大数据应用的开发。