发布于 2015-04-20 00:21:57 | 223 次阅读 | 评论: 0 | 来源: 网友投递

这里有新鲜出炉的精品教程，程序狗速度看过来！

Apache Spark

Spark是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行，Spark，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的map reduce的算法。

---

Spark 1.2.2 和 Spark 1.3.1 发布啦！这两个版本是维护版本，超过 90 位开发者在维护 Spark。

Spark 1.2.2 包括稳定性方面的 bug 修复：

Spark Core

• Thread safety problem in Netty shuffle (SPARK-6578)

• Memory leak in JobProgressListener (SPARK-5967)

• Unable to launch on YARN 2.5.0 and later (SPARK-4267)

• YARN auxiliary shuffle issue in secure mode (SPARK-5655)

PySpark

• Jobs hang during collect operation (SPARK-6667)

• Zip fails with serializer error (SPARK-5973)

• Memory leak using Spark SQL with PySpark (SPARK-6055)

• Hanging when using large broadcast variables (SPARK-5363)

详细改进请看发行说明。

Spark 1.3.1 主要改进如下：

Spark SQL

• Unable to use reserved words in DDL (SPARK-6250)

• Parquet no longer caches metadata (SPARK-6575)

• Bug when joining two Parquet tables (SPARK-6851)

• Unable to read parquet data generated by Spark 1.1.1 (SPARK-6315)

• Parquet data source may use wrong Hadoop FileSystem (SPARK-6330)

Spark Streaming

• Potential for data loss during WAL recovery (SPARK-6222)

PySpark

• Potential program hang when calling collect (SPARK-6667)

Spark Core

• Thread safety issue in Netty shuffle (SPARK-6578)

• Memory leak in output committer map (SPARK-6737)

• Unable to perform fetch file when local directories run NFS (SPARK-6313)

• NPE when cancelling and using mix of job groups (SPARK-6414)

更多内容请看发行说明。

这两个版本都已提供在下载页面。

Spark是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行，Spark，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的map reduce的算法。

Spark 是一种与 Hadoop 相似的开源集群计算环境，但是两者之间还存在一些不同之处，这些有用的不同之处使 Spark 在某些工作负载方面表现得更加优越，换句话说，Spark 启用了内存分布数据集，除了能够提供交互式查询外，它还可以优化迭代工作负载。

Spark 是在 Scala 语言中实现的，它将 Scala 用作其应用程序框架。与 Hadoop 不同，Spark 和 Scala 能够紧密集成，其中的 Scala 可以像操作本地集合对象一样轻松地操作分布式数据集。

尽管创建 Spark 是为了支持分布式数据集上的迭代作业，但是实际上它是对 Hadoop 的补充，可以在 Hadoo 文件系统中并行运行。通过名为 Mesos 的第三方集群框架可以支持此行为。Spark 由加州大学伯克利分校 AMP 实验室 (Algorithms, Machines, and People Lab) 开发，可用来构建大型的、低延迟的数据分析应用程序。

历史版本 :
Apache Spark 2.2.0 正式发布，提高可用性和稳定性
Spark 2.0 时代全面到来 —— 2.0.1 版本发布
Apache Spark 2.0.0 发布，APIs 更新
Apache Spark 1.6.2 发布，集群计算环境
Spark 2.0 预览：更简单，更快，更智能
Spark 2.7.6 发布，开源集群计算环境
Apache spark 1.6.1 发布，集群计算环境
Apache Spark 2.0 最快今年4月亮相
Apache Spark 1.6 正式发布，性能大幅度提升
Apache Spark 1.6 预览版：更简便的搜索
Apache Spark 1.5.2 发布，开源集群计算环境
Apache Spark 1.5.1 发布，开源集群计算环境