Apache Nutch 2.3.1 发布，搜索引擎
发布于 2016-01-23 01:00:54 | 179 次阅读 | 评论: 0 | 来源: 网友投递
Apache Nutch 基于Java的开源搜索引擎
Nutch 是一个开源Java 实现的搜索引擎。它提供了我们运行自己的搜索引擎所需的全部工具。包括全文搜索和Web爬虫。
Apache Nutch 2.3.1 发布，此版本主要解决了 40 个 issues，详情请看这里：
http://s.apache.org/nutch_2.3.1
下载： http://nutch.apache.org/downloads.html
此版本推荐的 Gora 后端：
- Apache Avro 1.7.6 - Apache Hadoop 1.2.1 and 2.5.2 - Apache HBase 0.98.8-hadoop2 (although also tested with 1.X) - Apache Cassandra 2.0.2 - Apache Solr 4.10.3 - MongoDB 2.6.X - Apache Accumlo 1.5.1 - Apache Spark 1.4.1
Nutch 是一个开源Java 实现的搜索引擎。它提供了我们运行自己的搜索引擎所需的全部工具。包括全文搜索和Web爬虫。
Nutch的创始人是Doug Cutting，他同时也是Lucene、Hadoop和Avro开源项目的创始人。
Nutch 诞生于2002年8月，是Apache旗下的一个用Java实现的开源搜索引擎项目，自Nutch1.2版本之后，Nutch已经从搜索引擎演化为网络爬 虫，接着Nutch进一步演化为两大分支版本：1.X和2.X，这两大分支最大的区别在于2.X对底层的数据存储进行了抽象以支持各种底层存储技术。
在 Nutch的进化过程中，产生了Hadoop、Tika、Gora和Crawler Commons四个Java开源项目。如今这四个项目都发展迅速，极其火爆，尤其是Hadoop，其已成为大规模数据处理的事实上的标准。Tika使用多 种现有的开源内容解析项目来实现从多种格式的文件中提取元数据和结构化文本，Gora支持把大数据持久化到多种存储实现，Crawler Commons是一个通用的网络爬虫组件。
Nutch 致力于让每个人能很容易, 同时花费很少就可以配置世界一流的Web搜索引擎. 为了完成这一宏伟的目标, Nutch必须能够做到:
-
每个月取几十亿网页
-
为这些网页维护一个索引
-
对索引文件进行每秒上千次的搜索
-
提供高质量的搜索结果
-
以最小的成本运作
历史版本 :
Apache Nutch 1.14 发布，Web 爬虫
Apache Nutch 1.1.3 发布，Web 爬虫
Apache Nutch 2.3.1 发布，搜索引擎
Apache Nutch 1.11/ 2.3 发布，搜索引擎
Apache Nutch 1.10 发布，搜索引擎
Apache Nutch v2.3 发布，Java实现的网络爬虫
Apache Nutch 1.9 发布，开源的搜索引擎