Hadoop分布式系统

一个分布式系统基础架构，由Apache基金会所开发。

用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储。

Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-COSt）硬件上；而且它提供高传输率（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large Data set）的应用程序。HDFS放宽了（relax）POSIX的要求，可以以流的形式访问（streaming Access）文件系统中的数据。

Hadoop的框架最核心的设计就是：HDFS和MapReduce.HDFS为海量的数据提供了存储，则MapReduce为海量的数据提供了计算。

漏洞预警：Hadoop 未授权访问可导致数据泄露: 近日，国外媒体报道全球Hadoop服务器因配置不安全导致海量数据泄露，涉及使用Hadoop分布式文件系统（HDFS）的近4500台服务器，数据量高达5120 TB （5.12 PB），经分析，这批数据泄露的近4500台HDFS服务器中以美国和中国为主。事件原因：互联网上暴露的Hadoop服务器如果没有配置访问认证均可能受影响，攻击者针对HDFS
发布于 2017-06-15 07:00:18 | 203 次阅读
Kudu：为大数据快速分析量身定制的 Hadoop 存储系统: Apache Hadoop提供了一系列数据存储与处理的组件，覆盖了多种多样、应用于企业级关键服务的用户案例。在Cloudera，我们一直在努力探索Hadoop的各种可能性，拓展Hadoop的边界——使得Hadoop更快、更好用、更安全。自2012年，我们开启了一个关于Apache Hadoop存储系统的验证工作(避免Hadoop被约束在部分特定用户案例中)。验证
发布于 2016-05-21 23:51:33 | 242 次阅读
一个 Hadoop 老兵的自白: Apache Hadoop 是一个免费软件，但实际上，除非是拥有庞大工程师团队的大公司，否则最好不要去创建仅供内部使用的Hadoop版本，因为如果要购买技术支持，那 Hadoop 就不是免费的了。Jim Scott 是 MapR 企业战略&架构部门的负责人。2009年，他接触了自己的第一个 Hadoop 版本 Cloudera。他发现，Apache Hadoop 平台存在一
发布于 2015-11-28 00:48:36 | 201 次阅读
什么是 Hadoop 生态系统: https://www.facebook.com/hadoopers 在一些 Teiid 的一些文章和示例上都会有关于 JBoss Data Virtualization (Teiid) 通过 Hive 使用 Hadoop 作为数据源的信息。当使用 Hadoop 环境创建 Data Virtualization 示
发布于 2015-07-30 01:01:08 | 219 次阅读
为什么如此难用？Hadoop 的 12 个技术痛点: 文章作者Andrew C. Oliver是一位专业的软件顾问，同时还是北卡罗来纳州达勒姆大数据咨询公司Open Software Integrators的总裁和创始人。长时间的使用Hadoop，他发现了这12件事情真的影响了Hadoop的易用性。 Hadoop是一个很神奇的创造，但
发布于 2014-10-27 23:55:35 | 288 次阅读
HDFS 进化，Hadoop 即将拥抱对象存储？: Hortonworks在博客中提出了一个全新的Hadoop对象存储环境——Ozone，能将HDFS从文件系统扩展成更加复杂的企业级存储层。Hadoop社区的一些成员今日提议为Hadoop增加一个新的对象存储环境，这样一来Hadoop就能以与亚马逊S3、微软Azure
发布于 2014-10-15 23:55:26 | 317 次阅读
超越 Hadoop，Luigi 打通云端大数据管道: Liugi数据管线的可视化管理图新的大数据开源技术和工具往往来自互联网公司，除了Facebook、Google和Twitter这样的巨头外，一些甚至是你想不到的互联网公司，例如Netflix和Spotify（音乐流媒体服务）也会贡献一些优秀的大数据分析
发布于 2014-10-14 23:59:27 | 260 次阅读
数据科学家调查：受挫数据多样性，吐槽 Hadoop: 经过无数权威媒体的反复轰炸，我们大致已经相信，数据科学家是21世纪最神秘最性感最多金的职业，他们是大数据时代数据炸弹的拆弹专家，企业数字化经营的发动机，他们的身价堪比NFL四分卫，而且，他们比昆仑山上的雪豹
发布于 2014-07-30 23:48:38 | 484 次阅读
Paradigm4：调查显示76%的数据科学家认为Hadoop太慢: 据分析调研公司Paradigm4一项调查显示，76%的数据科学家认为Hadoop太慢了。数据科学家表示，Hadoop作为开源软件框架，在实际应用中还需要更多的精力进行编程，与大数据应用需求相比，其处理速度也还不够快。
发布于 2014-07-02 14:30:29 | 251 次阅读

Apache Hadoop 3.0.0 GA 版正式发布: 今天凌晨 Apache Hadoop 3.0.0 GA 版本正式发布，这意味着我们就可以正式在线上使用 Hadoop 3.0.0 了！这个版本是 Apache Hadoop 3.0.0 的第一个稳定版本，有很多重大的改进，比如支持 EC、支持多于2个的NameNodes、Intra-datanode均衡器等等。下面是关于 Apache Hadoop 3.0.0 GA 的正式介绍。Java最低版本要求从Java7 更改
发布于 2017-12-15 02:25:47 | 282 次阅读
Apache Hadoop 3.0.0-alpha1，重写 Shell 脚本: Apache Hadoop 3.0.0-alpha1发布了。部分更新内容：Hadoop 3.0.0-alpha1在Java 8下编译，使用Java 7以及以下版本需更新到Java 8重写了shell脚本，支持超过两个NameNode详情请参照发行说明： Hadoop 3.0.0-alpha1 Release Notes 主页：http://hadoop.apache.org/docs/r3.0.0-alpha1/index.html下载：http://hadoop
发布于 2016-09-09 07:24:59 | 160 次阅读
Apache Hadoop 2.6.1 发布: Apache Hadoop 2.6.1发布了，在2.6.x版本线上是一个点的发布，修复2.6.0很多关键问题。详细请参照 Hadoop 2.6.1 Release Notes .
发布于 2015-09-26 11:32:27 | 174 次阅读
Hadoop 2.7.0 发布，不再支持 JDK 6: Apache Hadoop 2.7.0 发布，包括大量显著改进，值得关注的改进如下：重大改进此版本不再支持 JDK 6 运行时，仅支持 JDK 7+ 此版本不适用于生产环境！还有一些重要的问题需要通过测试，用于生产环境的用户请等待 2.7.1/2.7.2 Hadoop Commo
发布于 2015-04-24 15:02:25 | 228 次阅读
Spring for Apache Hadoop 2.1.0.M2 发布: Spring for Apache Hadoop 2.1.0.M2 发布，此版本现已提供在 Spring IO repository。Spring for Apache Hadoop 2.1.0.M2 包括大量的版本更新： Spring Framework 4.1.2, Spring Boot 1.2.0.RC1 等等，更多内容请看完整更新日志。 Spring for Apache Hadoop 2.1.0.M2 更新了 Kite
发布于 2014-11-15 00:29:59 | 231 次阅读
Spring for Apache Hadoop 2.0.3 发布: Spring for Apache Hadoop 2.0.3 发布，此版本现已提供在 Maven Central 和 Spring 库。此版本包括 bug 修复和依赖版本更新。此版本的依赖项匹配了下一个 Spring IO 平台 1.0.3 版本。更多内容请看 changelog 或者 JIRA release notes。此版本支持 Apache Ha
发布于 2014-11-03 23:25:33 | 239 次阅读
官方正式发布 Apache Hadoop 2.5.0 版本: 尽管下载文件在前几天已经发布，不过官网上今天才发布了 Apache Hadoop 2.5.0 正式版，这是一个小更新版本，包括一些主要新特性和改进以及 Bug 修复，例如扩展文件属性和改进 HDFS 的 Web UI，提升 ATS 安全性，更丰富的 YARN REST API
发布于 2014-08-15 23:00:10 | 279 次阅读
Hadoop 2.5.0 发布,分布式系统基础架构: 今天突然看到了hadoop2.5.0 出来了，好快呀，主页还没有更新，估计是修改了一下bug.下载地址：http://mirrors.cnnic.cn/apache/hadoop/common/
发布于 2014-08-13 04:52:56 | 224 次阅读
Nut 19.2 发布，Lucene+Hadoop 分布式运行框架: Nut 19.2 发布，此版本修复了图表的 bug，忽略当前的测量值；添加了两个 nutrients 到自动部分控制功能。Nut 是一个为lucene提供分布式搜索的框架。理论上可对千G以上索引文件支持数千万级的用户搜索访问。Nut由Client、Server、Cache
发布于 2014-06-15 03:48:37 | 266 次阅读

基于CentOS的Hadoop分布式环境的搭建开发: 本篇内容主要为大家讲解的是基于CentOS的Hadoop分布式环境的搭建开发。感兴趣的同学可以参考学习下，具体内容如下：
发布于 2017-10-16 05:47:23 | 152 次阅读
Hadoop streaming详细介绍: 本篇内容主要为大家讲解的是Hadoop streaming详细介绍。感兴趣的同学可以参考学习下，具体内容如下：
发布于 2017-08-19 03:08:22 | 154 次阅读
详解搭建ubuntu版hadoop集群: 本篇内容主要为大家讲解的是详解搭建ubuntu版hadoop集群。感兴趣的同学可以参考学习下，具体内容如下：
发布于 2017-07-21 05:24:23 | 189 次阅读
大数据领域开源技术，除了 Hadoop 你还知道哪些？: 众所周知，大数据正在以惊人的速度增长，几乎触及各行各业，许多组织都被迫寻找新的创造性方法来管理和控制如此庞大的数据，当然这么做的目的不只是管理和控制数据，而是要分析和挖掘其中的价值，来促进业务的发展。想要深入发展大数据，闭门造车是不可能的，共通共融是现在趋势，因此，开源让越来越多的项目可以直接采用大
发布于 2016-10-05 00:30:32 | 153 次阅读
hadoop的hdfs文件操作实现上传文件到hdfs: 本篇内容主要为大家讲解的是hadoop的hdfs文件操作实现上传文件到hdfs。感兴趣的同学可以参考学习下，具体内容如下：
发布于 2016-07-12 08:58:07 | 435 次阅读
hadoop实现grep示例分享: 本篇内容主要为大家讲解的是hadoop实现grep示例分享。感兴趣的同学可以参考学习下，具体内容如下：
发布于 2016-07-11 13:13:34 | 411 次阅读
Hadoop1.2中配置伪分布式的实例: 本篇内容主要为大家讲解的是Hadoop1.2中配置伪分布式的实例。感兴趣的同学可以参考学习下，具体内容如下：
发布于 2016-07-11 06:05:25 | 383 次阅读
hadoop入门之通过页面验证hadoop是否安装成功的方法: 本篇内容主要为大家讲解的是hadoop入门之通过页面验证hadoop是否安装成功的方法。感兴趣的同学可以参考学习下，具体内容如下：
发布于 2016-04-10 14:50:05 | 415 次阅读
hadoop入门之验证hdfs是否能够正常运行的方法: 本篇内容主要为大家讲解的是hadoop入门之验证hdfs是否能够正常运行的方法。感兴趣的同学可以参考学习下，具体内容如下：
发布于 2016-05-10 08:17:57 | 223 次阅读
hadoop入门之统计单词在文件中出现的个数示例: 本篇内容主要为大家讲解的是hadoop入门之统计单词在文件中出现的个数示例。感兴趣的同学可以参考学习下，具体内容如下：
发布于 2016-05-09 12:43:32 | 371 次阅读
hadoop入门之hadoop集群验证任务存放在不同的节点上: 本篇内容主要为大家讲解的是hadoop入门之hadoop集群验证任务存放在不同的节点上。感兴趣的同学可以参考学习下，具体内容如下：
发布于 2016-05-09 12:05:09 | 146 次阅读
hadoop入门之设置datanode的心跳时间的方法: 本篇内容主要为大家讲解的是hadoop入门之设置datanode的心跳时间的方法。感兴趣的同学可以参考学习下，具体内容如下：
发布于 2016-05-15 08:38:13 | 417 次阅读
hadoop入门之hdfs基本操作命令使用方法: 本篇内容主要为大家讲解的是hadoop入门之hdfs基本操作命令使用方法。感兴趣的同学可以参考学习下，具体内容如下：
发布于 2016-05-13 03:27:27 | 193 次阅读
hadoop入门之namenode工作特点介绍: 本篇内容主要为大家讲解的是hadoop入门之namenode工作特点介绍。感兴趣的同学可以参考学习下，具体内容如下：
发布于 2016-05-05 01:15:11 | 125 次阅读
hadoop入门之hdfs的重要配置项的说明: 本篇内容主要为大家讲解的是hadoop入门之hdfs的重要配置项的说明。感兴趣的同学可以参考学习下，具体内容如下：
发布于 2016-05-14 23:34:08 | 204 次阅读
hadoop入门之通过java代码实现将本地文件上传到hadoop的文件系统: 本篇内容主要为大家讲解的是hadoop入门之通过java代码实现将本地文件上传到hadoop的文件系统。感兴趣的同学可以参考学习下，具体内容如下：
发布于 2016-05-14 09:47:08 | 486 次阅读
Hadoop 获取 DFS Remaining hadoop文件系统可使用的剩余容量大小: 本篇内容为大家讲解的是Hadoop 获取 DFS Remaining hadoop文件系统可使用的剩余容量大小，感兴趣的同学参考学习下，本文内容如下:
发布于 2016-01-05 11:07:07 | 1328 次阅读
Hadoop读取环境变量及setup函数: 本篇内容为大家讲解的是Hadoop读取环境变量及setup函数，感兴趣的同学参考学习下，本文内容如下:
发布于 2016-01-01 22:09:00 | 493 次阅读
Hadoop中的Python框架的使用指南: 这篇文章主要介绍了Hadoop中的Python框架的使用指南,Hadoop一般使用复杂的Java操作,但通过该框架使得Python脚本操作Hadoop成为了可能,需要的朋友可以参考下最近，我加入了Cloudera，在这之前，我在计算生物学/基因组学上已经
发布于 2016-01-21 04:05:48 | 385 次阅读
Hadoop配置文件解析: 本文为大家讲解的是Hadoop的配置文件详解，配置方法，格式等，感兴趣的同学参考下。
发布于 2014-11-10 02:23:05 | 246 次阅读

hadoop2.6完全分布式环境安装搭建: 本文为大家讲解的是hadoop2.6完全分布式环境安装搭建教材，感兴趣的同学参考下。
发布于 2015-01-28 15:41:21 | 792 次阅读
使用yum安装CDH Hadoop集群: 本文为大家分享的是一篇使用yum安装CDH Hadoop集群的完整教程，感兴趣的同学参考下。
发布于 2015-02-05 01:44:43 | 521 次阅读
redhat下Hadoop 安装部署: 本文为大家讲解的是在redhat下Hadoop的安装和部署,感兴趣的同学参考下.
发布于 2014-12-09 09:04:23 | 511 次阅读
在win7上hadoop环境搭建的方法(图): 本篇内容主要为大家讲解的是在win7上hadoop环境搭建的方法(图)。感兴趣的同学可以参考学习下，具体内容如下：
发布于 2016-05-12 02:23:40 | 476 次阅读
docker搭建Hadoop集群: 本篇内容为大家讲解的是docker搭建Hadoop集群，感兴趣的同学参考学习下，本文内容如下:
发布于 2015-11-14 15:17:53 | 455 次阅读
离线安装Hadoop最新发行版本hdp2.4: 本篇内容主要为大家提供的是离线安装Hadoop最新发行版本hdp2.4。感兴趣的同学可以参考学习下，具体内容如下：
发布于 2016-04-10 03:55:37 | 359 次阅读
hadoop2.6.0 在64位CentOS 6.4系统上的编译安装: 本篇内容为大家讲解的是hadoop2.6.0 在64位CentOS 6.4系统上的编译，感兴趣的同学参考学习下，本文内容如下:
发布于 2016-01-01 07:58:36 | 337 次阅读
Hadoop 2.6 + Hive 1.2.1 + spark-1.4.1(3): 本篇内容为大家讲解的是Hadoop 2.6 + Hive 1.2.1 + spark-1.4.1(3)，感兴趣的同学参考学习下，本文内容如下:
发布于 2016-01-03 06:48:21 | 281 次阅读
hadoop完全分布式模式的安装和配置: 本篇内容为大家讲解的是hadoop完全分布式模式的安装和配置步骤，感兴趣的同学参考学习下，本文内容如下:
发布于 2015-12-19 06:53:33 | 216 次阅读
Hadoop伪分布式安装: 本篇内容为大家讲解的是Hadoop伪分布式安装，感兴趣的同学参考学习下，本文内容如下:
发布于 2017-03-22 01:54:12 | 196 次阅读
详解Ubuntu16.04下Hadoop 2.7.3的安装与配置: 本篇内容主要为大家讲解的是详解Ubuntu16.04下Hadoop 2.7.3的安装与配置。感兴趣的同学可以参考学习下，具体内容如下：
发布于 2017-07-22 04:18:08 | 190 次阅读
hadoop单机版安装配置: 本篇内容为大家讲解的是hadoop单机版安装，感兴趣的同学参考学习下，本文内容如下:
发布于 2015-12-19 08:54:00 | 185 次阅读
linux下搭建hadoop环境步骤分享: 本篇内容主要为大家讲解的是linux下搭建hadoop环境步骤分享。感兴趣的同学可以参考学习下，具体内容如下：
发布于 2016-02-13 10:27:37 | 173 次阅读

后端技术

前端技术

数据库

热门框架

常用IDE

其他