发布于 2017-06-15 07:00:18 | 203 次阅读 | 评论: 0 | 来源: 网友投递
Hadoop分布式系统
一个分布式系统基础架构，由Apache基金会所开发。
用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储。
近日，国外媒体报道全球Hadoop服务器因配置不安全导致海量数据泄露，涉及使用Hadoop分布式文件系统（HDFS）的近4500台服务器，数据量高达5120 TB （5.12 PB），经分析，这批数据泄露的近4500台HDFS服务器中以美国和中国为主。
事件原因：
互联网上暴露的Hadoop服务器如果没有配置访问认证均可能受影响，攻击者针对HDFS的攻击删除了大多数目录，并会添加一个名为“NODATA 4U_SECUREYOURSHIT”的新目录和“PLEASE_README”的目录，攻击者可能备份业务数据后在服务器上删除这部分数据，然后直接发送勒索邮件并索要勒索赎金。
风险等级：高危
漏洞原因：
该问题产生是由于管理员在配置失误所致，由于直接在云上开放了Hadoop机器HDFS的50070web端口及部分默认服务端口，黑客可以通过命令行操作多个目录下的数据，如进行删除操作，安全风险高。
检测方式:
手工检查Hadoop 50070/50075端口是否开放到了公网，例如:http://ip:50070或http://ip:50075
修复措施：
强烈建议您安装完Hadoop集群后，进行安全加固：
建议按照安全最小化原则，禁止公网对这部分端口访问，如果因业务需要必须对外开放，请使用ECS提供的安全组策略指定访问源IP访问端口业务，如无必要，关闭Hadoop Web管理页面；
开启服务级别身份验证，如Kerberos认证；
部署Knox、Nginx之类的反向代理系统，防止未经授权用户访问；
使用交换机或防火墙策略配置访问控制策略(ACL)，将Hadoop默认开放的多个端口对公网全部禁止或限制可信任的IP地址才能访问包括50070以及WebUI等相关端口。
参考资料：
网上找了一篇加固文档，供参考，Hadoop加固文档：https://help.aliyun.com/knowledge_detail/50128.html