2020/02/28

你还在用这种方法搭建Hadoop吗？

戴尔官方企采中心

如果让你在钥匙和手机中选一个

你会选哪个？

相信很多人选手机

吃饭、购物、打车、取钱

没有是手机干不了的

想回家也不难

手机App上找个开锁公司就好了

而如果选钥匙

你可能还没出小区大门

就开始后悔了...

手机对于今天人们生活的

重要性不言而喻

这样的例子小编再举一个

就是Hadoop对于大数据的重要性

▓ 从2006年诞生至今，Hadoop已经走过了13个年头，成为互联网行业大数据计算的标准配置。虽然时有言论唱衰Hadoop（主要针对商业发行版，而不是Hadoop技术本身），但它依然是大数据平台的核心和事实标准。

今天，几乎所有公司开展大数据项目都会首先引入Hadoop，然而成功却并不容易。2016年的时候Gartner估计有60%的大数据项目遭遇失败。这中间当然有市场、策略等在内的很多因素，但其中一个因素很多人回过头才发现，是因为它们一开始就走在了“羊肠小道”上。

比如下面这个案例

搭建标准Hadoop集群

还没上线就出问题

IT系统架构师小王供职于一家提供数据服务的A公司，该公司通过网络爬虫7×24不间断在互联网上收集所有注册企业的公开的信息，进行数据处理和信息聚合，供其用户进行查询。

最近，A公司业务上有了新的创新，他们决定在现有提供查询服务的基础上，进一步对外提供数据分析服务。经公司讨论决定，这个任务，落到了小王的头上。

借鉴互联网公司的经验，小王最开始用标准服务器搭建标准Hadoop集群。该平台对外提供Hadoop as a service服务，每当用户有请求，平台都会自动帮用户生成一套Hadoop环境，同时加载300+TB由公司提供的公共数据进去。

但是，这样的平台

在前期测试阶段就出现了问题

首先

当出现一个节点故障时，前端用户使用系统时会感觉非常慢，极端情况下甚至出现过部分数据不可用，集群停止服务等问题。同时故障修复过程也非常缓慢，严重影响了用户体验。

作为一个外部服务平台，这样的表现显然无法满足A公司及其外部用户SLA要求。

其次

作为一个多租户平台，同时要支撑很多套Hadoop集群运行，并且每套Hadoop集群都会存储一份由A公司提供的300+TB公共数据。大量重复数据存储造成的空间开销异常高，直接导致需要部署的服务器数量惊人，而A公司所有IT设备均托管在运营商机房，久而久之造成机房的租用成本高企。

最后

大批量服务器部署带来的运维成本对IT部门也是很大的负担。

面对这种情况

只能硬着头皮用下去吗？

当然不是！

小编向您推荐

Isilon for Hadoop解决方案

PowerMax NVMe 数据存储

端到端 NVMe，支持横、纵向扩展

参考价格:咨询客服获取特惠价了解详情

SC 系列全闪存

欢迎选择更好的闪存架构

参考价格:咨询客服获取特惠价了解详情

“等等！Isilon我是知道的，它不是你们常说的那个用在影视行业很牛掰的NAS存储嘛？它能如何帮到我？？”

不错，Isilon确实是以NAS的形象闻名于江湖

但是它可不仅仅定位于NAS！

Isilon由英特尔®至强®处理器提供支持，该处理器采用软件定义的基础设施和敏捷云架构，为Isilon提供了卓越的性能和效率，可加速要求严苛的文件工作负载，使企业发挥数据资本的价值，加速业务的数字转型。

Isilon搭建Hadoop

大数据也能玩的溜

其实，戴尔易安信Isilon是一个成熟的数据湖解决方案，它的OneFs操作系统支持丰富数据访问协议，当一种协议写入数据湖的文件，可以马上通过其他协议被访问。

例如，用户通过SMB写入到Isilon中的文件，可以马上通过HDFS被Hadoop计算节点访问，省去了标准Hadoop集群繁琐的ELT过程，而且OneFs原生支持HDFS，避免了协议转换带来的性能开销。

具体来说

用Isilon来架构Hadoop集群

比标准Hadoop集群更具优势

首先

传统通过DAS构建的，是计算和存储集中的单层架构，在扩容时需要同时扩容计算和存储，往往会造成计算资源过剩，形成资源浪费。

而通过Isilon构建地是计算与存储分离的二层架构。让计算归计算，存储归存储，这样就可以随需灵活地扩充资源，实现最佳资源利用率。

打个比方

单层架构好比一个人被绑住双脚，不能走，只能跳，前行速度慢且吃力。

二层架构好比一个人的双脚挣脱了束缚，迈开步子往前跑，自然前进地更快。

其次

利用DAS构建的标准Hadoop集群，需要将各类在线数据经过繁琐的ETL过程才能实现大数据分析。

而通过Isilon构建Hadoop集群，能够实现数据的就地分析，无需繁琐的转换，从而避免了协议转换带来的性能开销。

最后

就像前面小王案例中遇到的，当出现一个节点故障时，前端用户就会受到显著的影响，这就是标准DAS Hadoop无法避免的单点故障风险。

而基于Isilon搭建的Hadoop集群无单点故障，每个节点都是NameNode，能够有效避避免业务风险。此外，Isilon的服务质量更有保证，即使有节点失效，也不会显著降低集群的性能。

具体到A公司新业务的应用场景

Isilon支持多租户，可以轻松实现不同用户的Hadoop环境逻辑上完全隔离。
配合Smart Dedupe技术，可以在全局将多Hadoop实例中的共用数据进行重删，实现极佳的存储经济性。
每个节点都是NameNode，更高可用性。
Isilon集群还能随需动态扩展高性能节点或大容量节点，实现最佳的投入产出比。

总之，相较于标准架构用服务器搭建Hadoop集群，采用Isilon方案能够为A公司节省更多机柜空间和能耗，简化运维管理和功能实现方式，并提供更可靠的数据服务和更丰富的接口支持，便于用户进一步的业务创新。

用好Hadoop不难

关键要走在事半功倍的道路上

相关内容推荐：“鸳鸯锅”玩转大数据

在线咨询

项目咨询

采购咨询专线400-884-6610

热门评论

暂无相关评论

删除回复

更多回复

查看全部条评论

发表评论...

取消发送