戴尔科技推出对象数据湖解决方案

近日，IT媒体《eWEEK》发表一篇文章认为，在2020年，财富500强上的前十大公司中，有八家与石油或能源相关。这一事实清楚地表明了石油在当今世界的主导地位，即在过去100年来，石油是推动全球经济增长的核心驱动力。

然而这一情况即将发生转变。预计在2022年，按收入计算，亚马逊将登顶全球财富500强。这也许是一个标志性事件，意味着世界从以能源和石油为基础的经济转向数据驱动型经济。

文章表示，到2030年，包括苹果、特斯拉、谷歌在内，全球财富十大公司中，有8家可能是数据驱动型公司。正如中东和苏伊士运河在石油时代具有重要战略地位，数据也将数字时代重要的“战略资源”。

这也是如此之多的企业在数字化道路上狂飙突进的原因，掌握数据即是预见未来，才能在竞争中占领“制高点”。

当然，光有数据还不够，正如石油本身并没有什么作用，而是需要提炼、加工，才能把石油变作燃料、化纤、塑料等等。数据本身也没有价值，只有经过收集、整理和分析，将数据转化为见解，才能真正驱动商业价值。

在这里，“数据湖”三个字你一定不会陌生，这个最早在2010年由Pentaho创始人James Dixon提出，并这样解释这个概念：

不幸的是，数据湖的发展并非一帆风顺，因为早期的概念里， 数据湖更多地是关于当企业在处理海量异构的数据时，如何在数据产生实际的应用价值之前，为海量数据构建一个易访问且成本低的存储方式。

用户把数据扔进湖中，然后任其自生自灭，已经有多次公开的失败证明这种方法是错误的，一些早期采用者看到他们的数据湖迅速演变为管理不善或无人管理的数据沼泽。

随着时间的推移，今天用于实施数据湖的技术和方法已经趋于成熟。数据湖作为大数据和人工智能技术基础架构发展的趋势，不仅提供了海量数据的存储能力，同时也为上层的数据处理提供了高效统一的数据管理引擎。

数据湖的主要特点：

技术上，数据湖不仅包括Hadoop，还包括其他传统和新兴大数据技术。下图所示的是典型数据湖结构：在一个数据湖解决方案中，用户通过诸如Apache Flink等平台，通过自带的数据定义或者第三方框架的数据定义，对存储在存储层的数据进行管理，包括查询和修改等。

其中，Apache Iceberg则是一个新兴的数据定义框架，它适配了多个计算引擎，并具备了极强的扩展性，使得存储层可以对其进行适配。

Iceberg与Delta、Apache Hudi并称为当前主流的三大开源数据湖方案。其特点是表元数据非常简单，仅仅包括当前表的名称和版本信息。所有的Schema和Properties都由Iceberg自身进行管理。

并且，Iceberg支持多种表的操作，包括从表中查询数据、向表中插入数据、更新表中的数据、删除指定行的数据和删除指定条件的数据等。

Iceberg架构

而为了全面拥抱数据湖，戴尔易安信对象存储ECS与Apache Iceberg结合，推出对象数据湖解决方案。该方案实现了table-format的数据访问接口，在数据加速、小文件、多地部署以及存储效率上具备优越的特性。

数据湖在本质上，是一种企业数据架构方法，物理实现上则是一个数据存储平台。ECS对象存储作为数据湖底层存储方案，用此方案可以将数据湖的元数据和数据都直接对接对象存储，充分利用对象存储提供的原生优势，并且无需部署额外的元数据管理服务，提供了更大的部署便利性。同时利用Iceberg良好的Table Format语义，用于帮助用户组织数据。

根据测试验证，单节点S3写性能10KB大小的数据能达到1万以上TPS，100MB大小的数据能达到1GB以上带宽。单节点 S3读性能10KB大小的数据能达到3万以上TPS，100MB大小的数据能达到5GB以上带宽。成为企业构建统一数据湖存储，并在其上构建多种形式分析的理想方案。

END

年终钜惠尝鲜

戴尔年度笔记本、显示器

0元试用 无需归还

办公好物轻松得

点击图片 即刻参与！