戴尔易安信数据湖解决方案｜考虑建立数据湖？是时候了

在“十四五”规划纲要中，“数据”一词被提及几十次。从瓦特经济发展到比特经济，数据已经成为重要的生产资料。为了赢得未来竞争力、在突发事件到来时保持韧性，大数据时代企业需要借助数据湖挖掘全量数据价值。

距离数据湖（Data Lake）的提出已有十一年了，相信大家对这个概念并不陌生。近两年随着大数据、云计算等技术的发展，数据湖开始真正从技术概念一步步走向实际应用。

先来看一下数据湖概念的提出者，Pentaho创始人兼CTO——James Dixon对其的描述：

由此可见，数据湖强调的是对于业务数据“原汁原味”的保存，确保了数据的真实性和准确性。

以往人们都在强调数据量的几何式式增长，其实，随着暴增的数据量，需要存储的数据类型也愈来愈丰富。

传统的企业数据管理方案是建立数据仓库，相较于数据仓库只能处理结构化数据（如关系型数据库中的表），数据湖显得“包容”得多，它可以轻松收集各种数据，包括存储结构化数据，半结构化数据（如CSV、日志、XML、JSON），以及非结构化数据（如文本、图形、图像、音频、视频）。

正是基于大数据时代客户对非结构数据管理需要的洞察，此前，戴尔科技针对预测性大数据分析发布了横向扩展数据湖方案，帮助客户真正捕获大数据的价值，实现存储空间和性能的线性增长，从而保持更低的获取与管理的成本。

通过旗下PowerScale和ECS（Elastic Cloud Storage）等文件和对象存储产品，戴尔易安信多年来持续为各行业客户提供完整、可靠的数据湖解决方案。

以医疗机构为例，戴尔易安信数据湖解决方案可以同时支持PACS影像应用、心电超声应用、文件应用、移动办公应用、大数据科研等多种业务，而无需为每一种应用提供单独的存储平台，从而消除信息化建设过程中可能出现的数据孤岛。

▲医院数据湖平台示例图

由于数据湖存储着来自业务线应用程序的关系数据，以及来自移动应用程序、IoT设备和社交媒体的非关系数据。捕获数据时，未定义数据结构或Schema。这意味着企业可以对数据使用不同类型的分析（如SQL查询、大数据分析、全文搜索、实时分析和机器学习）来获得信息。

数据湖适合以一致的方式利用大量数据，并使用算法驱动实时分析。如今，数据传输以及通信都需要实时运行，特别是气象测控、金融服务、网络监控等领域会产生大量的实时动态数据，对于持续生成动态新数据的大多数场景，采用流数据处理是有利的。

因此，能否对流数据进行有效分析处理也是企业未来面临的考验。戴尔科技流数据平台（Dell EMC Streaming Data Platform，简称SDP）的出现填补了流式数据领域的空缺。

SDP是一套基于软件与参考硬件的弹性可伸缩平台，用于注入、存储和分析无界的流式数据。作为企业级的数据存储和计算一体化平台，SDP为用户提供了安全可扩展的平台，在平台内运行的每一个应用都同时支持实时数据和历史数据的访问，并且有统一的API支持。

▲SDP的整体架构示意图

随着核心、云和边缘不断产生新的数据，依靠在分布式存储方面深耕多年的经验，戴尔科技技术专家进一步提出深度定制数据湖的想法。这些创新想法将为用户更加灵活地在存储和计算之间寻找平衡，以适应不同的场景带来新的方向。

4月17日，Apache Flink社区2021首场Meetup将于上海举行，技术大咖齐聚一堂全方位解析数据湖生产应用难题，届时戴尔科技技术专家也会带来关于数据湖的独家干货分享，亮点都为大家整理好了，一起来先睹为快！