自研高效智能存储系统联想凌拓助力企业以数据驱动商业价值

2022-05-18 08:38:02 [ 中关村在线原创 ] 作者：徐鹏

数字经济为社会发展贡献了新的增长动能，云计算、5G、边缘计算、物联网、AI/ML等技术的广泛应用，让千行百业的业务场景更加多元化。这一进程中，数据的价值被放大到前所未有的程度，并呈现着指数级增长的趋势。此时，企业对数据的采集、存储、处理、分析、管理、备份等全生命周期就提出了新的要求。“筑牢数字经济发展的基石，帮助客户稳健实现数字化转型需要通过创新数字管理技术来提供安全、稳定、高效的数据管理方案。而对于创新数据管理技术的追求，这也是联想凌拓发展的目标。”联想凌拓产品管理与营销高级总监林佑声说。

国务院印发的《“十四五”数字经济发展规划》指出，到2025年，数字经济核心产业增加值占国内生产总值比重达到10%，数据要素市场体系初步建立，产业数字化转型迈上新台阶，数字产业化水平显著提升，数字化公共服务更加普惠均等，数字经济治理体系更加完善。展望2035年，力争形成统一公平、竞争有序、成熟完备的数字经济现代市场体系，数字经济发展水平位居世界前列。IDC预测，到2025年全球数据总量将达到175ZB。在企业的存储系统中，非结构化数据占数据总量的80%至90%。

当人们把数据视为核心资产，企业对数据安全存储、流动性能、生命周期管理、业务连续性也提出了与过去完全不同的要求。传统的数据管理技术不得不面对新形态的强力挑战，而且往往力不从心，因此对于数据管理技术的创新势在必行。新型的数据管理技术，势必将安全、高效、适应数字未来经济发展的要求作为非常重要的要求。2019年创立之初，联想凌拓就建立了本地的研发团队，为客户提供新一代数据管理技术，以过硬的技术实力拿到了CMMI5级认证和一系列ISO认证，获得了客户的一致认可。目前，联想凌拓拥有从传统存储、软件定义到容器管理平台及数据备份的完整产品线，通过Lenovo和NetApp双品牌的策略，为中国客户提供了高效的数据管理服务。

4月14日，联想凌拓推出了面向新一代数据中心的全自研联想ThinkSystem DXN V2.0企业级分布式软件定义存储系统，在协议支持、性能加速、扩展能力、数据保护等方面进行了提升，可实现数据全生命周期管理，进一步满足了媒体、医疗、金融、教育等行业对数据管理的需求。ThinkSystem DXN V2.0采用先进的元数据管理架构，可以做到读写性能伴随节点数量增加线性提升，提供包括小文件智能缓存预取、QoS服务质量控制、配额、更强洞见更易使用的智能UI等功能提升用户体验，帮助客户实现更高的业务效率。在一套集群中，提供了CIFS、NFS、FTP、S3、OpenStack、Kubernetes CSI等多协议及生态支持，容纳百亿文件规模，支持软硬解耦，帮助客户更加轻松地管理数据，通过事前主动防御（存储亚健康检测）、事中自动处理（副本、EC自动重构）、事后快速兜底（基于嵌套式快照的多层级灵活数据恢复）的闭环数据保护架构，为客户提供数据安全保障。

自研高效智能存储系统联想凌拓助力企业以数据驱动商业价值
全自研联想ThinkSystem DXN V2.0企业级分布式软件定义存储系统

ThinkSystem DXN V2.0包括三款机型，分别是DXN2000 G2，面向性能和容量要求均衡的客户，采用2U的联想服务器，可连接扩展柜D3284；在5U的D3284机柜中，可以安装84块3.5寸磁盘，能够与前端的DXN2000结合支持超过90块磁盘，适合需要大容量存储的客户；高密度的DXN3000，可在4U的节点里支持34块3.5寸磁盘，适合大容量、高性能的场景。通过分布式软件，联想凌拓把服务器内部的磁盘组成了存储资源池，对外提供文件服务和S3存储服务。同时，在服务器内部增加了SSD磁盘作为缓冲层，能够有效应对大量的密集型IO访问。在DXN V2.0中，增加了FTP和S3的访问服务，采用了K8S的CSI接口，可以覆盖视频监控、无纸化办公、大规模图像存储、医疗影像系统等场景。

ThinkSystem DXN V2.0支持横向和纵向扩展，单个节点可以通过直联D3284增加磁盘笼的组合，使单节点容量达到1.6PB，三个存储节点集群可在一个机柜中提供4.8PB的容量，适合追求性价比的客户。横向扩展时，DXN单个机群可扩展到4096个节点，支持超过100亿文件使用量，在线扩展节点时，数据会自动、均衡分散到所有节点上，以匹配海量文件应用场景。

通过高密度“接报”磁盘柜的方式，配合EC算法，可以让客户的TCO下降20%以上。与市场上的一些同类产品相比，在相同的容量下，DXN2000 G2+D3284组合能够显著降低采购成本和管理成本。同时，DXN支持的高效EC纠删码转发，磁盘的利用率最高可达到94%，意味着如果1PB容量，空间损耗不会超过100TB。如果是两副本和三副本保护方式进行对比，DXN纠删码技术能够大幅提升空间的使用效率，如三副本情况下可将磁盘利用率提升33%。

由于采用了DXN2000+接报的方式，一个节点支持的磁盘数量超过9块。ThinkSystem DXN V2.0增加了“EC折叠技术”，如果有6个节点，“4+2”的保护模式可预防2个节点同时宕机或节点上同时损害多块硬盘，利用剩下的节点和数据就可以“找回”故障设备上的数据文件。利用VNode来做“4+2”纠删码，结合逻辑节点划分，能够有效应对节点中同时坏掉多块盘的风险。

ThinkSystem DXN V2.0使用了全对称分布式架构，集成扩展元数据的切片会均匀落到每一个节点上，使得性能可以平滑扩展、元数据处理能力会随着节点增加而加强。在3-5副本的情况下，选择5副本最大可实现4个节点同时宕机而不影响业务和数据安全。联想凌拓采用的嵌套式快照是一种加强型的快照方式，对副目录和子目录进行解绑，可以对每个子目录或副目录做快照，随时随地保护用户数据，适合多部门协作存储场景。

ThinkSystem DXN V2.0之所以能将单一集群横向扩展到超过4000个节点以上，让性能实现线性提升，主要得益于存储架构。一方面，其采用的是全对称式架构，每一个存储节点既是MDS节点，可提供元数据检索服务，通过负载均衡算法明确数据的切片和分布的信息。同时，也是存储节点，可提供用户数据的存取和访问能力。当用户根据对存储空间的要求增加DXN节点时，相当于既增加了存储节点提升存储空间，也增加了位于每个存储空间SSD上的MDS服务，并且获得了存储空间和数据的检索、定位和访问能力的提升。另一方面，DXN V2.0在元数据管理和检索方面采用的是MDS多活架构，由多个节点并发提供MDS服务，可以充分发挥每个节点的SSD高IO的特性，以及元数据索引数据库快速数据定位和访问能力，提升了存储集群的扩展性，不会因为节点数的增加造成数据和元数据服务的距离变远的问题，原因是每个节点都同时提供元数据与数据两种服务。

通过将SSD磁盘作为加速缓存，ThinkSystem DXN V2.0能够有效提升小文件的处理效率，SSD缓存上同时对“读”和“写”加速，提升SSD缓存的读的命中率，让小文件先写到SSD和磁盘上，之后返回确认信息，最后回写到HDD磁盘上。对于大文件来说，可以选择磁盘直写模式，利用多块磁盘的并发能力有效提升总体带宽。

“我们测试了启用SSD缓存和不启用SSD缓存的磁盘直写模式，性能相差了76%。因为全对称的架构元数据部署是在所有的节点上，因此集群性能会随着节点增加而增加。我们做了软件和硬件的解耦，支持纯软件的交付方式，其优势在于采购非常灵活，能够有效降低成本，客户可以选择自己的服务器品牌或型号。”联想凌拓资深产品营销经理吴静介绍称，“如果OEM伙伴想认证机器是否能够安装DXN分布式存储，我们有一整套的硬件适配认证流程可以交给OEM厂商来完成，我们只要审核结果就可以了。如果客户选择软硬一体机的方式，可以享受‘开箱即用’的软件和硬件深度适配，我们会提供统一的维保和快速交付等服务，客户可以根据需求灵活选择。“

在DXN V2.0中，联想凌拓还提供了更多丰富的企业级存储设计，例如硬盘的数据校验，能够对存储的数据文件做定期校验，一旦发现问题可以及时恢复，并且通过亚健康检测，可以有效预测“哪些磁盘存在加载问题”，帮助定位问题、分析原因。同时，DXN V2.0版中也加强了对安全域的集成。

在制造行业，ThinkSystem DXN V2.0适用于各个业务场景的应用需求，例如PRM系统、MaaS系统、ERP系统等。在视频监控领域，企业的业务需求是大容量、高带宽，所涉及的数据文件有大文件和小文件，对带宽要求较高，单节点存储至少要提供承载200路以上4MB码流、7×24小时持续写入，要求能够线性扩展存储性能，支持NFS/FTP协议。项目实测中，每个DXN3000节点可以支持300路以上4MB码流摄像头的写入压力。基于建制模型、AE架构的元数据机制，以及SSD缓存实现的数据读写性能加速和小文件访问加速，可以满足大小文件在视频监控场景下对存储性能的要求。

视频监控场景业务架构

在媒资行业，媒资系统包括新闻采集、视频编辑、内容播出等，对存储的要求是：一是融媒体会来自各种渠道，新闻采集、视频、消息、各种渠道的数据会汇聚到中心，需要具有支持各种接口的协议能力；二是保障数据安全，从硬件故障、文件误删等多维度来考量；三是核心处理能力，无论是转码后要播出的文件，还是媒体出版信息，都要求存储拥有大规模并发处理能力。对此，这些也正是ThinkSystem DXN V2.0擅长的场景。

自动驾驶企业会采集大量的数据信息，包括各种传感器和道路行驶数据。通常，一辆路况采集车每天会产生10TB左右的数据，将其倒入数据中心进行预处理，进行索引、分类、打标签、清洗等工作，利用算法对有效和无效数据进行区分，留下20%-50%的“有效数据”导入自动驾驶研究平台的神经网络进行机器学习，这些数据需要被高效、稳定的存储。从边缘环境的采集数据和分发数据的边缘服务器，到数据中心的核心计算集群，包括GPU服务器、水冷服务器和模块化数据中心等，都是在搭建强算力自动驾驶训练计算平台，以及其下方的DXN分布式存储集群。

自动驾驶系统业务特点和分析

ThinkSystem DXN V2.0采用的全对称架构使得每个节点既是元数据节点，也是数据节点，可以在单一集群最多允许任意四节点的故障。同时，联想凌拓把元数据管理打造成了基于建制模型的元数据训练数据库。“这个元数据训练数据库本身位于SSD上，它是通过访问元数据查找数据碎片所在的位置，而不仅仅是把复杂目录切成小目录。通过这种建制模型根制的方式以扁平的方式迅速查找文件位置，无视目录本身结构的复杂性，然后提供三倍的数据读写效率，所以它在元数据的处理能力上是非常强悍的。”联想凌拓产品经理何川说。

在医疗行业，管理医学影像设备（X光、CT、核磁、超声、显微镜等）的信息系统称为PACS系统。PACS系统的主要任务就是把医学影像设备产生的影像数据通过各种接口以数字化的方式存储和使用。PACS影像文件存储等对大容量、高性能有着严格的需求，要求做到数据的高效管理、高可靠、持久保存、低成本等。

“我在和很多大型三甲医院信息科主任交流的时候，发现这些医院对于患者诊疗信息的数据实施的是近乎永久的保存策略，因为医生们也不知道什么时候才能够合法删除这些患者的数据。医院必须要确保患者诊疗数据的完整性，一点损坏也不能有，这对于保存数据存储系统的可靠性提出了很高的要求，这些医学影像数据积累要求存储系统要兼具海量数据存储、管理的能力。”联想凌拓医疗行业解决方案架构师娄辛研称。同时，由于医院医学影像设备越来越先进，对PACS影像存储系统的并发处理等性能提出了更高的要求。

PACS影像数据以小文件为主，从数十KB到数百KB。患者做完一次检查后，医院通常要求在2-4小时左右出具检查报告，这就需要PACS存储可以支撑多个医学影像检查设备、多台终端设备并发的小文件写入/读取要求。在当前主流的存储访问协议中，能够同时满足PACS影像数据高性能、大容量、海量数据管理需求的只有NAS存储协议。

PACS系统生成的海量医学影像数据保存在联想凌拓DXN V2.0分布式存储系统上，后者提供NAS、对象、FTP等多种存储访问协议，能够全面满足医院PACS系统影像数据的存储服务需求。ThinkSystem DXN V2.0采用元数据库分布式切片索引数据库技术，把元数据切片至少落盘到不少于3个数据节点上，通过对元数据的加速提升了整体性能。DXN V2.0统一管理平台提供了最大128个集群、52万个存储节点的统一管理功能，统一管理的硬盘数量超过4700万块。在分布式存储集群内部，数据能够在各个节点间自动的分配和再平衡。存储节点的在线增加或是移除，对于前端的业务是全透明的。这意味着即使在百年的数据保存过程中，存储系统硬件的升级换代带来的数据迁移成本几乎为零。

作为抢救生命不可或缺的PACS医学影像存储系统，必须要满足持续无故障运行的高可靠性需求。PACS影像存储的可靠性，可以分为“数据可靠性保障”和“系统可靠性保障”两个层面。存储系统的核心在于安全可靠的保存数据，之后才是满足数据访问所需要的性能需求和容量需求。分布式存储的数据保护主要有“副本”、“纠删码”两种技术，“副本”保护技术是把一份数据同时保存为几份相同的数据副本，优点是性能高，缺点是存储空间利用率低，导致存储成本高。“纠删码”是分布式存储更常用的一种数据保护技术，技术原理是把一份原始数据切分成多个数据块，然后对这些数据块进行校验和计算，算出一个或多个校验块。这样就能够在数据块损坏数量不超过校验块数量情况的时候，确保原始数据的完整性，优点是存储容量利用率高。

DXN V2.0使用16+1的纠删码配置的时候，可以实现94% 的可用容量，至少要配置17个DXN存储节点。ThinkSystem DXN V2.0的EC折叠技术仅需要3个存储节点就能够提供同时任意故障2块硬盘或任意故障1个存储节点数据不丢失、业务不中断的数据可靠性保障。而在通常的情况下，分布式存储要想实现这样高等级的数据可靠性保障，至少需要配置6个以上的存储节点。

PACS系统统一数据管理平台架构拓扑

联想凌拓医院PACS系统统一存储平台的架构拓扑适用于医院的HIS系统、虚拟化系统的统一数据管理解决方案。也就是说，医院可以将这两套核心业务系统整合在一套基础架构平台上。在架构设计上，联想凌拓医院PACS系统统一存储平台在逻辑层面分为“生产站点”、“灾备站点”和“科研站点”三个部分。

其中，“生产站点”的PACS数据包括PACS应用服务器存储和PACS影像数据存储，对于PACS应用服务器，可选用高性能、全闪存存储承载PACS系统的各个服务器和虚拟机，如果医院对PACS有更高的可用性需求，可以组成“双活存储系统”，PACS影像数据存储配置DXN V2.0满足高可靠、高性能、大容量的存储需求；

PACS应用服务器存储上的数据能够利用存储内置的企业级存储备份软件，以低至每分钟一次数据全备份的频率，将PACS应用服务器存储上的所有数据，包括虚拟机的数据备份并传输到“灾备站点”的容灾备份存储上。如果PACS应用服务器虚拟机和PACS数据库发生逻辑性错误，那么DXN V2.0可以在几分钟内将生产存储上的备份数据直接恢复到最近的一个完好的数据备份点。如果PACS生产存储出现了硬件灾难性故障，那么在PACS容灾备份存储上，依然可以选择最近的一个良好的PACS数据容灾或者是备份时间点，与容灾服务器配合在几分钟内恢复PACS的业务应用，从而将PACS系统灾难性故障特别是整体硬件的灾难性故障所带来的业务影响降低到最低。

在“科研站点”上，可以利用ETL数据抽取技术，从PACS生产数据库直接抽取、清洗数据，用于医院管理、科研、数据分析等等数据增值业务。医院的科研成果数据也可以纳入到PACS业务服务器存储的数据备份和数据容灾的体系架构，同样能够提供最低每分钟一次的数据全备份服务。

“从全局架构高度做全局需求分析，利用整体解决方案解决整体问题，这是我们设计解决方案的宗旨。”娄辛研说。