“众所周知，我们的UDS、Isilon部门是全球最佳的横向扩展NAS的技术平台供应商，而Cloudera是全球最佳的大数据分析平台和大数据分析引擎的供应商。双方结合起来，可以是软硬件的结合、上层和底层的结合、分散和集中的结合，能够帮助用户从多维度解决在大数据分析平台中遇到的问题，获得更多的收益。例如，可以减少用户冗余的存储投资，提高生产效率，满足多种应用同时访问。同时，还有企业级的数据化治理功能，包括重删、自动分层、容灾、数据洞察等等。”戴尔科技集团大中华区非结构化数据存储事业部高级经理李海表示。
戴尔科技集团大中华区非结构化数据存储事业部高级经理李海
根据麦肯锡的报告，拥有大数据分析能力的企业才能在市场中持续领先，这些能力包括获取更好的客户资源、维持老客户，以及保持市场份额的高速增长。当然，并不是任何一家企业都拥有成熟的技术基础，尤其是传统企业。从传统IT的视角来看，新技术与用户业务需求的结合在落地时往往会面临不少问题，如数据安全、数据治理、备份容灾、数据访问等。此外，如果用户曾经使用Cloudera等数据平台的某一个分析引擎，在接入新引擎时也会遇到兼容的问题，这就需要基础设施服务商和数据分析企业携手解决。
近日，Dell EMC PowerScale/Isilon成功获得企业数据云公司Cloudera在Cloudera Data Platform私有云版本上完成的Dell EMC PowerScale/Isilon 8.2.2质量控制测试套件（QATS）认证。这意味着，使用Dell EMC PowerScale与Cloudera Data Hub或Hortonworks Data Platform的客户，在迁移至企业数据云Cloudera Data Platform时可获得延展的技术支持。
“我们和Dell EMC的认证是CDP私有云Base版本。”Cloudera大中华区售前技术总监刘隶放说，“客户对计算和存储资源会有按需的需求，传统的理念是随着存储需求的增加可能要增加计算资源，或者有时发现更多的计算资源需要更多的存储，这使得无论是公有云还是私有云平台上，都要做到存储和计算分离的存储架构，在云上还要对容器化进行支撑，让计算资源弹性伸缩。”
Cloudera大中华区售前技术总监刘隶放
CDP三大部署版本
权威认证打破数据瓶颈
据了解，质量保证测试套件（QATS）流程是Cloudera的最高级别认证，可对所有Cloudera产品套件的软件文档系统、新一代硬件和容器进行严格的测试。QATS借助专用的Cloudera工程资源对新产品进行连续、完整的测试，使解决方案在全面的应用中得到验证，确保即便在严格的负载下也能提供高性能。事实上，自CDP诞生以来，Dell EMC PowerScale和ECS一直是客户市场中呼声最高的、要求进行认证的解决方案。通过Cloudera QATS认证，戴尔科技集团将确保在Dell EMC PowerScale/Isilon上进行投资的客户在CDP方面拥有正确的前进方向，获得业界一流的计算和存储解决方案。
QATS认证模拟了用户的实际使用环境，运行着安全、运算、分析等全部的Cloudera CDP模块，仿照用户整个流程所需要的每一个步骤去验证每一个硬件和软件的搭配情况，确保每个环节无缝对接，是一个非常严格的认证。客户在环境搭建过程中，无需担心不同产品和方案之间的契合度问题，还可以从之前的验证环节获得大量的经验参考。要知道，现代化数据中心的运营不止是硬件组合那么简单，还要考虑运行效率、电力消耗、空间占用等情况，这些都是严格测试后可以被优化完善的，有着可靠的保障。
在Cloudera和Hortonworks合并之后，持续强化了流数据处理能力，以及利用机器学习对业务系统的实时控制和预测能力。不管是公有云、私有云、混合云还是边缘环境，对数据的价值挖掘要始于其产生的时候，从前期的加工、处理到智能分析和管控，再到数仓构建、数据安全，保证数据不会被篡改。这一过程中，所建立的数据目录和安全策略会覆盖数据的全生命周期。
“随着客户在大数据场景的深入，存储和计算配比相异的情况会越来越多，需要硬件厂商和QATS这样的认证相互配合。”刘隶放介绍称，“过去，比如说HDFS是靠三份存储在机器之间通过多数据副本来保证数据的一致性，如果用了存储的方案不再用标准的HDFS本身的特性，而是把HDFS适配在Isilon上，稳定性和性能难以得到保障。另外还有安全策略，以前标准、开源的方式在HDFS上不一定行得通，包括存储的适配会由Isilon帮我们开发，很多环节都需要深度合作才能完成。”
强强联手满足多变需求
一直以来，Cloudera与戴尔科技集团保持了长期而成功的合作关系，为混合云中运行的分析工作负载开发共享存储解决方案。早在2016年，Isilon就和Cloudera的数据分析平台就做了大量的相互验证和兼容性的认证，双方的工程师在产品熟练度等方面合作的经验丰富。目前，全球运行在Isilon+Cloudera平台的数据规模分别达到45PB（HDP）和28PB（CDP），服务的客户包括全球领先的芯片制造商、多个国有大型银行等等。
2021年3月，戴尔科技集团在Cloudera全球合作伙伴峰会上成为其唯一的年度合作伙伴。经过QATS认证之后，双方还会为客户提供相应的白皮书、实施和配置指南等，以降低用户的使用门槛。未来，会有更多的戴尔产品与Cloudera大数据分析软件进行认证，例如ECS预计会在今年下半年完成认证，帮助用户打通本地云和公有云之间的大数据分析平台融合问题。
多年之前，Isilon的文件系统就已经原生支持HDFS，对Hadoop的良好兼容性可以帮助用户提升大数据访问效率。在架构设计上，Isilon支持横向扩展到252个节点，具备充分的弹性空间，核心文件系统OneFS能够帮助用户进行无缝升级，适用于动态多变、增长快速的大数据场景。
李海认为，在工业互联网的时代，大数据的形态更加立体和多维度，流批一体成为数据分析引擎中的重要特性，这使得传统服务器的架构难以满足不断出现的新需求，而且并不是每一家企业都拥有较高的技术能力，“对于后端存储来说，需要一个能够同步支持最新大数据分析引擎的技术架构，Isilon就是这样的企业级架构，QATS认证的成熟度、双方的专业服务能力，可以让企业的前端应用往前迈进的时候，不用担心新的技术架构会成为拖累，我们的技术架构会随着客户的架构同步演进，这是我们为客户带来的最大的价值。”
成就数据价值的基石
如今，数据团队现在处理的数据比以往任何时候都多，但随着数据的增长，也带来了重大的管理挑战。为了解决这些问题，许多数据团队都转向了能够在对象和HDFS中独立扩展计算和存储的架构。帮助企业直面在扩展大数据分布式系统所面临的挑战，这是Dell EMC PowerScale和ECS平台开发设计的初衷之一。Isilon支持的企业级软件可以帮助客户实现各种各样的数据治理、数据安全、数据访问功能，OneFS文件系统可从10TB扩展到近100PB的数量级，这些数据会置于一个文件系统中，便于用户随时访问。
通常，未部署Isilon的大数据架构较为复杂，用户需要把计算节点和存储节点的功能均放在服务器上，在计算和存储不同比例增长的时候往往被迫多购置硬件设备造成冗余，导致投资浪费。相较之下，Isilon+CDP通过存算分离解决了这一问题，把需要分析的大数据全部集中到Isilon，利用高弹性的扩展能力让客户避免过度投资，在扩容的时候单独购买各自的计算或存储资源即可，所搭载的企业级软件可以让数据在不同集群之间无需迁移就能有效利用。由此，客户也解决了以往生产数据和分析数据无法同时进行的问题。
传统大数据架构与Isilon+CDP架构比较
此外，传统架构内部的服务器堆积难以实现有效的数据治理和容灾，PowerScale+CDP能够破解这些难题，而且可以在两套集群之间进行数据复制。过去，如果本地的Hadoop需要3份数据来保存，容灾就需要6份数据，而存算分离的PowerScale+CDP架构只需要两份数据拷贝即可实现。以往，如果将100TB的数据从主存储分离到大数据分析平台中，传统的10GB网络迁移时间要超过24小时，Isilon的数据湖设计兼具生产和分析功能，就能避免这种资源和时间上的消耗，满足数据一致性的需求。在备份时，PowerScale（Isilon）在同一份数据中提供了多种协议供前端多种不同的应用协议访问，大幅降低了数据部署的复杂性。
不久前，戴尔科技集团推出了Dell EMC PowerScale F900，巩固了在非结构化数据存储领域的领导地位。作为Dell EMC PowerScale节点背后的动力源泉，Dell EMC PowerScale OneFS 9.2将Dell EMC PowerScale F200（边缘/入门节点）和Dell EMC PowerScale F600（全NVMe的紧凑性能节点）系统的顺序读取速度分别提高了25%和70%。此外，通过为具有网络文件系统（NFS）的应用程序和客户端提供远程直接内存访问（RDMA）支持，客户可以从加速的GPU驱动应用程序、显著增强的吞吐量性能和低延迟通信中获益，尤其是对于单连接和读取密集型工作负载而言。
结束语
可以看到，围绕数据湖的智能升级已成为数据分析架构迈向现代化的重要推动力，各行各业的企业客户纷纷将用于非结构化数据的大数据/数据湖存储库视为IT投资的重点之一，希望以此来获取商业价值的最大化，而戴尔科技集团与Cloudera多年以来的深度合作正是为企业探索数据资产、成就客户成功奠定了坚实基础。
本文属于原创文章，如若转载，请注明来源：突破大数据时代的“天花板” Dell EMC携手Cloudera解锁数据资产新价值https://stor.zol.com.cn/772/7724736.html
