热点:

    迎战非结构化数据洪流 Dell EMC ECS如何举重若轻?

      [  中关村在线 原创  ]   作者:徐鹏

          随着数字化转型步入深水区,数据资产已成为企业最为关注的资源之一,AI应用、网络通信、智能运维、战略决策……几乎每一项都与数据密不可分。那些投资正确数据平台的组织会从其数据资本中获得可观的回报,而未投入的组织将要花费时间、精力和资源去集成、管理并最终替换错误的数据平台。当然,并不是任何一个数据平台都能为企业带来超预期的回报,原因是一方面缺乏强有力的数据基础设施支持,另一方面有很多价值隐藏在非结构化数据中,并未得到有效的存储和分析。

          从IT部门的管理数据(文件共享,主目录、文件档案库、视频监控等)到行业应用数据(4K/8K视频、基因测序、能源勘探、气象预测、自动驾驶等),再到AI、大数据、云计算、IoT、VR/AR、区块链等新兴业务的涌现,非结构化数据已无处不在,甚至占据数据总量的80%,而这些数据恰恰又蕴含了丰富的业务价值。对于用户来说,需要留存和处理的数据越来越多,还要面对云原生等新技术带来的冲击。

          IDC指出,到2022年90%新开发的应用都会是云原生的,这就意味着存储架构也要转型,适用于新的应用架构、微服务、容器等技术,传统的存储解决方案和数据库无法提供便捷性和灵活性。组织需要一种经济高效的方法存储、分析以及向企业应用程序提供非结构化数据。由于其具备较好的可扩展性、简化的体系结构和易于使用的API,许多人正在转向对象存储系统来帮助他们实现目标。在戴尔科技集团大中华区非结构化数据存储事业部技术总监胡渊汶看来,对象存储正在快速成为面向云原生应用的存储标准。

    迎战非结构化数据洪流 Dell EMC ECS如何举重若轻?
    戴尔科技集团大中华区非结构化数据存储事业部技术总监胡渊汶

          如今,企业对云服务的需求不止是业务上云那么简单,业务云化的深入使得客户将更多的精力放到了数据管理和存储。不过,要是利用Amazon S3或Microsoft Azure Blob等云对象存储平台,就要在数据驻留、法规标准合规性等方面进行根本的权衡,还有一些通过附加条款详细规定的未预见到的成本。相关数据显示,约83%的组织报告了云回迁活动,64%的组织服务总成本高于预期,34%的组织由于数据安全问题调回了工作负载。因此,建立安全的多云和私有云策略对于各个行业的组织在未来取得成功至关重要。

          戴尔认为,企业可以通过三个步骤流程,利用其数据作为数字化转型的基础:释放主存储空间:将非活动数据移至低成本存储层,从而显著减少主存储成本,释放容量以助力转型;实现现有应用程序现代化,将旧式应用程序现代化,简化基础架构维护并提高可靠性;加快云原生应用程序开发,支持业务应用程序快速提供新的用户体验。

          Dell EMC ECS是一种企业级对象存储平台,可支持企业组织以类似于公有云的规模灵活地捕获、存储、保护和管理非结构化数据,所有这一切都在组织数据中心的范围内实现。ECS可作为纯软件模式进行部署,也可作为全包式一体机进行部署,具有较好的可扩展性、性能、弹性和经济性,可满足现代企业的需求。作为与S3兼容的全局可扩展对象存储,ECS利用私有云基础架构的命令和控制提供公有云的功能。使用ECS开发云原生应用程序、构建EB规模归档、推动战略分析计划和满足严格的法规标准,所有这些都是以较低的总拥有成本实现。

          戴尔在部署对象存储时除了会用其处理传统工作流,如分级归档、备份、云网关等等,还可以用作次级存储库,以便释放性能更高的第一级存储容量,并且能够处理互联网、Web分析等现代化的工作负载,具备访问灵活性、管理便捷性、云原生适应性等优势,而闪存成本持续下降也为对象存储市场打开了新的发展空间。

          大规模实现成本效益是Dell EMC ECS的特点之一,其采用横向扩展、地理分布式体系结构,可满足数据快速增长的需求,能够以类似于公有云的规模添加新节点和支持工作负载,同时实现私有云基础架构的可靠性和控制。与一些公有云提供商相比,ECS总拥有成本可降低59.5%,可有效解决数据迁移成本、延迟、数据访问模式的不可预测性、云供应商依赖、安全和法规遵从性等问题。

          使用ECS的多站点联合功能,组织可以创建全局可访问的内容存储库,其支持的应用程序和用户附近部署存储,能更大限度地减少延迟和缩短价值实现时间。与复制功能相结合,地理位置分散区域中的客户端可以访问相同的数据,而不会产生大量的存储开销。

          作为经济高效的辅助存储层,ECS可为业务关键型应用程序腾出昂贵的主存储,保持长期数据存储随时可用,而不像传统磁带式归档那样无法方便地使用。ECS适合来自 Dell EMC 的基于策略的分层解决方案,例如ECS GeoDrive、PowerScale CloudPools、PowerProtect DD CloudTier和众多第三方网关。

          管理员可以使用直观的集中式GUI和内置报告来管理数十亿个对象、数百个租户和PB级数据,且开销很低。ECS还具有许多基于REST的管理API,使组织可以无缝地接入现有管理和目录解决方案。

          除此之外,Dell EMC ECS可以构建面向现代应用程序的快速S3,将S3的简易性与EXF900全闪存、基于NVMe的SSD设备的高性能相结合,适用于读密集型应用程序(如Spark、TensorFlow、Presto等)的数据存储。使用ECS通过吞吐量优化的存储为GPU服务器增添动力,从而使训练算法和应用程序快速获得更多的数据。

          借助丰富的多协议支持和互操作性(S3、S3a、NFS等),客户可以建立可大规模扩展的多用途数据湖,推动现代应用程序和分析计划。通过一个协议接收的数据可由其他人访问,无需重构现有应用程序和缩短价值实现时间。ECS将效率、耐用性和性能融合之后,可扩展以支持Splunk SmartStore分析工作负载。无论是需要高性能存储分析机器数据,还是需要经济高效的非常用存储,ECS均可快速提供运营智能。同时,ECS还适合流媒体数据引擎(如Dell EMC流媒体数据平台)的持久数据存储,采用优化了性能和容量的存储设备,可大规模支持数据流。

          Dell EMC ECS经过了严格的企业验证,具备原生保护功能(D@RE、擦除代码、高度一致性、容错、三重镜像等),确保所有数据中心区域的数据始终安全且可恢复,带有对象标记的 IAM 支持可保护数据。防止未经授权访问。由于使用了高级保留、索引编制、复制和日志记录功能,ECS可帮助企业满足内部和外部法规遵从性要求,包括GDPR、SEC、CFTC和STIG法规,WORM功能可确保敏感数据受到保护,免受篡改,另外在产品升级时,也会有服务专家保障业务连续性和投资确定性。事实上,Dell EMC已连续第五年进入Gartner分布式文件系统和对象存储魔力象限的领导者象限。

    迎战非结构化数据洪流 Dell EMC ECS如何举重若轻?
    Dell EMC ECS核心特性和功能

          Dell EMC ECS的关键技术包括多协议访问和API支持、元数据搜索、Box-carting(小文件归并功能)和数据大块(chunk)、强一致性的多站点访问、ECS IAM支持、安全增强。其中,元数据搜索可通过打标签的形式对数据进行分类,便于项目查询,强一致性多站点访问可以保证用户读到最新的数据,全新的安全管理员和安全API则增强了设备的可靠性。

          通常,小文件在系统落盘时会有较长的等待时间,容易造成性能损耗和空间占用提升,小文件归并功能可以在内存中把小文件合并成一个如2M大小的数据块,再把这个数据刷到硬盘上,零时写盘时先写三副本,确认IO结束后再转用纠删码保护,然后消除三副本。这样一来,写盘次数显著降低,又提高了整体性能,大文件可以节省大量的存储空间。

          至于数据大块(chunk),则是为了解决小文件存储的问题。过多的小文件会在系统底层带来碎片化的困扰,过去是把小文件变成大文件再传输,chunk的理念与之相似,但并不是简单的把数个文件打成一个包。“内部的数据是有一定变化的。chunk可以理解成是一个积木,可以把1M、2M的文件头尾相接,拼到一个128M里面。”戴尔科技集团大中华区非结构化数据存储事业部资深系统工程师白光茁介绍称,“以集装箱为例,管理的时候不是单独的,而是把这个东西塞到集装箱里,通过对集装箱管理保证多数据资源维护时的效率更高、更简便。比如说这个文件剩2M,那个剩5M,有一个4M文件进来的时候,会把其分为2M和2M给自写在不同的地方,上面会有索引去记录是写到哪个chunk偏移量里面,保证数据看起来是完整的,底层的空间利用率是更有效的,提升整体的存储效率和访问效率。”

    迎战非结构化数据洪流 Dell EMC ECS如何举重若轻?
    戴尔科技集团大中华区非结构化数据存储事业部资深系统工程师白光茁

    迎战非结构化数据洪流 Dell EMC ECS如何举重若轻?
    EX系列产品组合

          从2001的CENTERA到2009年的ATMOS,再到2014年的ECS,戴尔在对象存储市场已深耕超过20年。最新的EXF900采用了PowerEdge 2740服务器,搭载两颗金牌至强可扩展处理器,配备192GB RDIMM,以及3.84SSD+7.68SSD。

    迎战非结构化数据洪流 Dell EMC ECS如何举重若轻?
    全闪存EXF900

    迎战非结构化数据洪流 Dell EMC ECS如何举重若轻?
    Dell EMC ECS兼容主流ISV解决方案

    迎战非结构化数据洪流 Dell EMC ECS如何举重若轻?
    Dell EMC ECS对象存储业务部署

          部署过程中,PowerProtect DD和PowerScale均能够与ECS配合使用,例如PowerProtect 可以把冷却的备份数据转移到成本较低的ECS上,从而释放出Data Domain的空间资源,拉低整体架构的成本。PowerScale是针对高流量、高通量应用的系统,可以和ECS组成分层存储,PowerScale上的数据变冷后可通过CloudPools把数据放到ECS上,进行类似数据归档的操作,这个归档可在多地部署,数据可以复制到不同区域,实现容灾配置。

          Dell EMC ECS还支持GeoDrive从Windows进行对象存储访问,与其他备份软件集成,延长Centera、Atmos的数据生命周期。此外,ECS还兼容VMware Tanzu/PCF,帮助客户把云原生应用部署到云端或本地。ECS也可以用于人工智能、深度学习和分析,通过HDFS或S3a来访问数据,实现数据的实时在线、回放、分析。针对流数据,ECS负责SDP平台中的数据持久化部分,提高了企业的投资效益。同时,戴尔还提供了“未来无忧保障计划”,构建了从设备部署到数据迁移、驻场服务,再到专业套件的完整且深度的全周期服务。

    迎战非结构化数据洪流 Dell EMC ECS如何举重若轻?
    VMware Tanzu/PCF+ECS

          某国有大型商业银行使用对象存储服务于手机银行,后者的新应用需要大量的频繁迭代,传统的应用开发部署无法满足敏捷性的需求,于是该银行逐步接入云原生业务,采用了大平台,并为应用灵活分配资源。该银行在Dell EMC ECS上部署了200多个应用,还曾在一个季度上线了50个应用,目前对象数量超过100亿,日均请求量在2亿左右。

          海通证券利用Dell EMC ECS对象存储的扩展性建立了新的存储资源池,降低了初期成本投入和TCO,解决了传统磁带库性能低、可靠性不足等问题,为数据全生命周期管理、人工智能等技术在后续业务发展中的实际应用打下了良好的基础,并且基于ECS对象存储提供的REST接口,大幅提升了图片、视频等非结构化数据的检索与访问性能,使得业务办理效率进一步提升。

          某制造业客户有很多数据要做长期归档和保存,数据占用空间较大,SAP HANA中也包括了很多非结构化数据,这些数据原先是放在NAS上,部署ECS后通过统一协同完成了数据迁移,实现数据同城容灾。

    迎战非结构化数据洪流 Dell EMC ECS如何举重若轻?
    戴尔科技集团以数据为中心的未来愿景

          “戴尔科技集团对非结构化数据非常重视,ECS产品有着长期的战略布局,由于非结构化数据包括文件、对象存储、流数据三大类,其IO模式有所差异,无法用一套存储系统进行处理,因此,我们设计了三种解决方案分别应对,它们都是横向扩展、性能分层,可实现整个生命周期的管理,并且是基于PowerEdge系列硬件平台。”胡渊汶表示,“与此同时,我们还会通过DataIQ(数据洞察软件)和CloudIQ(基础架构洞察软件),把这三个系统连接起来,让数据在里面随用户需求自由移动,有效应对数据快速增长带来的挑战。”

    本文属于原创文章,如若转载,请注明来源:迎战非结构化数据洪流 Dell EMC ECS如何举重若轻?https://stor.zol.com.cn/766/7668281.html

    stor.zol.com.cn true https://stor.zol.com.cn/766/7668281.html report 9485       随着数字化转型步入深水区,数据资产已成为企业最为关注的资源之一,AI应用、网络通信、智能运维、战略决策……几乎每一项都与数据密不可分。那些投资正确数据平台的组织会从其数据资本中获得可观的回报,而未投入的组织将要花费时间、精力和资源去...
    • 猜你喜欢
    • 最新
    • 精选
    • 相关
    推荐经销商
    投诉欺诈商家: 010-83417888-9185
    • 北京
    • 上海
    周关注排行榜
    • NAS
    • 磁盘阵列
    • 企业硬盘
    推荐问答
    提问
    0

    下载ZOL APP
    秒看最新热品

    内容纠错