企业存储
    作者:鲁畅

    过了这个“红绿灯” 数据存储该向何处去?

         [ 中关村在线 原创 ] 暂无评论
    返回分页阅读

    本文导航:

    1数据大爆炸 存储难题如何破

      凌晨的北京五环上,汽车飞驰而过,除了路灯之外,还在站岗的只剩下交通灯了。交通灯、监控和测速摄像头、ETC( Electronic Toll Collection)等交通系统日夜不休的运转,采集、输出着数据。

    数据大爆炸 存储难题如何破

      在信息化社会,每天都有大量数据产生,个人数据、工业数据纷繁复杂,数据洪流顷刻袭来。如今,人类每天产生的数据早已达到EB量级,但这些数据大多在三个月后都会成为冷数据,永远不会利用。数据冷却过程就像是红绿灯,没有永远的红灯,也没有完全没意义的冷数据。

    过了这个“红绿灯” 数据存储该向何处去?

      从传统的信息化社会进入到智慧计算时代,要改变的不只有计算力,数据的采集与存储也需要调整。

      在IPF 2017上,浪潮集团执行总裁王恩东指出,现在我们面临着数据的存储处理无法适应数据增长的需要的矛盾。第一个矛盾是"存不下",数据的保存是一个积分的过程,我们产生的数据量远大于实际存储量,就不得不采取策略丢掉一些历史数据;第二个矛盾是"取不快",举个简单的例子,数十年来,存储介质的容量产生了巨大的增长,而相对而言,存储接口的速率提升却慢得多;第三个矛盾是"用不好",我们尽可能的存储了很多的数据,可是这些数据中能产生价值的数据,不到10%,大多处于沉睡状态。

      对于数据量大,存储难的问题,易华录作为一家长期生根于非结构化存储领域的央企,有着相似的认知:数据存储面临极大问题。对此,北京易华录副总裁张国力表示:易华录作为一家聚焦在智能交通、平安城市、智慧城市的上市企业,承接了多个城市的交警指挥平台,比如武汉三贞,还有北京的远郊区县的所有公交车指挥调度等。在整个系统应用过程中,产生的数据量十分庞大,这些数据都是真实存在的,如果能将这些数据充分应用起来,才是一个真正的交通大数据分析应用。

    过了这个“红绿灯” 数据存储该向何处去?
    北京易华录副总裁张国力

      长期以来,全球(尤其中国的)数据存储、分析、利用能力并没有跟上数据生产速度。这也是为什么浪潮提出智慧计算的原因之一。未来也需要智慧计算不断地开拓市场,需要计算力、存储力跟上信息发展节奏。如果想打破数据存储三大难题,需要依托完整的软硬件产品线,最终形成包括硬件重构、软件定义、云数据中心操作系统、大数据处理平台、智能算法平台的软硬件产品布局。

      浪潮自从2015年开始提出"计算+"战略后,聚焦智慧计算、科学计算与高性能计算三大领域,在数据分析与深度学习领域深入研究,形成了一个智慧计算生态圈。易华录就是其中重要的一个企业,如今,易华录也成为"智慧计算CEO俱乐部"的首批成员之一,将与浪潮共同在数据存储、大数据利用方面攻坚。

    2冷热需分层 合力做应用创新

    冷热需分层 合力做应用创新

      数据大爆炸让大多数数据无法得到充分利用,既然出于成本、技术等考虑无法将所有数据全部存储在SSD或者HDD中,就需要寻找一种最佳解决方案,既能充分利用数据,保证数据安全性与可靠性,又要考虑成本因素,利用多级存储方案。

      以武汉的城市交通数据为例,武汉市公安系统摄像头一共4.6万个,这是一个十分庞大的数据,即便很多摄像头并非高清,但是一天的数据量也会达到20PB量级,数据量及太大,导致成本太高,所以,目前这些数据都只保留一周、一个月或者三个月,就会全部删除。

      冷存储的价值到底有多大?是不是值得我们去存储归档呢?我们知道目前的人工智能与深度学习都是以训练为基础,比如战胜人类AlphaGo的训练模式之一就是大数据训练。据报道,2015年10月阿尔法狗对阵樊麾时,"吃过"的棋谱是3000万个,但到了挑战世界棋坛16冠王李世石的时候,背熟的棋谱已经达到1亿。可以说,人工智能的实现是以极大地数据量训练为基础的,而在这些训练中,冷数据占有举足轻重的位置。

      为了更好地处理数据,目前在互联网等行业比较流行一种数据存储方式是冷热分层,即把几个月前的冷数据存放在磁带或蓝光存储之中,这种存储介质成本低,而热数据则存储在固态硬盘或机械硬盘中,以备实时提取。

      张国力介绍到,未来易华录可能会与浪潮合作,搭建冷热混合数据中心,同时,我们还提出了一个概念:城市数据湖。城市数据湖就是一个以冷热混合的模式建的一个存储共享资源池。我们先把所有的数据(包括政府数据和商业数据)存下来,只有把数据存储问题解决了才能再进行大数据分析,如果连存都解决不了,有谈何数据分析。

      浪潮作为一个平台,搭建了一个共赢生态链,为合作伙伴提供大数据平台,整合ICT资源,整合数据。当某一个路口遇到了堵塞,能够通过智慧生态这个大平台去只能协调。通过与易华录这样的合作伙伴合作,更好地将数据整合利用起来,引用在无人驾驶、人工智能、智慧交通与平安城市的方方面面。

    返回分页阅读

    本文导航:

    周关注排行榜

    NASSAN磁盘阵列企业硬盘

    文章推荐

    互动沙龙

    相关内容 网友评论 返回首页
    专家咨询