“大数据”这件事大家提了很久,可是真正能用好的产品少之又少。移动互联网使得更多、更广的数据不断产生,它是否能真正促使大数据“落地”,变成每个人真正能享受到的服务?
下面是来自知乎小伙伴maggie的回答:
云计算出现之前,传统的计算机无法处理大量的非结构化数据,云计算使得海量数据的存储和快速分析成为可能,而每个人都拥有的智能终端(手机、电脑、智能设备)以及带宽不断增加的移动通信网络,使得海量数据的收集成为可能。
大数据的核心在于“预测”,而云计算使数据从“小样本”转变成有机会对所有可能的数据进行分析,预测将基于 “数据之间的关联性” 而非 “为什么是这样的因果性”,我们只需要按照预测出来的趋势去响应,使用这些结果。
比如预测机票价格的走势,并给出可信度,帮助用户来决定什么时间购买机票最省钱。
它不用关心为什么机票会有差异,是因为季节性还是因为其他什么原因,它仅仅是预测当前的机票未来一段时间会上涨还是下降。如果机票价格有上涨的趋势,系统就系统用户立即购买机票。而原始的数据可以从机票预订数据库或者行业网站上扒下来。
这项预测技术可以用在类似的相关领域。比如宾馆预订,商品购买等。
比如通过汽车引擎的散热和振动来预测引擎是否会出现故障。
亚马逊的推荐系统是很好的例子:亚马逊从每一个客户身上捕获了大量的数据,历史购买了什么,哪些商品只是浏览却没有购买,浏览停留的时间,哪些商品是合并购买的,它要做的是找到产品之间的关联性,感兴趣的可以去搜索亚马逊推荐引擎的专利。
在中国,淘宝、支付宝拥有大量的用户数据,还记得 “淘宝时光机吗“ ?通过数据分析,把毕业- 恋爱- 迁移城市-结婚- 买房- 生子- 买车的人生轨迹串起来,我不敢说有多准,但是的确感动了我们。从数据中挖掘出背后的故事,这是一个非常有意思的关联性数据挖掘尝试。想想也挺可怕的,淘宝是个拥有海量用户数据的平台,每天还有源源不断地从移动终端、电脑上不断增加的数据,如果把这些数据利用起来,不止可以做商品购物推荐,同时还可以对可能的关联性做预测。
在零售行业,销售数据的统计分析,可以让供应商监控销售速率、数量、以及存货情况,可以知道什么货物和什么货物摆在一起,放在什么位置销量最好,特定的季节,什么产品销量最高。
公共设施领域,不再是随机的巡检,而是针对设施上报的数据以及故障发生的历史数据、环境数据进行分析和预测,集中人力和物力优先检查最有可能出现问题的那些设施,减少整体平均的故障发生率。
大数据革命首先要把这些可以获得的数据收集上来,包括未来可能被利用的信息。比如很多应用不管是不是需要位置信息,通常都会问你要位置信息,为未来能做出更多的智能反应做数据储备。
保险公司通过车险投保人的历史数据(时间、地点、实际行驶路程)来为车险定价。
广告公司可以根据人们的居住地点、要去的地方,提供定制广告,信息汇集起来可能会揭示某种发展趋势。
交通服务公司可以通过手机的位置来预测交通情况,和某个地方目前聚集了多少人。
最近的 ”棱镜计划“ ,从音视频、图片、邮件、文档以及连接信息中分析个人可能对国家安全造成威胁的行动。
大数据可用的领域实在是很多,具体有什么好点子,哪些产品有机会,我觉着还得多去想和研究。
总结起来,首先是数据收集,除了利用现有的数据渠道之外,还可能需要改造一些产品形态,使得数据更好地被量化和可被学习。然后是通过云计算来做数据相关性的分析,这里面有大量的算法工作要去做,所以未来算法人才是最具有技术挑战的工种。最后是用直观和简单的方式反馈给终端预测结果。