今年早些时候公布的一项统计引起了我的注意，据Gartner称，到2018年，70％的Hadoop的部署将无法满足节约成本和增加收入的目的，这主要因为来自技能和整合方面的挑战。
技能和整合方面的挑战？目前所有厂商不是都生成能够使大数据轻松流畅的被使用吗？那么他的困难在哪里呢？下面就让我们来逐一来看。
big data
收集数据
大数据或者说是全部数据是如何收集的呢？得到这些数据量可能是一个吓人的整体，如何将他们变得更小更有用呢？
在传统收集数据方面，例如，惠及、人力资源系统等的，这些交易系统已经很早就被用作数据源进行分析，ETL过程也非常到位。因为这些数据都是结构化的数据，所以相对起来更轻松容易。
云计算、物联网时代的来临，传感器和其它设备每天都会产生很多的数据，这些数据需要进行及时的收集，但是总体来说，这些数据通常还是非常标准版的，而上行数据转换的要求也并不巨大。
难点在非结构化数据方面，收集媒体文件、文本数据是大数据平台如Hadoop进行的。因为这些数据是非结构化数据，所以在存储方面，需要真正的了解数据，并弄清楚他们，给予适当的ETL工具和API接口，以及所需要的吞吐量，这些才是收集数据所面临的挑战。
标签：服务器
