文章详情

　　大数据分析之数据采集，一本500万字的电子书，所占据的内存容量也不过在几百kb而已，而大数据的量超过了10tb，如果只是单纯利用线下问卷调查收集，速度慢容易错过数据实效性，为了避免这样的情况，得借助信息、网络、python爬虫、nosql数据库等诸多方式多管齐下并行才可。数据的采集相当有难度，主要的难点体现在并发数高上面，比如说在网上进行爬虫获得数据时，极有可能在同一时间内有上万的用户进行访问操作，甚至人数能达百万千万，比如说像去哪儿、携程等订票系统或者淘宝、京东等购物平台，这样的情况就很常见，怎么在数据获得过程中均匀负载，这是每个人都需要认真考虑清楚的。

　　大数据分析之数据清洗，得到的数据肯定有一些是无用的、重复的，将这些数据剔除掉，被保留下来的才具有进一步分析和分层、建模的意义和价值。这个过程的执行其实挺简单的，只要将数据导入到大型分布式的数据库中就可以了，现在不少资深分析师在导入时都会用来自twitter的storm，效果不错。

　　大数据分析之统计分析，这时候要用到的就是分布式数据库，比如说EMC的GreenPlum、Oracle的Exadata、基于 MySQL的列式存储Infobright都是常见的软件，以上常被用于实时性的需求处理，如果是批量式的处理，那会用到hadoop，不同数据对应的适合软件会存在差别。而每个大数据分析师重要的就是弄清楚到底在不同环节要用到哪个软件，软件的具体操作又是怎样的，如果达到这般程度就能将大数据分析工作实现流程化。

　　大数据分析之挖掘，挖掘跟分析不同，分析是通过对数据的判断、知道到底不同数据之间的关系是怎样的，而挖掘就是要在此基础上得到适合于不同数据的模型，建立模型之后则得在此基础上反向测算数据的真实性，同时用简单的excel表格等方式将不同变量之间的关系直观呈现。

　　以上所说的就是大数据分析的全流程了，如果能将以上所说流程重复个几十遍那你就是一个有经验积累的大数据分析师了，具备这样水平的分析师即便初入职场，薪资收入都很不错。