虹信动态
关于虹信>虹信动态>技术与资讯>数据研究常用的工具软件及场景介绍

数据研究常用的工具软件及场景介绍

2015年12月22日 14:47

       大数据日益成为行业重要的研究对象,面对高数据量、多维度与异构化的特点,以及分析方法思路的扩展,传统的统计工具已经难以应对。众多新的软件分析工具作为深入大数据洞察研究的重要助力,也成为数据科学家所必须掌握的知识技能。然而,现实情况的复杂性决定了并不存在解决一切问题的终极工具,在实际研究过程中,需要根据实际情况灵活选择最合适的工具,才能更好地研究。

       为此,虹信软件就当前大数据研究涉及的一些主要工具软件阐述其应用特点和适合的场景分享给大家,以便于研究人员能有的放矢地学习使用。

一、传统分析/商业统计

1Microsoft Excel

       Excel作为电子表格软件,适合简单的统计需求,由于其方便好用,功能也能满足很多场景需要,成为研究人员最基本的软件工具。其缺点在于功能单一,且可处理数据规模小。这两年Excel大数据方面,如地理可视化和网络关系分析上也做出了一些增强,但应用能力有限。

                

2SPSSSPSS Statistics

       SPSSSAS作为商业统计软件,提供研究常用的经典统计分析,如回归、方差、因子、多变量分析等处理。SPSS 轻量易使用,但功能相对较少,适合常规基本统计分析。

               

3SAS

       SAS功能丰富而强大,并且包括绘图能力,支持编程扩展其分析能力,适合复杂与高要求的统计性分析。

            

二、数据挖掘

       数据挖掘作为大数据应用的重要领域,在传统统计分析基础上,更强调提供机器学习的方法,关注高维空间下复杂数据关联关系和推演能力,代表是SPSS Modeler

       SPSS Modeler 的统计功能相对有限, 主要是提供面向商业挖掘的机器学习算法的实现,如决策树、神经元网络、分类、聚类和预测等。同时,数据预处理和结果辅助分析方面也相当方便,这一点尤其适合商业环境下的快速挖掘。不过就处理能力而言,难以应对亿级以上的数据规模。

                                

三、数据分析

1、通用大数据可视化分析

       近两年来出现了许多面向大数据,具备可视化能力的分析工具,在商业研究领域,TableAU无疑是卓越代表。

       TableAU 的优势主要在于支持多种大数据源/格式,众多的可视化图表类型,加上拖拽式的使用方式,上手快,非常适合研究员使用,能够涵盖大部分分析研究的场景。不过要注意,TableAU其并不能提供经典统计和机器学习算法支持,虽然可以替代Excel, 但不能代替统计和数据挖掘软件。另外,就实际处理速度而言,感觉面对较大数据(实例超过3000万记录)时,并没有官方介绍的那么迅速。


2 、关系分析

       关系分析是大数据环境下的一个新的分析热点,如信息传播图、社交关系网等,其本质计算的是点之间的关联关系。相关工具中,适合数据研究人员的是一些可视化的轻量桌面型工具,最常用的是Gephi

       Gephi擅长解决图网络分析的很多需求,其免费使用、插件众多、功能强且易用等优势突出。我们经常看到的各种社交关系/传播谱图, 很多都是基于力导向图(Force directed graph)功能生成。但由于由java编写,限制了处理性能,感觉处理超过10万节点/边时常陷入假死,如分析百万级节点关系时,需先做平滑和剪枝处理。 而要处理更大规模(如亿级以上)的关系网络(如社交网络关系)数据,则需要专门的图关系数据库(如GraphLab/GraphX)来支撑。



3、时空数据分析

       当前很多软件都提供了时空数据的可视化分析功能,但就使用感受来看,其大都只适合较小规模(万级)的可视化展示分析,很少支持不同粒度的快速聚合探索。

       如果要分析千万级以上的时空数据,比如新浪微博上亿用户发文的时间与地理分布(从省到街道多级粒度的探索)时,推荐使用 NanoCubes。该开源软件可在日常的办公电脑上提供对亿级时空数据的快速展示和多级实时钻取探索分析。



来源:互联网创新事业部—李镱冶




订阅虹信

 

订阅虹信资讯

邮箱
称呼
先生
女士
手机
公司
职位
 

在线咨询

 

咨询"企业信息化、财务共享、物流、供应链"等相关信息

称呼
先生
女士
手机
留言
 
长虹财务共享服务中心(现长虹财务云中心)是中国企业财务共享的先行者,是国内著名的企业财务共享中心。长虹财务共享服务被清华大学和哈佛大学同时收录为MBA经典案例,长虹《以业务驱动的价值管理为理念的新型财务体系建设》荣获四川省管理创新成果一等奖,《基于财务共享的大型企业财务管理变革》荣获了第十八届全国企业管理现代化创新成果一等奖。长虹财务共享服务中心是信息化工具与企业管理制度及流程完美融合的典范,是信息化建设服务于企业管理的标杆,是虹信软件信息化服务的成果体验中心。虹信软件秉承"传播专业精神、复制成功经验"的服务理念,为广大客户提供财务共享咨询及财务信息化建设服务,我们热诚欢迎广大客户莅临长虹体验财务共享服务,品鉴哈佛大学MBA经典案例。
称呼
先生
女士
公司
手机
职位