脑课堂编程教育

大数据时代是机遇还是挑战?

473 0 0
脑课堂编程培训

业务准备好管理大数据的管理和处理了吗,更不用说保持法规所要作的?

多大才算大?让我们来看看:1EB(exabyte)是1000PB字节,或1000000TB的数据。到目前为止,大多数企业数据的讨论在TB以内,但不会太长久。最近的一份来自思科的报告称全球移动数据的流量在2010年到2015年之间会增加26倍。仅移动数据量一项的预计就会在2015年每月超过6EB(exabyte)。到那时,查询将在PB规模,万亿的记录数据集上运行,需要更大的规模来处理机器产生的数据的新容量。

这意味着,三年内讨论将围绕着EB(exabytes)的数据进行 ― TB被PB所替代,然后再到EB(exabytes)字节只需短短的三年。Oracle把它们最新的数据仓库设备命名为Exadata是有理由的 !

世界上移动设备的激增,以及法规上对CDRs和无线接入协议(WAP)记录的存储和维护需要,把电信行业置于大数据潮流的风口浪尖上。

而当数据大量增加时,商业和法律条规加紧了对移动数据的保留。例如在美国,移动数据必须保存两年或三年,而在世界的其他地方,数据必须保留七年(中东),10年(印度)或更长时间(日本)。

但并不只有通信领域是这样的。大数据的保留和管理的要求在其它如公用事业的智能电表,和有网络日志的网络安全这样的领域涌现,它们都有一种共同的思路:在一种高度管制下的行业中由机器产生的大量的大数据。

刊登在2011年5月26日的《经济学家》杂志上的一篇题为“用大数据的建构”的文章说:

去年人们储存了足够的数据可来填充60000家国会图书馆。全世界有40亿手机用户(其中12%的人拥有智能手机)已经将他们自己变成了数据流。YouTube每分钟收到24小时的录像。制造商在他们的产品中嵌入3千万个传感器,在互联网这样的东西上将无声的金属片转换成数据生成的节点。智能手机的数量以每年20%的速度增长,而传感器数量的增长率为30%。

以如此庞大的量和速度进入了大数据时代已经成为IT与业务上的挑战。对于那些没有适当的策略和基础设施的企业,它可能是非常昂贵和危险的。

然而,大数据也是大机遇

不管是受法规还是竞争原因的驱动,大数据是大业务,这点可以从分析市场内的收购合并活动量就可以看出。EMC对Greenplum的收购,IBM对Netezza的收购,惠普对Vertica的收购。 虽然这些和其它解决方案,相对于传统的联机事务处理(OLTP),关系型数据库管理系统(RDBMS)和数据仓库系统,已成功为企业降低了复杂的深度分析的成本, 但他们对大量数据的长期保存成本上并不是最佳的。对不断增长的数据库的存储、硬件和管理成本的密切关注是一个非常现实的问题。

让我们检查一下保留大量的机器生成的数据的经济情况。硬件和软件投资的资本支出(CAPEX) 需要开始消化,而每个人最终也是最初关注的是数据查询。这个问题很大程度上已经被许多关系型数据库管理系统(RDBMS)和数据仓库解决方案和设备解决,它们通常以每TB的存储进行测量和定价。

但是持续经营性支出(OPEX)推动了整体成本以维持任何正在实施的系统。组成总资本支出(CAPEX)和持续经营性支出(OPEX)的维度方程包括,支持加载吞吐量和数据查询的服务器,必要的物理存储数据和存储种类。压缩、存储和检索如此大量数据的效率最后决定该方程 ― 从减少所需的空间,(人)的管理和技能,到所需硬件和存储的种类。

减少大数据的问题

以更全面的方式解决大数据问题的业务不仅是检验分析需求,还有整体数据的保留成本,这些成本可以TB(terabytes)来测量,但也可能是PB(petabytes),很快EB(exabytes)作为字节容量也会迅速增加。新的管理类型上的经济正在发生改变,而规定只会变得更严格。

所有的企业,特别是那些高度管制行业,需要为大数据做好准备,就像他们为主要的企业方案和改革IT项目上所作的准备一样:建立一种战略,实事求是的,做最坏的打算,引进专家,而且不要害怕有为长期的节约现在的支出。从长远来看,有合理的策略和适于大数据的基础设施会让最成功的企业更有优势。

收藏

本文标题:大数据时代是机遇还是挑战?

本文链接:https://naoketang.com/p/w467pmgy7vg0

评论区

推荐课程