数据库技术・Data Base Technique 大数据的国内外研究现状及发展动态分析 文/王军刘金辉 2.2大数据的特征 容量(Volume):至少PB级; 种类(Variety):数据类型的多样性; 4.4降低大数据的复杂度 目前大数据的技术有:逐步减少对 MapReduc e的依赖和在企业架构中置入 速度(Velocity):指获得数据的速度; Hadoop技术应用这两个特点。 可变性(Variability):妨碍了处理和有 效地管理数据的过程: 真实性(Veracity):数据的质量; 复杂性(Complexiyt):数据量巨大,来 源多渠道。 3国内外发展现状 键词】互联网数据时代大数据现状 “大数据”这个概念在上个世纪8O年代 就出现了,到了2008年,“大数据”这个词 已经不在陌生,并有了广泛传播之势。 国内发展状况:在大数据风靡全球的同 数据的产生 时,我国也加快了对大数据相关技术攻关的进 程,工信部发布的《物联网十二五规划》里, 随着人类的进步和科技的发展,计算机 把信息处理技术作为关键技术创新工程之一而 成为我们生活和工作中必用的设备。在计 提出来,其中包括了海量数据存储、数据挖掘、 L应用增多的前提下,数据量的增长成为了 图像视频智能分析等大数据技术的重要组成部 ,并且带动了互联网产业的发展。这次发 分。大数据技术的成熟发展,使我国大数据产 带来了一次数据增长的高潮。在互联网时 业链雏形呈现,给企业带来商机。 ,每个人都是数据的制造者。 国外发展状况:国外在研究大数据不仅 近年来,物联网、云计算、移动互联网 仅是研究概念还研究了大数据技术,并且把技 £一步应用,使数据已呈指数级增长。正是 术研究作为了重点。以美国为例,他们部门中 数据疯狂式增长,“大数据”才慢慢的被 的大数据研究计划,绝大多数都是以重视数据 所研究。 工程为重点,并从分析算法和系统效率两方面 考虑进行设计。 数据的定义与特征 4大数据发展动态分析 . . 大数据的定义 目前大数据和云计算的发展不相上下, 大数据是指在不可承受的时间范围内用 大数据的发展甚至有超过云计算的苗头。未来 软件工具进行获取、管理和处理的数据集 大数据的成长不可估量,有关人士预测以后每 年大数据的市场将以40%的速度增长下去。 大数据技术的战略意义不在于掌握庞大 未来大数据将有哪些新的发展趋势,现总结以 据信息,而在于对这些含有意义的数据进 下几个方面: 业化处理。从技术上看,大数据与云计算 4.1 Hadoop) ̄速发展 系就像一枚硬币的正反面一样密不可分。 据必然无法用单台的计算机进行处理,必 Hadoop是大数据技术代表先锋,目前用 用分布式架构。它的特色在于对海量数据 户基本上注重的都是Hadoop的硬件优化,却 分布式数据挖掘,但它必须依托云计算的 忽略了在众多的数据中心中的配置以及技术的 i式处理、分布式数据库和云存储、虚拟化 发展。 0 4.2大数据的开源 随着云时代的来临,大数据(Big data) 引了越来越多的关注。 《著云台》的分析 开源软件给大数据带来了很多的发展机 日队认为,大数据(Big data)通常用来形 会。不仅不会制抑市场商业机会,相反在服务 个公司创造的大量非结构化数据和半结构 等多方面的有关领域都带来了更多的机遇。 《据,这些数据在下载到关系型数据库用于 时会花费过多时间和金钱。大数据分析常 4.3大数据行业的打包应用分析 计算联系到一起,因为实时的大型数据集 需要像MapReduce一样的框架来向数十、 大数据的发展不仅带动了各行各业发展, 还也带动了打包应用需求的增长。要想在未来 或甚至数千的电脑分配工作。 大数据需要特殊的技术,以有效地处理 的市场中打开一个新的大数据技术市场,就要 的容忍经过时间内的数据。适用于大数据 以预打包的形式对特定的行业和业务流程的应 E术,包括大规模并行处理(MPP)数据库、 用进行专业分析。也因为这些分析覆盖很多行 挖掘电网、分布式文件系统、分布式数据 业的专业知识,所以可以作为吸引软件公司投 入的资本。 云计算平台、互联网和可扩展的存储系统。 D0・电子技术与软件工程Electronic Technology&Software Engineering 4.5大数据与云计算的融合 大数据与云计算是相互影响和共同发展 的,云计算为大数据的服务提供了支撑环境以 及高效的模式,而大数据也为云计算带来了新 的商业价值。同时,云计算,互联网等新兴的 技术领域都是产生大数据的地方,也需要大数 据来分析的。 4.6大数据的安全隐患 随着大数据的不断增加,对数据的储存 安全性、多副本和容灾机制的要求也会越来越 高。正因为网络的普遍应用,让犯罪分子获得 信息量增多,造成了很多防范的手段不易被追 踪到的结果。 5大数据研究存在的不足 (1)大数据相关的研究与应用目前仍然 处于起步阶段,学术研究大多局限于宏观层 (2)基于互联网和社会媒体的企业大数 据研究与应用急需进一步的深入开展; (3)现有的大数据研究很多都致力于数 据的获取、储存、处理、挖掘和信息安全等方 面,很少有从管理学的视角分析大数据对于企 业管理的影响。 6总结 大数据带来的价值正逐渐被人们认可, 它通过技术方面的创新和对数据的感知、收集、 分析、共享,为人们基于事实与数据做出决策。 参考文献 [1]中国企业评价协会、中色金银贸易中心.大 数据的基本概念及相关问题[J】.中国电 子商务企业发展报告,201 3. 2黄升民.”大数据”背号下营销体系的解 构与重构[J】.现代传播,201 2(11). [3]王波.大数据时代精准营销模式研究[J】. 经济师,2 01 3(05). [4]任广见.基于大数据的商业模式创新及启 示[J】.现代商贸工业,2O1 3(20). [5]李芬.大数据发展现状及面临的问题[J]J. 西安邮电大学学报,201 3(5). [6]钱心缘.国内外大数据研究进展之从 文献计量学角度分析….中国科技信 息,201 3. [7]赵国栋.大数据时代的历史机遇:产业变 革与数据科学[M】.北京:清华大学出版 社,2O1 3. 作者单位 黑龙江省计算机软件研究中心 黑龙江省哈尔 滨市1 5 0028