大数据本身是一个抽象的概念。从一般意义上讲,大数据是指无法在有限时间内用常规软件工具对其进行获取、存储、管理和处理的数据集合。
目前,业界对大数据还没有一个统一的定义,但是大家普终严遍认为,大数据具备Volume、Velocity、Variety和Val360问答ue四个特征,简称“4V”,即映功常讲适皮娘云宣数据体量巨大、数据速度快、数据类型繁多和数据价值密度低,如图1所示。下计证能四病派面分别对每个特征作简要描述。
1)Volume:表示大核千数据的数据体量巨大。
数据集合的规模不断扩大,已经从GB级联够伯聚局燃袁企并厚觉增加到TB级再增加到PB级,近年来,数据量甚至开始以EB和ZB来计数。
例如,一个中型城市的视频监控信息一天就能达到几十TB的数据量期考浓孩危。百度首页导航每天需要提供的谁船紧弱调抓长数据超过1-5PB,如果将这些数据打印出来,会超过5000亿张A4纸。图2展示了每乐树易分钟互联网产生的各类数据的量。
2)Velocity:表示大数据的数据产生、处委制项入理和分析的速度在持续加快。
加速的原因是数据创建的实时性特点,以及将流数据责结合到业务流程和决策过程中的需求。数据处理速度快,处理模式已经讲特严举生陈别表开始从批处理转向流处理。
业界对大数据的处理能力有一个称谓——“1秒定律”,也免市油苏积调说想找搞就是说,可以从各种类型的数据去率结害落轮们杀挥久从中快速获得高价值的信息。大数据的快速处理能力充分体现出它与传统的数据处理技术的本质区别。
3)Variety:表示大数据的数据类型繁多。
传统IT产业产生和处理的数据类型较为单一,大部分是结构达轴观化数据。随着传感器、智能委初空设备、社交网络、物联网、移动计算、在线广告等新的渠道和技术不断涌现,产生的数据含整控小务类型无以计数。
现在的数据类型不再只是格式化数据,更多的是半结构化或者非结构化数据,如XM按指攻展斯松州便就扩L、邮件、博客、即时消息、视频、照片、点击流、日志文件等。企业需要整合、存储和分析来自复杂的传统和非传统草及久信息源的数据,包括企业内部和外部的数据。
4)Value:表示大数据的数据价值密度低。
大数据由于体量不断加大,单位数据的价值密度在不断降低,然而数据的整体价值在提高。以监控视频为例,在一小时的视频中,有用的数据可能仅仅只有一两秒,但是却会非常重要。现在许多专家已经将大数据等同于黄金和石油,这表示大数据当中蕴含了无限的商业价值。
通过对大数据进行处理,找出其中潜在的商业价值,将会产生巨大的商业利润