20.3.1 大数据概述

1.定义

随着信息技术的快速发展和数字化转型的推进，大数据成为工程计价领域中的重要资源和工具。互联网数据中心(InternetDataCenter,IDC)将大数据定义为：为更经济地从高频率的、大容量的、不同结构和类型的数据中获取价值而设计的新一代架构和技术。

2.特征

大数据具有“4V”特征，即规模性(Volume)、多样性(Variety)、价值性(Value)和时效性(Velocity)。
(1)Volume(规模性):由网络应用、科学研究产生的数据量，以及从这些数据衍生出来的数据非常庞大。在工程计价领域，大量的工程数据、建筑材料信息、成本数据等可以通过大数据技术进行处理和分析，从而提供更准确的成本估算和决策支持。

(2)Variety(多样性):数据来源多，数据类型多样，数据之间关联性强。大数据不仅包括结构化数据(如数据库中的数据),还包括非结构化和半结构化数据，如文本、图像、声音、视频等。这些不同类型的数据来源于各种渠道，如社交媒体、传感器、日志文件等。在工程计价中，可能涉及不同来源的数据，包括设计图纸、施工进度、材料信息等。

(3)Value(价值性):在大量数据中只有一小部分具有价值，即价值密度相对较低。对大数据进行分析，从中提取出对业务决策有帮助的信息，才能实现价值。

(4)Velocity(时效性):大量的数据要求对数据快速处理，实时分析，从分析结果中解释并预测事物的发展。现代技术使得数据以前所未有的速度产生，这要求系统能够实时地处理数据。

3.处理流程

大数据为数据的使用和分析带来新的机遇和挑战，其处理的一般流程可归纳为：①数据抽取与集成→②数据分析→③数据解释。整个处理流程涵盖了云计算、MapReduce、分布式文件系统、分布式并行数据库、Hadoop开源平台、大数据可视化等关键技术。