大数据的数据结构和工作原理

来源：大同IT培训学校时间：2020/10/23 17:17:30

大数据是一种到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，具有海量的数据规模、的数据流转、多样的数据类型和价值密度低特征。大数据需要特殊的技术，以有效地处理大量的容忍经过时间内的数据。适用于大数据的技术，包括大规模并行处理（MPP）数据库、数据挖掘、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统。
大数据的数据结构
结构化数据：即行数据,存储在数据库里,可以用二维表结构来逻辑表达实现的数据

非结构化数据：非结构化数据是数据结构不规则或不完整，没有预定义的数据模型，不方便用数据库二维逻辑表来表现的数据。包括所有格式的办公文档、文本、图片、XML,HTML、各类报表、图像和音频/视频信息等等。

半结构化数据：指结构数据中，结构不规则的数据，由于结构变化很大也不能够简单的建立一个表和他对应。如：声音、图像文件等之间的数据，HTML文档就属于半结构化数据。它一般是自描述的，数据的结构和内容混在一起，没有明显的区分。
分布式架构设计CAP的工作原理
一致性（C）：在分布式系统中的所有数据备份，在同一时刻是否同样的值。（等同于所有节点访问同一份的数据副本），换句话就是说，任何时刻，所用的应用程序都能访问得到相同的数据。
可用性（A）：在集群中一部分节点故障后，集群整体是否还能响应客户端的读写请求。（对数据更新具备高可用性），换句话就是说，任何时候，任何应用程序都可以读写数据。
分区容错性（P）：以实际效果而言，分区相当于对通信的时限要求。系统如果不能在时限内达成数据一致性，就意味着发生了分区的情况，必须就当前操作在C和A之间做出选择，换句话说，系统可以跨网络分区线性的伸缩和扩展。

大数据的数据结构和工作原理

推荐课程更多>

立即申请体验课