分布式存储系统，是将数据分散存储在多台独立的设备上。传统的网络存储系统采用集中的存储服务器存放所有数据，存储服务器成为系统性能的瓶颈，也是可靠性和安全性的焦点，不能满足大规模存储应用的需要。

分布式存储系统关键技术有哪些？

在大数据环境下，元数据的体量也非常大，元数据的存取性能是整个分布式文件系统性能的关键。常见的元数据管理可以分为集中式和分布式元数据管理架构。集中式元数据管理架构采用单一的元数据服务器，实现简单．但是存在单点故障等问题。分布式元数据管理架构则将元数据分散在多个结点上．进而解决了元数据服务器的性能瓶颈等问题．并提高了元数据管理架构的可扩展性，但实现较为复杂，并引入了元数据一致性的问题。另外，还有一种无元数据服务器的分布式架构，通过在线算法组织数据，不需要专用的元数据服务器。但是该架构对数据一致性的保障很困难．实现较为复杂。文件目录遍历操作效率低下，并且缺乏文件系统全局监控管理功能。

在大数据环境下，数据规模和复杂度的增加往往非常迅速，对系统的扩展性能要求较高。实现存储系统的高可扩展性首先要解决两个方面的重要问题，包含元数据的分配和数据的透明迁移。元数据的分配主要通过静态子树划分技术实现，后者则侧重数据迁移算法的优化。此外，大数据存储体系规模庞大．结点失效率高，因此还需要完成一定的自适应管理功能。系统必须能够根据数据量和计算的工作量估算所需要的结点个数，并动态地将数据在结点间迁移。以实现负载均衡；同时．结点失效时，数据必须可以通过副本等机制进行恢复，不能对上层应用产生影响。

构建存储系统时．需要基于成本和性能来考虑，因此存储系统通常采用多层不同性价比的存储器件组成存储层次结构。大数据的规模大，因此构建高效合理的存储层次结构，可以在保证系统性能的前提下，降低系统能耗和构建成本，利用数据访问局部性原理．可以从两个方面对存储层次结构进行优化。从提高性能的角度，可以通过分析应用特征，识别热点数据并对其进行缓存或预取，通过高效的缓存预取算法和合理的缓存容量配比，以提高访问性能。从降低成本的角度，采用信息生命周期管理方法，将访问频率低的冷数据迁移到低速廉价存储设备上，可以在小幅牺牲系统整体性能的基础上，大幅降低系统的构建成本和能耗。

传统数据存储模型需要支持尽可能多的应用，因此需要具备较好的通用性。大数据具有大规模、高动态及快速处理等特性，通用的数据存储模型通常并不是最能提高应用性能的模型．而大数据存储系统对上层应用性能的关注远远超过对通用性的追求。针对应用和负载来优化存储，就是将数据存储与应用耦合。简化或扩展分布式文件系统的功能，根据特定应用、特定负载、特定的计算模型对文件系统进行定制和深度优化，使应用达到最佳性能。这类优化技术在谷歌、Facebook等互联网公司的内部存储系统上，管理超过千万亿字节级别的大数据，能够达到非常高的性能

分布式网络存储系统采用可扩展的系统结构，利用多台存储服务器分担存储负荷，利用位置服务器定位存储信息，它不但提高了系统的可靠性、可用性和存取效率，还易于扩展优点如下：

1. 高功用

一个具有高功用的分布式存户一般能够高效地办理读缓存和写缓存，而且支撑主动的分级存储。分布式存储经过将热门区域内数据映射到高速存储中，来进步体系响应速度;一旦这些区域不再是热门，那么存储体系会将它们移出高速存储。而写缓存技能则可使合作高速存储来显着改动全体存储的功用，按照必定的战略，先将数据写入高速存储，再在适当的时刻进行同步落盘。

2. 支撑分级存储

由于经过网络进行松耦合链接，分布式存储答应高速存储和低速存储分隔布置，或者任意比例混布。在不行猜测的事务环境或者敏捷运用情况下，分层存储的优势能够发挥到最佳。处理了现在缓存分层存储最大的问题是当功用池读不射中后，从冷池提取数据的粒度太大，导致延迟高，然后给形成全体的功用的抖动的问题。

3. 多副本的一致性

与传统的存储架构运用RAID形式来确保数据的可靠性不同，分布式存储采用了多副本备份机制。在存储数据之前，分布式存储对数据进行了分片，分片后的数据按照必定的规矩保存在集群节点上。为了确保多个数据副本之间的一致性，分布式存储一般采用的是一个副本写入，多个副本读取的强一致性技能，视频CDN运用镜像、条带、分布式校验等方法满足租户关于可靠性不同的需求。在读取数据失利的时候，体系能够经过从其他副本读取数据，重新写入该副本进行康复，然后确保副本的总数固定;当数据长时刻处于不一致状态时，体系会主动数据重建康复，同时租户可设定数据康复的带宽规矩，最小化对事务的影响。

4. 容灾与备份

在分布式存储的容灾中，一个重要的手法就是多时刻点快照技能，使得用户出产体系能够完成必定时刻间隔下的各版本数据的保存。特别值得一提的是，多时刻点快照技能支撑同时提取多个时刻点样本同时康复，这关于许多逻辑过错的灾祸定位十分有用，如果用户有多台服务器或虚拟机能够用作体系康复，经过比照和分析，能够快速找到哪个时刻点才是需要回复的时刻点，降低了毛病定位的难度，缩短了定位时刻。这个功用还非常有利于进行毛病重现，然后进行分析和研讨，防止灾祸在未来再次发生。多副本技能，数据条带化放置，多时刻点快照和周期增量复制等技能为分布式存储的高可靠性提供了保证。

5. 弹性扩展

得益于合理的分布式架构，分布式存储可预估而且弹性扩展计算、存储容量和功用。分布式存储的水平扩展有以下几个特性：

1) 节点扩展后，旧数据会主动迁移到新节点，完成负载均衡，防止单点过热的情况出现;

2) 水平扩展只需要将新节点和原有集群连接到同一网络，整个进程不会对事务形成影响;

3) 当节点被添加到集群，集群体系的全体容量和功用也随之线性扩展，尔后新节点的资源就会被办理渠道接管，被用于分配或者收回。

6. 存储体系标准化

跟着分布式存储的发展，存储职业的标准化进程也不断推进，分布式存储优先采用职业标准接口(SMI-S或OpenStack Cinder)进行存储接入。在渠道层面，经过将异构存储资源进行抽象化，将传统的存储设备级的操作封装成面向存储资源的操作，然后简化异构存储基础架构的操作，以完成存储资源的会集办理，并能够主动执行创立、变更、收回等整个存储生命周期流程。根据异构存储整合的功用，用户能够完成跨不同品牌、介质地完成容灾，如用中低端阵列为高端阵列容灾，用不同磁盘阵列为闪存阵列容灾等等，从侧面降低了存储收购和办理成本。