分布式文件系统（分布式文件系统是什么啊）
本文目录
分布式文件系统是什么啊
分布式文件系统(Distributed File System，DFS)
如果局域网中有多台服务器，并且共享文件夹也分布在不同的服务器上，这就不利于管理员的管理和用户的访问。而使用分布式文件系统,系统管理员就可以把不同服务器上的共享文件夹组织在一起，构建成一个目录树。这在用户看来，所有共享文件仅存储在一个地点，只需访问一个共享的DFS根目录，就能够访问分布在网络上的文件或文件夹，而不必知道这些文件的实际物理位置。
各位使用的分布式文件存储，有哪些产品使用体验更好一些
分布式存储应用十分广泛，在云计算领域十分常见。因为业务特点和自身实力和资源等综合原因，很多大型的云计算厂商都会选择自主开发或二次开发分布式存储系统，这些厂商本身的产品性能也会比较稳定，在此我列举一下这些厂商。
1. 公有云方面：阿里云的盘古和腾讯的PaxosStore，这两个存储系统分别支撑了大多数阿里云和腾讯系产品的存储和计算。
2. 私有云方面：国外的有VMware的vSAN，谷歌的Google Megastore等；国内的有新华三的ONEStor、华为的FusionStorage、云宏的WinStore等。
在这里特别提一下云宏的WinStore存储，他们的产品在金融领域应用非常广泛，除了自主研发的虚拟化平台，他们也特别提到这个存储技术，WinStore是他们自主研发的分布式存储系统，使得他们的产品在数据存储安全性和容灾性能上有优势。
当前主流分布式文件系统有哪些各有什么优缺点
目前几个主流的分布式文件系统除GPFS外，还有PVFS、Lustre、PanFS、GoogleFS等。
1.PVFS(Parallel Virtual File System)项目是Clemson大学为了运行Linux集群而创建的一个开源项目,目前PVFS还存在以下不足：
1）单一管理节点:只有一个管理节点来管理元数据，当集群系统达到一定的规模之后，管理节点将可能出现过度繁忙的情况，这时管理节点将成为系统瓶颈;
2）对数据的存储缺乏容错机制:当某一I/O节点无法工作时，数据将出现不可用的情况;
3）静态配置:对PVFS的配置只能在启动前进行，一旦系统运行则不可再更改原先的配置。
2.Lustre文件系统是一个基于对象存储的分布式文件系统，此项目于1999年在Carnegie Mellon University启动，Lustre也是一个开源项目。它只有两个元数据管理节点,同PVFS类似,当系统达到一定的规模之后，管理节点会成为Lustre系统中的瓶颈。
3.PanFS(Panasas File System)是Panasas公司用于管理自己的集群存储系统的分布式文件系统。
4.GoogleFS(Google File System)是Google公司为了满足公司内部的数据处理需要而设计的一套分布式文件系统。
5.相对其它的文件系统，GPFS的主要优点有以下三点：
1)使用分布式锁管理和大数据块策略支持更大规模的集群系统,文件系统的令牌管理器为块、inode、属性和目录项建立细粒度的锁，第一个获得锁的客户将负责维护相应共享对象的一致性管理，这减少了元数据服务器的负担;
2)拥有多个元数据服务器,元数据也是分布式,使得元数据的管理不再是系统瓶颈;
3)令牌管理以字节作为锁的最小单位,也就是说除非两个请求访问的是同一文件的同一字节数据,对于数据的访问请求永远不会冲突.
谷歌的分布式文件系统的优缺点
Google File System 文件系统
为了满足Google迅速增长的数据处理需求，Google设计并实现了Google文件系统(GFS，Google File System)。GFS与过去的分布式文件系统拥有许多相同的目标，例如性能、可伸缩性、可靠性以及可用性。然而，它的设计还受到Google应用负载和技术环境的影响。主要体现在以下四个方面:
1. 集群中的节点失效是一种常态，而不是一种异常。由于参与运算与处理的节点数目非常庞大，通常会使用上千个节点进行共同计算，因此，每时每刻总会有节点处在失效状态。需要通过软件程序模块，监视系统的动态运行状况，侦测错误，并且将容错以及自动恢复系统集成在系统中。
2. Google系统中的文件大小与通常文件系统中的文件大小概念不一样，文件大小通常以G字节计。另外文件系统中的文件含义与通常文件不同，一个大文件可能包含大量数目的通常意义上的小文件。所以，设计预期和参数，例如I/O操作和块尺寸都要重新考虑。
3. Google文件系统中的文件读写模式和传统的文件系统不同。在Google应用(如搜索)中对大部分文件的修改，不是覆盖原有数据，而是在文件尾追加新数据。对文件的随机写是几乎不存在的。对于这类巨大文件的访问模式，客户端对数据块缓存失去了意义，追加操作成为性能优化和原子性(把一个事务看做是一个程序。它要么被完整地执行，要么完全不执行)保证的焦点。
4. 文件系统的某些具体操作不再透明，而且需要应用程序的协助完成，应用程序和文件系统API的协同设计提高了整个系统的灵活性。例如，放松了对GFS一致性模型的要求，这样不用加重应用程序的负担，就大大简化了文件系统的设计。还引入了原子性的追加操作，这样多个客户端同时进行追加的时候，就不需要额外的同步操作了。
总之，GFS是为Google应用程序本身而设计的。据称，Google已经部署了许多GFS集群。有的集群拥有超过1000个存储节点，超过300T的硬盘空间，被不同机器上的数百个客户端连续不断地频繁访问着。
什么是Hadoop分布式文件系统
分布式文件系统（Distributed File System）是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连。Hadoop是Apache软件基金会所研发的开放源码并行运算编程工具和分散式档案系统，与MapReduce和Google档案系统的概念类似。HDFS（Hadoop 分布式文件系统）是其中的一部分。
更多文章：
q7奥迪报价2021款（奥迪Q72021款3.0T落地价多少钱）
2023年5月24日 06:40
2023年9月18日 05:00
2024年7月21日 09:24
诺基亚logo图片（1898年诺基亚标志sgtoy是什么意思）
2024年7月20日 21:21
富士通dpk700（富士通DPK700打印机如何恢复机器出厂设置）
2024年6月22日 12:32
三星note10 详细评测（三星noto10+刷未来系统相当于什么配置）
2024年6月6日 10:15
2024年8月27日 01:50
2023年6月30日 21:00
2024年2月8日 01:00
2024年7月14日 01:44
2023年6月24日 04:00
2023年9月29日 16:00
2023年11月13日 04:40
2024年9月5日 10:40
2023年11月5日 04:40
2023年10月24日 10:20
惠普台式电脑主板型号怎么看（我有一个惠普台式机旧主板，怎么也没找到主板型号和芯片组请问高手怎么找）
2023年12月9日 20:40
荣耀20pro系统最新版本（荣耀20 pro升级系统怎么样呢）
2024年7月6日 17:46
路由器背面地址（无线路由器地址是多少 无线路由器地址怎么更改）
2024年6月4日 13:15
2024年9月3日 02:50
