---

淘宝分布式文件系统 分布式并行文件系统淘宝

淘宝分布式文件存储系统( 二 ) ->>TFS

目录 :

• 大文件存储结构
• 哈希链表的结构
• 文件映射原理及对应的API
• 文件映射头文件的定义

大文件存储结构 :

• 1. 采用块(block)文件的形式对数据进行存储 , 分成索引块,主块 , 扩展块 。所有的小文件都是存放到主块中的 ，扩展块用来保存溢出的数据，也就是当我们的主快存储不下的时候，数据就会保存到扩展块中。
  2. 每一个块都有一个唯一的编号 ， 块在使用之前所用到的存储空间都会被预先分配和初始化。
  3. 每个索引文件都存放对应块的信息和小文件的索引信息，所索引文件会在服务器启动时映射（mmap）到内存中，大大提高索引效率。
  4. 每一个文件都有对应的编号，文件编号从1 开始 依次递增，同时作为哈希表的key来定位小文件在主块和扩展块的偏移量。

• 关键的数据结构 ,1 每一个块的结构

补充： 在整个系统里面，删除文件并不是说当用户点击删除之后，就立刻执行删除，事实上我们的系统会对要删除的文件进行标记，表示已经删除，如果不这样，本来磁盘都会进行频繁的读写，再加上立刻删除文件，它会吃不消的，效率也会大大降低，实际上我们服务器的瓶颈就在磁盘。 当系统中删除的文件达到一定量时，会在夜深人静的时候进行数据删除。

• 小文件的索引信息（数据文件，图片，文字，等等）

• 这一个结构体，将我们的所有“小文件”，链在一起。

哈希链表

​ 哈希链表结构的定义 :

文件映射 :

磁盘的速度,和内存的速度比较,相当于是 ： 一个走路,一个坐火箭。

提示: 红色框起的部分,我们可以先不看, 内存映射简单来说就是把磁盘上的文件,映射到内存中.

• 应用场景:

• 对应的API接口 ， 参数很多，但是不用担心，很多都用不上，都是默认的

参数addr : 指向欲映射内存的起始地址 ， 一般情况设置为 NULL ，让系统自动选定

参数lenght : 代表文件中多大的部分映射到内存（注意： 大小一般是4kb的整数倍）

参数prot : 映射区域的保护方法 { ​ PROT_EXEC 执行 ​ PROT_READ 读取 ​ PROT_WRITE 写入 ​ PROT_NONE 不能存取 }

参数flags : 影响映射区域的各种特征，必须指定为 MAP_SHARED / MAP_PRIVATE(修改不同步文件)

参数fd : 要映射到内存中文件的描述符

参数offset : 文件映射映射的偏移量，通常设置为0，代表从文件的开始位置开始对应

进程之间的通信 mmap 之 msync

实现磁盘文件与共享内存区的内容一致（同步操作，共享区域文件的内容发生改变，磁盘上的文件内容也会发生改变） 函数原型 :

参数 addr : 调用mmap（… ）返回的地

参数flags : 刷新的参数设置

1. MS_ASYNC (异步)，调用会立即返回，不等到更新的完成
2. MS_SYNC (同步)

映射 mmap_file.h 头文件的实现

..天猫互助群最新活动消息,天猫互助群最新活动消息,天猫互助群免费活动在哪,我们组织了一个2023年 618淘宝狂欢盛典互帮互助微信群二维码，里面有一些志同道合的朋友，大家分享活动玩法。加入我们，一起完成任务，共同进步吧！