文件系统必须毁灭（十亿级文档的管理实践）

文件系统必须毁灭——十亿级文档的管理实践目录CONTENT目录远古的遗迹文档和文件

文档的组织数量压倒一切

我们的实践迈向未来远古的遗迹——文件系统文件系统

在计算机系统中用于控制数据的存储和获取

文件+文件关系文件：数据的容器通常以树形结构组织文件关系

文件系统不关心文件的内容只关心文件的文件存储的结构和文件的组织远古的遗迹传统文件系统起源于单机系统

依托单一数据存储媒介

文档数据和文档组织一体化

着重于文件的存取，而非文件的检索查找计算机的选择人对于“文件”有更丰富的定义人对于“文件”有更多的组织方式文件系统不符合人类的认知

文档——人心目中的“文件”文档和文件文档不是简单的一份数据文档是个虚拟的概念：包含特定内容的实体一个文档可以拥有多种不同的形态Office文档：文档本身、缩略图、纯文本...视频：原视频、高清、低清、缩略图、预览档案扫描件：扫描件原件、OCR件对于人而言，以内容来认定一个“文档”文档不仅仅是一份内容有大量的附加信息依附在文档上针对文档的批注文档的分类文档的保密等级创建时间、修改时间附加信息往往被视作文档的一部分，即“属性”文档的版本文档随时间推移，历次编辑产生不同的版本用户希望能够追溯、浏览、恢复历史版本多人同时编辑产生版本冲突文档锁经常失效文档的组织现实中的文档关系内容上的分类关系电影的分类：剧情、战争、爱情、惊悚一部电影可归入多个分类，一个分类可包含多部电影基于属性的关系希区柯克导演的电影量子力学教材......现实中的文档关系文档间的关系是图，而非树文件系统的树形结构不足以管理文档依从文档天然的逻辑关系建立模型文档访问控制更细的权限控制粒度基于组织架构的访问授权基于用户身份的访问控制（密级）用户操作审核数量压倒一切海量的文档中小规模的企业文档量达到千万级别大型企业可以达到亿级别，甚至十亿文档还在不停地产生中还有大量的历史卷宗需要电子化文件系统不能适用单机无法容纳，必须以单机为基础的文件系统架构，难以分布性能不足以支撑海量文档的访问难以随文档量扩展文档的分级存储海量文档存储的经济性文档归档冷存储有些文档的数据冷，但文档不冷我们的实践分而治之问题分解：文档元数据：组织文档。高响应、高密度、多关联访问文档数据：保存文档内容。大吞吐量、高可靠元数据管理+对象存储高性能数据库支撑元数据对象存储支撑文档内容存储文件族一个文档包含若干文件（数据对象）每个文件包含文档内容的全部或一部分文件是文档内容的不同形态的载体文件族中有一个是“源文件”，用户上传的文件有一个“主文件”，指向打开文档时的默认文件除源文件外，其他文件由源文件转换生成元数据的组织保留目录-文档的基础结构使用分类、标签、关键字等增加文档组织维度完整的用户组织架构和细粒度访问权限增强访问控制高级属性：密级、文档生命周期......扩展属性：用户自定义属性文档的处理对用户所上传的文档进行处理，满足使用要求视频转码文档缩略图生成图片转换文档分类关键词提取建立全文索引......迈向未来更多的文档量对象存储具备支撑百亿级数据对象的能力管理百亿级文档的元数据充满挑战单服务器数据库已无法承载分布式数据库：SQL、NoSQL、NewSQL高响应要求权限控制带来复杂查询支撑应用的平台依托文档管理平台建立应用OA、邮件、业务流转票据影像管理、档案资料管理解决企业应用非结构化数据的管理问题文档的存取、处理、分享应用与网盘用户权限一体化应用中的文档快速交换对文