通用知识图谱构建与应用

通用知识图谱构建与应用2DataFunTalk关于我知识图谱中台的建设相关工作。3DataFunTalk通用图谱构建与应用通用图谱构建与应用DataFunTalk112345应用探索45知识图谱知识图谱DataFunTalk2012年由Google提出，是一张由知识点（实体/概念）相互连接而成的语义网络。知识图谱让机器理解世界知识图谱是人工智能的底层技术，让机器学会“思考”6足用户的搜索需求接给出权威的确定答案 **亿实体**百个领域类型足用户的搜索需求接给出权威的确定答案 **亿实体**百个领域类型**十亿知识三元组DataFunTalk数据接入数据爬取数据接入数据爬取DataFunTalk7通用图谱构建与应用通用图谱构建与应用DataFunTalk112345应用探索89构建思路构建方式实体全从上到下vs从下到上人工构建vs自动构建构建思路构建方式实体全从上到下vs从下到上人工构建vs自动构建DataFunTalk规模规模建设类型开放领域vs垂直领域百科站点vs垂类站点建设类型开放领域vs垂直领域百科站点vs垂类站点人力省人力省服务稳))DataFunTalk出生日期出生地作品妻子《出生日期朱丽倩出生地作品妻子水平扩展，通用化构建流程周期构建 构建流程 水平扩展，通用化构建流程周期构建 构建流程 不定期迭代算法DataFunTalk来源管理Schema管理清洗映射来源管理Schema管理清洗映射流批一体流批一体知识抽取实体分类实体消歧知识抽取实体分类实体消歧实时构建构建系统-系统特色实时构建DataFunTalk接入方式丰富支持Hive、DB、Kafka等多维异构数据源构建粒度灵活支持不同量级数据按不同方式分别进行构建⑧构建效率迅捷支持小时级的快速构建与实时构建接入层海量数据海量数据人工干预流实时流存储层构建层存储层天级时延 秒级时延知识获取DataFunTalk从不同来源、不同结构的数据中进行知识提取，形成知识存入到知识库结构化数据获取知识•难点：复杂表数据处理•技术：数据统一接入半结构化（网站）数据获取知识•难点：网站众多、数据各异•技术：爬虫、解析器/包装器非结构化（文本）数据获取知识•难点：结果的准确率和覆盖率•技术：知识抽取统一爬取系统•网页数据•结构化、半结构化数据关键：爬取管理、解析灵活统一爬取系统•网页数据•结构化、半结构化数据关键：爬取管理、解析灵活rid:0000300domain:00003data_type:00timestamp:151893513name:甄嬛传data:Array[jsonObj]DataFunTalk统一数据接入•接口、服务->DB•Hive、HDFS表同步•接口、服务->DB关键：灵活可扩展解法：通过配置指定来源、存储和解析规则•id+json_data•Id包含来源+类型信息•Json_data，以KV方式统一存储DataFunTalk灵活的任务调度方式爬取、抽取、评估一体化DataFunTalk灵活的任务调度方式爬取、抽取、评估一体化从爬取到抽取到数据验证，平台高效搞定支持JS注入功能，具备动态页面解析能力爬取规则可视化，平台实时验证，外包处理人工标注远程标注数据集管理人工标注远程标注数据集管理DataFunTalk属性抽取属性抽取概念抽取IP抽取关系抽取实体抽取基于模型基于模型基于模版传统机器学习深度神经网络基于规则属性种子模板(姚明,叶莉)[D:属性种子模板(姚明,叶莉)[D:person]_嫁给姚明娶了叶莉[D:person]_娶了DataFunTalk范简单息丰富BootstraBootstra关键问题1.种子集构建2.模版评估和筛选解决方式1.选择高置信度数据(实体->tuple)2.反向验证(在tuple语料中看能正确抽取tuple的占比）-BERT增强语义-实体mention特征+实体类型特征SoftmaxSoftmax54.88%FCLayer-BERT增强语义-实体mention特征+实体类型特征SoftmaxSoftmax54.88%FCLayerDataFunTalk模型V2：BERT-引入关键词特征-显示建模SO与关键词间的交互SoftmaxFCLayerFCLayerh(s)ht(s)ht(o)hk(s)hk(o)FCLayerFCLayerh(s)ht(s)ht(o)Keyword-maskedDeepTransformer(ht(s)ht(o)Keyword-maskedDeepTransformer(BERT)DeepTransformer(BERT) TransformerLayerL-1…[cls][s]陈宛[/s]，[o]秦放[/o]的初恋[sep][cls][s:p]陈宛[/s:p]，[o:p]秦放[/o:p]的初恋[sep][cls][s:p]陈宛[/s:p]，[o:p]秦放[/o:p]的[k]初恋[/k][sep]男theSun》知识融合男theSun》DataFunTalk模型分类•层次化分类(主分类+辅分类)•特征：简介、关键kv对、实体属性•优缺点：分类模型同构，模型分类•层次化分类(主分类+辅分类)•特征：简介、关键kv对、实体属性•优缺点：分类模型同构，易扩展层次化且层级不固定，人物-娱乐人物-歌手⑧实体需要多分类标签覆盖层次化分层框架ü规则，解决快速结构化分类ü模型，解决召回扩大问题ü层级&多分类，解决分体体系每天例行分类耗时<1h全库：准确>99.5%,召回>80%DataFunTalk 规则分类•分类映射规则•场景：结构化数据、清晰垂类•方法：属性K和V按分类词表映射•优缺点：准确率高,召回低,成本高子模型子模型异构、杂乱的数据解决方案清洗规则分类规则异构、杂乱的数据解决方案清洗规则分类规则DataFunTalkSchemaSchema库映射规则映射规则实体分类实体分类Schema对齐Schema对齐数据清洗数据清洗•将文本分类到Schema类型体系•基于分类规则+分类模型•规则通过数据统计、归纳获得•将原始属性Key进行统一•基于对齐规则（属性映射对）•规则通过数据统计、聚类获得•将属性Value进行规整去杂质•基于清洗规则（匹配替换对）•规则通过数据统计、归纳获得DataFunTalk属性丰富、低质实体混杂，对齐难度大全量结构化实体3.9亿，每天增加新增40W通用、适配广泛支持各种类型、各种来源实体对齐实体关联①实体关联实体归一实体拆分实体关联①实体关联实体归一实体拆分DataFunTalk实体关联实体关联实体拆分实体拆分知识初始化实体归一实体拆分增量构建全量构建实体对齐DataFunTalkBAYES模型XGBoost模型场景2:DataFunTalkBAYES模型XGBoost模型场景2:结构化信息不丰富eg.经商的退役篮球运动员薄实体对齐 实体资源eg.只有简介和演唱者的《冰⾬》结构化实体对齐实体对齐结构化实体对齐跨类通用实体对齐跨类通用实体对齐建边系统建边系统知识关联S：李荣浩(407195765)P：代表作实体名(实体id）李白(401011277)物;诗人李白(214800216)李白(240611076)李白(526784655)李白(205096397)李白(236971880)DataFunTalk基于超链接•场景：站点含内链•方法：网页爬取，链接到ID映射•优缺点：快速；覆盖率不够基于规则推理•场景：定义清晰、无歧义的谓词•方法：词表、推理引擎•缺点：准确率；耗时成本高基于模型关联•场景：通用•方法：三元组分类•优缺点：泛化强，训练模型推理引擎计算推理引擎计算DataFunTalk先验知识计算•领域词表，eg：国家、星座等•对图谱中N-1的谓词效果显著•自动挖掘词表+人工验证•基于规则的专家系统•基于Drools框架（Rete）实现 建边系统SOSDataFunTalkPR常规特征0.9260.6540.76+type0.9500.6810.79+SPO-Bert0.9510.7020.81+KG-Emb0.9480.7260.82+统计特征0.9520.7320.83通用图谱构建与应用通用图谱构建与应用DataFunTalk112345应用探索DataFunTalkü半数市场份额ü高性能访问ü非结构化存储ü活跃的社区•负载不均衡，跨地访问耗时•读写毛刺？（大实体/长链路）系统吞吐TPS：8000+满足超大规模图谱数据在线检索和计算需求！DataFunTalk•数据规模扩大•批量操作性能•多样化查询•扩展性问题解决思路>底层图数据库升级>多模式存储系统组合>数据一致性管理>松耦合分布式设计üKV库+索引库+图数据库ü控制和数据分离ü微服务+适配器模式索引库、正排库、图数据库均可灵活插拔支持业务分库存储、分布式存储实验二:单一属性插入同样规模的100w数据的a1属性值，schema属性的不同导致了在时间和存储空间的巨大差异6000+属性实验二:单一属性插入同样规模的100w数据的a1属性值，schema属性的不同导致了在时间和存储空间的巨大差异6000+属性DataFunTalk强Schema依赖：事先定义schema属性包含几个属性只插入同一个属性，只插入同一个属性，schema的不同是否会导致存储性能上的差异？实验一:全属性1能否通过设计合理的schema来优化存储？公共属性显示存+领域属性组合存通用图谱构建与应用通用图谱构建与应用DataFunTalk112345应用探索分发智能音箱实体卡片资源聚合query理解框词生成篇章理解为算法提供先验知识为Query和资源建立连接召回排序语义搜索智能助手推荐场景分发智能音箱实体卡片资源聚合query理解框词生成篇章理解为算法提供先验知识为Query和资源建立连接召回排序语义搜索智能助手推荐场景DataFunTalk问答问答内容理解内容理解应用-产品应用举例DataFunTalk框词推荐实体链接推理计算实体检索应用-实体卡片实体链接推理计算实体检索DataFunTalk业务：腾讯博物官、QQ浏览器识花君效果：提升AR扫描类产品的用户体验，支持文博(名画/建筑/文物)和植物扫描识别功能，日覆盖近300W相关QV业务：QQ浏览器搜效果：上线人物、影视、自然等领域TOP1实体卡，相关实体领域TOP1满足率提升5%+意图识别意图识别"田亮"4排序rank"田亮"4排序rankDataFunTalk解决搜索场景下绝大多数复杂问题verify应用-框词生成DataFunTalk新词发现细粒度实体分类槽填充实体识别小说的实体抽取难点2：小说新词发现细粒度实体分类槽填充实体识别小说的实体抽取难点2：小说实体类型繁多，不同于一般的实体类型系统DataFunTalk意图分类意图分类浏览器搜索使用小说领域的图谱数据，包括小说、角色、作者等相关的属性和关效果：意图基础数据技术从准召91.3%/57.8%提升到94.7%/69.3%，累计支持16个品类阿拉丁意图识别，影响面8%消歧后的资源实体链接技术应用-内容理解消歧后的资源实体链接技术DataFunTalk用户画像用户画像•每当听到有人说李白伤害低都笑了，不会玩却怪英雄弱•丝毫不输原唱，俊凯与李荣浩同唱李白,好听到爆炸！•李白不再隐忍，一把扯下撒贝宁遮羞布，原来撒贝宁是高攀了实体消歧，TypeMatchPriorsRelation实体消歧，TypeMatchPriorsRelationRanking实体链接技术DataFunTalk在理解、组织资源时不够灵活；而且针对一些实体，用户关心的往往也不是其全部属性或关系。础之上，构建一种新的、更符合搜索深度理解和内图谱，将实体、概念、需求点和事件进行更合理的组织，并探索在搜索资源聚合分发场景下的各种应用2IP生成3实体挂靠2IP生成3实体挂靠DataFunTalk覆盖影视综、动漫、游戏、小说的跨领域IP、系列IP等，IP生成准确率98%，覆盖率95.4%（随机queryIP下实体挂靠准确率93.66%，召回率77.58%1特征抽取季部号副标题季部号副标题蜘蛛侠蜘蛛侠蜘蛛侠1需求点生成器模型（生成、抽取）需求点判别器1需求点生成器模型（生成、抽取）需求点判别器需求点关联3DataFunTalk22通用图谱构建与应用通用图谱构建与应用DataFunTalk112345应用探索