数图新服务研发关键技术-数图新服务的关键技术.ppt

数图新服务研发关键技术 技术与产品中心北京万方数据股份有限公司 为啥要讲点技术 关键技术领域 主要内容 文本数据库系统自动标引 自动分类交互式检索以用户为中心的知识揭示知识脉络分析论文相似性检测 copydetection 集群与分布式服务相关技术规范与标准 文本数据库 数据库是什么 Google Baidu 万方数据知识服务平台 他们是数据库吗 他们的底层系统是数据库技术吗 文本数据库 存储对象 文献等文本内容 期刊论文 学位论文 会议论文 专利 特点 文本数据特有的结构关系 重复 层级删改少 增加 检索操作 对应CRUD四个计算机操作 海量数据的处理能力B 树索引结构与算法 WFIRC 存储XML格式支持文本 数值 日期 货币等数据类型索引全文索引 权重 分词策略整字段索引稀疏值索引检索表达式CQL检索结果自动聚类检索结果文献的学科 期刊 时间等分布情况秒级响应 WFIRC在知识服务平台的应用特色 多指标综合排序相关度标题 关键词 摘要 其他文献质量被引次数 核心刊 浏览次数 下载次数文献新旧程度论文发表时间根据经验在知识服务平台推荐使用的三种排序方式新论文优先相关度优先经典论文优先 WFIRC在知识服务平台的应用特色 检索结果聚类查全查准的特色考虑 和服 问题的处理 主要内容 文本数据库系统自动标引 自动分类交互式检索以用户为中心的知识揭示知识脉络分析论文相似性检测 copydetection 集群与分布式服务相关技术规范与标准 自动标引 自动分类 人工智能 机器学习学什么 怎么学 学习成果什么 如何应用学习成果进行工作 万方数据知识服务平台标引与分类工具特色 基于共现词的相关词网络基于最长词优先的分词策略基于千万级文献语料的学习 主要内容 文本数据库系统自动标引 自动分类交互式检索以用户为中心的知识揭示知识脉络分析论文相似性检测 copydetection 集群与分布式服务相关技术规范与标准WIKI知识分享与管理 用户的期望与失望 所得 所想 所看 用户研究和交互设计 用户研究用户的目标用户的行为模型交互设计系统与用户交互的流程信息设计何时何地何信息 视觉设计强调 弱化结构 关系 矛盾 用户希望付出少 得到多需要展示的信息量多 界面有限界面信息量多 用户关注点少 万方数据知识服务平台交互式检索与页面信息揭示 交互式检索 一框式进入交互反馈启发式信息提供页面精简显示 重点突出 主要内容 文本数据库系统自动标引 自动分类交互式检索以用户为中心的知识揭示知识脉络分析论文相似性检测 copydetection 集群与分布式服务相关技术规范与标准WIKI知识分享与管理 知识脉络 客观事实的展示基于海量文献的分析共现词 引用关系的应用 主要内容 文本数据库系统自动标引 自动分类交互式检索以用户为中心的知识揭示知识脉络分析论文相似性检测 copydetection 集群与分布式服务相关技术规范与标准 技术方案 检测算法基于数字指纹基于词频统计基于VSM的方法基于文本序列模式的方法 万方数据知识服务平台 论文相似性检测服务 基于文本序列模式的方法特点 速度快精准 主要内容 文本数据库系统自动标引 自动分类交互式检索以用户为中心的知识揭示知识脉络分析论文相似性检测 copydetection 集群与分布式服务相关技术规范与标准 访问量大了怎么办 举例 优化软件添加硬件架构支持能力本地服务集群多节点IDC机房 万方数据知识服务平台集群与分布式方案 优化软件支持扩展的架构 SOALTM管理GTM管理 主要内容 文本数据库系统自动标引 自动分类交互式检索以用户为中心的知识揭示知识脉络分析论文相似性检测 copydetection 集群与分布式服务相关技术规范与标准 Html xmlhttp httpsRSS ATOMZ