文本挖掘软件.ppt

ThomsonDataAnalyzerCriticalInsightintoCompetitiveandTechnicalIntelligence,分析流程,明确问题,检索并下载数据,数据清理,数据分析,仔细研究分析结果,提出进一步的问题,决策者,分析师,提纲,ThomsonDataAnalyzer概况数据导入与数据管理数据规范/数据结构化数据分析生成报告,TDA简介,ThomsonDataAnalyzer(TDA），是一个具有强大分析功能的文本挖掘软件，可以对文本数据进行多角度的数据挖掘和可视化的全景分析。TDA能够帮助您从大量的专利文献或科技文献中发现竞争情报和技术情报，为洞察科学技术的发展趋势、发现行业出现的新兴技术、寻找合作伙伴，确定研究战略和发展方向提供有价值的依据。TDA在数据的导入，数据的清理，数据的分析，和分析结果的报道方面都具有独特的功能。,TDA数据导入,结构化的数据不同平台ImportEngineEditor,数据管理,包括数据特性和数据统计信息(DatasetProperties,fieldstatistics)字段的更名以及增加删除等(Rename/copy/delete/mergefields)将当前的数据集拆分(CreateSub-dataset)文件的合并(Mergingfiles)(DataFusion)(RecordFusion)记录的去重与合并(Dealingwithduplicate),数据清理,高质量的数据分析结果首先取决于数据的准确性与完整性标引的不一致输入的错误合并同义词近义词文献著者或发明人的不同写法科研机构或专利授权人的不同表达方式TDA软件内部设有多个叙词表，为您提供快速的自动数据清理的功能，只需点击一个按钮，数据整理工作即可自动完成。用户还可建立自己的叙词表，对著者/发明人、科研机构/专利申请人/专利授权人、国际专利分类号、等字段加以清理。,数据分析,有效的分析可将无序的数据转化为高附加值的情报List:快速排序分析各个字段,生成各种图表。Listcomparison:对比任何两个列表，揭示其共性或发现某列表的独特性。例如对比分析两个科研机构或两个竞争对手。Matrices:通过Co-occurance矩阵，Auto-correlation矩阵,Cross-correlation矩阵,发现隐含的发展趋势或相关性。Maps:通过数据图谱将数据分析的结果可视化，例如将主因素分析、相关性分析的结果以Map的方式表达出来，揭示机构间，科研人员间或各类技术之间的关系。,分析报告,TDA帮助您快速生成各种报告，为决策者更快做出更好的决策提供依据。只需点击按钮即可生成公司报告、公司间的比较、和对某一技术的深入分析。TechnologyReport（分别以技术/机构/发明人为参照点考量新出现的/消失的/量最大的/独特的技术分布报告）TopAssignees(DWPIonly，前25位专利权属人Derwent分类/发明人分析报告）TrendAnalysis(DWPIonly，从技术、市场、专利权人的角度，分析Derwent分类/Derwent手工代码/IPC号对应年份出现的新旧比例，显示技术发展趋势）,提纲,ThomsonDataAnalyzer概况数据导入与数据管理数据清理/数据结构化数据分析生成报告,案例:3G通信行业专利分析(The3rdGeneration),3G，全称为3rdGeneration，中文含义就是指第三代数字通信。1995年问世的第一代模拟制式手机（1G）只能进行语音通话；1996到1997年出现的第二代GSM、TDMA等数字制式手机（2G）便增加了接收数据的功能，如接受电子邮件或网页；第三代与前两代的主要区别是在传输声音和数据的速度上的提升，它能够在全球范围内更好地实现无缝漫游，并处理图像、音乐、视频流等多种媒体形式，提供包括网页浏览、电话会议、电子商务等多种信息服务，同时也要考虑与已有第二代系统的良好兼容性。为了提供这种服务，无线网络必须能够支持不同的数据传输速度，也就是说在室内、室外和行车的环境中能够分别支持至少2Mbps（兆比特每秒）、384kbps（千比特每秒）以及144kbps的传输速度。（此数值根据网络环境会发生变化)。,总体技术发展趋势宏观分析,技术领域内重要的专利权人（专利权人名称）地区覆盖范围(国家、地区）创新性活动进展时间序列分析（优先权年,最近15年）排名靠前的专利申请者的地区分布（Top30）排名靠前的专利申请者其专利申请活动的时间分布(最近15年)技术发展趋势（时间分布、地区分布、专利权人分布）（ManualCode、NLPwords、热点技术（时间分布、地区分布、专利权人分布）高影响力专利,检索相关专利分析数据源的获取,数据下载,数据导入,Novelty：描述发明的独特性,专利家族,DWPIAbstract的价值,Novelty(Abstract-DWPINovelty/NOV):描述发明的独特性.DetailedDescription(Abstract-DWPIDetailedDesc/DTD):当在Novelty字段无法总结发明主要的权利主张时，摘要中会出现此字段。Activity(Abstract-DWPIActivity/ACT):用于描述生物体或者化合物的生物活性Mechanism(Abstract-DWPIMechanism/MEC):描述化合物或者生物体的生物机理.Use(Abstract-DWPIUse/USE):包括该发明在不同技术领域的使用（应用）.Iftherearenodiscloseduses,thisisstated.Advantage(Abstract-DWPIAdvantage/ADV):包括由发明人所陈述的发明优势.TechFocus(Abstract-DWPITechFocus/FOC):描述该发明包含的核心技术领域以外的技术。TechnologyFocusAbstractisusedtogroupinformationconcerninghowtheinventioniscarriedoutintothetechnologyarea(s).DrawingDescription(Abstract-DWPIDrawingDesc/DRW):记录中所包括的技术图示的解释,字段的更名数据集拆分文件的合并记录的去重合并,数据管理,数据集拆分,将来自不同数据源的数据进行合并分析,提纲,ThomsonDataAnalyzer概况数据导入与数据管理数据清理/数据结构化数据分析生成报告,数据清理/数据结构化,高质量的数据分析结果首先取决于数据的准确性与完整性：让数据的差异性最小尽量减少词汇的拼写差异、或者同义词等清理数据的方法包括：ListCleanup-机器辅助识别并聚类相似的术语Thesauri-按照规则识别并聚类类似的术语Groups在一个字段中标记类似的术语，同时可保留条目细节Classifications-手工将记录分类到用户制定的分类中,数据清理/数据结构化,数据规范/数据结构化为什么要规范数据：Alloy,alloys;“human-computerinteraction”and“humancomputerinteraction”；单数/复数变化；拼写错误；美式/英式拼写；公司名称/机构的不同书写格式的不同；,数据清理之DWPI自动清理,Derwent数据的自动清理工具,预制的清理数据脚本，规范数据，生成（DWPIonly)：Assignee(cleaned);Inventor(Cleaned);IPC(Cleaned);DerwentClass(Cleaned),针对本课题需要清理的数据,专利权人自然语词（标题、摘要、)专利权国家、地区IPC、ManualCode,数据清理之:ListCleanup,TDA可以将同义词/等同词等加以区分;当使用ListCleanup工具时,您在使用文件名后缀为.fuz的文件对数据进行清理.最常用的模糊匹配文献包括:机构(Affiliation)-可用于公司/机构字段，忽略常用的机构标志词(e.g.Corp,AG,KK,Ltd)作者(Author)-用于作者字段;发明人(Inventor)-用于发明人字段;一般(General)-可用于所有的文本字段,e.g.cleaningNLPtextfields,利用ListCleanup清理数据,相同专利权人的合并(光标拖动放在相应名称下即可),将不应该归并的数据从组中去除（选中数据并采用右键）,恢复继续清理,将清理结果保存为叙词,用于今后数据清理,使用叙词帮助信息清理,数据清理之:Thesaurus-叙词表,您可以对一张数据列表利用叙词进行清理您可以自己编辑叙词表可以手工拖拽生成叙词表当在CleanupConfirm对话框内点击SaveAsThesaurus或者利用Groups创建叙词后(MenuitemGroupsandCreateThesaurususingGroups.)再选择已存在的叙词文件(*.the),您就可以将叙词表合并到一个已有的叙词表里,InsertMajorItem/InsertSubIterm,数据清理之Group,数据列表中的项目可以被标记到一个集合或者一个组之中分组功能对于减少共现矩阵的大小非常有帮助将数据集合中的数据提取出来形成一个新的数据集合并对其加以定义.,形成Top30专利权人组成(选中并用右键),提纲,ThomsonDataAnalyzer概况数据导入与数据管理数据清理/数据结构化数据分析生成报告,数据分析,List：一维分析矩阵分析：二维分析Map：最好利用分过组的数据进行分析预制的分析模块：三维分析/分析报告,地区覆盖(专利申请国一维分析),右键选择数据拷贝并做图,共现值高于或者低于期望的数值很多时，将会出现一个期望值显示箭头,箭头的表示共现值与期望之差距的大小没有箭头则表明这个数值与期望值没有太大偏差,绿色向上的箭头表示共现值大于预期红色向下箭头表示数值低于预期.,二维矩阵分析,矩阵分析的类型：,同现矩阵（Co-occurrenceMatrix)：寻找同时出现在两个矩阵参数中的记录自相关系数矩阵（Auto-CorrelationMatrix)：利用矩阵分析在相同的字段中，寻找关系密切的项目。如寻找合作密切的公司、发明人，自相关系数矩阵只适用于有多个数值的字段。互相关系数矩阵（Cross-CorrelationMatrix):利用矩阵分析在不同字段中，寻找关系密切的项目。如在相同领域研发相似的专利权人,同现矩阵（Co-occurrenceMatrix),时间序列分析（优先权年）(共现矩阵),自相关系数矩阵（Auto-CorrelationMatrix),自相关矩阵可以显示某一数据列表中的相互关系。例如，一个发明人的自相关矩阵可以显示某一个团体中成员的高度相关关系。Correlationfunctionisenabledwhenacorrelationmatrixischosen.ChoosefromPearsonsr(thedefault),Cosine,orMaxProportional.Note:ForAuto-CorrelationMatrix,youshouldonlyusefieldsthathavemultiplevaluesinmostoftherecords.Forexample,Inventors,Assignees,AuthorsorDescriptorsaregoodchoices.DateofPublicationisnotagoodchoice,sincethereisonlyonedateofpublicationforeachrecord.,互相关系数矩阵（Cross-CorrelationMatrix),互相关系数矩阵显示某一数据表中各项目基于另外一张数据表的相关.例如，作者的基于叙词的互相关系数矩阵可以显示有哪些团体在写作相同的作品.再如：一个基于叙词的机构互相关系数矩阵可以显示那些在写作相同作品的机构.创建互相关系数矩阵需选择两个字段，第一个字段是显示为矩阵中的行与列-通常为一个字段或者自己定义的一小组数据，选择的第二个字段是分析行与列中项目相关关系的基础.,总体技术发展趋势宏观分析,地区覆盖范围(国家、地区）创新性活动进展时间序列分析（优先权年,最近15年）专利权人趋势（专利权人名称）排名靠前的专利申请者的地区分布（Top30）排名靠前的专利申请者其专利申请活动的时间分布(最近15年)技术发展趋势（时间分布、地区分布、专利权人分布）（ManualCode、NLPwords、热点技术（时间分布、地区分布、专利权人分布）,排名靠前的专利申请者的地区分布（Top30）,排名靠前的专利申请者其专利申请活动的时间分布(最近15年),技术发展趋势（不同公司的技术发展侧重点),技术发展趋势（随年代的变化）,热点技术（时间分布、地区分布、专利权人分布）,Map类型：自相关系数地图（Auto-CorrelationMap)在相同的字段中，寻找关系密切的项目。如寻找合作密切的公司、发明人、国家。互相关系数地图（Cross-CorrelationMap)在不同字段中，寻找关系密切的项目。如寻找哪些公司在相同的研发领域关系密切。主成分地图（FactorMap)寻找经常共同出现在相同专利文献的项目，比如经常相伴出现的词（NLP);经常相伴出现的发明人；IPC；ManualCode，聚成词簇。,Auto-CorrelationMaps,自相关关系图显示一张数据表中各个条目的相互关系。例如：一个作者自相关关系图可以显示在一起写作的团队成员。一个叙词的自相关关系图将可以因在同一记录中被使用显示它们之间的高度相关性。注意:对于自相关地图而言,您应该选择那些在绝大多数记录中都含有多个数据的字段.例如,作者或者叙词等都是好的选择.出版日期则不应选择,因为每条记录只有一个出版日期.,提纲,ThomsonDataAnalyzer概况数据导入与数据管理数据清理/数据结构化数据分析生成报告,Clean：CombineAuthorNetworks（发明人聚组）Clean：DWPICleanUp(DWPIOnly)Export:FroAureka.vpm（生成可以导入Aureka的数据文件，记录之间以*TDA*）Export:GroupstoExcel（将“组”导出到Excel)Export:GroupstoText(将“组”导出到Text)Export:RecordstoExcel（DWPIOnly，将记录中预选好的字段导入Excel)Export:RecordstoWord(DWPIOnly,将记录中预选好的字段导入Word)Export:RecordstoWord,将记录导出到Word)Report:BasicReport(DWPIOnly，专利数位居前十位的专利权属人报告）Report:CompanyComparison（2个或5个公司间的相互比较报告，相互间比较项目可以选择）Report:CompanyReport（报告：公司/发明人/年代/国家/技术，分析数据只来自一个机构）Report:IPCbasedAnalysis(D