Autonomy组件详细介绍.doc

AutonomyIDOLServer及相关组件abc搜索应用系统说明书DesignedBy：Autonomy-PS-赵南To:abc搜索系统实施项目组(篇幅和时间的限制，未能将AutonomyIDOL平台全部功能、参数及原理做最为详尽的阐述，请参考8.相关文档部分，查看相关文档，获取最详尽的说明信息)1.Autonomy搜索平台工作模型41-1 Autonomy典型模型41-2 abc系统实施模型52 数据准备及各组件工作职能52-1 abc系统使用组件名称及相关安装文件列表62-2 abc系统数据采集详细信息62-3 各组件功能简介62-3-1 IDOLServer简介62-3-2 OmniGroupServer简介62-3-3 ODBCConnector简介72-3-4 HTTPConnector简介72-4 abc系统中各组件部署情况及任务详细说明72-4-1 IDOLServer72-4-2 OmniGroupServer82-4-3 ODBCConnector82-4-4 HTTPConnector93. Autonomy核心组件安装、配置及启动93-1 IDOLServer93-1-1 IDOLServer的安装93-1-2 更新分词153-1-3 IDOLServer核心组件查询操作工作原理163-1-4 IDOLServer的高级搜索功能173-1-5 IDOLServer关于集成文档权限查询原理253-1-6 IDOLServer中的文档及其权限信息253-1-7 IDOLServer中的用户及其权限信息263-1-8 IDOLServer中的带权限查询的实现263-1-9 用户自定义关键词表和用户自定义过滤词表263-1-10 IDOLServer的配置263-1-11 IDOLServer的启动和停止273-2 OmniGroupServer273-2-1 OmniGroupServer的安装273-2-2 OmniGroupServer的配置273-2-3 OmniGroupServer的启动和停止283-3 ODBCConnector283-3-1 ODBCConnector的安装293-3-2 ODBCConnector的配置343-3-3 ODBCConnector的启动和停止433-4 HTTPConnector433-4-1 HTTPConnector的安装433-4-2 HTTPConnector的配置433-4-3 HTTPConnector的启动和停止464数据备份及数据恢复465服务状态监控476各个组件的服务访问限制策略477 开发相关API478 系统验证569 相关文档5710 Autonomy产品实施注意事项以及常见故障排除5710.1 安装AutonomyIDOLServer软件的版本匹配5710.2 产品的license规定了产品的功能和限制5710.3 更换license或系统报uid不匹配时的处理5710.4 系统需要打开IDOL服务的端口5710.5 索引文档量达到上限的处理方式5710.6587 应用程序中出现乱码的分析与解决方式588 应用程序中检索词不能高亮显示时的处理589 Fetch安装的端口冲突处理5810 Fetch抓取数据出现乱码的分析和处理5911 数据更新问题的分析和处理5912.591.Autonomy搜索平台工作模型1-1 Autonomy典型模型图1-1-a1-2 abc系统实施模型图1-2-a2 数据准备及各组件工作职能abc搜索平台实施，主要实现将所内各系统中的数据抓取，并继承现有系统中的用户权限，实现高效的、带权限的简单搜索和高级搜索的整合，并提供数据分类、聚类、个人代理以及可视化展示等高级应用。以下分别介绍abc搜索平台涉及使用的Autonomy组件信息、需要采集的数据库数据的详细结构信息、简单的Autonomy各个组建的功能介绍、各组件在abc所搜索平台的具体职责以及各个组建的实际部署详情。2-1 abc系统使用组件名称及相关安装文件列表AutonomyIDOLServer736OminiGroupServer730ODBCConnector737HTTPConnector73102-2 abc系统数据采集详细信息ProceedingReport（外文资料库）：SQLServer2005KMS（知识管理系统）：SQLServer2005Achives（档案库）：SQLServer2005CompetiveIntelligence（外网数据）：ABCIntranet（内网数据）：OA（OA系统）：SQLServer2005ERP（ERP系统）：OraclePDM（PDM系统）：Oracle2-3 各组件功能简介2-3-1 IDOLServer简介IDOLServer-InteligentDateOperatingLayer，智能化数据操作平台，是Autonomy搜索平台的核心服务产品。IDOLServer中包含5个组件，AgentStore、Category、Community、Content和View。AgentStore是用户服务器，主要负责存储用户信息的全部信息，如用户名、密码、用户聚焦等等。Category是分类服务器，主要负责将IDOL中的所有数据按照用户指定的逻辑进行分类，并按照指定的标准训练分类，将所有的数据文档归类存储。Community是用户和内容交互服务器，用来生成交互信息，如安全字符串、专家定位等等。Content是内容服务器，整个IDOL平台的核心部件，所有的文档内容都是以索引结构存储在Content组件中的，Content组件是一个数据容器，同时又是一个简单、高效、功能健全的搜索服务器。简单，体现在使用非常容易，一个action=query&text=关键字，就可以实现对关键字的查询。高效，体现在大数据量、复杂的关键字逻辑表达式、复杂的数据筛选逻辑、复杂的安全确认信息的叠加查询，依然迅速响应。功能健全体现在能够实现这对各种关键字查询逻辑、各种数据筛选逻辑、安全查询逻辑的组合式查询。View是显示模板，提供了将返回的xml格式查询结果嵌套在模板中显示。这几个组件将整个IDOL平台整合为一个功能强大的搜索利器，为企业的信息化查询提供强有力的支持。2-3-2 OmniGroupServer简介OmniGroupServer，简单的说就是根据用户名，返回该用户在各个应用系统中对应的组信息的服务器。OmniGroupServer支持eRoom,LDAP,Notes,NT ,Documentum,Livelink等应用系统的身份确认集成，并支持ODBC,Oracle这类数据库中定义的表单对应的用户、组身份确认集成，同时甚至支持任意格式的text文本中写入的用户、组对应规则。OmniGroupServer是实现带权限搜索的重要组件之一，在用户登录后，向IDOL发送读取用户信息指令，IDOL会自动向配置的所有OmniGroupServer发送查询指令，将OmniGroupServer返回的用户组信息整理后生成一个加密的安全信息串，这个串包含了用户在所有配置的应用系统中的组对应信息以及这个安全串的过期时限，在这个用户查询的过程中，用这个安全串做匹配查询，实现带权限搜索的功能。总之，OmniGroupServer是灵活、高效的实现带安全搜索的重要部件。2-3-3 ODBCConnector简介ODBCConnector，Autonomy众多抓取连接器中的一款，是专门负责将数据库中的表单或视图中的内容抓取下来，按照用户配置，将数据整合成IDOLServer专用的idx格式，并将其索引到IDOLServer搜索引擎的抓取工具。ODBCConnector的抓取过程主要分成3个步骤：首先，ODBCConnector的可执行文件按照用户的配置，将所有抓取任务里罗列的表单数据抓取到本地；然后ImportSlave和kv负责将抓取下来的数据按照用户配置的格式模板生成idx文件；最后，将idx成批索引到IDOLServer中。ODBCConnector主要包含三重配置文件：主配置文件，任务配置文件和任务数据模板。在主配置文件中，可以定义ODBCConnector的抓取任务，任务数可以是多个。主要配置任务名，任务涉及的数据库服务名、连接用户名、密码以及任务的配置文件名信息。在任务配置文件中，主要定义抓取模板的类型（htm或idx，详情查看ODBCConnector配置部分），按照路径抓取附件文件的配置，目标表单名或视图名，设置主键、select语句、where条件等，并指定抓取后的数据使用的任务数据模板文件。在任务数据模板文件中（htm或idx后缀），主要包含在IDOLServer中包含的各个标签的名称和数据表或数据视图的字段的对应。这三重配置层次清晰，各负其职，按照用户的需要，将格式化的数据信息索引到IDOL服务器中。2-3-4 HTTPConnector简介HTTPConnector，Autonomy众多抓取连接器中的一款，是专门负责处理网络页面数据，按照用户配置，将数据整合成IDOLServer专用的idx格式，并将其索引到IDOLServer搜索引擎的抓取工具。HTTPConnector的抓取过程主要分成3个步骤：首先，HTTPConnector的可执行文件按照用户的配置分析网站中的链接地址，将所有符合配置的数据抓取到本地；然后ImportSlave和kv负责将抓取下来的数据按照用户配置的格式模板生成idx文件；最后，将idx成批索引到IDOLServer中。HTTPConnector的所有功能都可以在HTTPConnector.cfg中配置，详情参见HTTPConnector配置部分。2-4 abc系统中各组件部署情况及任务详细说明2-4-1 IDOLServer实例数：1服务器地址：5IDOL ACI端口：9000安装路径：E:AutonomyIDOLServer736任务说明：提供数据引擎服务2-4-2 OmniGroupServer实例数：1服务器地址：5IDOL ACI端口：3057安装路径：E:AutonomyOMNIGroupServer任务说明：提供权限用户所对应组服务2-4-3 ODBCConnector实例数：5实例1服务器地址：3服务端口：40030安装路径：E:AutonomyODBCConnector任务说明：外文资料库数据抓取实例2服务器地址：3服务端口：40050安装路径：E:AutonomyODBCConnector2任务说明：档案库数据抓取实例3服务器地址：3服务端口：40070安装路径：E:AutonomyODBCConnector4任务说明：OA系统数据抓取实例4服务器地址：7服务端口：40040安装路径：D:AutonomyODBCConnector任务说明：ERP系统数据抓取实例5服务器地址：7服务端口：40040安装路径：D:AutonomyODBCConnector任务说明：PDM系统数据抓取2-4-4 HTTPConnector 实例数：2实例1服务器地址：7服务端口：40030安装路径：D:AutonomyHTTPConnector任务说明：内网数据抓取实例2服务器地址：27服务端口：40030安装路径：D:AutonomyHTTPonnector任务说明：外网数据抓取3. Autonomy核心组件安装、配置及启动3-1 IDOLServer安装文件：D:Autonomysoftware IDOLServer__WINDOWS.exeD:Autonomysoftwarelicensekey.dat3-1-1 IDOLServer的安装运行安装文件IDOLServer__WINDOWS.exe，启动安装程序License条款确认选择安装组件，这里只选择IDOLServer和DishLicenseServer选择安装路径，默认为/opt/Autonomy/IDOLServerIDOL主机名，默认为安装所在机器的主机名指定IDOL的ACI端口、索引端口和服务端口，默认值即可指定DiSH服务器的ACI端口和服务端口，默认值即可指定需要发送邮件时使用的SMTP服务主机和端口信息指定安装文件中licensekey.dat文件所在的全路径确认先前的安装信息开始安装IDOL安装完成3-1-3 IDOLServer核心组件查询操作工作原理图3-3-3-a如上图所示，是整个IDOLServer所有组件联合工作时的处理流程，但大多数操作都只包含其中几个、甚至是某一个组件的参与。下面以非权限确认查询、权限确认查询、分类操作、用户操作这几个典型操作进行讲解：实现不带权限的查询：只需直接向IDOL发送一条查询指令，Content组件独立工作，将查询结果以Autonomy默认的XML格式返回。实现带权限的查询：首先要确保用户已经在IDOL中存在，用户信息保存在AgengStore组件中。最重要的是GroupServer服务要正常，并且在IDOL中正确配置。这样，当用户登录到查询的应用系统中时，首先发送一个读取用户信息的指令给IDOL，这条指令实际是从AgentStore中确认此用户是否存在，并通过Community组件和GroupServer交互，取得这一用户在各个安全系统中的组信息，将用户名和用户组以及过期失效等权限安全的信息按照特定的格式生成一个加密的权限字符串，这个字符串在用户登录直到失效时限为止，一直保存在查询系统中。当用户发送查询指令时，将这个权限字符串作为一个参数发送给IDOL，Content组件会返回权限比对的查询结果。（具体实现细节见3-3-4至3-3-7）实现分类的管理：向IDOL发送分类创建、训练、激活、删除等管理命令，Content组件将涉及到的数据结果及具体管理指令传给Category组件，由Category组件完成具体的分类管理操作，建立特定的数据结构，以便今后其它分类操作的进行。实现分类的查询：向IDOL发送分类查询指令，Content组件从Category组件返回的数据结构中解析出内部存储的哪些数据项作为结果返回，将所有的结果以Autonomy默认的XML格式返回。实现用户操作：向IDOL发送用户创建、修改、删除等操作几名，AgengStore独立工作，实现相应的用户操作。3-1-4 IDOLServer的高级搜索功能从IDOLServer中查询数据，操作十分简单，只需通过htttp发送action=query&text=关键字，就可以得到一个XML格式的相应结果，将这条XML结果解析显示在终端上，就完成了简单的查询。但IDOLServer实现的查询功能远远比这强大，下面分别介绍一些常用的高级搜索功能，所需的命令参数，并对实现其功能在配置中需要做的修改加以说明。3-1-4-1 精确匹配搜索动作：action=query查询参数：”关键字”必要配置：Server段添加配置AdvancedSearch=true说明：只需将关键字用引号括起，当做发送关键字举例：:9000/action=query&text=”航空航天”，“航空航天”关键字会被分成“航空”和“航天”两个term，该查询只返回全部包涵着两个term的文档，忽略只包含其中之一的文档3-1-4-2 限定数据库范围动作：action=query查询参数：databasematch=库名1,库名2必要配置：默认功能说明：将数据库名称作为参数值传给databasematch参数，可实现在指定的库中进行查询。多个库名以逗号间隔，大小写不敏感举例：:9000/action=query&text=航空&databasematch=ProceedingReport,Achives，该查询返回包涵关键字“航空”的ProceedingReport和Achives库中的所有文档3-1-4-3 限定时间范围动作：action=query查询参数：mindate=日/月/年&maxdate=日/月/年必要配置：默认功能说明：mindate和maxdate分别代表日期的最早和最后期限，这两个参数只与文档中DREDATE标签的值做捆绑。DREDATE存储的是JAVA的EPOCHSECONDS格式的时间的前十位值，即精确到秒级。发送时按照日/月/年的格式。举例：:9000/action=query&text=航空&mindate=01/05/2008&maxdate=01/08/2008，该查询返回包涵关键字“航空”的DREDATE标签存储的日期在2008年5月1日至2008年8月1日之间的所有文档3-1-4-4 实现分页动作：action=query查询参数：start=起始数据序号&maxresults=结束数据序号必要配置：默认功能说明：假设对于一条查询语句共有total篇文档符合要求，当前显示的页号为n，每页m条记录的话，那么start=(n-1)*m+1，maxresults=n*m，如果不添加这两个参数，IDOL默认返回前6条相关度最高的结果举例：:9000/action=query&text=航空&start=1&maxresults=10，假设每页显示10条结果，该查询返回查询“航空”关键字的第一页结果3-1-4-5 生成动态摘要动作：action=query查询参数：summary=context必要配置：默认功能说明：可以根据搜索关键词，从正文中提取包含关键词term的部分生成动态摘要举例：:9000/action=query&text=航空&summary=context，该查询返回的XML结果中，每篇文档中会包含autn:summary标签，标签的值为文档中包含“航空”这个term的一段内容3-1-4-6 正文、摘要中关键字描红动作：action=query查询参数：highlight=terms,summaryterms ； starttag=高亮起始标签 ； endtag=高亮结束标签必要配置：在SetHighlightFields段，在PropertyFieldCSVs参数的值中添加想要高亮显示的标签名，*/起始，多个标签以逗号间隔。默认为DRETITLE、DRECONTENT两个标签说明：将查询结果的文档中所有HighLightType的标签和summary中包含的term高亮显示。默认情况下，在term前后加上和，也可以自定义前后添加的html标签，分别将标签值作为StartTag和EndTag的参数值传递即可举例：:9000/action=query&text=航空&summary=context&highlight=terms,summaryterms&starttag=&endtag=，该查询语句返回包含“航空”关键字的文档，文档中包含了自动摘要，并且文档摘要中和文档中所有的HighLightType类型的标签值中的“航空”前后均添加了和，用作高亮显示。3-1-4-7 实现按数据库名的统计动作：action=query查询参数：totalresults=true ； predict=false必要配置：默认功能说明：totalresults=true，在返回的XML结果中会出现autn:totalhits标签，代表符合条件的结果总数，结合predict=false参数，会在XML结果中出现autn:databasehits标签，中间包含IDOL中每一个数据库名做为name属性值的autn:database子标签，标签的值代表所有查询结果中，对应这个库的结果数举例：:9000/action=query&text=航空&totalresults=true&predict=false，该查询语句返回包含“航空”关键字的文档，并且XML结果中包含文档总数信息以及每个库中对应结果数目信息3-1-4-8 实现按某一标签的统计动作：action=getquerytagvalus查询参数：fieldname=标签名 ； documentcount=true必要配置：在SetParametricFields段，在PropertyFieldCSVs参数的值中添加想要统计的标签名，*/起始，多个标签以逗号间隔。默认值为MYPARAMETRICFIELD说明：fieldname=标签名，在返回的XML结果中会出现autn:field标签，其子标签autn:name的值就是指定的标签名，它还包含了在查询结果中包含的这个标签的所有取值，每一种取值作为一个名为autn:value的子标签值，autn:total_values的标签值表示查询结果中这个标签所有取值的总数。documentcount=true，在每一个autn:value的子标签后会出现count属性，属性的值就是这个取值在查询结果中出现的次数举例：:9000/action=getquerytagvalues&text=航空&fieldname=FetchSource&documentcount=true，该查询语句返回包含“航空”关键字的文档按照FetchSource标签的统计信息，XML结果中包含所有符合条件的记录FetchSource标签的取值数目，对于每种取值各自对应的文档数目的信息3-1-4-9 实现特定字段符合特定规范的查询（字符型）动作：action=query查询参数：fieldtext=操作类型参数值:标签名必要配置：在SetMatchFields段，在PropertyFieldCSVs参数的值中添加想要做字符串比对的标签名，*/起始，多个标签以逗号间隔。默认值为MYMATCHFIELD说明：fieldtext参数支持的操作类型主要包含MATCH和STRING操作，MATCH是完全的字符匹配，它返回指定标签名的值严格匹配参数值的文档；STRING是字符串包含操作，它返回指定标签的值包含参数值的文档举例：:9000/action=query&text=航空&fieldtext=MATCHCompetiveIntelligence:FetchSource，该查询语句返回包含“航空”关键字，并且FetchSource标签的值为“CompetiveIntelligence”的文档3-1-4-10 实现特定字段符合特定规范的查询（数字型）动作：action=query查询参数：fieldtext=操作类型参数值:标签名必要配置：在SetNumericFields段，在PropertyFieldCSVs参数的值中添加想要做字符串比对的标签名，*/起始，多个标签以逗号间隔。默认值为MYNUMERICFIELD说明：fieldtext参数支持的操作类型主要包含EQUAL、GREATER、LESS和NRANGE操作，分别代表等于、大于、小于和区间取值操作（其中NRANGE需要传递两个参数值作为取值区间的上下限，中间用逗号分隔），它返回指定标签名的值等于、大于、小于或介于区间上下限之间的文档举例：:9000/action=query&text=航空&fieldtext=NRANGE1,10:MYNUMERICFIELD，该查询语句返回包含“航空”关键字并且MYNUMERICFIELD标签的值介于1至10之间的文档3-1-4-11 实现在结果中进行二次查询动作：action=query查询参数：storestate=true ； statematchid=stateid必要配置：默认功能说明：初次查询加入storestate=true参数，返回的xml结果中出现autn:state标签，值为一个stateid，作为记录当前的结果的标志；二次查询加入statematchid=一次查询stateid值，返回的xml结果为在初次查询的结果中再查询的结果举例：初次查询:9000/action=query&text=”航空”&storestate=true，该查询语句返回包含“航空”关键字的文档并且返回一个stateid，假设值为775ACC-6，则二次查询:9000/action=query&text=”战略”&statematchid=775ACC-6，该查询返回初次查询的结果中包含“战略”关键字的文档3-1-4-12 实现同义词查询动作：action=query查询参数：synonym=true必要配置：1、假设FieldProcessing段已有操作列表的序号已经排列到21，则在21=xxxx的下一行添加：22=SetSynonymMatch2、在FieldProcessing操作列表下面添加如下配置：SetSynonymMatchProperty=ApplySynonymMatchPropertyFieldCSVs=*/DRETITLE,*/DRECONTENTPropertyFieldCSVs参数的值应该和索引类型设置段的参数值相同，*/起始，多个标签以逗号间隔，这样才可以实现在所有的索引字段中实现同义词查询3、在FieldProcessing段下方Properties部分后面添加如下配置：ApplySynonymMatchSynonymType=SynonymJobSynonym0=SynonymJobSynonymJobfile=syn.txtMaxExpandLevel=14、在IDOL的安装目录/IDOL/content文件夹下创建syn.txt，按照语言编码为语言区域分隔标识，每一行代表一个统一词匹配，同一行的多个词间用逗号分隔，建立同义词表。比如：chineseCHINESESIMPLIFIED航空,航天代表在简体中文的编码中，航空、航天这两个词是同义词说明：查询时加入synonym=true 举例： :9000/action=query&text=航空&synonym=true，该查询语句返回包含“航空”或“航天”关键字的文档3-1-4-13 实现推荐搜索词动作：action=query查询参数：querysummary=true必要配置：在Server段添加QuerySummaryAdvanced=true说明：查询时加入querysummary=true，可以实现在返回的所有文档中提取关键term作为相关搜索词的推荐，返回的xml结果中出现autn:querysummary标签，值为一个逗号分隔的terms序列。配置中Server段有两个可选参数可以调整推荐term的结果：QuerySummaryMaxDocLength：指定从每篇文档中提取多少字符的内容生成推荐的term，默认为0，代表不限制QuerySummaryLength：指定返回的推荐term或者phrase的个数，默认为10个举例：:9000/action=query&text=航空&querysummary=true，该查询语句返回包含“航空”关键字的文档并且在autn:summary的标签中显示推荐的搜索词3-1-4-14 实现自动聚类动作：action=query查询参数：cluster=true必要配置：默认功能说明：查询时加入cluster=true，可以实现将返回的所有文档自动聚类，返回的xml结果中出现autn:cluster和autn:clustertitle标签，值分别为一个聚类的id号和聚类标题。配置中Server段有一个可选参数可以调整聚类的结果：clusterthreshold：指定归属为同一类别的文档的相似度，默认为50。举例：:9000/action=query&text=航空&cluster=true，该查询语句返回包含“航空”关键字的文档并且在autn:cluster和autn:clustertitle的标签中显示聚类id和聚类标题3-1-4-15 实现自动推送相关文章动作：action=suggest查询参数：id=文档id ； reference=文档drereference值必要配置：默认功能说明：suggest操作，将文档的id作为id参数值或者将文档的drereference值作为reference参数值，均可以实现举例：:9000/action=suggest&id=11366，IDOL根据docid为11366的文档从库中推荐出内容最为相关的文档3-1-4-16 实现将结果自定义排序动作：action=query查询参数：sort=排序关键字必要配置：默认功能说明：IDOL支持多种结果排序方式，用排序的关键字区分。默认排序方式为相关度降序，关键字为Relevance，以下为其它排序方式的说明：排序关键字排序名称说明date日期从新到旧对DREDATE标签有效reversedate日期从旧到新对DREDATE标签有效docidincreasing文档id升序dociddecreasing文档id降序database数据库序号升序即IDOL中配置的先后顺序cluster聚类id升序仅当查询时cluster参数为true时生效，且cluster排序具有最高排序级别reverserelevance相关度从低到高fieldname:sortmethod按fieldname标签指定的sortmethod规则排序下表做sortmethod说明sortmethod关键字排序名称说明numberincreasing数字升序标签应设置为NumericType类型，在SetNumericFields段的PropertyFieldCSVs添加标签名（效仿3-3-3-10）numberdecreasin数字降序标签应设置为NumericType类型，在SetNumericFields段的PropertyFieldCSVs添加标签名（效仿3-3-3-10）alphabetical字母升序标签应设置为SortType类型（下文补充介绍设置方法）reversealphabetical字母降序标签应设置为SortType类型（下文补充介绍设置方法）increasing升序若标签为NumericType类型，等效为numberincreasing，若为SortType，等效为alphabetical类型decreasing降序若标签为NumericType类型，等效为numbericreasing，若为SortType，等效为reversealphabetical类型多种排序方式叠加时按照嵌套顺序从前之后用“+”连接举例：:9000/action=query&text=航空&sort=date+AUTHOR:increasing，该查询语句返回包含“航空”关键字的文档并且按照日期从新到旧、AHTHOR标签的值按字母的先后排序补充：设置标签SortType类型设置标签为SortType类型，可以在查询时按照此标签的值指定的排序规则为查询结果排序，具体方法如下：1、假设FieldProcessing段已有操作列表的序号已经排列到21，则在21=xxxx的下一行添加：22= SetSortType2、在FieldProcessing操作列表下面添加如下配置：SetSortTypeProperty=ApplySortTypePropertyFieldCSVs=*/MYSORTTYPEPropertyFieldCSVs参数的值应该包含所有与排序相关的标签名，*/起始，多个标签以逗号间隔3、在FieldProcessing段下方Properties部分后面添加如下配置：ApplySortTypeSortType=true配置完成3-1-4-17 实现将结果按标签绑定动作：action=query查询参数：combine=simple+标签名1+标签名2+ ； combine=cluster必要配置：1、假设FieldProcessing段已有操作列表的序号已经排列到21，则在21=xxxx的下一行添加：22= SetReferenceForCombine2、在FieldProcessing操作列表下面添加如下配置：SetReferenceForCombineProperty=CombineReferencePropertyFieldCSVs=*/标签名1,*/标签名2PropertyFieldCSVs参数的值应该包含所有想执行绑定操作的标签，*/起始，多个标签以逗号间隔3、在FieldProcessing段下方Properties部分后面添加如下配置：CombineReferenceReferenceType=TRUETrimSpaces=TRUE说明：实现combine操作有几种类型，最常用的是simple+自定义标签名。simple的意义在于可以将一篇文档的多个section当成一条结果返回，这在对于文档内容长、存在分段的情况十分必要；标签名实现了按照用户任意指定的标签值进行绑定，为实现灵活的用户需求提供了接口。另外，combine=cluster，在查询时动态聚类时（cluster=true，见3-3-3-14）可以按照聚类id的顺序显示结果举例：:9000/action=query&text=航空&combine=simple+DRETITLE，该查询语句返回包含“航空”关键字的文档并且在结果中如果多篇文档包含同一个标题，只返回相关度最高的一篇3-1-4-18 实现复杂的关键字与或非表达式动作：action=query查询参数：*，?，AND，OR，NOT，XOR，:必要配置：默认操作说明：IDOL支持关键字的复杂逻辑，*代表0到多个字符、?代表一个字符、AND代表两个关键字表达式的逻辑与关系、OR代表或关系、NOT代表非关系、XOR代表异或关系，另外:后面接标签名，可以在指定的标签里应用前面的关键字表达式，标签必须是索引标签。通过使用这几个字符，可以实现任意复杂的关键字表达式。举例：:9000/action=query&text=(航空 NOT 航天):DRETITLE OR (战略 AND 合作):DRECONTENT，该查询语句返回DRETITLE中包含“航空”而不包含“航天”关键字或者DRECONTENT同时包含“战略”和“合作”的文档3-1-4-19 实现手动创建2D图和光谱图动作：action=ClusterSnapshot; action=ClusterCluster; ClusterSGDataGen说明：1、首先使用ClusterSnapshot命令生成热点快照2、使用ClusterCluster命令根据热点快照的结果生成热点聚类和2D图3、根据7次聚类的结果使用ClusterSGDataGen命令生成光谱图举例：1、http:/localhost:9000/action=ClusterSnapshot&TargetJobname=myjob&databases=ABCIntranet,CompetiveIntelligence2、http:/localhost:9000/action=ClusterCluster&SourceJobname=myjob&TargetJobname=myjob_clusters&domapping=true3、http:/localhost:9000/action=ClusterSGDataGen&SourceJobname=myjob&TargetJobname=myjob_sg3-1-4-20 实现自动创建2D图和光谱图动作：在IDOLServer.cfg中配置必要配置：AnalysisSchedulesNumber=3AnalysisSchedule0ScheduleStartTime=23:00ScheduleInterval=1 dayScheduleCycles=-1ScheduleAction=CLUSTERSNAPSHOTTargetJobname=myjobDatabases=ABCIntranet,CompetiveIntelligenceAnalysisSchedule1ScheduleStartTime=23:15ScheduleInterval=1 dayScheduleCycles=-1ScheduleAction=CLUSTERCLUSTERSourceJobName=myjobTargetJobName=myjob_clustersDoMapping=TRUEAnalysisSchedule2ScheduleStartTime=23:20ScheduleInterval=1 dayScheduleCycles=-1ScheduleAction=CLUSTERSGDATAGENInterval=606000SourceJobName=myjobTargetJobName=myjob_sg说明：Schedule0用来生成热点快照，每天23点执行，一天执行一次，无限循环；Schedule1用来生成聚类2D图，每天23点15分执行，一天执行一次，无限循环；Sechedule2用来生成光谱图，23点20分执行，一天执行一次，无限循环。热点快照一般需要3-5分钟左右生成完成，所以Schedule1一般稍后执行。Schedule2需要7次Schedule1的数据，604800秒为7天，设置Interval=606000为7天多一点儿，把滞后的时间差补上。3-1-5 IDOLServer关于集成文档权限查询原理IDOLServer的核心组件是Content，中间保存了所有的文档信息，并且所有的查询指令也是Content执行。为了实现文档权限的集成查询，一方面需要知道当前登录查询系统的用户身份，另一方面对于数据库中的每篇文档，应该包含可以访问它的用户名或者用户组信息。Content组件本身不负责查询之外的任何操作，实现带权限查询，一方面需要AgentStore、Community两个组件的协作，用来完成用户身份的确认工作，生成一个IDOL中固有格式的加密的用户权限信息字符串，另外需要在文件抓取的时候将文件的权限信息也以IDOL能够识别的固有格式作为文档信息的一部分，索引到数据库中。有了这两方面的准备，在查询时只要在命令中加入securityinfo参数，Content就可以独立完成带权限的查询工作，将用户的安全信息和文档的权限信息做比对，返回正确的查询结果。下面3-1-6和3-1-7将具体从这两方面讲解，并在3-1-8给出总结。3-1-6 IDOLServer中的文档及其权限信息IDOLServer中文档的权限信息，作为一个字段的值存放在文档本身，并被索引到IDOL中去，作为权限查询时每篇文档能够提供的权限比对的参考。由于业务系统的复杂性，文档的权限管理也异常复杂。Autonomy开发了众多的Connector产品，可以将常用的集成权限的应用系统中的文档内容连同其权限信息自动抓取并索引到IDOLServer中，只需要进行非常简单的配置就可以实现。比如：NotesConnector，只需配置NotesServer的服务器信息和要抓取的库名；Documentum，只需要配置Documentum的主机信息和Docbase名等等。另外最为重要的，Autonomy提供了标注的权限信息模板，用来实现自定义的权限信息整合，这在数据库应用系统中广泛使用。通常来说，无论多么复杂的应用系统，针对于某一篇文档来说，都只能归结到这篇文档哪些用户可以访问、哪些组用户可以访问、哪些用户不能访问、哪些组不能访问。Autonomy的标准安全信息就是依此形成的，如下：检查类型:U:能访问的USER列:G:能访问的GRO