CN113094495B 深度强化学习的学习路径演示方法、装置、设备及介质 （上海松鼠课堂人工智能科技有限公司）

(19)国家知识产权局(12)发明专利(22)申请日2021.04.21公司幢9层、10层(56)对比文件审查员李娟权利要求书3页说明书16页附图8页深度强化学习的学习路径演示方法、装置、设备及介质(57)摘要本发明实施例公开了一种深度强化学习的述学习路径演示指令确定目标用户学习路径的能体、学习环境、状态空间、动作空间和学习评价强化学习因素对目标用户学习路径进行强化学的技术方案能够丰富智适应学习演示系统对学习效果的演示功能，从而提高智适应学习演示系21.一种深度强化学习的学习路径演示方法，其特征接收目标用户的学习路径演示指令；根据所述学习路径演示指令确定目标用户学习路径的强化学习因素；其中，所述强化响应于所述学习路径演示指令，根据所述强化学习因素对目标用户学习路径进行强化学习，得到目标用户学习路径的路径生成过程；对所述路径生成过程进行直观演示；所述根据所述学习路径演示指令确定目标用户学习路径的强化学习因素，包括：将智适应学习系统确定为强化学习模型中的知识点推荐环境；根据所述学习路径演示指令的类型确定所述状态空间匹配的知识点推荐环境类型；根据学生用户属性、知识图谱的知识点属性、学情属性以及演示属性确定所述状态空间；其中，所述学生用户属性包括目标用户的学习能力；所述知识图谱的知识点属性包括知识点间的逻辑关系、知识点考频、知识点重要程度以及知识点难度；所述学情属性包括知识点掌握状态；所述演示属性包括知识点掌握数量、学习路径演示时长或知识点学习范围；根据目标用户的推荐学习知识点确定所述动作空间；其中，所述知识点推荐环境类型包括自适应引擎推荐知识点环境和操作用户反馈推荐知识点环境中的至少一项；所述自适应引擎推荐知识点环境用于采用自适应引擎向所述目标用户推荐知识点；所述操作用户反馈推荐知识点环境用于根据操作用户的反馈信息向所述目标用户推荐知识点；所述操作用户包括第一操作用户或第二操作用户；所述第一操作用户的反馈信息用于确认是否接受自适应引擎推荐的知识点；所述第二操作用户的反馈信息用于向所述目标用户自主推荐知识点。2.根据权利要求1所述的方法，其特征在于，所述根据所述强化学习因素对目标用户学通过强化学习模型中的智能体观察知识点推荐环境得到多维向量状态；通过所述智能体根据动作选择策略模型和所述多维向量状态确定智能体动作；通过所述智能体执行所述智能体动作，以根据智能体动作执行结果更新所述知识点推荐环境的状态，得到更新多维向量状态；通过所述智能体接收所述知识点推荐环境根据所述更新多维向量状态和所述智能体动作确定的奖励值；通过所述智能体根据所述奖励值、所述更新多维向量状态和所述学习评价指标确定更新智能体动作；其中，所述学习评价指标包括知识点掌握目标以及奖励值的教学规律确定通过所述智能体返回执行通过所述智能体观察知识点推荐环境得到多维向量状态的操作，直至确定满足所述强化学习模型的学习终止条件。3.根据权利要求2所述的方法，其特征在于，若所述知识点推荐环境类型包括自适应引擎推荐知识点环境，则通过所述智能体观察知识点推荐环境得到多维向量状态，包括：通过所述智适应学习系统的自适应引擎根据知识点推荐算法确定自适应推荐知识点；通过所述智能体根据所述自适应推荐知识点确定所述自适应引擎推荐知识点环境的3多维向量状态。4.根据权利要求2所述的方法，其特征在于，若所述知识点推荐环境类型包括操作用户反馈推荐知识点环境，则通过所述智能体观察知识点推荐环境得到多维向量状态，包括：通过所述智适应学习系统接收操作用户确定的反馈推荐知识点；通过所述智能体根据所述反馈推荐知识点确定所述操作用户反馈推荐知识点环境的多维向量状态；其中，若所述操作用户为所述第一操作用户，则所述反馈推荐知识点为所述第一操作用户根据自适应引擎确定的自适应推荐知识点选择的目标自适应推荐知识点；若所述操作用户为所述第二操作用户，则所述反馈推荐知识点为所述第二操作用户确定的自主推荐知识点。5.根据权利要求3或4所述的方法，其特征在于，所述通过所述智能体观察知识点推荐通过所述智适应学习系统根据所述知识点推荐环境推荐的知识点获取模拟推荐习题；通过所述智适应学习系统根据所述目标用户的学生用户属性和学情属性自动模拟所述目标用户的答题结果，并根据所述答题结果确定所述目标用户的知识点掌握状态；通过所述智能体接收所述目标用户的知识点掌握状态，并根据所述知识点掌握状态确定所述多维向量状态。6.根据权利要求1所述的方法，其特征在于，所述对所述路径生成过程进行直观演示，确定所述路径生成过程的演示状态属性；根据所述演示状态属性对所述路径生成过程进行直观演示。7.一种深度强化学习的学习路径演示装置，其特征在于，包括：学习路径演示指令接收模块，用于接收目标用户的学习路径演示指令；强化学习因素确定模块，用于根据所述学习路径演示指令确定目标用户学习路径的强强化学习模块，用于响应于所述学习路径演示指令，根据所述强化学习因素对目标用户学习路径进行强化学习，得到目标用户学习路径的路径生成过程；路径生成过程演示模块，用于对所述路径生成过程进行直观演示；所述强化学习因素确定模块具体用于：将智适应学习系统确定为强化学习模型中的知识点推荐环境；根据所述学习路径演示指令的类型确定所述状态空间匹配的知识点推荐环境类型；根据学生用户属性、知识图谱的知识点属性、学情属性以及演示属性确定所述状态空间；其中，所述学生用户属性包括目标用户的学习能力；所述知识图谱的知识点属性包括知识点间的逻辑关系、知识点考频、知识点重要程度以及知识点难度；所述学情属性包括知识点掌握状态；所述演示属性包括知识点掌握数量、学习路径演示时长或知识点学习范围；根据目标用户的推荐学习知识点确定所述动作空间；其中，所述知识点推荐环境类型包括自适应引擎推荐知识点环境和操作用户反馈推荐知识点环境中的至少一项；所述自适应引擎推荐知识点环境用于采用自适应引擎向所述目标用户推荐知识点；所述操作用户反馈推荐知识点环境用于根据操作用户的反馈信息向所述目标用户推荐知识点；所述操作用户包括第一操作用户或第二操作用户；所述第一操作4用户的反馈信息用于确认是否接受自适应引擎推荐的知识点；所述第二操作用户的反馈信息用于向所述目标用户自主推荐知识点。一个或多个处理器；存储装置，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-6中任一所述的深度强化学习的学习路径演示方法。9.一种计算机存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-6中任一所述的深度强化学习的学习路径演示方法。5技术领域[0001]本发明实施例涉及人工智能在线教育技术领域，尤其涉及一种深度强化学习的学背景技术[0002]智适应学习系统可以根据每个学生各自的学习强项和弱点，“私人定制”学习模式和学习课程。当学生用户在进入智适应学习系统后，需要通过一轮测试，检测出学生用户当前水平的薄弱点，智适应学习系统通过结合纳米级知识图谱用最少的时间检验与动态学习目标一致的知识点，动态地通过学生学习后知识点的掌握状态，建立每个学生用户的动态用户画像，了解每位学生用户的学习状态和异常预警，及时调整学生用户的学习路径和学习内容，在众多学习内容中获取学生用户最合适的、个性化的学习路径和学习内容。[0003]智适应学习的知识点学习策略影响因素众多，可以根据逻辑图谱推荐、根据顺序图谱推荐、追根溯源以及战略优先等学习策略制定学生用户的个性化学习资料。但每个学生用户的学习成效是一个长期积累后的结果，因此需要由智适应学习演示系统在一定时间内向学生用户展示最大化的学习效果，以展现出智适应学习系统的智能推荐特点，能让家长和学生直观地了解智适应学习系统的推荐知识点的智能性。[0004]目前，现有的智适应学习演示系统通过两种方式展示最大化的学习效果。第一种方式是通过动态显示处理器推送二维形式的演示表格，以通过推送的演示表格展示最大化的学习效果。这种学习效果的演示方式难以直观展现人工智能系统在决策教学策略时综合考虑的选择知识点学习的复杂因素。第二种方式是将各个用户利益项不同的比率以及影响因子配置到预设数据库进行存储再进行输出演示。在这种学习效果演示方式中，智适应学习系统的知识点推荐算法会随着学生用户的学习状态和知识点在知识图谱位置、前后置关系、难度以及考频等多个属性动态做推荐，但通过配置影响因子的方法会导致较高的维护成本，且很难做到数据驱动，同样难以直观展现人工智能系统在决策教学策略时综合考虑的选择知识点学习的复杂因素。由此可见，现有的智适应学习演示系统都无法直观地演示出在教学场景中，智适应学习系统如何仿若具有多年教学经验的名师实施个性化教学，导致学习效果演示不理想。发明内容[0005]本发明实施例提供一种深度强化学习的学习路径演示方法、装置、设备及介质，能够丰富智适应学习演示系统对学习效果的演示功能，从而提高智适应学习演示系统演示学习效果的直观性和智能性。[0006]第一方面，本发明实施例提供了一种深度强化学习[0007]接收目标用户的学习路径演示指令；[0008]根据所述学习路径演示指令确定目标用户学习路径的强化学习因素；其中，所述强化学习因素包括状态空间、动作空间和学习评价指标；6[0009]响应于所述学习路径演示指令，根据所述强化学习因素对目标用户学习路径进行强化学习，得到目标用户学习路径的路径生成过程；[0010]对所述路径生成过程进行直观演示。[0011]第二方面，本发明实施例还提供了一种深度强化学习的学习路径演示装置，包括：[0012]学习路径演示指令接收模块，用于接收目标用户的学习路径演示指令；[0013]强化学习因素确定模块，用于根据所述学习路径演示指令确定目标用户学习路径的强化学习因素；其中，所述强化学习因素包括状态空间、动作空间和学习评价指标；[0014]强化学习模块，用于响应于所述学习路径演示指令，根据所述强化学习因素对目标用户学习路径进行强化学习，得到目标用户学习路径的路径生成过程；[0015]路径生成过程演示模块，用于对所述路径生成过程进行直观演示。[0016]第三方面，本发明实施例还提供了一种电子设备，所述电子设备包括：[0017]一个或多个处理器；[0018]存储装置，用于存储一个或多个程序；[0019]当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明任意实施例所提供的深度强化学习的学习路径演示方法。[0020]第四方面，本发明实施例还提供了一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明任意实施例所提供的深度强化学习的学习路径演示方[0021]本发明实施例通过智适应学习演示系统根据接收的学习路径演示指令确定目标用户学习路径的状态空间、动作空间和学习评价指标等强化学习因素，以响应于学习路径演示指令，根据确定的强化学习因素对目标用户学习路径进行强化学习，得到目标用户学习路径的路径生成过程，并对路径生成过程进行直观演示，解决现有智适应学习演示系统对学习效果的演示效果较差的问题，丰富了智适应学习演示系统对学习效果的演示功能，提高了智适应学习演示系统演示学习效果的直观性和智能性。附图说明[0022]图1是本发明实施例一提供的一种深度强化学习的学习路径演示方法的流程图；[0023]图2是本发明实施例二提供的一种深度强化学习的学习路径演示方法的流程图；[0024]图3是现有技术中强化学习的流程示意图；[0025]图4是现有技术中强化学习的执行流程示意图；[0026]图5是本发明实施例二提供的一种智适应学习演示系统包括的各个功能模块的结构示意图；[0027]图6是本发明实施例二提供的一种智能体强化学习的流程示意图；[0028]图7是本发明实施例二提供的一种知识图谱部分知识点之间关联关系的效果示意[0029]图8是本发明实施例二提供的一种单人交互模式的演示流程示意图；[0030]图9是本发明实施例三提供的一种深度强化学习的学习路径演示装置的示意图；[0031]图10为本发明实施例四提供的一种电子设备的结构示意图。7具体实施方式[0032]下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。[0033]另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部内容。在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。[0034]本发明实施例的说明书和权利要求书及附图中的术语“第一”和“第二”等是用于设备没有设定于已列出的步骤或单元，而是可包括没有列出的步骤或单元。[0035]实施例一[0036]图1是本发明实施例一提供的一种深度强化学习的学习路径演示方法的流程图，本实施例可适用于直观地、智能性地向用户演示学习路径的情况，该方法可以由深度强化学习的学习路径演示装置来执行，该装置可以由软件和/或硬件的方式来实现，并一般可集成在电子设备中，该电子设备可以是能够运行智适应学习演示系统的设备。相应的，如图1[0038]其中，目标用户可以是智适应学习系统生成学习路径针对的学习用户，学习路径演示指令可以是操作用户向智适应学习演示系统输入的，用于请求智适应学习演示系统对目标用户进行学习路径演示的指令。操作用户可以是操作智适应学习演示系统的用户，可以是学生用户，也可以是教师用户等，本发明实施例并不对操作用户的具体类型进行限定。[0039]在本发明实施例中，当操作用户需要通过智适应学习演示系统预览目标用户的学习路径时，可以向智适应学习演示系统输入目标用户的学习路径演示指令。可选的，智适应学习演示系统可以作为一个独立的系统与智适应学习系统进行交互，以向操作用户实时演示智适应学习系统的决策过程。或者，智适应学习演示系统还可以集成在智适应学习系统内部，作为智适应学习系统的一个子系统，直接输出智适应学习系统的学习路径决策过程，本发明实施例对此并不进行限制。[0040]示例性的，当操作用户为学生用户时，该操作用户可以同样作为目标用户，则目标用户可以向智适应学习演示系统输入自身的学习路径演示指令，请求智适应学习演示系统对自身进行学习路径演示。当操作用户为教师用户时，该操作用户可以向智适应学习演示系统输入某一学生用户的学习路径演示指令，请求智适应学习演示系统对该学生用户进行学习路径演示。[0041]S120、根据所述学习路径演示指令确定目标用户学习路径的强化学习因素；其中，[0042]其中，目标用户学习路径也即目标用户的学习路径。可以理解的是，学习路径可以包括目标用户对各知识点的学习过程和学习内容。示例性的，目标用户A的学习路径可以8是：二次根式概念一二次根式生效条件一二次根式化简一分母有理化一二次根式乘法一二次根式除法一二次根式乘除法。不同目标用户的学习路径可以相同，也可以不同，需要具体依据目标用户的学习能力等相关因素确定。强化学习因素可以是强化学习的相关因素，可[0043]相应的，智适应学习演示系统接收到目标用户的学习路径演示指令之后，可以根据学习路径演示指令确定目标用户学习路径的状态空间、动作空间和学习评价指标等强化学习因素，实现对学习路径进行强化学习的初始化配置。[0044]S130、响应于所述学习路径演示指令，根据所述强化学习因素对目标用户学习路径进行强化学习，得到目标用户学习路径的路径生成过程。[0046]当智适应学习演示系统实现对学习路径进行强化学习的初始化配置之后，可以开始对学习路径演示指令进行响应，根据配置的强化学习因素结合智适应学习系统和强化学习模型对目标用户学习路径进行强化学习，得到目标用户学习路径的路径生成过程。[0047]需要说明的是，本发明实施例中的路径生成过程可以体现智适应学习系统动态推荐各个知识点的决策过程和效果，整个路径生成过程可以直观地体现目标用户完整的学习状态的变化以及智适应学习系统针对实时的学习状态变化过程的智能决策推断方式。[0048]可选的，本发明实施例中的强化学习模型可以是深度强化学习模型，本发明实施例并不对强化学习模型的类型进行限定。需要说明的是，强化学习模型可以集成在智适应学习演示系统内部，以被智适应学习演示系统直接调度进行强化学习，生成目标用户学习路径的路径生成过程。或者，强化学习模型还可以独立于智适应学习演示系统执行，智适应学习演示系统可以向强化学习模型所在的系统或设备发送指令以调度强化学习模型进行强化学习，生成目标用户学习路径的路径生成过程。本发明实施例并不对强化学习模型与智适应学习演示系统之间的集成方式和智适应学习演示系统调度强化学习模型的方式进行限定。[0050]相应的，在得到路径生成过程后，智适应学习演示系统可以实时、直观地演示整个目标用户学习路径的路径生成过程，也即直观地演示目标用户的学习效果，以使操作用户直观了解适合目标用户的个性化的学习动态过程。[0051]需要说明的是，在本发明实施例中，操作用户除了可以利用学习路径演示指令对智适应学习演示系统指定目标用户，还可以利用学习路径演示指令向智适应学习演示系统指示不同类型的学习路径的路径生成过程。可选的，智适应学习演示系统可以采用知识图谱或路线图等形式对路径生成过程进行直观演示，本发明实施例并不对智适应学习演示系统的演示方式进行限定。[0052]例如，操作用户可以利用学习路径演示指令指定智适应学习演示系统采用自动模式进行演示，也就是路径生成过程演示的全程没有人机交互，由智适应学习系统自动智能地判定目标用户需要学习的内容，从而展现出最大的学习效果。操作用户还可以利用学习路径演示指令指定智适应学习演示系统采用单人交互模式进行演示，也即操作用户可以利用学习路径演示指令指定目标用户开始学习的知识点。具体的，由智适应学习系统初始判定目标用户需要学习的知识点，在操作用户可以选择接受或者不接受。当操作用户选择接9受时，继续由智适应学习系统自动智能地判定目标用户的学习路径。为了进一步提高用户体验，操作用户还可以利用学习路径演示指令指定智适应学习演示系统采用多人交互模式进行演示，也即操作用户可以利用学习路径演示指令指定由操作用户为目标用户选择下一个知识点学习，以在没有智适应学习系统的介入下，观看操作用户为目标用户安排的学习路径所能掌握知识点的情况。[0053]由此可见，本发明实施例中智适应学习演示系统提供的深度强化学习的学习路径演示方法不仅可以让用户直观地了解智适应学习系统对目标用户的整个学习路径的动态智能决策过程，提高了智适应学习演示系统演示学习效果的直观性和智能性，而且可以提供多种不同类型的交互演示方式，进一步丰富了智适应学习演示系统对学习效果的演示功[0054]本发明实施例通过智适应学习演示系统根据接收的学习路径演示指令确定目标用户学习路径的状态空间、动作空间和学习评价指标等强化学习因素，以响应于学习路径演示指令，根据确定的强化学习因素对目标用户学习路径进行强化学习，得到目标用户学习路径的路径生成过程，并对路径生成过程进行直观演示，解决现有智适应学习演示系统对学习效果的演示效果较差的问题，丰富了智适应学习演示系统对学习效果的演示功能，提高了智适应学习演示系统演示学习效果的直观性和智能性。[0056]图2是本发明实施例二提供的一种深度强化学习的学习路径演示方法的流程图，本实施例以上述实施例为基础进行具体化，在本实施例中，给出了根据学习路径演示指令确定目标用户学习路径的强化学习因素、根据强化学习因素对目标用户学习路径进行强化学习，得到目标用户学习路径的路径生成过程，以及对路径生成过程进行直观演示的多种[0058]强化学习属于一种机器学习方式，图3是现有技术中强化学习的流程示意图，如图态(State)以及奖励(Reward)。智能体实时的和环境之间进行交互，智能体观测到环境的状态后根据策略模型(Policy)输出动作，而动作会作用于环境进而影响环境的状态。另外，环境还会根据动作和状态的好坏给智能体一个奖励，而智能体则根据动作状态和奖励更新自身选择动作的策略模型。通过在环境中的不断尝试，获得最大的奖励，学习到从状态到动作[0059]图4是现有技术中强化学习的执行流程示意图，如图4所示，现有的强化学习执行流程具体包括：Agent观察Environment并获得state,依据它的Policy对state做出action,此时能得到一个reward,且Environment改变了，因此Agent会得到一个新的state,并继续[0060]在本发明实施例中，将强化学习应用到学习路径推演的应用场景中，确定目标用户学习路径的强化学习因素时，对强化学习算法包括的5大要素分别进行配置，得到智适应学习演示系统对应的智能体、学习环境(即环境)、状态空间、动作空间和学习评价指标(即奖励回报函数)。智适应学习演示系统利用强化学习的方式得到目标用户学习路径的路径生成过程具体参考下述操作。[0061]S220、将智适应学习系统确定为强化学习模型中的知识点推荐环境。[0062]S230、根据所述学习路径演示指令的类型确定所述状态空间匹配的知识点推荐环境类型。[0063]具体的，可以将智适应学习系统确定为强化学习模型中的知识点推荐环境，也即，强化学习模型中的智能体保持不变，将智适应学习系统设置为强化学习模型中的学习环境因素，并根据学习路径演示指令的类型确定强化学习的状态空间匹配的知识点推荐环境类型。可以理解的是，不同类型的学习路径演示指令可以指定不同类型的知识点推荐环境类型，每个知识点推荐环境类型可以对应一种强化学习的环境。[0064]在本发明的一个可选实施例中，所述知识点推荐环境类型可以包括自适应引擎推荐知识点环境和操作用户反馈推荐知识点环境中的至少一项；所述自适应引擎推荐知识点环境用于采用自适应引擎向所述目标用户推荐知识点；所述操作用户反馈推荐知识点环境用于根据操作用户的反馈信息向所述目标用户推荐知识点；所述操作用户包括第一操作用户或第二操作用户；所述第一操作用户的反馈信息用于确认是否接受自适应引擎推荐的知识点；所述第二操作用户的反馈信息用于向所述目标用户自主推荐知识点。[0065]其中，自适应引擎也即智适应学习系统的智能学习引擎。自适应引擎推荐知识点环境可以是采用自适应引擎向目标用户推荐知识点的环境。操作用户反馈推荐知识点环境可以是根据操作用户的反馈信息向目标用户推荐知识点的环境。第一操作用户可以是采用单人交互模式与智适应学习演示系统进行交互的操作用户，如目标用户本身，可以向智适应学习演示系统反馈信息，以确认是否接受自适应引擎推荐的知识点。第二操作用户可以是采用多人交互模式与智适应学习演示系统进行交互的操作用户，如教师用户，也可以向智适应学习演示系统反馈信息，以利用智适应学习演示系统自主确定向目标用户推荐的知[0066]也即，在本发明实施例中，智适应学习演示系统可以模拟三种不同类型的学习路径的生成方式。通过配置自适应引擎推荐知识点环境，可以实现采用自动模式生成学习路径，也就是路径生成过程演示的全程没有人机交互，由智适应学习系统自动智能地判定目标用户需要学习的内容，从而展现出最大的学习效果。通过配置操作用户反馈推荐知识点环境，可以实现采用人机交互模式生成学习路径，既可以实现单人交互模式，也可以实现多人交互模式。在单人交互模式中，第一操作用户可以利用学习路径演示指令指定目标用户开始学习的知识点。具体的，由智适应学习系统初始判定目标用户需要学习的知识点，在操作用户可以选择接受或者不接受。当操作用户选择接受时，继续由智适应学习系统自动智能地判定目标用户的学习路径。在多人交互模式中，第二操作用户可以利用学习路径演示指令指定由第二操作用户自主为目标用户选择下一个知识点学习，以在没有智适应学习系统的介入下，观看操作用户为目标用户安排的学习路径所能掌握知识点的情况。多人交互模式可以实现操作用户根据自身经验判断针对目标用户当下的学习状态做指导。[0067]由此可见，人机交互模式的深度强化学习的学习路径演示方法可以使得操作用户参与到演示过程，提高学习路径演示的互动性和可扩展性。当教师用户作为第二操作用户根据自身经验判断针对目标用户当下的学习状态做指导，确定目标用户的学习路径时，还可以和智适应学习系统的智能学习策略进行对比，以使教师用户了解真实教师和智适应学习系统对同样条件的学生进行学习路径规划时存在的差异，从而凸显出智适应学习系统的11优势。[0068]S240、根据学生用户属性、知识图谱的知识点属性、学情属性以及演示顺序确定所述状态空间。[0069]其中，所述学生用户属性可以包括目标用户的学习能力；所述知识图谱的知识点属性可以包括知识点间的逻辑关系、知识点考频、知识点重要程度以及知识点难度；所述学情属性可以包括知识点掌握状态；所述演示属性可以包括知识点掌握数量、学习路径演示时长或知识点学习范围。[0070]在本发明实施例中，可以根据学生用户属性、知识图谱的知识点属性以及学情属性确定强化学习的状态空间。可选的，如果需要设定学习路径的演示方式，如设定演示时长或演示的学习范围，还可以在状态空间中加入演示属性。[0071]可选的，学生用户属性可以是目标用户的学生能力，可以来自智适应学习演示系统提供给目标用户的设定值，例如：目标用户的学生用户属性可以是学习优秀、学习中等、学习不佳等。学生用户属性也可以采用智适应学习系统保存用户的历史学习数据确定，也即根据项目反应理论(ItemResponseTheory,IRT)得到的用户每个时刻的能力值划分的多个能力值区间。如学习优秀(能力值0.7～1区间)、学习中等(能力值0.36～0.69区间)以及学习不佳(能力值0.35～0区间),操作用户可以利用学习路径演示指令设定目标用户初始的学生用户属性水平，当智适应学习系统模拟目标用户学习知识点后，可以根据目标用户在智适应学习系统的能力值作为更新的学生用户属性。知识图谱的知识点属性可以是在知识点维度上所具备的特征，可以包括但不限于知识点间的逻辑关系(如：知识点间具有前后置关系)、知识点考频、知识点重要程度和知识点难度等。学情属性可以包括目标用户的知识点掌握状态，也即在目标用户的学生用户属性下进行学习，目标用户是否掌握该知识点的状态。演示属性可以是提供给操作用户设定演示需求的条件，包括但不限于知识点掌握数最大值及演示时长等，也就是智能体达成任务目标的时长，或要演示的学习范围。[0072]S250、根据目标用户的推荐学习知识点确定所述动作空间。[0073]其中，推荐学习知识点也即向目标用户推荐的要学习的知识点。[0074]具体的，可以设置目标用户下一个要学习的知识点作为智能体输出的动作。[0075]S260、响应于所述学习路径演示指令，根据所述强化学习因素对目标用户学习路径进行强化学习。[0076]当上述强化学习因素配置完成后，智适应学习演示系统即可响应于学习路径演示指令，根据强化学习因素对目标用户学习路径进行强化学习。[0077]图5是本发明实施例二提供的一种智适应学习演示系统包括的各个功能模块的结构示意图。在一个具体的例子中，如图5所示，基于强化学习的智适应学习演示系统的功能模块可以细分为状态模块、决策模块、交互模块、推荐模块、学习模拟模块和演示模块。其中，状态模块可以提供智能体所需的状态属性，包括学生用户属性、知识图谱的知识点属性、学情属性以及演示属性等。决策模块可以展现智能体输出的动作，也就是学生下一个要学习的知识点。具体的，决策模块可以对智能体建立深度强化学习模型，设置智能体在环境中的状态空间、智能体可决策的行为空间以及环境对智能体的行为奖励，采用深度神经网络来逼近状态到动作的映射函数，智能体通过对知识图谱上各知识点掌握状态以及目标学生学习水平等动态环境状态的观察，利用该映射函数做出行为决策，也就是智能体的知识点推荐的动态规划。交互模块可以提供智适应学习演示系统的多种交互模式，操作用户可以通过交互模块设定状态模块所需要的演示属性，以及选择所采取的交互模式，可以包括自动模式、单人交互模式以及多人交互模式等。推荐模块可以接入智适应学习系统的知识点推荐算法，通过知识点推荐算法接口提供所需的数据，如当前知识点关联的习题等。当智适应学习系统可以根据目标用户对当前知识点的掌握状态推断目标用户下一个推荐的知识点时，推荐模块可以继续根据下一个推荐的知识点利用知识点推荐算法提供所需的数据。如此反复，直至智适应学习系统完成学习路径的生成，得到目标用户完整的学习路径。可选的，当知识点推荐算法有多种推题策略时，还可以在智适应学习演示系统演示学习路径的过程中实时演示推题策略的名称，以使操作者直观了解智适应学习系统的决策过程。学习模拟模块可以接入智适应学习系统的推题算法，接收推题算法接口发送的学习数据，如各类知识点习题等，并根据目标用户的学生用户属性进行模拟学习，得到在既定的学情状态下目标用户对该知识点能否掌握的状态值。学习模拟模块可以利用推题算法模拟多种学生用户的能力值，在多种题目难度下，确定答题对错的可能性，并根据智适应学习系统的掌握条件判断目标用户是否掌握该知识点。演示模块可以演示出目标用户在智适应学习系端、智能终端或者各类演示屏，本发明实施例对此并不进行限制。演示模块演示的内容可以按用户需求设计，如可以包括用户属性、知识点属性及学习策略等，本发明实施例对此同样不进行限制。[0078]图6是本发明实施例二提供的一种智能体强化学习的流程示意图，在一个具体的[0079]S261、通过强化学习模型中的智能体观察知识点推荐环境得到多维向量状态。[0080]其中，多维向量状态可以是高维向量表征的智能体对环境状态的观察结果。示例性的，多维向量状态可以包括学生用户属性、知识图谱的知识点属性、学情属性以及演示属性等。[0081]在本发明的一个可选实施例中，若所述知识点推荐环境类型包括自适应引擎推荐知识点环境，则通过所述智能体观察知识点推荐环境得到多维向量状态，可以包括：通过所述智适应学习系统的自适应引擎根据知识点推荐算法确定自适应推荐知识点；通过所述智能体根据所述自适应推荐知识点确定所述自适应引擎推荐知识点环境的多维向量状态。[0082]其中，自适应推荐知识点可以是自适应引擎根据知识点推荐算法自动推荐的知识[0083]可选的，如果操作用户在学习路径演示指令指示自适应引擎推荐知识点环境作为强化学习的环境类型，则智适应学习系统的自适应引擎可以根据知识点推荐算法确定自适应推荐知识点。进一步的，智能体可以根据自适应推荐知识点确定自适应引擎推荐知识点环境的多维向量状态。[0084]在本发明的一个可选实施例中，若所述知识点推荐环境类型包括操作用户反馈推荐知识点环境，则通过所述智能体观察知识点推荐环境得到多维向量状态，可以包括：通过所述智适应学习系统接收操作用户确定的反馈推荐知识点；通过所述智能体根据所述反馈推荐知识点确定所述操作用户反馈推荐知识点环境的多维向量状态；其中，若所述操作用户为所述第一操作用户，则所述反馈推荐知识点为所述第一操作用户根据自适应引擎确定的自适应推荐知识点选择的目标自适应推荐知识点；若所述操作用户为所述第二操作用户，则所述反馈推荐知识点为所述第二操作用户(根据教学经验)确定的自主推荐知识点。[0085]其中，反馈推荐知识点可以是操作用户向智适应学习演示系统反馈的知识点。目标自适应推荐知识点可以是第一操作用户根据自适应引擎确定的自适应推荐知识点选择的其中一个推荐知识点。自主推荐知识点可以是第二操作用户根据自身经验选择的推荐知[0086]可选的，如果操作用户在学习路径演示指令指示操作用户反馈推荐知识点环境作为强化学习的环境类型，则智适应学习系统可以接收操作用户确定的反馈推荐知识点。进一步的，智能体可以根据反馈推荐知识点确定操作用户反馈推荐知识点环境的多维向量状态。[0087]可选的，如果操作用户为第一操作用户，则反馈推荐知识点可以为第一操作用户根据自适应引擎确定的自适应推荐知识点选择的目标自适应推荐知识点；如果操作用户为第二操作用户，则反馈推荐知识点为第二操作用户确定的自主推荐知识点。[0088]在本发明的一个可选实施例中，所述通过所述智能体观察知识点推荐环境得到多维向量状态，可以包括：通过所述智适应学习系统根据所述知识点推荐环境推荐的知识点获取模拟推荐习题；通过所述智适应学习系统根据所述目标用户的学生用户属性和学情属性自动模拟所述目标用户的答题结果，并根据所述答题结果确定所述目标用户的知识点掌握状态；通过所述智能体接收所述目标用户的知识点掌握状态，并根据所述知识点掌握状态确定所述多维向量状态。[0089]其中，模拟推荐习题可以是智适应学习系统的推荐模块根据当前知识点推荐的习题。知识点掌握状态可以表征目标用户是否掌握知识点。[0090]具体的，智适应学习系统可以根据知识点推荐环境推荐的知识点通过推荐模块自动获取模拟推荐习题。在获取到模拟推荐习题后，智适应学习系统根据目标用户的学生用户属性和学情属性利用学习模拟模块自动模拟目标用户的答题结果。也即，在整个演示过程中，目标用户本身不需要参与实际的答题过程，整个学习过程都可以由智适应学习系统自动模拟。相应的，智适应学习系统可以根据目标用户的学生用户属性和学情属性自动模拟目标用户的答题结果，从而根据答题结果确定目标用户是否掌握知识点的知识点掌握状态。相应的，智能体可以观察智适应学习系统，进而得到目标用户对应的多维向量状态。[0091]S262、通过智能体根据动作选择策略模型和所述多维向量状态确定智能体动作。[0092]S263、通过智能体执行所述智能体动作，以根据智能体动作执行结果更新所述知识点推荐环境的状态，得到更新多维向量状态。[0093]其中，智能体动作执行结果也即智能体动作的执行结果，可以作用于当前的知识点推荐环境，从而使得知识点推荐环境更新当前状态。更新多维向量状态可以是智能体执行智能体动作后对知识点推荐环境进行更新后的状态。[0094]S264、通过智能体接收所述知识点推荐环境根据所述更新多维向量状态和所述智能体动作确定的奖励值。[0095]S265、通过智能体根据所述奖励值、所述更新多维向量状态和所述学习评价指标确定更新智能体动作。[0096]其中，所述学习评价指标包括知识点掌握目标以及奖励值的教学规律确定规则。[0097]其中，更新智能体动作可以是智能体根据动作选择策略确定的新的动作。知识点掌握目标可以是在规定的演示期间内尽快的让目标用户掌握最多的知识点。教学规律确定规则可以是按照教学的规律或逻辑确定奖励值的规则。[0098]图7是本发明实施例二提供的一种知识图谱部分知识点之间关联关系的效果示意图。如图7所示，以初中数学二次根式知识点学习为例具体说明，图7所示的知识图谱的列表为已构建完成的知识图谱中对二次根式相关的一部分纳米级知识点之间的关联关系。[0099]在图7中，列表第三列为纳米级知识点名称，列表第二列为该知识点的标记号，列表第四列为该知识点的前置知识点标记号。通常情况下，后续知识点的难度要比前置知识没有掌握，则推荐前置知识点进行学习更加合理，退荐后置知识点则是不合理的。以标记为c090201的知识点举例，其后续知识点包括：c090301,其前置知识点为c090203、c090204、c090103。在c090201的知识点学习优秀后，智适应学习系统推荐后续知识点c090301是符合教学规律的，但若c090201的知识点学习不佳，推荐后续知识点c090301就是违反教学规律的。因此，学习评价指标具体可以根据知识点掌握目标以及奖励值的教学规律确定规则来确定奖励值。当推荐的知识点符合教学规律且目标用户掌握了知识点的情况下，可以给予一定奖励；当推荐的知识点违背教学规律和/或目标用户没有掌握知识点的情况下，可以给予一定惩罚。[0100]S266、通过智能体判断是否满足强化学习模型的学习终止条件，若是，则执行[0101]S267、终止强化学习过程，得到目标用户学习路径的路径生成过程。[0102]具体的，智能体与环境的交互过程包括智能体感知到的环境观察、智能体动作和环境反馈三个阶段。其中，智能体感知到的环境观察采用高维向量表征智能体对环境状态的观察结果，该高维向量可以包含从智能体发出的所获取信息的集合。智能体动作表示目标用户下一个要学习哪一个知识点。环境反馈指的是环境以数值回报的形式对智能体的反馈。在每个时间步t,智能体接收到环境的状态信息S∈S,其中，S是可能状态的集合，S表示t时刻的状态；基于此状态智能体选择一个动作A∈A(S),其中，A(S.)是状态S下所有动作的集合，A表示t时刻的动作。一个时间步之后，智能体接收一个数值的回报Rt+1(t+1时刻的回报)∈R,作为此动作的回报，同时观察到一个新的环境状态St+1,由此进入下一次交互的循环过程。[0103]可选的，智适应学习演示系统中的决策模块可以对智能体建立深度强化学习模型，设置智能体在环境中的状态空间、智能体可决策的行为空间以及环境对智能体的行为奖励。[0104]智能体所欲规划学习路径的学习范围中，每一个节点对应智适应学习系统里的一个纳米级知识点，知识点之间的连接对应智适应学习系统里的知识点间的逻辑关系。智能体建立模型时可以从智适应学习系统的状态模块获得所需要的输入，以实现环境的观察：状态可以取在目标用户的当前学习水平对当前知识点掌握的状态作为观测值，记作(学习[0105]具体地，每一个知识点可以具备目标用户掌握的状态以及目标学生的学习水平。过IRT得到的学生每个时刻的能力值所对应的多个能力值区间，如学习优秀(能力值0.7～1区间)、学习中等(能力值0.36～0.69区间)、学习不佳(能力值0.35～0区间)。操作用户只能设定目标学生初始的学习水平，目标用户一经学习了一个知识点，即根据目标用户在智适应学习系统的能力值作为学习水平。考虑到目标学生有可能会再重学之前能力值低的时候没有掌握的知识点，因此同一个目标用户在同一个知识点可能有多种学习水平状态。[0106]可选的，对目标用户学习路径进行强化学习时可以基于Q学习算法(Qlearning)。在Q学习算法框架下Q即为Q(s,a),表示在某一时刻的s状态下(s∈S),采取动a(a∈A)动作能够获得收益的期望。知识点推荐环境会根据智能体的动作反馈相应的回报r。也就是说，包含一个智能体、一个状态集S,表示它在环境中的状态、以及在每个状态可以执行的动作集A。智能体在起始状态s,通过动作选择策略选择并执行一个动作a,a∈A,具体是从目标用户对应的学习范围中随机选择一个知识点，该知识点可以由自适应引擎选择，也可以由操作用户选择。在与环境的交互中，智能体会从当前状态s转移到下一状态s',并且会得到环境的一个即时奖赏r,根据更新规则修改Q值。可以理解的是，更新规则可以根据动作选择策略模型的不同以及具体学习算法的不同适应性设定，本发明实施例对此并不进行限制。智能体学习的目的是使从环境中获得的累积奖赏最大，即在每个状态都执行获得奖赏最大的[0107]Q(s,a)←Q(s,a)+a[r+γmax,Q(s′,=0,表示智能体学不到新的知识；而α=1,则表示不储存学到的知识，全部用新的知识置换。γ表示折扣因子，折扣因子γ∈[0,1]代表智能体的远见，它的大小影响未来的动作的预测回报所占的权重，γ趋近于0表示智能体只看重眼前动作的回报，往往会执行使当前即时奖赏最大的行为；γ趋近于1时智能体会更多的考虑未来回报；当γ∈[0,1]时表示越靠前的动作影响越大，而后面的动作影响变小，甚至可以忽略。[0109]为了解决状态空间过大(也就是维度灾难)的问题，可以通过用函数而不是Q表来表示Q(s,a)。也就是说对于给定状态选取哪个动作所能得到的Q值，可以由深度神经网络来[0112]其中，qπ(s,a状态采取特定动作的效果。E表示期望，G表示t时刻的折现收益，w表示权重，可利用机器学习算法里的有监督学习算法(例如：线性回归、决策树、神经网络等)求解，拟合出合适的函数，对输入的状态提取特征作为输入，通过蒙特卡洛法(MonteCarlo,MC)或者时间差分学习(TemporalDifference,TD)计算出值函数作为输出，然后对函数参数进行训练，直到收网络参数的学习。通过深度强化学习方法，即可以知道选取哪个动作能使得未来得到的奖励之和最大。[0113]在环境反馈阶段，可以采用离散的回报函数R(RewardFunction)作为学习评价指标。回报函数是环境对智能体信息反馈的重要要素之一，回报函数是要告诉智能体希望达到的目标，而不是怎样达到目标。回报函数的目标可以是告诉智能体在演示期间内尽快的让目标用户掌握最多的知识点，在每个时间步目标用户掌握知识点给奖励，没有掌握知识点做出一定的惩罚。同时，回报函数的设计还需符合知识点学习顺序的规律和逻辑性，考虑课程的多样性与过程复杂性，违反教学规律的推荐会做出一定的惩罚。[0114]在一个可选的实施例中，在智适应学习演示系统的单人交互模式，智适应学习演示系统可以外接人机交互设备，可供人机交互使用的设备主要包括但不限于键盘、鼠标、摇杆和各种模式识别设备(手势识别、动作识别及语音识别)等方式。图8是本发明实施例二提供的一种单人交互模式的演示流程示意图。如图8所示，智适应学习系统的知识点推荐模块可以向推荐模块的接口发送知识点数据，并等待目标用户(简称用户)反馈。用户可以通过人机交互设备与智适应学习演示系统互动，当用户反馈确认该知识点学习，智适应学习演示系统继续下一个流程，进行知识点学习模拟。当用户反馈跳过该知识点学习，返回到智适应学习系统知识点推荐流程，智适应学习系统推荐下一个知识点，并再次等待用户反馈。[0115]在一个可选的实施例中，在智适应学习演示系统的多人交互模式，智能体与环境的交互过程不需要通过智适应学习系统的知识点推荐模块推荐模块进行目标用户知识点的推荐，而是接收由操作用户选择下一个知识点学习的动作，成为下一个状态。一个时间步之后，智能体接收一个数值的回报作为此动作的结果，同时观察到一个新的环境状态S+1,由此进入下一次交互的循环过程。在此模式下，智适应学习演示系统可以演示智能体和操作用户对推荐同一目标用户下一个知识点学习策略时，两种方式对其掌握知识点数的结果差异。[0116]S270、对所述路径生成过程进行直观演示。[0117]相应的，步骤S270具体可以包括下述操作：[0118]S271、确定所述路径生成过程的演示状态属性。[0119]其中，演示状态属性可以是操作用户通过学习路径演示指令指定的演示属性。[0120]在本发明实施例中，操作用户还可以通过学习路径演示指令指定演示状态属性。例如，操作用户可以指定演示时长或演示的学习范围等，本发明实施例对此并不进行限制。相应的，智适应学习演示系统可以根据学习路径演示指令确定路径生成过程的演示状态属性。[0121]S272、根据所述演示状态属性对所述路径生成过程进行直观演示。[0122]相应的，智适应学习演示系统根据学习路径演示指令确定路径生成过程的演示状态属性之后，即可根据操作用户指定的演示方式对路径生成过程进行直观演示。[0123]示例性的，演示状态属性为5分钟演示时长时，智适应学习演示系统需要在5分钟内直观演示在知识点掌握数最多的情况下，目标用户的完成的学习路径的路径生成过程。[0124]需要说明的是，智适应学习演示系统可以在强化学习的过程中，每生成一个知识点内容决策即可实时显示，也可在强化学习结束后，统一按顺序显示完整的路径生成过程，本发明实施例对此并不进行限制。[0125]综上所述，本发明实施例通过智适应学习演示系统的智能体根据环境的状态自动决策，以使操作用户能在规定的演示期间直观了解智适应学习系统动态推荐知识点的决策过程和效果，丰富了智适应学习演示系统对学习效果的演示功能，提高了智适应学习演示系统演示学习效果的直观性和智能性。[0126]需要说明的是，以上各实施例中各技术特征之间的任意排列组合也属于本发明的保护范围。[0128]图9是本发明实施例三提供的一种深度强化学习的学习路径演示装置的示意图，如图9所示，所述装置包括：学习路径演示指令接收模块310、化学习模块330以及路径生成过程演示模块340,其中：[0129]学习路径演示指令接收模块310,用于接收目标用户的学习路径演示指令；[0130]强化学习因素确定模块320,用于根据所述学习路径演示指令确定目标用户学习路径的强化学习因素；其中，所述强化学习因素包括状态空间、动作空间和学习评价指标；[0131]强化学习模块330,用于响应于所述学习路径演示指令，根据所述强化学习因素对目标用户学习路径进行强化学习，得到目标用户学习路径的路径生成过程；[0132]路径生成过程演示模块340,用于对所述路径生成过程进行直观演示。[0133]本发明实施例通过智适应学习演示系统根据接收的学习路径演示指令确定目标用户学习路径的状态空间、动作空间和学习评价指标等强化学习因素，以响应于学习路径演示指令，根据确定的强化学习因素对目标用户学习路径进行强化学习，得到目标用户学习路径的路径生成过程，并对路径生成过程进行直观演示，解决现有智适应学习演示系统对学习效果的演示效果较差的问题，丰富了智适应学习演示系统对学习效果的演示功能，提高了智适应学习演示系统演示学习效果的直观性和智能性。[0134]可选的，强化学习因素确定模块320具体用于：将智适应学习系统确定为强化学习模型中的知识点推荐环境；根据所述学习路径演示指令的类型确定所述状态空间匹配的知识点推荐环境类型；根据学生用户属性、知识图谱的知识点属性、学情属性以及演示属性确定所述状态空间；其中，所述学生用户属性包括目标用户的学习能力；所述知识图谱的知识点属性包括知识点间的逻辑关系、知识点考频、知识点重要程度以及知识点难度；所述学情属性包括知识点掌握状态；所述演示属性包括知识点掌握数量、学习路径演示时长或知识点学习范围；根据目标用户的推荐学习知识点确定所述动作空间。[0135]可选的，所述知识点推荐环境类型包括自适应引擎推荐知识点环境和操作用户反馈推荐知识点环境中的至少一项；所述自适应引擎推荐知识点环境用于采用自适应引擎向所述目标用户推荐知识点；所述操作用户反馈推荐知识点环境用于根据操作用户的反馈信息向所述目标用户推荐知识点；所述操作用户包括第一操作用户或第二操作用户；所述第一操作用户的反馈信息用于确认是否接受自适应引擎推荐的知识点；所述第二操作用户的反馈信息用于向所述目标用户自主推荐知识点。[0136]可选的，强化学习模块330具体用于：通过强化学习模型中的智能体观察知识点推荐环境得到多维向量状态；通过智能体根据动作选择策略模型和所述多维向量状态确定智能体动作；通过智能体执行所述智能体动作，以根据智能体动作执行结果更新所述知识点推荐环境的状态，得到更新多维向量状态；通过智能体接收所述知识点推荐环境根据所述更新多维向量状态和所述智能体动作确定的奖励值；通过智能体根据所述奖励值、所述更新多维向量状态和所述学习评价指标确定更新智能体动作；其中，所述学习评价指标包括知识点掌握目标以及奖励值的教学规律确定规则；通过智能体返回执行通过所述智能体观察知识点推荐环境得到多维向量状态的操作，直至确定满足强化学习模型的学习终止条习模块330具体用于：通过所述智适应学习系统的自适应引擎根据知识点推荐算法确定自过智能体根据所述反馈推荐知识点确定所述操作用户反馈推荐知识点环境的多维向量状[0141]上述深度强化学习的学习路径演示装置可执行本发明任意实施例所提供的深度[0142]由于上述所介绍的深度强化学习的学习路径演示装置为可以执行本发明实施例习路径演示装置如何实现本发明实施例中的深度强化学习的学习路径演示方法不再详细实现本发明实施方式的示例性电子设备12的框图。图10显示的电子设备12仅仅是一个示括但不限于：一个或者多个处理器16,存储器28,连接不同系统组件(包括存储器28和处理[0146]总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(IndustryStandardArchitecture,ISA)总线，微通道体系结构(MicroChannelArchitecture,MCA)总线，增强型ISA总线、视频电子标准协会(VideoElectronicsStandardsAssociation,VESA)局域总线以及外围组件互连(PeripheralComponentInterconnect,PCI)总线。[0147]电子设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被电子设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。[0148]存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RandomAccessMemory,RAM)30和/或高速缓存存储器32。电子设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统3410中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如只读光盘(CompactDisc-ReadOnlyMemory,CD-ROM)、数字视盘(DigitalVideoDisc-ReadOnlyMemory,DVD-ROM)或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。[0149]具有一组(至少一个)程序模块42的程序/实用工具40,可以存储在例如存储器28中，这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。[0150]电子设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该电子设备12交互的设备通信，和/或与使得该电子设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(Input/Output,I/0)接口22进行。并且，电子设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(LocalAreaNetwork,LAN),广域网WideAreaNetwork,WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线18与电子设备12的其它模块通信。应当明白，尽管图10中未示出，可以结合电子设备12使用其它硬件和/或软