基于不平衡学习的分类器博弈模型及其在中国象棋中的应用1.pdf

计 算 机 研 究 与 发展 J o u r n a l o f Co mp u t e r Re s e a r c h a n d De v e l o p me n t I S S N 1 0 0 0 1 2 3 9 C N 1 1 1 7 7 7 TP 48 5 8 41 84 7 2 011 基于不 平衡学 习的分类器博弈模型及其在 中国象棋 中的应用 苏 攀 王熙照 李 艳 河北大学数学 与计算 机学院河北省机器学 习与计算智 能重点实验室河北保定0 7 1 0 0 2 s u p a n 1 9 8 6 y a h o o c o rn M o d e l i ng Che s s S t r a t e g y b y Cl a s s i f i e r Ba s e d o n I mba l a n c e Le a r ni n g a nd Appl i c a t i o n i n Co mpu t e r Chi n e s e Ch e s s Su Pa n W a n g Xi z ha o a nd Li Ya n Ke y La b o r a t o r y o f Ma c h i n e Le a r n i n g a n d Co mp u t a t i o n a l I n t e l l i ge n c e o f He b e i Pr o v i n c e Co l l e g e o f Ma t h e ma t i c s a n d Co mpu t e r Sc i e nc e H e b e i Uni ve r s i t y Ba o di n g He b e i 071 0 02 Ab s t r a c t Co m pu t e r c h e s s ga m e CCG i s a n i mpo r t a nt t o pi c i n t h e f i e l d o f a r t i f i c i a l i n t e l l i g e n c e Thi s t e c h ni q ue i s wi de l y u s e d i n s o m e e n t e r t a i nme nt PC g a m e s a nd c he s s g a m e s on d i f f e r e n t pl a t f o r m s Mo s t CCG s y s t e ms a r e d e v e l o p e d b a s e d o n t h e c o mb i n a t i o n o f g a me t r e e s e a r c h i n g a n d e v a l u a t i o n f unc t i o ns W he n u s i n g ga m e t r e e s e a r c hi ng me t h od t he l e v e l o f t he c o m p ut e r pl a y e r d e p e nd s on t he s e a r c hi n g de p t h Howe ve r de e p g a me t r e e s e a r c hi n g i s t i me c o ns umi ng whe n t he ga m e s a r e a pp l i e d on s ome m o bi l e p l a t f o r m s s uc h a s mob i l e p ho ne a n d PDA I n t h i s pa p e r a no ve l me t ho d i s pr o p os e d wh i c h mod e l s Ch i ne s e c he s s s t r a t e gy by t r a i ni n g a c l a s s i f i e r W he n p l a yi ng c he s s g a m e s t he t r a i n e d c l a s s i f i e r i s u s e d t o p r e d i c t g oo d s uc c e s s or po s i t i o ns f or c o mput e r p l a ye r The t r a i n i ng p r oc e d ur e i s b a s e d o n i m b a l a nc e l e a r ni ng a nd i t us e s Ch i ne s e c h e s s g a me r e c o r ds a s t he t r a i ni ng s e t s S pe c i f i c a l l y t he t r a i ni ng s e t s e x t r a c t e d f r o m ga m e r e c or d s a r e i mba l a nc e d t h e r e f or e i m b a l a nc e l e a r ni n g m e t ho ds a r e e m pl o y e d t o m o di f y t h e o r i g i na l t r a i n i ng s e t s Co mpa r e d wi t h t he c l a s s i c a l CCG s y s t e m t h i s ne w m e t ho d i s a s f a s t a s卜 l e v e l ga m e t r e e s e a r c h whe n pl a yi ng g a me s a nd i t c o nt a i ns a n of f l i n e l e a r n i ng p r oc e s s Ex pe r i m e n t a l r e s u l t s d e mon s t r a t e t ha t t he p r op os e d m e t ho d i s a bl e t o mo de l Chi ne s e c he s s s t r a t e gi e s a nd t h e i m b a l a nc e l e a r ni n g pl a y s a n i mpo r t a nt r o l e i n t he m o d e l i n g p r o c e s s Ke y wo r ds i m ba l a nc e l e a r ni n g c ompu t e r g a m e c o m pu t e r Ch i ne s e c he s s c he s s s t r a t e g y m o d e l i ng a r t i f i c i a 1 n e ur a l ne t wo r ks 摘要计算机博弈是人工智能领域中的热点研究课题 传统计算机博弈模型使用极大极小搜 索与评估函 数相 结合的方 式 棋 力 高低依 赖 于搜 索的深度 在 计算性 能较 低 的平 台上 搜 索深度加 深会 延长反 应 时间 因此 提 出了一种应用不平衡 学习技术使用专家谱训练分类器的机器博弈解决方案 反应时间只相 当于一 层搜索 且更能体现学习的特性 使用 3种经典的不平衡学习方法训练神经网络 并对结果进行 了比较 验 证了使用分类器模拟中国象棋策略的可能性 以及不平衡学习技术在该策略建模过程中起到的关键作用 收稿 日期 2 O 1 O O 4 1 9 修 回日期 2 0 1 0 1 0 1 2 基金项 目 国家 自然科学基金项 目 6 0 9 0 3 0 8 8 河北省 自然科学基金项 目 F 2 0 1 0 0 0 0 3 2 3 F 2 0 0 9 0 0 0 2 2 7 F 2 0 0 8 0 0 0 6 3 5 河北省应用 基础研究 重点项 目 0 8 9 6 3 5 2 2 D 8 4 2 计算机研究 与发 展2 0 1 1 4 8 5 关键词 不平衡学习 计算机博弈 中国象棋机器博 奕 分类器博弈模型 人工神经网络 中 图 法 分 类 号TP1 8 机 器博 弈被认 为是 人 工智 能领 域最 具挑 战性 的 研 究方 向之 一 自 1 9 5 0年 S h a n n o n l 1 提 出计算 机 博 弈 的相 关模 型 以来 计 算 机博 弈技 术不 断发 展完 善 近年来 机器学习的方法被广泛应用 到计算机博弈 领 域 中 产 生 了大 量 成 熟 的应 用成 果 L 2 这 些 典 型 的算法 有神 经 网络l 4 强化 学 习 5 7 遗传 算 法l 8 决 策 树 等 如 何 实 现有 学 习 能 力 的博 弈 系 统成 为 目 前计算机博弈和游戏智能研究方向的热点问题 中国象棋是一种深受广 大群众 喜爱 的博弈游 戏 随着计算机 以及移动通信设备技术 的发展 各式 各样 的计算 机象 棋 软 件 已经 出 现 在个 人 计 算 机 移 动 电话 个 人数 字助 理等 平 台上 传 统 的象棋 软 件绝 大多数 都 采用极 大 极小搜 索算 法 或该 算法 的改 进实 现博弈树 的搜索 由于象棋博弈树 的规模巨大 搜索 相 当耗 费时 间 因此 这 种方 法 在 移 动 电话 和 个人 数 字处理等移动平台上的效率还不能令人满意 鉴 于上 述 情 况 本 文提 出 了一 种采 用 分 类 器模 拟象棋策略的方法 该方法使用不平衡学习技术对 专家 棋谱 转换 成 的训 练 集 作 处 理 并 使 用 处 理后 的 训练集训练分类器 最后 在系统 中使用 招法生成 器 分 类器 的方 法 实现对 弈 本文用到的记号如表 1 所示 a A g a me t r e e o f Ch i n e s e c h e s s g a me Ta b l e 1 Li s t o f S ymbo l s 表 1 本 文 定 义 的 记 号 1 中国象棋的博弈树表示 一 个博弈游戏通常可以用一棵博弈树表示 以 中国象棋为例 其博弈树如图 l 所示 图 l中每个节 点代 表一个 象棋 局 面 其 孩 子 节点 表 示 其 可 能 的后 继局 面 叶子节 点代 表双 方胜 负 已定 的局 面 游 戏到 此终 止 不 再 有 孩子 节点 图 1 b 中的 b 则 是 b 节点 的所 有孩子 节 点所 构 成 的 集合 但 是 在 一 次 对 弈过程 中 只能从 中选 择一 个后 继 局 面继 续 游戏 因 此 一盘完整 棋局 的棋谱 G体现 在博弈树上就 是一条 从根节点到叶子节点的路径 图 1中实线构成 的路径 b A n a b s t r a c t g a me t r e e Fi g 1 Pr e s e nt i n g Chi ne s e c he s s ga me by a g a me t r e e 图 1 用博弈树表示中 国象棋游戏 一 一 一 一 m k 一 暑 一 a m m 雠 n s l v 塞 垂一 枷 暑 嘶 p 强 一 一 一 一 一 一 A A n A 苏攀等 基 于不平衡 学习的分类器博弈模型及其在 中国象 棋中的应用 8 4 3 表示某一个棋谱 中的局面变化过程 如图 1 b 中的 b 0 6 b 图 1 b 中 白色节 点代 表 当前 局 面轮 到红方行棋 黑色节点代表当前节点轮到黑方行棋 根 节点 代表 中国象 棋 的 开 局 局 面 按 规 则 由红方 先 行 棋 因此在 图 1 b 中为 白色 节点 2 基 于不 平衡学 习的分类器博 弈模 型 2 1 分 类器 模 型 不同于传统的极大极小搜索算法对博弈树进行 搜索 本文提 出的方法是对博弈树中的局 面进行分 类 通过 分类 区分 出对 某 一 方 有 优 势 的 局 面 和相 对 劣势 的局面 并用机器学习的方法对其进行学习 得 到一个或一组可以区分优势局面和劣势局面的分类 器 在机 器学 习 中 分类 器 通 常可 以表示 成 一个 离散 值 函数 一个 可 以 区分 优 势 局 面 和 劣势 局 面 的二 类 问题 分类 器 可 以用下 面 的 函数 表示 6 一 I 如 果 6 是 一 个 优 势 局 面 1 厂 c 6 一 i o 其他 情况 其中 6 E B 该函数是一个二值函数 其定义域为 B 即象棋 游戏 中所 有 可能 出现 的局 面 假设 已经 得 到这 样 的 一 个 分类 器 厂 可 以通过 下 面 的 步骤 实 现 用 分类 器 厂 进 行 机器 博 弈 当 轮 到 计 算 机 方 行 棋 时 使 用 招 法 生成 器生 成 当前 局 面 6 下 所 有 可 能 的后 继 局 面 集合 6 使用分类器对 b 中的局面进行分类 即将 中的局面一一代入函数 c 中 函数值为 1的被 认为是优势局面 从优势局面 中随机选择一个作为 计算 机一方 的招法实现在棋盘上 具体方法如 图 2 所示 Fi g 2 M a k e Mo v e a l g o r i t h m 图 2 分类器模型行棋算法 2 2训 练集 的获 得 使用机器学习的算法训练得到一个分类器时需 要一 个训 练集 训 练集 包含若 干 已经 标注 的样 例 对 于上 面提 到 的应用 于象 棋 策 略 的 分类 器 其训 练 集 的形 式 为 T r a i n S e t 一 6 t b E B t E 1 0 J 一1 2 3 1 1 n表示 训 练集 T r a i n S e t 所 包含 的样 例个数 其 中 为局 面 6 的类标 即 6 的值 获得训练集中训练样例的类标的过程称为对训 练样 例 的标注 通 常 由该 领域 的专 家 实施 在 中国象 棋中对局面进行标注是代价昂贵的 而棋谱是一种 常见的包含大量象棋专业知识的信息载体 其可 以 通过多种渠道获得且成本较低 因此本 文使用棋谱 代替专家意见对局面进行标注 并转化为分类器模 型 的训练 集 具 体 思 路 是 对 于 已经 获得 的某 位棋 手 的比赛棋谱 G 首先确定该棋手在棋谱 中执黑还是执 红 假设其执红 则在 G中从 6 o开始循环到棋谱结 束 当遇 到轮 到 红 方行 棋 的局 面 6 尼 一0 1 2 时 使 用 招 法 生 成 器 生成 b 的后 继 局 面 集 合 6 在 b 中检 索局 面 6 抖 将 其标 注 为正 例 b 强 中 的 其他局面标注为负例 具体步骤如 图 3所示 若其执 黑 则 将 图 3中 i 的初 始值 设为 1 Fi g 3 M ake Tr ai nSe t Al g or i t h m 图 3 构造 训练集算 法 将 大量的棋谱使用算法 Ma k e T r a i n S e t 进行处 理 后合 并 到一起 便 可 以得 到一 个用 来训 练分 类器 的 训 练集 2 3不平衡学习在分类器模型中的应用 在 概 念 学 习 当 中 如果 一 个 数据 集 中 某个 类 所 包含的样例个数 比其他类所包含的样例个数超出很 多 这个数据集就被称作是不平衡的 l 为了简洁和 容易理解 在下面只考虑二类不平衡数据集的情况 8 4 4 计算机研究与发展2 0 1 i 4 8 5 且 正类 的 样 例 个 数 远 小 于 负 类 的 样 例 个 数 不 平 衡 数 据 集 在 实 际 应 用 中很 常 见 而 通 常 的 机 器 学 习算 法 的 学 习效果 在 这 种 数据 集 上 不 够理 想 很 容 易产生只学 习到负类而把正类忽略的情况l 因 此 不 平衡 学 习 i mb a l a n c e l e a r n i n g或 l e a r n i n g f r o m i mb a l a n c e d d a t a 成 为许 多工 程 师 学者 所关 注 的热 点 1 3 1 5 很显 然 通过算 法 Ma k e T r a i n S e t 构 造 出的训 练 集就是一个不平衡 的训练集 负例 的个数远远超 出 了正例 的个 数 中 国象 棋 中一 个 局 面 的后 继 局 面 平 均 有 4 5个左 右 1 而 其 中被 标 注 成 正 例 的 只有 一 个 所以 从图 3 得到的训练集其正类负类样例之比 约 为 4 5 1 可 以认 为是 不 平 衡 数 据 集 因此 在本 文 中使用该 训 练集 训 练分 类 器 之 前 运 用 了不 平衡 学 习的技 术对 该数 据 集 进行 处 理 使 其 正负 样 例 的 个 数 基本 持平 后再 训练 分类 器 综上所述 使用分类器模型开发一个完整 的象 棋博弈系统有以下 3个步骤 1 获取训练数据 在得到棋谱后对其 中的棋盘 局 面进 行数 字化 处理 之后 使用 算 法 Ma k e T r a i n S e t 生 成训 练集 棋 盘局 面 的计 算 机 表示 方法 可 以参 考 文献 1 6 中 的内容 2 运用 不平衡 学 习训 练分 类 器 不 同 于本 文使 用 的方法 有 的不 平衡 学 习算 法 不 需 要 对训 练集 进 行改 动 在下 节实 验 中证 明 了不 平 衡 学 习 的运 用 在 分类 器模 型 中是关 键 的 3 将训练好的分类器使用算法 Ma k e Mo v e 集 成到 博弈 系统 中 实现 机器博 弈 3实验与分析 实 验 中采用 了一个 简 化版 的 中国象棋 平 台作 为 测试 对 象 即使用 一 个 残 局 局 面作 为 一 个 棋 谱 的开 始 为 了保持 红黑 双方 的公 平 所 采用 的开始局 面双 方具有相同的棋子 且棋子的摆放对称 具体摆放情 况 如 图 4 a 所示 棋盘在计算机 中使用坐标表示法 棋子 的位置 由 z Y两个坐标值组成 坐标轴 的起点为黑方底线 右手侧的端点 水平方向为 z轴 z的取值为 1 9 垂直方向为 Y轴 Y的取值为 1 1 O 一个局面可以 用所有棋子的位置坐标表示 中国象棋 开局 时双方 共有 3 2 枚棋子 每个棋子有 z 两个坐标值 因此 每个局面可以表示成一条有 6 4 个属性的记录 如果 某棋子在当前局面已经被吃掉 则其 3 2 Y坐标值都 为 0 图 4 a 的局 面按 照该 方 法 可 以表示 成 图 4 b 中 的形 式 y a T h e s t a r t p o s i t i o n u s e d i n e x p e r i me n t b Us in g a x i s i n f o r ma t i o n o f c h e s s e s t o p r e s e n t t h e s t a r t p o s i t i o n Fi g 4 Re p r e s e n t a t i o n o f a p o s i t i o n u s i n g c h e s s e s a x i s i n f o r mat i o n 图 4局面的坐标表示法 在棋谱 的选取方面 本文收集了一个 5层极大 极小搜索的机器博弈系统分别与 1 1 O层搜索的博 弈系 统对弈 的过程 双 方 均 采 用子 力 值 和 作 为评 估 函数 对弈 时 双 方 各 执 一 次 红 方 所 以共 有 2 0盘 对 弈 选取 5 层搜索的一方作为 专家 将 2 O个棋谱 全 部 用 算 法 Ma k e T r a i n S e t转换 成 训 练 集 实 验 中 处理训练集使用 的不平衡学习方法有 以下 3种 1 O v e r S a mp l i n g 对少数类别 的样例进行复制 并加入到训练集 当中构成新 的训练集 使新的训 练 集各个 类 别 的样 例数 量基 本持 平 2 Un d e r S a mp l i n g 对 多 数类 别 的样 例 进 行 删 减 直到训练集 中的各个类别的样例数量基本持平 从而 构成新 的训练集 3 SM OTE s y n t he t i c m i no r i t y o ve r S a m p l i ng t e c h n i q u e E 3 7 3 S MOT E 可 以看 作 是 O v e r S a mp l i n g 方法 的特 例 不 同于简 单 的将少 数 类 别 的样 例进 行 复制 S MO TE采用了一种基于 k近邻的人工构造 少数类样例的机制 使得少数类别 的样例数量 与多 数类别持平 在构造样例 时 S MOT E首先选取一个 少数类别 中的样例 z 然后选择 z的k个同类近邻 从 k个 同类 近邻 中随机 选 择一 个 最 后人 工 生 成 的少数类别样例为 4 a z 一 其 中 为一个范 围在 0 1的随机 数 除了以上使用 的处理不平衡训 练集 的方法 之 苏 攀等 基于不平衡学 习的分类 器博弈模型及其在 中国象棋 中的应用 8 4 5 外 还有不 平 衡学 习 的其 他方 法 可 以应 用 如用 集 成 学习解决不 平衡 问题 用 错分 代价 解决 不平 衡 问 题 等等 在分类器选取上 使用的是有双隐层的 B P神经 网络 其输入 层节 点 个数 与 训 练集 的属性 个 数 一 致 为 2 4个 两个 隐 藏层 节 点 个数 分 别 为 4 8个 和 6个 输 出层有 2个节点 因此 网络 的结构 为 2 4 4 8 6 2 在实验 中分 别使 用 O v e r S a mp l i n g U n d e r S a m p l i n g S MOT E三种方法训练分类器 每 种方法通过逐渐 岩 羔 专 山 芑 暑 羔 芑 暑 兰 星 翌 a R O C o f Ov e r S a mp l i n g b R OC o f Un d e r S a mp l i n g c RO C o f S MOT E Fi g 5 ROC o n t r a i n i n g s e t o f t h e t h r e e m e t h o d s 图 5 三种方法在训练集 上的 R OC曲线图 提升训练集 中的正负例之 比绘 制 出 R OC r e c e i v e r o p e r a t i n g c h a r a c t e r i s t i c s l 曲线 在每个正负样例 比例设 置 下 重 复 实 验 1 0次 每 次 的 训 练 周 期 数 为 1 O 训 练 集 规 模 以 1 0次 实 验 的平 均 值 作 为 RO C 曲线上 的一个点 如 图 5所示 图 5中每个点代表一 个分类器 z轴为对负类的错分率 误分成正类的负 类样例个数 负例总个数 Y轴为对正类 的正分率 正确分类 的正例个 数 正例总个数 其 中 No r ma l 代表使用原始数据产生的分类器 图例中的 比例为 训练分类器时训练集 的正负样例之比 从 图 5可 以看 出 通 过 使 用 不平 衡 学 习 方法 提 升正 例 在 训 练 集 中所 占有 的 比例 3种 方法 都 比使 用原 始 训 练 集 训 练 出 的分 类 器 图 5中的 No r ma 1 效果 好 Ov e r S a mp l i n g方 法 的 曲线 顶 点 更 靠 近 点 O 1 S MOT E方法 的 曲线 顶点 距离 点 0 1 最 远 由此 可见 O v e r S a mp l i n g方法 在 该 数 据 集 上 的处 理 更 有 效 这可 以解 释 为 由 S MOTE方法 构造 出 的优 势局 面没 有 能帮 助分类 器 更好 地将 优势 局 面 同劣势 局面 区分 开来 至少其 效果 不 如 Ov e r S a mp l i n g将 确 定 的优势 局 面进行 重 复 的方法 为 了考 察 分 类 器模 型 的应 用 效果 本 文还 设 计 了另外一个实验 在这次实验中以 5层搜索 使用子 力和为评估函数的一方作 为专家 收集其执红时与 不 同搜索层数 的对手对弈 的 5盘棋作为棋谱 训练 棋谱的情况如表 2所示 Tab l e 2 Ga me Re c o r d s Us e d a s Tr a i ni ng S e t 表 2训练分 类器 所使用的棋谱 同样使用 3 种方法对训练集进行处理 最后 使 用 算 法 Ma k e Mo v e 将 一个 招 法生 成器 分别 与 3种 方 法产生的 最优分类器 即 ROC图中最靠近 0 1 的点 结合 到 一起 生 成 3个 计 算 机 博 弈 系 统 由于 神经 网络 可 以产 生 软 输 出 所 以在 行 棋 时 选 择 两 个 输 出节 点输 出值 的差 最 大 的局 面 而 非 算 法 Ma k e Mo v e中的随机选择 实验 中使用这 3个 系统 分别与 1 5 层极大极小搜索 采用子力值和作为评 估函数 的系统进行对弈 其结果如表 3所示 从表 3可以看出 O v e r S a mp l i n g方法训练出的 8 4 6 计算机研究 与发展2 0 1 I 4 8 5 分类 器模 型 在训 练集 很 少 的情 况 下 只 有 5盘棋 的 棋谱 仍 然可 以通过 记 忆 优势 局 面 和 劣 势局 面 的 方 法获 得胜 利 这种 记 忆 方式 取 得 的胜 利 与对 手 棋 力 的高 低 并 没 有 直 接 关 系 Un d e r S a mp l i n g方 法 会造成部分劣势局面的信 息丢失 这些丢失的局 面 很 可 能 被 分 类 器 误 分 成 优 势 局 面 从 而 产 生 干 扰 S MOT E方法 人 工 生成 的优 势 局 面 随 机 性 较 大 且 生 成 的局 面不 一定 能 代 表 未见 的优 势 局 面 这 些局 面与 真实 的优 势 局 面 混 淆 影 响 了分 类 器 模 型 的 效 果 因此 Ov e r S a mp l i n g方法 在本 文提 出 的模 型 下 对 训 练集处 理 的效 果要 优 于另 外 两 种 方 法 没有 经 过不平衡学习处理的训练集由于其正负样例相差过 大 导致 了其 在一 定 的训 练周期 内无 法得 到能将 优势 局 面 和劣势 局 面正确 区分 的神 经 网络 Ta bl e 3 Re s ul t s of Us i n g Th e s e Tr a i ne d Cl a s s i f i e r s i n Re a l Ga m e 表 3分类器模型在对弈 中的胜 负情 况 4 结束语 本文提出了一种使用分类器模型解决机器博弈 的新 方法 并将 不平 衡学 习应 用到 该模 型 中 通过 一 个简 化 的 中国象棋 棋 局 验 证 了该 方 法 的可 行 性 以 及不 平衡 学 习技 术 在 分类 器模 型 中起 到 的 关 键 作 用 这种模型每行一步棋 的运算量仅相当于一层极 大极小搜索的运算量 因此该模型非常适用 于运算 速度较慢的硬件平 台 训练棋谱 的质量 对分类器模 型 的棋力 产生 直接 影 响 若 要 得 到 一个 棋力 较 高 的 分类器模型其训练棋谱必须也是高水平 的 除此之 外 通过对棋谱 的学习还可以提升 已有系统 的棋力 本文的研究还有很多工作可 以进行 比如 应用 其他的不平衡学习技术到该模型中或使用其他分类 器算法代替神经 网络等等 值得一提 的是 当问题 的 规模扩大时 I n 使用 中国象棋的标准开局 对分类 器的训练时间和精度都会产生影响 对于这种情况 一 种可行的方法是使用分治的方法将分解成若干子 问题 如将棋谱分成若干类别 先手 后手或将棋局 分 成不 同阶段 开局 中局 残 局等 然后 对于 每个 子 问题分别训练分类器 再使用一些融合手段将这些 子问题 的分类器融合到一起 这样做不仅减小了单 个 问题 的规 模 还可 以像 更 换 零 件 一样 为 一 个 大 规模的博弈系统更换一些子问题的分类器 除 中 国象 棋外 还 有 很 多游 戏环 境 适 用本 文 提 出的建模方 法 由于该 方 法 可 以在 一 层 搜索 的时 间 内作 出决 策 因此将 其 运 用 到 实 时游 戏 中会 有 更 大 的优 势 参 考 文 献 E l i S h a n n o n C E P r o g r a mmi n g a c o mp u t e r f o r p l a y i n g c h e s s J P h i l o s o p h i c a l Ma g a z i n e 1 9 5 0 4 1 3 1 4 2 5 6 2 7 5 E 2 F u r n k r a n z J Ma c h i n e l e a r n i n g i n c o mp u t e r c h e s s T h e n e x t g e n e r a t i o n E J I n t e r n a t i o n a l C o mp u t e r C h e s s As s o c i a t io n J o u r n a l 1 99 6 1 9 1 47 1 6 1 3 Y e n S J Ch e n J C Y a n g T N e t a 1 Co mp u t e r C h i n e s e c h e s s E J I n t e r n a t i o n a l C o mp u t e r G a me s As s o c i a t io n J o u r n a l 2 0 0 4 3 3 1 8 E 4 3 F o g e l D B Ha y s T J Ha h n S L e t a 1 A s e l f l e a r n i n g e v o l u t i o n a r y c h e s s p r o g r a m E J P r o c e e d i n g o f t h e I E EE 2 0 0 4 9 2 1 2 1 9 4 7 1 9 5 4 E s Wa n g J u e C h e n g R a n Wa n g J i a o Ap p l y i n g a r t i f i c i a l n e u r a l n e t wo r k c o m b i n e d wi t h TD t o c o mp u t e r Ch i n e s e c he s s c P r o c o f C C DC 0 9 Gu i l i n C o n t r o l a n d De c i