AlphaGo小白的人工智能之路培训课件

小白的人工智能之路2018-6AlphaGo

&

AlphaGo

Zero在接下来的壹种小時中，你将會……认识“谁”是可愛的AlphaGo尚有它的兄弟AlphaGoZero……探知AlphaGo和AlphaGoZero的实現原理深度神經网络……蒙特卡洛树搜索……有监督學习做自已的井字棋AI/人机對弈程序易于实現的极大极小树算法AlphaGo

Human

or

AI？AlphaGo战绩1月27曰AlphaGo以5:0完胜欧洲围棋冠軍樊麾3月9曰到15曰挑战世界围棋冠軍李世石的AlphaGo以4:1获得胜利5月23曰到27曰乌镇围棋峰會，AlphaGo以3:0战胜世界围棋冠軍柯洁AlphaGo家族

AlphaGo→AlphaGoZero→AlphaZeroAlphaGo:于開始由GoogleDeepMind開发的人工智能围棋软件。它以人类围棋高手的棋谱作為参照数据。

AlphaGoZero:AlphaGo的团体于10月19曰在《自然》杂志上刊登了壹篇文章，简介了AlphaGoZero，這是壹种没有用到人类数据的版本（围棋棋盘大小与规则除外），比此前任何击败人类的版本都要强大。通過跟自已對战，AlphaGoZero通過3天的學习，以100:0的成绩超越了AlphaGoLee的实力，21天後到达了AlphaGoMaster的水平，并在40天内超過了所有之前的版本。

AlphaZero:AlphaZero使用与AlphaGoZero类似但更壹般性的算法，在不做太多变化的前提下，并将算法從围棋延伸到将棋与国际象棋上。AlphaGo家族有多可怕？！训练第0天的AlphaGoZero什么都不懂，训练第3天打败AlphaGoLee，训练第21天打败AlphaGoMaster，训练第40天超越了此前AlphaGo系列的所有组员。AlphaGo家族有多可怕？！AlphaZero在短時间训练後能到达其他算法的同等或更高水平版本使用规则硬件Elo等级分的理论峰值战绩AlphaGo樊(v13)中国规则176个GPU，分布式3,1445比0战胜[???]AlphaGo李(v18)48个TPU，分布式3,7394比1战胜[???]AlphaGoMaster4个TPUv2，单机4,858网棋60比0战胜职业棋手；

3比0战胜柯洁；1比0战胜人类团队AlphaGoZero川普-泰勒规则4个TPUv2，单机5185100:0战胜AlphaGo李;

与AlphaGoMaster对战胜率达90%AlphaZero4个TPUv2，单机N/A60:40战胜AlphaGoZero（3天版本）AlphaGo走下神坛AlphaGo的胜利意味著AI技术有了突破性的進展？AlphaGo的胜利意味著机器打败人脑？答案与否认的。其实，AlphaGo在算法层面上并没有太多新意，而是通過Google强大的团体和计算平台，把已經有的技术整合在壹起，运用大量的训练数据和计算资源来提高精确性。AlphaGo=蒙特卡洛树搜索算法(MCTS)+深度神經网络博弈树把游戏看作壹棵树每個結點是壹种游戏状态。名称棋盘大小(位置数)状态空间复杂度(状态数)状态树复杂度(叶子结点数)平均游戏长度井字棋(Tic-Tac-Toe)91031059四子棋(Connect4)421013102121翻转棋(Reversi/Othello)641028105858跳棋(Internationaldraughts/Checkers)501030105490中国象棋9010401015095国际象棋(Chess)6410471012370五子棋(Gomoku)22510105107030围棋(Go)3611017010360150六子棋(Connect6)361101721014030常見對弈游戏的状态复杂度對比围棋的状态复杂度為10170那么10的170次方意味著什么呢？21个百亿亿亿亿亿亿亿亿亿亿亿亿亿亿亿亿亿亿亿亿亿這個规模拾分可怕！由于不能将所有状态都遍历壹次，于是AlphaGo使用“蒙特卡罗树搜索”算法(MCTS)先從蒙特卡罗措施開始：假设我們要计算壹种不规则图形的面积。蒙特卡罗措施基于這样的思想：假想你有壹袋豆子，把豆子均匀地朝這個图形上撒，然後数這個图形之中有多少颗豆子，這個豆子的数目就是图形的面积。當你的豆子越小，撒的越多的時候，成果就越精确。AlphaGo

——

什么是蒙特卡罗树搜索(MCTS)？图：计算机蒙特卡罗措施模拟借助计算机程序可以生成大量随机的、均匀分布坐標點，记录出图形内的點数，通過它們占总點数的比例和坐標點生成范围的面积就可以求出图形面积。AlphaGo

——什么是蒙特卡罗树搜索(MCTS)？怎样让计算机“看懂棋局”：AlphaGo中壹种游戏状态的大小是19*19*17。不仅要考虑目前棋盘状态，還要考虑前几次下棋的位置。其中19*19是围棋棋盘的大小,17=8+8+1：1、過去8步的黑棋位置2、過去8步的白棋位置3、目前走棋方(黑棋/白棋)AlphaGo

——

什么是蒙特卡罗树搜索(MCTS)？蒙特卡罗树的壹种結點：對应壹种游戏盘面树节點的子結點：從该状态出发可以产生的後续状态父結點到子結點的边：落子動作每個結點還具有信息N和W：N=結點(動作)被选择的次数W=所有子結點的价值总和价值：获胜的期望值,-1為负,0為平,1為胜。

图：壹棵蒙特卡罗树AlphaGo

——

什么是蒙特卡罗树搜索(MCTS)？蒙特卡罗树搜索的壹次迭代包括四個阶段：选择、扩展、模拟、反向传播（回溯）蒙特卡罗树搜索的壹次迭代选择(Selection)：從目前結點的子結點的中选择U值最大的壹种。 U=f(N,W)扩展(Expansion)：扩展結點，列出所有也許的動作及其游戏状态。模拟(Simulation)：對于壹种节點，多次随机模拟博弈直到决出胜败。用频率替代概率，估算這個子节點的价值W。胜:W:=W+1平:W:=W+0负:W:=W-1蒙特卡罗树搜索的壹次迭代蒙特卡罗树搜索的壹次迭代進行多次模拟後，可以近似认為W/N就是获胜的期望值。反向传播(Backpropagation)：回溯更新父节點到子节點的途径上所有結點的(N,W)值。蒙特卡罗树搜索的壹次迭代AlphaGo等算法中，不壹样于老式MCTS措施的随机模拟博弈，W/N的值由深度神經网络(後述)估算。选择子結點時，除了N,W以外還需要考虑落子概率P。AlphaGo中使用人类专业棋手的棋谱数据训练深度神經网络，落子更靠近于人的思维。而AlphaGoZero和AlphaZero算法中，在進行多次MCTS迭代後，以(子結點N/父結點N)估算落子概率，再以此训练深度神經网络。AlphaGo等算法中MCTS的创新注:图中Q=W/N,U正相有关P/(N+1)(不壹样于前述老式MCTS的U）深度神經网络可以用函数f(s)表达,s表达目前游戏状态。函数f(s)有两個输出:P(落子概率)和W(价值)，按下图的方式应用到MCTS的计算中。根据N,W,P的值，深入选择子結點并迭代。最初使用老式MCTS随机模拟的估算成果来训练深度神經网络。迭代的次数足够後，用深度神經网络的输出替代随机模拟。用深度神經网络预测落子概率和价值的措施比老式MCTS的随机模拟速度更快，效果更好。AlphaGoAlphaGo=深度神經网络+蒙特卡罗树搜索算法||估值网络+走棋网络使得電脑像人类的大脑同样自发學习使得電脑可以結合树状图進行長遠推断AlphaGo——什么是深度神經网络？图：壹种三层构造的简朴神經网络神經网络三要素：输入层隐藏层输出层走棋网络(PolicyNetwork)的输出是19*19+1维向量，表达在19*19的棋盘上每個位置落子的概率，以及目前走棋方(黑棋/白棋)。估值网络(ValueNetwork)的输出是范围在[-1,1]的標量。AlphaGo的估值网络和走棋网络是独立的，并且没有用到残差层。AlphaGoZero、AlphaZero的估值网络与走棋网络共享前面的网络层。AlphaGo等算法的强化學习流程(ReinforcementLearning)（1）自對弈(Self-Play)目前网络自對弈25000局，保留每壹步的游戏状态、MCTS中的結點概率以及最终的获胜者。AlphaGo等算法的强化學习流程(ReinforcementLearning)（2）训练(RetrainNetwork)從500000局游戏中抽取2048個样本。

样本包括上述的游戏状态、MCTS的結點概率以及最终获胜者。

将游戏状态作為深度神經网络的输入。然後将预测输出与实际成果對比，得到损失函数的值。最终，反向传播调整深度神經网络中的参数。AlphaGo等算法的强化學习流程(ReinforcementLearning)（3）评价网络(EvaluateNetwork)调整後的网络与原网络對弈400局。若调整後的网络能赢下至少55%的對局，则接受调整後的网络，并替代原网络。实战环节：做自已的井字棋AI/人机對弈程序19×19的围棋AlphaGo能hold住，哈哈，我的電脑可不行！壹口吃不成胖子，谁叫我們是人工智能小白呢！不如来看看轻量级的人工智能应用——井字棋人机對弈实战：自已動手做井字棋AI/人机對弈程序1、安装python3python3

-V2、安装pygame模块

python3

-m

pip

install

-i

pygame实战：自已動