TensorFlow超参数及其调整

1、Tens orF low超参数及其调整正如你目前所看到的，神经网络的性能非常依赖超参数。因此，了解这些参数如何影响网络 变得至关重要。常见的超参数是学习率、正则化器、正则化系数、隐藏层的维数、初始权重值，甚至选择什 么样的优化器优化权重和偏置。超参数调整过程1.调整超参数的第一步是构建模型。与之前一样，在TensorFlow中构建模型。2添加一种方法将模型保存在model_file中。在TensorFlow中，可以使用Saver对象来 完成。然后保存在会话中：.,. saver - t f . t rain Saver (， with tf,Session () as sess ;ttDoth

2、e training stepssave_path - saver * save(sees f/tmp/model * ckp t) prinu (Model saved Ln file; s,h % 5ave_ path确定要调整的超参数，并为超参数选择可能的值。在这里，你可以做随机的选择、固定间隔 值或手动选择。三者分别称为随机搜索、网格搜索和手动搜索。例如，下面是用来调节学习率的代码:Random Choice: generate 5 random values of learning rateLying between 0 and 1l.a tr i ng_rate = np . ta

3、ndom. rand ( 5)#Grid Search: generate 5 values starting from 01 separated b/0,2learr.ing_rate = ( i for i in npgrange (0 , Lf 0.2)#Manua1 Search: give any values you seem plausible manually learninc_rate = 0 - 5； 0.6 f 0.320-7/ 0,01选择对损失函数给出最佳响应的参数。所以，可以在开始时将损失函数的最大值定义为best_loss （如果是精度，可以选择将自己期望得到的准

4、确率设为模型的最低精度：best_loss = 2# It can be any number, but it would be better if you keep it same as the 1oke you achieved from your base mode 1 defined in steps 1 and 2把你的模型放在for循环中，然后保存任何能更好估计损失的模型:., # Load and preprocess data,. 甲 H/perparametersTuninq epochs = 50r 60, 70batches - 510, 20rmse_min = 0.0

5、 4fQt epoch in epochs:for batch in batcPies：model = get_mcdel()model . compile (loss= Tmen_sqi4ared_er rotT f opt inizer = hada肌 )model fit (X_crainf y_train# validat(X_匚y_test) , epochs-epoch r batch_si ze=batch verbose- )y_test_pred = model.predict CX_test)rmse = mean_squared_error( y_test； y_te5t_pred )1 rn)se rEnse_min trmse_itin = rmsef serial!ze model to JSONmodei_json = modelto_json owith open (model json*1, ttw11) as json f iletjson_file * write(model_json)# seria