实习报告模板计算机大作业实验等报告

实习报告模板计算机大作业实验等报告实习报告模板计算机大作业实验等报告 本次实习使用了两种结构的神经网络 一种是普通的将单一像素点 作为一个样本的方法 另一种使用了Pixel pair的方法 详见参考资料 3 在这份报告中 主要细述第二种方法 测试结果为第一种方法的测 试结果 Pixel pair 基本思想是增加卷积神经网络训练过程中的数据量 以期达 到更好的效果 不同于N个像素 将每个作为一个样本 这种方法将N个像素两两组 合 将不同类别的像素组成的pair作为新的一类 第0类 这样一 来 样本的数目扩充为N N 1 2 在测试阶段 根据图像的领域信息 选取测试像素同其周围点组成 的pair作为输入 这时运用投票策略以票数最多的一类作为分类结 果 测试过程中不考虑第0类 第一章开发工具Matlabxxa 32bit Matlabxxb 64bit 第二章相关工 具和开发环境2 1相关工具DeepLearnToolBox Matlab22 2开发环境M atlabxxa 32bit Matlabxxb 64bit 系统Windows7第三章需求分析3 1多维图像3 1 1高光谱图像表示高光谱数据可表示为高光谱数据立 方体 是三维数据结构 高光谱数据可视为三维图像 在普通二维图像之外又多了一维光谱 信息 其空间图像为描述地表二维空间特征 其光谱维揭示了图像每一像 元的光谱曲线特征 由此实现了遥感数据图像维与光谱维信息的有 机融合 1 空间图像维在空间图像维 高光谱数据与一般的图像相似 2 光谱维从高光谱图像的每一个像元中可获得一个 连续 的光谱 曲线 采用基于光谱数据库的 光 谱匹配 技术 可以实现识别地物的 目的 同时大多数地物都具有典型的光谱波形特征 尤其是光谱吸收特征 这些特征与地物的化学成分是密切相关的 3 1 2训练集 测试集训练用数据是一幅标注过每个像素点类别的高 光谱图像 这里是一个三维矩阵 像素点所在列 像素点所在行 类别 测试集是未进行过标注的高光谱图像 第三维是光谱 需要将测试集的第三维作为特征进行训练 在训练用数据里找到其 类别 3 2分类3 2 1分类目标识别高光谱图像中像素点对应的实际物体 即类别 33 2 2分类原理不同物质在不同波段光谱信号下的不同表 现 可以绘制成一条关于光谱波段和光谱值之间的曲线 根据曲线 的差异 我们可以高光谱图像中不同物质进行分类 3 2测试3 2 1测试方法选取测试像素同其周围点组成的pair作为输 入 这时运用投票策略以票数最多的一类作为分类结果 测试过程 中不考虑第0类 将所得类别与标定进行比较得到错误率 3 2 2展示方法计算整个测试集上所有类别中选取一部分进行测试分 类时的错误率 以错误率作为衡量指标 第四章系统分析与结构设计4 1卷积神经网络结构4 1 1系统分析输 入光谱维 特征 从高光谱图像的每一个像元中可获得一个 连续 的光谱曲线 在这里是取了103个波段 并对应相应波段上的强度 输出分类结果 在这里有9类 分类结果为softmax之后对应的概率 最大的那一类 44 1 2结构设计4 2 改进 pixel pair结构4 2 1系统分析输入将N个像素两两组合 将不同类别的像 素组成的pair作为新的一类 第0类 输出分类结果 在这里有9类 除去第0类 分类结果为softmax之后对应的概率最大的那一类 54 2 2结构设计第五章详细设计2 1全连接的反向传播算法反向传播 回来的误差可以看做是每个神经元的基的灵敏度sensitivities 灵 敏度的意思就是我们的基b变化多少 误差会变化多少 也就是误差 对基的变化率 也就是导数了 定义如下 第二个等号是根据求 导的链式法则得到的 6因为 u b 1 所以 E b E u 也就 是说bias基的灵敏度 E b 和误差E对一个节点全部输入u的导数 E u是相等的 这个导数就是让高层误差反向传播到底层的神来之笔 反向传播就是用下面这条关系式 下面这条式子表达的就是第l层的 灵敏度 就是 公式 1 这里的 表示每个元素相乘 输出层的神经元的灵敏度是不一样的最后 对每个神经元运用delta 即 规则进行权值更新 具体来说就是 对一个给定的神经元 得到它的输入 然后用这个 神经元的delta 即 来进行缩放 用向量的形式表述就是 对于第l层 误差对于该层每一个权值 组 合为矩阵 的导数是该层的输入 等于上一层的输出 与该层的灵 敏度 该层每个神经元的 组合成一个向量的形式 的叉乘 然后得到的偏导数乘以一个负学习率就是该层的神经元的权值的更 新了公式 2 对于bias基的更新表达式差不多 实际上 对于每一个权值 W ij都有一个特定的学习率 Ij 2 2卷积神经网络2 2 1卷积层在一个卷积层 上一层的特征maps被 一个可学习的卷积核进行卷积 然后通过一个激活函数 就可以得 到输出特征map 每一个输出map可能是组合卷积多个输入maps的值这里M j表示选择的输入maps的集合 那么到底选择哪些输入maps呢 有选 择一对的或者三个的 但下面我们会讨论如何去自动选择需要组合的特征maps 每一个输出map会给一个额外的偏置b 但是对于一个特定的输出map 卷积每个输入maps的卷积核是不一样的 也就是说 如果输出特征map j和输出特征map k都是从输入map i中卷积求和得到 那么对应的卷积核是不一样的 2 2 2子采样层对于子采样层来说 有N个输入maps 就有N个输出ma ps 只是每个输出map都变小了 7down 表示一个下采样函数 典型的操作一般是对输入图像的不同nxn的块的所有像素进行求和 这样输出图像在两个维度上都缩小了n倍 每个输出map都对应一个属于自己的乘性偏置 和一个加性偏置b 2 2 3Softmax softmax loss计算对应于一个输入计算出了它属于每一个类别的得分数值 然后再用sigmoid函数把所有的得分数值映射成一个概率值 有了概 率值之后loss的计算就是对最终正确分类所占的概率求一个LOG值 2 3pixel pair2 3 1训练pair将每个作为一个样本 这种方法将N个像素两两 组合 将不同类别的像素组成的pair作为新的一类 第0类 2 3 2 测试pair选取测试像素同其周围点组成的pair作为输入 这时运用 投票策略以票数最多的一类作为分类结果 测试过程中不考虑第0类 8第六章程序编码附件源程序第七章测试与运行迭代次数131050 xx00 0正确率0 111110 652220 804440 915560 945560 95556第八章开 发技术总结根据摘要提到的第一种方法的结果来看 正确率达到95 5 超过目标值 92 但是第二种方法由于计算量过大 实验过 程中只测试了在迭代10次情况下的结果 75 左右 9在实验过程中其实发现MATLAB不是一种做机器学习的好语言 只是 比较简单和容易理解一些 但是计算量却是很大 计算过程中太多 的循环嵌套 并且难以优化 所以用Python会更好一些 同时 调参数也是一个很麻烦的过程 在不同的网络结构下 迭代1 0次的效果大不相同 但是仍然没有找到更好的寻找合适参数的办法 在这次试验中是经过多次试探寻找的网络结构 迭代次数 学习 率等的 参考资料 1 Matlab帮助文档 2 GitHub DeepLearnToolBox s github rasmusbergpalm DeepLearnToolbo x 3 blog csdn zouxy09 article details 9993371 4 blog csdn u013007900 article details 51428186 5 Li W Wu G Zhang F et al Hyperspectral ImageClassification UsingDeep Pixel Pair Features J IEEE Transactionson Geoscience Remote Sensing xx PP 99 1 10 实习总结这次试验虽然结果成功了 但是过程不太满意 实验的 结果是在第一周就完成了 但是想要实现老师推荐的一种更好的算 法 却最终没有得到满意的结果 也导致一些后续的展示工作做得 不太整洁美观 其实在做pixel pair之前就应该向老师和助教请教清楚 而且自己也应该多思考一 些 这种方法的优点是大大增加了数据量 相应的也应该预想到计 算量将很大 如果总结一下第一个星期做的N实验就可以知道 网络模型的选择 各个参数的调整都需要进行长时间的运行 因此也就应该提前准备好使用C