之模型稳定性报告1介绍

——BIN

YU(2013)主讲人：林毓聪什么是稳定性？直观来说，对于同类等量的样本而言，模型预测值与真实值的相关程度或误差大小波动越小，就说明这个模型的稳定性越强。能给出更严格的定义吗？稳定性的衡量标准考虑模型预测值与观测值的：偏差（一范数）方差（二范数）相关系数……为什么要有稳定性？

为了模型的广泛适应性(Widely

used)

为了不稳定数据的预测(e.g.high-dim

data)

为了科学实验的复现性(Reproducibility)回忆下Lasso一张图理解LASSO什么是Lasso+CV?CV：cross-validation(交叉验证)(P1488.3；P1490-1491

part4)Lasso+CV步骤：给定λ，把样本分成V-1训练集与1个测试集，通过V-1个训练集带入Lasso，得到将放入测试集得估计值V个集合轮流做测试集，共得到V个预测值

(k=1,2…V)取方差即可得到平均预测误差什么是Lasso+CV?取最小的预测误差的λ为模型的平滑参数把该λ带入模型，对整体参数求解

，得到最终模型。Lasso+CV不稳定？

据说这式子不稳定据说这个式子很稳定：为什么呢？——读心电脑的核心科技——视路建模

什么是视路(visual

pathway):

(P1486.3)

光反射入眼球产生视觉信号

视觉信号被视网膜记录在案

信号通过中转站(LGN)被传输到初级视觉皮层V1

然后传到V2和V4

于是我们希望建模，通过收集到部分数据即可知道你心中所想的三维动图(movie)Voxel（体素[vɔk'səl]）

一个体素约为，有几千个非干扰的神经元。(P1487.4；P1492.4)

一个体素需要由多个特征特征features决定，可以被表示成26000维的向量。

即：Voxel=c(Feature1,F2,F3……Fp)

feature=c(位置,方向,滤器频率,观测间隔)

若能找到一个模型，stModel

(F1,F2……Fp)

体素体素预测模型建立(encoding

model)对于每一个给定的体素：给定λ，把样本分成V-1训练集与1个测试集，通过V-1个训练集带入Lasso，得到将

放入测试集得估计值V个集合轮流做测试集，共得到V个预测值

(k=1,2…V)取方差即可得到平均预测误差取最小的预测误差的λ为模型的平滑参数把λ带入Lasso模型求解

，得到最终模型(

,

)预测结果呈现（一）：预测结果呈现(二)：由图中可以看出，CV与ESCV的预测值与真实值的相关系数差距不大根据精确计算，CV.corr=0.506，ESCV.corr=0.499，仅差距1.3%预测结果呈现（三）：但是对于每个体素而言，ESCV’s

model

size显著小于

CV的Model

size精确计算发现，ESCV.ms=24.3

features；CV.ms=58.8features

，减小了60%如何理解该实验蕴含的稳定性？

ESCV需要的features更少，也就是说更少的信息量就能达到同样精度的预测，因此ESCV在现实中的再现性会比CV更稳定，从而验证了

ESCV+Lasso比CV+Lasso更稳定本论文总结

这篇论文主要做了三件事：

1、figuring

out

how

vision

works

2、developing

a

λ

selection

method

forLasso

3、high-dim

dataanalyzing(未提及)

These

three

problems

are

tied

together

bystability什么是统计稳定性？

Stability

ina

broad

sense(在广义上)includes：

Reproducibility(再现性),

repeatability(可复制性),

and

allowed

data

pertur-bation.

(我们认为数据并不仅仅来源于已抽取的样本中，更存在一个潜在的分布或其他实验室的重复试验，因此可以认为可忍受的数据扰动也是稳定性的一种体现形式)

stability

is

a

general

principle(一般准则)onwhich

to

build

statistical

models

for

different

purposes为什么需要稳定性

高维模型需要稳定性：高维数据自身的不稳定因素常常会对模型稳定性提出