CFA考试投资分析的数量方法(投资工具)

第五章：正态概率分布Chapter Common Probability Distributions本章简介（Introduction）P226本章的内容，是四种概率分布及它们的应用，即： the uniform； the binomial； the normal； the lognormal。本章的其他数量工具： Hypothesis testing； regression analysis；time-series analysis。不连续的随机变量（Discrete Random Variables）P227 定义和解释概率分布（Probability Distributions）概率分布（Probability Distributions），即将随机变量可能结果的概率予以特定。每个随机变量都有描述它的概率分布，概率分布的方式有两种： 概率函数（probability functions）。 累积分布函数（cumulative distribution functionsdistribution functionscdf 区别：连续的随机变量和不连续（discrete）的随机变量随机变量，是一个未来结果不确定的数。随即变量有两种类型：不连续的随机变量（discrete random variable）、连续的随机变量（continuous random variable）。变量的结果能予以历数（个数有限）的随机变量，为不连续的随机变量。 描述某特定变量可能结果的集合 定义一个概率函数（Probability function）并说明它的关键特征概率函数的表示方法是：P（X x），它表示随机变量的值为x的概率。不连续随机变量的概率函数，可以缩写为p（x）；连续随机变量的概率函数用f（x）表示，称之为概率密度函数（Probability density functionsdensitypdf）。概率函数有两个关键特征： 0p（x）1； 随机变量X所有值的概率的总和等于1。 定义概率密度函数（Probability density function） 定义累积分布函数（cumulative distribution function）并根据累积分布函数计算随机变量的概率累积分布函数（cumulative distribution functionsdistribution functionscdf），表示随机变量的结果位于某一范围的概率。cdf函数的功能相当于累积相对频率。连续的或不连续的随机变量的结果的累积概率分布，可以记作F（X） P（Xx），或F（X） P（x1Xx 2），或F（X）P（Xx）。累积概率函数（cdf函数）的特征： 0F（x）1； 随着x的增加，cdf函数或增加或保持不变。不连续的单项分布（The Discrete Uniform Distribution）P228 给定不连续的单项分布（a discrete uniform distribution），定义不连续的单一随机变量并计算概率单项分布（Uniform Distribution），即随机变量所有可能结果的概率都相等。单项分布的应用： 它是为其它概率分布产生随机数以作为随机观察对象（random observation）的基础； 它可以用来描述结果概率相等的随机变量。贝诺里分布（The binomial Distribution）P230 给定贝诺里概率分布（binomial Probability Distributions），定义贝氏随机变量（Bernoulli Random variable）并计算概率 贝诺里（Binomial）分布的功能贝诺里（Binomial）分布的功能：描述有两项可能结果的随机变量的每一项结果的概率分布。其模型是：两项选择的价格模型（the binomial Option Pricing Model，BOPM），即价格的上升或价格的下降。 贝氏随机变量（Bernoulli Random variable）贝诺里分布的建构元素是贝氏随机变量（Bernoulli Random variable）。假定某个能重复进行的试验有两个可能的结果，每次试验产生的结果必为其一，这样的试验称为贝诺里试验（Bernoulli trial）。在结果为成功时，则Y1；在结果为失败时，则Y0，则贝氏随机变量Y的概率函数为：p（1） p（Y1） pp（0） p（Y0） 1 p 贝诺里随机变量（binomial Random variable）对n个贝诺里试验，有0n个“成功”。如果单个贝诺里试验的结果是随机的，则n个贝诺里试验的结果为“成功”的总数也是随机的。定义贝诺里随机变量X为n个贝诺里试验中结果为成功的总数。用“Yi”表示第i个贝诺里试验的结果为“1”或“0”（i 1，2，n），则：X Y 1Y 2 Y n 。贝诺里随机变量由参数p和n定义。p即每次试验结果为“成功”的概率；n贝诺里试验的次数。对贝诺里分布，可作有如下假设： 对所有贝诺里试验，结果为“成功”的概率是一个常数； 贝诺里试验相互独立。因此，贝诺里随机变量X可以完全用两个参数描述，即X B（n，p）。贝氏随机变量Y是n 1的贝诺里随机变量的值，即：Y B（1，p）。 贝诺里随机变量X B（n，p）的概率函数P（X = x）的表示公式：p（x） P（Xx）nC xp x（1 p）n x nC x n！x！（nx）！ X是贝诺里随机变量，表示n个贝诺里试验中的“成功”的总数；Xx，是这n个贝诺里试验中成功的总数等于x。 p（x）和P（X x），表示n个贝诺里试验中，成功的总数等于x的概率。 nC x是在n个贝诺里试验中有x个成功的排列方式的数目。 p，是单个贝诺里试验的结果为成功的概率；（1p），是单个贝诺里试验的结果为不成功的概率。 p x（1 p）n x，是每一个排列都具有的概率。 贝诺里随机变量概率函数的形状当单个贝诺里试验的结果为成功的概率p50%时，贝诺里分布式对称的。若p50%，则贝诺里随机变量概率函数的图像就具有偏向性。 当p 50% 时，概率函数的会向右偏（right-skewed），即图像的右部有较长的尾巴； 当p 50% 时，概率函数的会向左偏（left-skewed）。对同一贝诺里随机变量有p1、p2，如果p1p2 1，则它们的图像呈镜像对称。 贝诺里随机变量（bernoulli Random variable）的预期值和方差贝诺里随机变量（bernoulli Random variable）的预期值和方差Mean（weighted average）VarianceBinomial，B（1，p）pp（1p）Binomial，B（n，p）npnp（1p）Binomial，B（5，0.5）2.5（即5p）1.25即5p（1p）Binomial，B（5，0.1）0.5（即5p）0.45即5p（1p）连续的随机变量分布（Continuous Random Variables）P240 给定连续的单项分布（a continuous uniform distribution），定义连续的单项随机变量并计算概率连续的单一分布（Continuous Uniform Distribution） 连续的单项随机变量的概率密度函数（pdf）： 1（ba） （axb）f（x） 0 其他值 连续的单项随机变量的累积概率函数（cdf）： 0 （xa）F（x）= （xa）（ba） （a x b） 1 （xb） 计算概率密度函数f（x）在定义域（axb）上的面积（即累积概率值）的数学方法是，对函数f（x）从a到b积分（integral），即：P（axb）ab f（x）dx可以用上述等式对（，）范围内的任意两个实数求积分。因为连续随机变量的值是无限的，所以，连续随机变量的值等于任一定点的概率为0。这对计算连续随机变量的累积概率函数（cdf）有重要意义：对任何连续的随机变量X，有P（axb） P（a xb） P（ax b） P（a xb）。当axb 时，f（x）1/（ba）表示的是连续随机变量在区间axb的平均概率。正态分布（The Normal Distribution）P243 解释正态分布的关键特征 描述正态分布的两个参数：平均值（Mean）和方差（ 2）或标准差。正态分布可以表示为：X N（ ， 2）。 正态分布的下述参数值：偏向性（skewness）0；峰度（kurtosis）3，剩余峰度（excess kurtosis） 0。正态随机变量的平均值（mean）、中值（median）、众数（mode）都相等。 两个正态随机变量的线性叠加（linear combination），还是正态分布。 区别：单变量（univariance）分布和多变量分布（multivariance）单变量分布（univariate distribution），描述单个的随机变量；多变量分布（multivariate distribution），描述的是一组随机变量的概率。当我们有一组资产时，我们可以将每一项资产的收益分布分别模型化，也可以将这些资产作为一组（as a group）来将它们的收益分布模型化。作为一组，即考虑收益系列之间的统计关系，其中经常使用的模型就是多变量的正态分布（multivariate normal distribution）。n种证券的收益的多变量正态分布，可以用三个参数予以定义： 单个证券收益的平均值（mean）的清单； 证券收益方差的清单； 收益的所有互不相同的相关系数（correlations）的清单，共n（n-1）/2个。与单变量正态分布相比较，相关系数（correlations）是多变量的正态分布的区别特征之一。 解释相关系数在多变量正态分布中的作用 定义标准正态分布（standards normal distribution）并解释如何使随机变量标准化 正态分布的概率密度函数（pdf）的表达式（ x ）：f（x） exp （x ）22 2 （ 2 ）当 0，1 时，该正态分布称之为标准（standard）正态分布或单位（unit）正态分布。对于正态分布，标准差（）越大，其相对于平均值的分布就越分散。利用标准差，我们能够对任何正态分布的结果的分散性作出概率报告： 大约有50%的观察对象，在区间 （23）的范围内； 大约有68%的观察对象，在区间 的范围内； 大约有95%的观察对象，在区间 2的范围内； 大约有99%的观察对象，在区间 3的范围内。 随机变量的标准化标准正态随机变量用Z N（0 ，1）表示。将随机变量 X N（ ， 2）标准化的公式：Z （X ）随机变量Xx 0 对应的标准正态随机变量Z z0 （x 0 ）/ 。其意义是：对X N（ ， 2），随机变量的值小于或等于x 0的概率，正好等于标准正态分布Z N（0 ，1）中随机变量的值小于或等于z0的概率z0（x 0 ）。即：对X N（ ， 2）有P（Xx 0）；对Z N（0 ，1）有N（Zz0）。当z0（x 0 ）时，则P（Xx 0）N（Zz0）。 呈正态分布的随机变量的信置区间（confidence intervals） 正态随机变量X的确切信置区间（confidence intervals）： P（ x1.645s X x1.645s） 90%；x（也记作）为样本平均值；s（也记作）为样本的标准差。 x和s是店测算（point estimates）。 P（ x1.96s X x1.96s） 95%； P（ x2.58 s X x2.58s） 99%； 使用标准正态分布（standards normal distribution）计算概率 标准正态随机变量累积分布函数表N（x）的使用。比如查找P（Z0.24）的值（即变量Z的值小于或等于0.24的概率），其步骤：在表的第一纵栏找到0.20，在表的第一横栏找到0.04，两者对应的值即为要找的概率。【例】 P（Z 1.282） 90% ，它表示有10%的值在图像的右边尾部，并且，P（ x1.282s X x1. 282s） 80%。 P（Z1.645） 95%，它表示有5 %的值在图像的右尾部，或有10 %的值在90%的信心区间之外（即左右两边尾部各有5 %的值在90%的信心区间之外）。 了解下列关系，有助于我们使用累积分布函数N（x）表： 当x0时，x右边的分布概率P（Zx）1.0 N（x）； 对负数x，有：N（x）= 1.0 N（x）。因为：x右边的分布概率和面积，等于x左边的分布概率和面积，即：P（Zx） N（x）或P（Zx）。正态分布的应用（Application of the Normal Distribution） 平均值方差分析法 平均值方差分析法（mean-variance analysis）平均值方差分析法，将整体的收益分布概括为平均值和方均差，进而对投资决策进行评价。 将新资产加入到投资组合中，为了实现获利须满足： E（R new）R f new Corr（R new，R p） E（R p）R f p即：新资产的“夏普比”，要大于投资组合p的“夏普比”与新资产和投资组合P的相关系数的乘积。 马克维茨决策规则（Markowitz decision rule）。对于资产A和B，投资者选择A而不选择B，其决策依据是： A的平均收益等于或大于B的平均收益，而A的收益的标准差更小； A的平均收益大于B的平均收益，而A与B收益的标准差相等。 定义亏空风险（shortfall risk）亏空风险（shortfall risk），即在某段时间投资组合的价值会下降到能够接受的最低水平以下。如：某个已经界定收益计划的资产的价值下降到计划的债务之下，即为亏空风险（shortfall risk）。 计算安全首位比率（safety-first ratio）并利用罗伊的安全首位标准选择最佳投资组合安全首位规则（Safety-first Rules），作为评估价值下滑风险（downside risk）的方法，关注的是亏空风险（shortfall risk）。假定R L 是投资者能接受的最低收益水平。按照Roy的安全首位标准：最优化的投资组合，就是能够使该组合的收益R p下降到临界水平R L以下的概率最小化的投资组合，即：PR p R L为最小值。当投资组合收益是正态分布的，我们使用标准方差能计算出PR p R L。投资组合的期望收益为E（R p），则单位标准差的E（R p）R L最大时，投资组合的PR p R L最小。E（R p）R L是平均收益（mean return）到亏空标准的距离。用SFRatio表示安全首位比率（safety-first ratio），则：SFRatio = E（R p）-R L/ p应用Roy标准，对投资组合进行选择的步骤： 计算投资组合的SFRatio。 根据计算所得的SFRatio值评估标准正态累积分布函数（cdf）。收益值小于R L的概率就是N（SFRatio），即：P（R p R L）N（SFRatio）=1N（SFRatio）。 选择上一步中概率最小的投资组合。SFRatio与“夏普比率”的差别在于R L和R f（无风险收益）。安全首位规则为“夏普比率”提供了一个新的角度：在使用夏普比例评价投资组合时，假定投资组合收益是正态分布的，则夏普比率高的投资组合，是使投资组合收益小于无风险收益的概率最小的投资组合。 对数正态分布（lognormal distribution）和正态分布的关系 对数正态分布的概述对随机变量Y，如果它的自然对数Y为正态分布，则Y为对数正态分布；反之亦然。对对数正态分布，有两点值得注意： 它的下界由0界定； 它偏向右边（即它的右边由一个长的尾巴）。假定Y是对数正态分布的，则对数正态分布的两个参数是：Y的平均值和方差（或标准差）。这样就有两套平均值和标准差（或方差）：正态分布的平均值和标准差（或方差）；对数正态分布自身的平均值和标准差（或方差）。 求对数正态分布自身的平均值和标准差（或方差）假定正态随机变量X有预期值 和方均差 2。定义：Yexp（X）e x，Y是取对数的逆运算，即YX。X是正态随机变量，而Y是对数正态变量。则： Y的预期值是exp（ 0.5 2），即E（Y） exp（0.5 2）。其原因：对数正态分布扩展了，它能向上扩展但是不能向下扩展超过零，因此，分布的中心向右边移动，即增加了平均值。 对数正态分布自身的平均值（L）和方均差（L2）的计算公式：L exp（ 0.5 2）L2 exp（2 2）exp（ 2）1 21区别：收益的连续复利和不连续复利 股票收益分布和股票价格的关系如果股票的连续复利收益率（continuously compounded return）是正态分布的，则将来的股票价格必定是对数正态分布的。同样重要地，即使股票的连续复利收益不是正态分布的，因为中心限制理论（central limit theorem）的作用，股票的价格也可用对数正态分布来描述。 连续复利收益率与持有期回报率（holding period return）的关系假定股票价格的一系列观察对象S0，S1，S2，ST ，是等间距的。现在的股票价格S0是一个确定的数（不是随机变量），而股票的未来价格却是一个随机变量。价格比（St+1 S t），等于1加上持有期回报率，即：S t+1S t 1R t+1，t 。连续复利收益率，是与持有期回报率（R t+1，t）相伴随的一个重要概念。连续复利收益用r t+1，t表示，则根据EAR e rs 1可得（EAR effective annual rate即R t+1，t），在期间t到t+1内，两者的关系是：r t+1，t （St+1 S t）（1R t+1，t）在期间0到T内（T-horizon），连续复利收益率与持有期回报率HPR的关系是：r0, T （S T S 0） rT，T1 rT1， T2 r0,1因此，S T S 0 exp（r 0, T）。 独立的同一分布（IID，independently and identically）独立的同一分布含义。 独立，指投资者不能根据过去的收益预测未来的收益； 同一就是假定静止。假定单个期间的连续复利收益率rT，T 1，是平均值为、方差为 2的IID随机变量，则在0到T期间内连续复利收益率r0, T的期望值为：E（r0, T） E（rT，T 1） E（rT 1， T-2）E（r0,1） T 2（r0, T） 2T 比较S T S 0 exp（r0, T）和Y exp（X），我们可以将未来股票价格S T的模型作为对数正态随机变量。因为，r0, T至少应该是近似的正态随机变量。22给定持有期回报率HPR，计算收益的连续复利23解释蒙特卡洛模拟和历史模拟，并说明它们的应用和局限性 蒙特卡洛模拟的简介蒙特卡洛模拟的要旨，在爬梯之前要做的最后一件事，就是摇动梯子。就像摇动梯子让我们接近爬梯的风险一样，蒙特卡洛模拟让我们在实施一项政策前，对其进行试验。其目的，就是发现对复杂的金融问题的近似解决方法。作为蒙特卡洛模拟整体的一部分，就是通过各种各样的假定，从概率分布中产生大量的随机样本，以模拟各种可能的风险。蒙特卡洛模拟的应用： 在实施一项政策或投资决策前，对其进行试验；评估处于风险中的价值（Value at Risk）； 对复杂的证券估价； 研究院用以测试他们的模型和投资工具。 蒙特卡洛模拟的步骤。 根据基础变量，明确规定感兴趣的问题的数量（Specify the quantities of interest in terms of underlying variable）。 明确规定时间坐标（Specify a time grid）。 对产生前在变量的风险因素，明确规定其分布假说（Specify distributional assumptions for the risk factors that drive the underlying variables）。 使用计算机程序或空白表格（spreadsheet）函数，产生每一个风险因素的随机值。 使用上一步产生的随机观察对象，计算基础变量。 计算感兴趣的问题的数量。 返回到第4步重新操作，直到试验的详尽数据完成。 蒙特卡洛模拟，是分析方法的补充。它只提供统计数据，而不能提供精确的结果，而分析方法提供了更深刻的因果关系。 历史模拟（historic simulation，or back simulation），从历史纪录中取样来模拟一个过程。第六章：取样和评估Chapter Sampling and Estimation本章简介（Introduction）本章的主题：是如何取样？以及如何利用样本信息估算群体参数？取样的核心是中心限制理论和估算（central limit theorem and estimation）。取样（Sampling） 定义样本随机取样（simple random sampling）样本（simple）随机取样，即群体中的所有元素入选的概率都相等。两种随机取样的方法：简单的随机取样（simple random sampling）和分层次的随机取样（stratified random sampling）。两类数据：横截数据（cross-sectional date）和时间系列数据（time-series date）。 定义并解释取样误差（sampling error）取样误差，即统计观察到的值和统计要估算的量之间的差。 定义取样分布（sampling distribution）一个统计的取样分布（sampling distribution），是我们从同一群体中随机抽取规模相同的样本、并对样本进行统计计算，而得出的所有相互区别的可能值的分布。 区别：简单的随机取样和分层的随机取样（stratified random sampling）简单的随机取样（simple random sampling），即样本的获得是任意的，群体中的每一个元素，都有同等的机会被选中。分层次的随机取样（stratified random sampling），即根据一个或多个分类标准，将群体进一步分为亚群体（sub populationstrata）。然后按每一层（亚群体）的相对规模，按比例地抽取简单的随机样本，并将这些样本集中起来。 时间系列（time-series）数据和横向（cross-sectional）数据 时间系列数据，是时间间隔相等地、不连续地收集到的一系列数据。横截数据，是在某一时间点上的个体、团体、地区或公司的特征的数据。样本平均值的分布（Distribution of the sample mean） 说明中心极限定律（central limit theorem）并说明它的重要性假定任一概率分布描述的群体有平均值 和限定的方差2，当我们从群体中抽取规模为n的样本以计算样本平均值x时，如果n足够大（n 30），则可得： 样本平均值x的取样分布是近似的正态分布； 该取样分布的样本平均值x ，方差2x 2n 。中心极限理论： 能估计群体的平均值； 样本统计的标准差，就是统计的标准误差（Standard Error of Statistic）； 能够建构信心区间和测试假定。 计算和解释样本平均值的标准差（standards error）样本平均值的标准差s x（Standard Error of Statistic）的定义。样本统计的标准差（Standard deviation），就是统计的标准差（Standard Error）。因此，样本平均值x的标准差（Standard Error）的计算公式有二：x n ；或s x s n 。 ns2 （x i x）2 （n1） i1群体平均值的点估算和区间估算Point and Interval Estimates of the Population Mean 鉴别和描述估算公式的必要特性（the desirable properties）估算公式（Estimatorsestimation formulas）和估算值（estimate）。估算值是我们使用估算公式对样本观察对象进行计算所得出的特定值。估算值和估算公式的区别：从群体中抽取不同的样本进行重复的抽样统计时，估算公式会产生不同的结果（即估算值）。 公正性（unbiasedness）。一个公正的估算公式，就是它的预期值（即取样分布的平均值）正好等于它要评估的参数。 有效性（efficiency）。如果某个公正的估算公式是有效的，则除了该公式外，再没有另外一个公正的估算公式，就同样的参数得出具有更小方差的取样分布。 一致性（consistency）。如果估算公式具有一致性，则随着取样规模的增大，准确的估算值（接近群体参数值的估算值）的概率也会增加。即随着取样规模无限扩大，估算值的取样分布越来越集中于我们要估算的参数的值。这三个特征，也是选择估算公式的三个标准。 区别群体参数的点估算（a point estimate）和信置区间估算（a confidence interval estimate）对平均值或其他参数的关注，集中于两个问题： 假定测试。它针对的问题是“参数值是等于某个特定值吗？” 估算（estimation）。它针对的问题是“参数的值是什么？”估算包括：点估算（a Point Estimates）和信置区间估算。 点估算（a Point Estimates）按照样本平均值计算而得的群体参数的单个估算值，称之为平均值的点估算。 群体平均值的信心区间（Confidence Intervals for the Population Mean） 信置区间的定义信置区间，即我们能够以给定的概率1（信置度）肯定该区间包括了它要测算的参数。这个区间称为该参数的（1） 信置区间。信置区间对参数给出概率解释或实践解释。 按照概率解释，例如群体平均值95%的信置区间表示，在重复取样中，在长远上，有95%的这样信置区间将包括群体平均值。 按实践解释，我们有95%的信心肯定单个该区间（95%的信置区间）即能够包括群体平均值。 信置区间的建构（Construction of Confidence Intervals）参数的（1）% 信置区间的结构：点估算值 信赖因素 标准误差（Point estimate Reliability factor Standard error）。点估算值（Point estimate），即一个样本统计的值；信赖因素（Reliability factor），是以点估算值的假定分布和信置度（1）为根据的一个数据；标准误差（Standard error），是提供点估算值的样本统计的标准误差。 描述t- 分布的特征（Students t- distribution） t分布（t -Distribution），是由单一参数即自由度df（degrees of freedom）定义的一个对称的概率分布。 t分布与正态分布的比较。假定我们从一个正态分布中取样，则比率z（x ）n，是一个标准的正态分布（平均值为0，标准差为1）；比率t （x）sn，则是t分布（平均值为0，自由度为n1）。这个用t表示的比率，不是正态分布，因为它是两个随机变量（样本的平均值和标准差）的比，而标准正态分布的定义只有一个随机变量x。然而，随着自由度的增加，t分布接近于标准正态分布（分布越尖锐、尾巴越瘦）。 计算和解释自由度（degrees of freedom）自由度的概念。对P40计算样本标准差s的公式，分母上的项（n1）就是使用该等式估算群体标准差的自由度数字。使用“自由度”术语其原因为：在随机样本中，我们假定观察对象的选取是互不依赖的。假定计算有n个互不依赖的观察对象的样本的平均值，则只有（n1）个观察对象是可以独立地选择的。（n1）也常常被作为根据t分布（tDistribution）确定信赖因素的自由度。 对群体方差已知或未知的正态分布，计算和解释群体平均值的信置区间 方差已知的呈正态分布的群体的平均值的信置区间从方差为2的正态群体分布中取样，则群体平均值的（1）% 信置区间为：x z / 2 n标准正态分布Z（0，1）信置区间的信赖因素（Reliability Factors）信置区间z / 2= 0.190%的信置区间Z 0. 05 = 1.645= 0.0595%的信置区间Z 0. 025= 1.96= 0.0199%的信置区间Z 0. 005 =2.575随着信置度的增加，信置区间越来越宽，对我们要估算的数据能给出的信息就越不精确。 方差未知的群体的平均值的信置区间的求解 方法一：z替换法（the zAlternative）从方差未知的任何分布的群体中取样，当取样规模较大时，则群体平均值的（1）% 信心区间为：x z / 2 S n 方法二：t分布法（tDistribution）如果从一个方差未知的群体中取样，并且满足下列两个条件中的任一条件的，即： 样本较大； 样本较小但是群体呈正态分布或近似的正态分布。则群体平均值的信心区间可以表示为：x t/ 2 S n计算信赖因素（Reliability Factors）的根据取样的群体样本规模较小的统计样本规模较大的统计方差已知的正态分布zz方差未知的正态分布tt（或z）方差已知的非正态分布Not availablez方差未知的非正态分布Not availablet（或z） 从任何类型的分布中抽取大量的样本，在群体方差未知时，计算和解释群体平均值的信置区间 对选择适当样本规模的问题进行讨论 讨论数据挖掘偏见（date-mining bias）数据窥探偏见（Date-snooping），即以刺探他人经验性结果来引导自己的分析而得出推论所产生的偏见。防止办法：检验新数据，以防止过分依靠过去的研究，来解释发现和得出结论。数据挖掘偏见（Date-mining bias），指重复的钻研同一数据，直至有所发现。数据挖掘偏见的四点迹象：对数据挖掘太多而又缺乏信心（Too much diggingToo little confidence）；没有过去也没有将来（No story No future）。防止的办法是在样本数据之外测试交易规则。 讨论样本选取偏见、现存关系偏见、超前偏见、时间期间偏见。 样本选择偏见（Sample selection bias），即因为数据可获得性的原因，而将某项资产排除在分析之外，由此产生的问题为样本选择偏见。 现存关系偏见（survivorship bias）。如果测试设计没有考虑到已经关闭、被兼并或因其他原因离开了数据库的公司的账户，则属于现存关系偏见。 超前偏见（look-ahead bias）。如果一项测试设计在测试数据上使用了不能获得的信息，则会产生超前偏见。 时间期间偏见（time-period bias）。如果作为测试设计根据的时间期间，使结果在时间期间上特定化，属于时间期间偏见。要注意对取样期间长度的选择。第七章：假定测试Chapter Hypothesis Testing假定测试（Hypothesis Testing） 定义假定并描述假定测试的步骤假定，即对群体的说明。假定测试的步骤（Steps in the Hypothesis Testing）： 提出假定（stating the hypothesis）； 确定测试统计和它的概率分布（Identifying the test statistic and its probability distribution）； 有效度的特定化（Specifying the significance level）； 声明决定规则（Stating the decision rule）； 收集数据和进行计算（Collecting the date and calculating the test statistic）； 做出统计结论（make statistical decision）； 做出经济或投资结论（make the economic investment decision）。上述第、步是假定测试的传统方法，可以用p值（pvalue）方法来替代这些步骤。 定义和解释零假定（null hypothesis）和替代假定（alternative hypothesis）假定的类型有两种： 零假定（the null hypotheses），用H 0表示； 替代假定（the alternative hypotheses），用H a表示。零假定：除非用以进行假定测试的样本有证据表明零假定是错误的，否则该假定就被认为是正确。如果有证据表明零假定是错误的，则将导致替代假定。替代假定，即零假定不成立时的假定。 单边（one-tailed）假定测试和双边（two-tailed）假定测试 假定公式。假定某一群体有参数为，0 为该参数的一个值，对于两者的关系可以通过下列三种方式形成零假定和替代假定： H 0 ：0 对 H a ：0 （不等于替代假定） H 0 ：0 对 H a ：0 （大于替代假定） H 0 ：0 对 H a ：0 （小于替代假定） 公式是双边（two-sidetwo-tailed）假定测试；公式与，是单边（one-sideone-tailed）假定测试。 讨论零假定和替代假定的选择最常用的是“不等于（not equal to）”替代假定，即公式。如果有证据表明参数可能大于0或小于0，则我们可以否定零假定。然而，我们有时要为我们“怀疑的（suspected）”或“希望的（hoped for）”情形寻找支持证据。在此情形，我们可以将替代假定定义为“该情形是真的”，而将零假定定义为“情形的非真”。如果证据支持对零假定的否定并接受替代假定，则我们在统计上可以肯定地认为我们的想法是正确的。注意：“大于”和“小于”替代测试，比“不等于”替代测试更强烈地反映了研究者的确信。为了强调态度的中立性，在有些时候即使单边的替代测试试合理的，研究者也会选择“不等于”替代测试。 定义和解释测试统计（a test statistic）测试统计（Test Statistic）的定义，是根据样本计算得出的数据，它的值是决定支持或反对零假定的根据。一般地，测试假定有如下公式：测试统计 （0）s x为样本统计；0为H 0下群体参数的值（0）；s x为样本统计的标准误差（standard error）。对公式的说明：其他条件不变时，s x 越小，则测试统计越大，否定零假定的概率就越大。而且，取样规模n越大，则s x 越小。测试零假定的测试统计，遵循的概率分布有四种类型： t分布（对t测试）； z分布，即标准正态分布（对z测试）； 卡方分布，即the chi-square（x2）distribution（对卡方的测试）； F分布（对F测试）。 定义和解释误差类别及误差类别（type error） 解释有效度（a significance level）并说明有效度在假定测试中的应用测试统计计算出来后，有两种可能的行为，即：否定或不否定零假定。我们行为的根据是将计算出来的测试统计和特定的可能值进行比较。我们选择的比较值，是以选取的有效度（the level of significance）为根据的。有效度相当于证明标准，它反映了为反对零假定所必要的样本证据。测试零假定时，存在四种可能的结果： 否定错误的零假定，这是正确行为； 否定正确的零假定，这属于类型错误； 不否定错误的零假定，这属于类型错误； 不否定正确的零假定，这是正确行为。否定H 0，只能犯类型的错误；不否定H 0，只能犯类型的错误。我们用表示犯类型I的错误的概率，这个概率就是有效度（the level of significance）；用犯类型II的错误的概率。控制两种类型错误的概率涉及到此消彼长（trade-off）。假定其他量不变，减小则会增加；减小则会增加。同时减小两种类型错误的概率的唯一方法，就是增加样本的规模。在实践中，通常不能对两种类型的错误的此消彼长进行定量的分析，因为，类型II错误的概率很难定量化。通常，我们只能将特定化。 定义测试能力（the power of a test）如果测试的有效度是不正确地否定零假定的概率，那么测试能力（the power of a test），就是正确地否定零假定的概率，即正确地否定错误的零假定的概率。某些情况，不止一个测试统计能够适用于假定测试。如果我们知道这些测试统计的相对测试能力，则在决定使用的测试统计时应选择测试能力最强的统计。为了保证测试的公正性，我们应该在计算测试统计之前确定有效度。在进行假定测试时，通常有三个有效度，即： 0.10、 0.05、 0.10。越小，证明零假定是错误的证据就越强。 定义和解释结论规则（a decision rule）通常的原则可以简述为：在测试零假定时，对于由特定的有效度所决定的给定值，我们将计算所得的测试统计的值与之进行比较，如果我们发现两者同样极端，或者后者比前者更极端，则我们应该否定零假定。如果结果是否定零假定，则可以说该结果在统计上有效；否则，我们只能说该结果在统计上无效。否定点或临界值（rejection pointscritical values）的定义。测试统计的否定点，就是为了决定否定或不否定零假定，而与计算所得的测试统计值相比照的值。对于单边测试，反对点的表示方法是，测试统计的符号（如z、t、F等）和说明错误类型I的特定概率的下标（如反对点Z）；对于双边测试，反对点的表示方法是Z/2。【例】 否定点的应用（以z测试为例，选取0.05为有效度） 对于测试H 0 ：0 versus H a ：0 该测试为有效度是0.05的双边测试，每一个尾巴的零假定测试统计分布，应为0.025的概率。该测试存在正负两个反对点，即：z 0。0 2 5 1.96和-z 0。0 2 5 1.96。若z表示计算所得的测试统计值，则当z -1.96或z1.96时，则应该