BoxCox 变换方法及其实现运用

1、Box-Cox变换方法及其应用，主要内容，Box-Cox变换，Box和Cox在1964年提出的变换，可以使线性回归模型在不损失信息的情况下满足线性、独立性、方差齐性和正态性。这种转换称为BoxCox转换。此后，对其进行了推广和改造，扩大了其应用范围。在线性回归过程中，一般的线性模型假设：线性、独立性、方差齐性和正态性，E(Y)是x中各变量的线性函数，相互独立，服从正态分布，应用前提是，在处理实际的经济和社会问题时，由于建立回归模型时的海量数据和单个变量的系数比较混乱，例如，由于生物医学数据的特殊性， 不可观测误差可能与预测变量有关，不服从正态分布，这给线性回归最小二乘估计系数的结果带来误差。

2、为了满足上述四个条件而不丢失信息，有时需要改变数据形式，于是Box-Cox变换得到了广泛的推广。非正态数据的不同处理方法和比较，常用的数据转换方法本方法坚持正态假设，通过各种数据转换函数将非正态数据转换为正态数据，如原始测量值为，转换后的对应值为。常用的几种数据转换方法有：对数转换：平方根转换：倒数转换：平方根后倒数：平方根后反正弦：乘方转换：其中，表中的参数、数据来自郝，通过大量反复实验，得出以下规律：P值0.003视为平方转换的边界点。如果正态检验得到的P值大于0.003，可以通过平方变换实现归一化，否则很难通过平方变换实现归一化，其他转换方法往往达不到归一化的目的。在上述问题下，当p值小

3、于0.003时，普通的数据转换方法很难对其进行归一化，因此利用Box-Cox变换方法对原始数据进行归一化是很有价值的。当p值大于0.003时，两种变换方法都可以使用，但普通的平方变换优先。Box-Cox变换和逆变换公式，Box-Cox变换是对反应变量Y进行变换，而变换公式是：逆变换公式是：显然，Y的Box-Cox变换是一个变换族，具体的变换形式是由变量参数决定的，并且当变换是对数时。广义Box-Cox转换公式在前面的转换中使用了log(y)，因此必须输入y0。然而，对于一般数据，任意值Y的Box-Cox变换可以使用以下公式：其中，参数c是使g的默认值为1，或者它可以作为Y的几何平均值.显然，参

4、数c的值已经确定，公式中需要估计的参数是。对于简单的处理，我们通常假设反应变量y0。比较两个公式，通过对比Box-Cox特殊变换公式和数据变换公式，可以发现Box-Cox特殊变换公式是数据变换，但在形式上有所改进。当，当，当，当，比较两种转换方法的优缺点，并保持原始数据集中数据的大小顺序。也就是说，变换函数应该是严格递增的函数，以确保在数据变换后，在原始尺度下相对较大的数据在新尺度下仍然相对较大，但是数据之间的相对距离被改变为连续函数，这确保原始数据在变换后仍然相对接近彼此相对接近的数据，至少接近在新尺度下可导出的函数。变换函数族中没有尖锐的“拐角”，函数族中的所有函数都随着参数的变化而平滑过

5、渡，并且它们都经过一个公共点，以增强不同函数之间的可比性。通过比较两种变换方法的优缺点，公共点两侧的函数族中各函数的变化趋势具有一定的对称性。除了具有公共点(1，0)之外，函数族的所有曲线都以相同的方向通过公共点，即在(1，0)点相同。公共点附近的函数图像几乎与函数族的曲线一致，函数族的曲线根据P值排序，对应于较大P值的函数曲线位于较小P值之上。Box-Cox变换，将上述Box-Cox变换公式应用于因变量的n个观测值，得到变换向量，即确定变换参数的值，使新向量满足要求，也就是说，通过对因变量的变换，变换向量与回归自变量具有线性依赖关系，误差服从正态分布，而每个误差都是等方差且相互独立的。参数确

6、定法、最大似然估计的贝叶斯法、Box-Cox变换软件：SAS、STATA、Minitab、最大似然法估计参数，因为，上述公式的似然函数分别微分，且导数函数为0，从而得到最大似然估计：将最大似然估计值带入第一步的公式中，并得到似然函数的最大值：为便于计算， 寻求并获得参数的最佳值，参数估计步骤，1对于给定值，计算，2使用最大似然估计公式找到一系列值，绘制一条随变化的曲线，并获得最佳值。案例分析，回归分析，根据原始数据，Box-Cox变换参数估计结果，Box-Cox变换回归分析，经过正态性检验，一组服从f分布的随机数可以判断为不服从正态分布，检验统计量为0.1234，临界值为0.089，检验P值为0.001。一组服从f分布的随机数，经过正态性检验，检验统计量为0.0520，临界值为0.089，检验P值为0.50。结论：利用Box-Cox变换后的数据得到的回归模型优于变换前的模型，变换后的模型性能更好。采用Box-Cox变换后，残差能够更好地满足正态性和独立性的假设，降低伪回归的概率。一般来说，利用Box-Cox变换族可以保证数据的正常变换，但在二元变量或少量水平变量的情况下，不能成功地进行变换。此时，我们可以考虑使用广义线性模型，如LOGUSTICS模型、Johnson变换等。结论：数据转换不一定能达到我们预定的目标。没有数学原理