【基因数据预处理以及可视化分析案例2400字】

1 1 21.3筛选差异表达基因方法 3 5/inputPermission图3-1文件目录本次实验所使用的数据集是geo(GENEEXPRESSIONOMNIBUS)数据库编号为GSE7846的数据集，该数据集分析了5组来自子宫内膜异位患者的阵列HEECs(内皮细胞)和5组来自无子宫内膜异位患者的HEECs。一共有十个样本信息，从GSM190395到GSM190404,其中前五份样本是患病的基因表达强度信息，后五份样本是正常的基因表达强度信息，GEO数据库中提供的矩阵文件包括了这10列样本的所有数据，如图3-2所示：2"1053_at"106.85279.031692.72485.1264145."117_at"6.921284.087138.8237110.0574.754056.051498.258055.5图3-2原始数据从geo数据库中得到了矩阵数据之后，查看该数据发现不仅有我们实验所需的一个就是SparkSession,通过如下命令可以获取SparkSession:varconf=newSparkConf().setAppName(“spark”).setMaster(“local”)varsparkconf=SparkSession.builder.config(conf).getOrCre据内存操作时都具备很高的灵活性。DataFrame据在分布式系统进行转化，但是RDD却因为没有合适的引擎，所以在面对结构化的数据是就显得比较无能为力。Dataframe的数据结构和RDBMS的表非常相和Cassandra都可以在DataFrame上处理，一般的数据库也可以由DataFrame管在为实验数据生成了相应的DataFrame之后，把数据中与实筛选掉，经查阅，无用信息都在数据的前60行，所以可以用DataFrame的filter方法对数据进行筛选，筛选结果如图3-3所示I"117_at"|6.921283结果就是图上的点基本上都分布在y=x的直线上，取患病列GSM190395和正常列GSM190400做散点图，横坐标代表GSM190395样本的基因表达强度，纵坐标代表GSM190400样本的基因表达强度。结果如图3-4所示：0的数据分析之前，数据归一化(Normalization)这一步操作都是不能省略的，归机梯度下降模型的收敛，提高模型的精度。Spark提供了Normalizer方法对数据进行归一化处理，归一化结果如图3-5所示：[8.09437581745964848,8.18466872411883326,8.11623692651886797,8.11165365224266989,8.11582639784515947,0,87448194945629137,0.8786768497579555,8.11948213385284536,8.1114对具有生物学意义的经济性状或疾病的分子基础研究已不再局限于单个基因的功能分析，而必须识别和分析调控某一性状或疾病的整个基因网络错误!未找到4在早期的筛选差异表达算法中，FC是被提出来中用的比较多的方法之一，据集x₁,正常样本基因数据集x₂,分别计算基因i在各患病样本中的平均表达值(公式3-1)如果FC值大于阈值，则将基因i归类为差异表达基因。阈值可根据研究者的目的设定，如选择2则代表差异表达为2倍以上，以此类推。由于两组比较样更清晰的知道差异情况，通常将FC值做log2转化，如转化后要筛选表达强度为2倍以上则可以设定log₂fc>1。t检验法是一种用于发现两组样本的差异表达基因的统计推断技术，通常用n₂个正常样本。那么对于基因i,计算t统计量如3-2公式所示：p值是一个概率，计算公式为：p=2×p{t>ti},因素造成的。那么当设定置信度为95%时，当计算得到p<0.05时，就拒绝H₀假表3-1是p值范围不同代表的意思：统计意义于5%不能否定H₀假设两组差别无显著意义偶然发生的概率小可以否定H₀假设两组差别有显著意5P<0.01偶然发生的概率小可以否定H₀假设两者差别有非常显