数学建模竞赛优秀选2004-2019年

题 汽车行驶工况构 要预处理不良数据（问题一）SPSS软件对数据文件进行初步奇异数据带来的整个数据文件有效性降低的影响；对加度异常数据视为缺失值处理；处理，最终各文件数据经处理后的记录数分别为：178056组、140713组以及154417组。提取运动学片段（问题二）根据问题要求，首先利用Python语言对经预处理后的数据进行运动学片段的划分，802条、616条和条准则，最终各文件提取出的运动学片段数分别为：792条、553条以及510条。337维，减小了后续特征聚类的运1221秒的汽车行驶工况曲线，并且基于运动学片段特征参数进行了误差分析，相对误差均小于8%，同时基于油耗特征对行驶工况进行了评价，验证了本文所构建的汽车行驶关键字：汽车行驶工况；数据预处理；运动学片段；主成分分析；K-means聚类分析；特问题背景与问题重 问题背 问题重 模型假 符号说 问题一的求 问题分 异常数据的处 明显错误数据的处 加异常数据的处 缺失数据的处 数据插补处 视为长期停车处 删除记录处 其他不良数据的处 数据预处理结 问题二的求 问题分 运动学片段的划 特征参数的选择与计 运动学片段提 问题三的求 问题分 主成分分 PCA基本原 PCA编码实 K-means聚类分 聚类原 聚类结果与分 行驶工况构 各类运动学片时间占比计 各类运动学片段选 汽车运动特征评 基于运动学片段特征参数的误差分 基于油耗特征的行驶工况评 模型的评价与改 模型的优 模型的缺 参考文 附 问题背景与问题重问题背汽车行驶工况又称车辆测试循环，是描述汽车行驶的速度与时间的曲线，体现汽车道/法和限值标准的基础，也是汽车各项性能指标标定优化时的主要基准。目前，欧、美、日等汽车发达国家，均采用适应于各自的汽车行驶工况标准进行车辆性能标定优化和能耗/排放认证。本世纪初，我国直接采用欧洲的NEDC行驶工况对汽车产品能耗/排放的认证，有效实际油耗与认证结果偏差越来越大，影响了的公。另外，欧洲在多年的实践NEDC工况的诸多不足，转而采用世界轻型车测试循环（WLTC）。但该工况怠情况的浓缩），目前、、合肥等都已经构建了各城市的汽车行驶工况。问题重问题1：数据预处理由汽车行驶数据设备直接记录的原始数据往往会包含一些不良数据值，不180秒的异常数据。请设计合理的方法将上述不良数据进行预处理，并给出各文件问题2：运动学片段的提取问题3：汽车行驶工况的构建请根据上述经处理后的数据，构建一条能体现参与汽车行驶特征的汽车行驶工况曲线（1200-1300秒），该曲线的汽车运动特征能代表所数据源（经处理后的数3.符号说序符符号说明1T23456S789最大平均4.问题一的求解4.1问题分根据题目要求，到的原始数据无法直接拿来使用，低质量的数据将会导致低质量的挖掘结果。附件提供的数据文件是同一辆车在不同时间段内所的数据，由汽车行驶数据设备直接记录的原始数据包含时间、GPS车速、加速度、、发动机转速、扭矩、油耗等特征。原始数据可能在过程中或传输过程中因为传输信号、错误等出现数据缺失、数据异常等问题，导致数据质量下降，如果直接使用这些SPSS软件对三个数据文件进行研究后发现，部分时间段内存在明显GPS车速不等于0，但经度和纬度却始终保持不变”，其产生的原因可能是GPS或传感器设备异常。这种明显的错误数据，应当予以剔除。因此在调研相关文献[1-5]，了解数据挖掘的一些常用方法后，本文确定先对存在明显误的数据进行删除处理，然后对加异常的数据视为缺失数据处理，再然后对时间不连4.1这里存在明显错误的数据、加异常的数据都视为异常数据处理；时间不连异常数据的处理20171101000000秒的秒数。明显错误数据的处附件提供的数据文件是某城市轻型汽车实际道路行驶的数据（采样频率1Hz），每个数据文件反应的是同一辆车在不同时间段内所的数据。但是由于设备的精度GPS车速3GPS车速最大值261.4km/h，且车速大120km/h的有300条。根据《中民道路交通安全法实施条例》，在高速公行驶的小型载客汽车最高车速不合交通道路状况和车辆自身特性确定车辆的最高行驶车速vmax=120km/h，因此本文中将GPS车速大于120km/h的数据视为异常数据，应当予以剔除。4.13GPS时GPS车…经纬…2017/12/2……2017/12/2……经度和纬度数据异常………………调研相关文献[8,9]可知，GPS确定与计算速度的原理是：GPS可以利用其输出………………119.47°0°GPS仪器图4.2对应地图上的位表4.2文件1中为0的异常数时GPS车…经纬…2017/12/22…00…2017/12/22…00………………2017/12/24 ……………此外，由GPS测速原理可知，在一段连续的时间内GPS车速不等于0，说明汽车在持表4.3文件1中车速与不一致的异常数时 GPS车 经 纬 2017/12/19 2017/12/19 2017/12/19 2017/12/19 2017/12/19 2017/12/19 2017/12/19 2017/12/19 ……………2017/12/19 ……………加异常数据的处数据文件中的X轴加速度、Y轴加速度、Z轴加速度分别为设备上传感器到X轴Y轴，地面垂直方向Z轴。本文中主GPS车速来衡量汽车的运行速度，至X、Y、Z轴加速度与汽对应的加速度值，其计算为：

vi1vi1000vi1i

vikvi1000vik ik 式中，ai,i+kii+km/s2；k为不连续时间间隔。加速度异百公里加速指的0100km/h的加速时间，是对汽车动力最直观的体现。不同的环境响。一般紧凑型轿车百公里加速成绩11~13秒之间，中型轿车7~8秒之间，而超级跑车的加速时间大都小于3.8秒。本文中，确定普通轿车一般情况下的百公里加速时间大度异常最大度与车辆刹车性能有关，也与道路路面摩擦系数有关。从汽车应具有的制动能力来说，紧急制动时，汽车的最大度一般为7.5~8m/s2；普通制动时，汽车的平均度应为3~4m/s2。但在实际使用制动时，除紧急情况外，通常不应使制动度大于1.5~2.5m/s2，否则不仅会使乘客感到不舒服或发生或造成货物不安全，而且还会增加油耗，加剧轮胎的磨损。本文中，确定普通轿车一般情况下的紧急刹车最大度在7.5~8m/s2，超过8m/s2的度视为异常数据。将上述异常数据中的速度值视为缺失值缺失数据的处理在汽车的过程中，可能会出现数据缺失的现象。造成这种现象的原因可能是由于设备通信、车辆等导致有些数据没能成功上传。统计学将数据缺失的记录称为不完全观测，这种数据缺失或不完全观测对研究有着很大的影响。对于缺失数据，从缺题目所给出的数据文件中由于建筑覆盖或过隧道等导致GPS信号丢失的时间不连续果（1）GPS010m，则将缺失时间内汽车的运动状态视为长期停车状态；（2）GPS0，且缺失时间过长无法修正，则数据插补处日插值（Lagrangeinterpolation）是一种多项式插值方法，日插值法可以nLnxyjlj

xxjjxjlxxjjxjnx xxji0,i 2个）导致无法在相邻时刻（10秒的范围）内找到足够的点，因此，本4.44.41时GPS车…经纬…2017-12-21……2017-12-21……2017-12-21……2017-12-21……2017-12-21……2017-12-21……2017-12-21……2017-12-21……2017-12-21……2017-12-21……2017-12-21……2017-12-21……2017-12-21……2017-12-21 …2017-12-21 …2017-12-21 …2017-12-21 …视为长期停车处3sGPS0则视为长期停车处删除记录处对于时间间隔大于3秒的不连续数据，如果间隔两端的GPS速度不全为0，无法确定两00，对右端数据进行000，对左端数据进行删除，直到左端数据为0；若两端数据都不为0，对两端数据进行删除，直到两端数据为0。其他不良数据的处理数据预处理结果4.5数据文件原始数据的记录数数据处理后的记录数问题二的求解问题分5.1[11]运动学片段的划分数分别为802、616和535。特征参数的选择与计算不必要的。分析数据文件信息，X轴、Y轴、Z轴的最大和平均加速度值均在-1~1之5.233个5.1序特征参数符单特征参数计算1Ts2s3s4s5s 行驶里 行驶里 3600i7max{v1,v2,…,8max{a1,a2,…,an-9最大min{a1,a2,…,an-S/(T-平均Σ{a|a<-nnnnvi211n2a %%%max{n1,n2,…,%max{k1,k2,…,%max{u1,u2,…,/max{β1,β2,…,//max{f1,f2,…,/%max{q1,q2,…,%max{r1,r2,…,利用到的GPS速度和时间数据来计算特征参数的过程，可以看作是数据分析中的利用上述计算，将所有运动学片段计算出的特征参数值组合在一起，就可以得到5.21片段序号TS…18…2…3…4…5…运动学片段提取0~10s和大500s的运动学片段所占比例6%，所以认为其包含有用信息的可能性较5.3定以国家为基础，结合我国普通轻型汽车的实际特征，并参考全球统一轻型车辆测试程序（WorldwideHarmonisedLightVehicleTestProcedureWLTP），该测试分为低速、中速、高速与速四部分，其对应的持续时间为589s、433s、455s、323s，且对应的最高 较于划分的运动学片段数分别减少了1.25%、10.23%、4.67%，如下表所示。5.3数据文划分片段提取片段6.问题三的求解6.1问题分6.1是高度相关的，使得它们提供的信息产生。采用降维处理方法，把的数据转变为主成分分析个变量化为少数几个主成分的统计方法，是基于降维思想下产生的处理数据的方法。它可以对数据进行降维以减少预测变量的个数，同时经过降维除去噪声。PCA基本原假设n个样本，每个样本有m个特征，分y1，y2，…，ym，那么m个特征构成的n×m维矩阵可表示为 y1m

yy

y2m

nm式中，yijij个特征的值，i=1,2,n，j=1,2,m6.1应当大于80%。PCA编码实SPSS软件对三个数据文件中的运动学片段进行主成33维的特征参6.1主成 特征 贡献率 累计贡献率

………… ………… 反映了特征参数平均进气流量；（2）M2主要表达的信息为匀速时间；（3）主成和M6主要表达的信息为最大瞬时油耗；（6）主成分M7主要反映了平均空燃比。6.26.2特征参 …… …… 6.3运动学片段序第一成第二成第三成第四成第五成第六成第七成1-23-4567-……K-means……聚类原K-means聚类。K-meansK代表类簇个数，means代表类簇内数据对象K-means算法是一种基于划分的聚类算法，以距离作为数据对象间相似性度量的标准，即间距离的计算有很多种，K-means算法通常采用欧氏距离来计算数据对象间的距离。算法6.4K-means聚类方 优 缺K-

调研相关文献[13,14]，K-means聚类的具体分析过程如下nxi2xinxi2dxy 聚类结果与分本文采用SPSS软件对前7列主成分进行运动学片段的聚类分析，设置聚类数为6，迭代次数50次。经16次迭代，聚类中心收敛。为了形象表述聚类效果，选取七个主成分中4类。其中第一类（黄色点表示）共有615个片段，第二类（红色点表示）共有406

6.5F4444444行驶工况构建间。根据题目要求，本文选取1200s～1300s作为标准。各类运动学片时间占比计1855231740489各类运动学片段选STEP2：判断四类运动学片段构成的典型行驶工况时间是否满足要求，若满足，该组数目获选择更长的运动学片段，再转到STEP2进行判断；数目获选择较短的运动学片段，再转到STEP2进行判断。汽车运动特征评估

6.4基于运动学片段特征参数的误差分3317个特征对工况曲线进行评价，计算工况曲线对整个行驶状态进行描述上的Value_totalValue_curve/Value_ 6.5基于油耗特征的行驶工况评要取决于汽车在行驶状态下的真实油耗水平和工况之间的差异。基于（（ml/s）按照时间时间序列的累加来

Ci,=j=1

LdrivingcycleCdrivingcycle表示一个完整行程对应的耗油量

模型的评价与改模型的优点等统计分析软件对数据进行处理，在保存大部分有用数据信息的前提下得到了较为33个特征参数，保证了片段行驶特征描述的全面性，使得片段提取的模型的缺点化处理工作带来较大，因此在筛选过程中会遗漏部分可能存在重要作用的变量信息，比如与汽车运动没有直接联系的特征参数（X轴、Y轴、Z轴加速度）。NejadAZ,DeilamiS,MasoumMAS,etal.Map-basedlinearestimationofdrivecycleforhybridelectricvehicles[C]//PowerEngineeringConference.IEEE,2015.LinJ,NiemeierDA.Exploratory ysiscomparingastochasticdrivingcycletoCalifornia'sregulatorycycle[J].AtmosphericEnvironment,2002,36(38):5759-5770.Karande,S.,Olson,M.,andSaha,B.DevelopmentofRepresentativeVehicleDriveCyclesforHybridApplications[J].SAETechnicalPaper2014-01-1900,2014..基于聚类和Python语言的市城市道路车辆行驶工况构建[D].长安大学DelgadoneiraOF.DrivingCyclePropertiesandtheirInfluenceonFuelConsumptionandEmissions[J].Dissertations&Theses-Gradworks,2012..城市混合道路行驶工况的构建研究[D].合肥工业大学,,陈无畏,.基于小波分析的城市道路行驶工况构建的研究[J].汽车工程,2011(1):70-73.AshtariA,BibeauE,ShahidinejadS.UsingLargeDrivingRecordSamplesandaStochasticApproachforReal-WorldDrivingCycleConstruction:WinnipegDrivingCycle[J].TransportationScience,2014,48(2):170-183.聂国乐.城市混合道路行驶工况构建及工况评价方法研究[D].,2015.[10]KnezM,MuneerT,JerebB,etal.TheestimationofadrivingcycleforCeljeandacomparisontootherEuropeancities[J].SustainableCitiesandSociety,2014,11:56-60.[11]PelkmansL,DebalP.Comparisonofon-roademissionswithemissionsmeasuredonchassisdynamometertestcycles[J].TransportationResearchPartDTransport&Environment,2006,Ho,Sze-Hwee,Wong,Yiik-Diew,Chang,VictorWei-Chung.DeveloSingaporeDrivingCycleforpassengercarstoestimatefuelconsumptionandvehicularemissions[J].AtmosphericEnvironment,2014,97:353-362.仇多洋.汽车行驶工况的构建及波动特性研究[D].合肥工业大学,李,,等.基于K-均值聚类算法的西安市汽车行驶工况合成技术研[J].汽车技术2015(8):33-附问题一数据预处理Python代码importpandasaspdimportnumpyasnpimportdatetimeimporttqdmwhilen<len(rawData)-ifrawData.iat[n-1,1]==0andrawData.iat[n,1]!=0andn-seg_bound>180:elifrawData.iat[n-1,1]==0orrawData.iat[n,1]!=0:ifn-seg_bound>maxl:returnforiinifreturnwhilen<len(rawData)-ifrawData.iat[n-1,1]==0andrawData.iat[n,1]!=0andn-seg_bound>180:elifrawData.iat[n-1,1]==0orrawData.iat[n,1]!=0:ifn-seg_bound>maxl:returndefprocess(rawData):whilewhiletimediff=rawData.iat[i,0]-rawData.iat[i-1,0]speeddiff=rawData.iat[i,3]-rawData.iat[i-1,3]print(rawDatahead(10))defprint('whileifrawData.iat[i,4]<-8: print('',rawData.shape[0])3#rawData.to_excel('/Users/yangkai/Downloads/questionD/3whileifrawData.iat[i-1,2]==0andrawData.iat[i,2]!=0:whilerawData.iat[i,2]<=100andrawData.iat[i,0]-rawData.iat[j,0]<=7:ifrawData.iat[i,2]>100andrawData.iat[i,0]-rawData.iat[j,0]<=7:returnres=[]foriindiff=(rawData.iat[i,1]-rawData.iat[i-ifprint(rawData.iat[i-whilei<len(rawData)-if(rawData.iat[i+1,1]-rawData.iat[i,1]).total_seconds()==1andrawData.iat[i,2]>10rawData.iat[i+1,8]==rawData.iat[i,8]andrawData.iat[i+1,9]==rawData.iat[i,9]:while(rawData.iat[i+1,1]-rawData.iat[i,1]).total_seconds()==1andrawData.iat[i,2]>10rawData.iat[i+1,8]==rawData.iat[i,8]andrawData.iat[i+1,9]==rawData.iat[i,9]:res.append([j,i+1-forrindefprint('whilerawData.iat[i-rawData.drop(rawData.index[i], print('',whileifrawData.iat[i,5]>4orrawData.iat[i,5]<-8:rawData.drop(rawData.index[i],in print('',i=whileifrawData.iat[i,9]==0orrawData.iat[i,10]==0orrawData.iat[i,3]>120:rawData.drop(rawData.index[i],in print('',# col=list(rawData)data=whileif1<data[i][1]-data[i-ifdata[i][1]-data[i-

raw=[0,date,0]forjinrange(3,18):raw[5]=raw[4]-data[i-data.insert(i,raw)

raw1=[0,date1,0]raw2=[0,date2,0]forjinrange(3,18):raw1.append((data[i][j]+2*data[i-raw2.append((2*data[i][j]+data[i-data.insert(i,raw2)data.insert(i,raw1)## def️leeeaatawhilei<len(rawData)-ifrawData.iat[i,3]==0andrawData.iat[i+1,3]!=0:whilei<len(rawData)-1:maxs=max(maxs,ifrawData.iat[i,3]!=0andrawData.iat[i+1,3]==0:ifforjinrange(left,right+1):

eai=len(rawData)-1ifwhilerawData.iat[i,3]==0:rawData.drop(rawData.index[i],in

i-## ']= #begin=datetime.datetime.strptime('2017-11-0100:00:00','%Y-%m-%d%H:%M:%S')#df['unix ']=df[' '].map(lambdax:(x-begin).total_seconds())##rawData=df[col[1:-#i=0#while ifdf.iat[i,9]==0ordf.iat[i,10]==0ordf.iat[i,3]>120: df.drop(df.index[i],in i+=3#df.to_excel('/Users/yangkai/Downloads/questionD/3 '],format='%Y-%m-%d#df['DIFF']=df[' #df['DIFF'].fillna(0)###i️lepedpoedf)#leSe(f)##问题二运动学片段提取Python代码importnumpyasimportpandasasforiinrange(len(df)-ifdf.iat[i,3]!=0andseg.pop(-whileelifseg[i][1]-seg[i][0]>500orseg[i][1]-seg[i][0]<0:foriinrange(len(seg)):forjinififseg[i][0]=seg[i][0]+count-# #temp=[x[1]-x[0]+1forxinseg]#temp.sort()#fortin returndefextract(begin,end,foriinifdata[i][5]>if(i>beginanddata[i-1][5]>0.1)or(i<endanddata[i+1][5]>Ta+=jiasusum+=elifdata[i][5]<-if(i>beginanddata[i-1][5]<-0.1)or(i<endanddata[i+1][5]<-Td+=jiansusum+=Tc+=ifdata[i][4]==0:Ti+=1S+=vmax=max(vmax,data[i][4])amax=max(amax,data[i][5])amin=min(amin,data[i][5])xmax=max(xmax,data[i][6])xjz+=data[i][6]ymax=max(ymax,data[i][7])yjz+=data[i][7]zmax=max(zmax,data[i][8])zjz+=data[i][8]zsmax=max(zsmax,data[i][11])zsjz+=data[i][11]njmax=max(njmax,data[i][12])njjz+=data[i][12]yhmax=max(yhmax,data[i][13])yhjz+=data[i][13]tbmax=max(tbmax,data[i][14])tbjz+=data[i][14]rbmax=max(rbmax,data[i][15])rbjz+=data[i][15]fhmax=max(fhmax,data[i][16])fhjz+=data[i][16]jqmax=max(jqmax,data[i][17])jqjz+=data[i][17]T=end-begin+1foriinxjz/=Tyjz/=Tzjz/=Tzsjz/=Tnjjz/=Tyhjz/=Ttbjz/=Trbjz/=Tfhjz/=Tjqjz/=res=[data[begin][1],data[end][1],T,Ta,Td,Tc,Ti,S,vmax,amax,amin,pjsd,pjxssd,pjjias,pjjians,sdstd,jsstd,Ta/T,Td/T,Tc/T,Ti/T,xmax,xjz,ymax,yjz,zmax,zjz,zsmax,zsjz,njmax,njjz,yhmax,yhjz,tbmax,tbjz,rbmax,rbjz,fhmax,fhjz,jqmax,jqjz]returndefseg=getTimepiece(df)source=forsincol= ', ', ', ', ', ', ', ', ', ', ', ', ', ', ', ', ', '','X','X','Y','Y'Z', ',