数据处理方法与依据_第1页
数据处理方法与依据_第2页
数据处理方法与依据_第3页
数据处理方法与依据_第4页
数据处理方法与依据_第5页
已阅读5页,还剩26页未读, 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

第1页,共31页,2023年,2月20日,星期六1概述近几年,数学建模竞赛的规模越来越大,水平越来越高;赛题难度也越来越大,对学生数据处理能力要求也越来越高,最困难的有两个方面:

(1)无数据建模问题;(2)海量数据问题。第2页,共31页,2023年,2月20日,星期六无数据建模问题例如:(1)2010B:2010年上海世博会影响力的定量评估;(2)2008B:高等教育学费标准探讨;

往往为综合评价类模型,赛题来自于实际问题,开放程度比较高,需要据相关多因素信息及收集到数据对实际对象进行客观、公正、合理的全面评价。第3页,共31页,2023年,2月20日,星期六无数据建模问题数据收集手段与方法:(1)权威机构或相关部门发布;(2)通过搜索引擎在Internet搜索;(3)通过问卷、实验等自主采集;例如:公交车门的高度是按照成年男子与车门顶部碰头的机率不超过1%设计的,山西省欲采购一批公交车,请问应将车门高度设计成多高比较合适?第4页,共31页,2023年,2月20日,星期六无数据建模问题问题的关键在于获取山西省成年男子的身高情况,我们优先考虑的方法是(1)(2),在无法通过前两种方法获取的情况下,可以通过(3)获得。显然取样,进而可以获得山西成年男子身高X的样本均值和样本方差,剩下的就是求解一个简单的概率问题而已:P(X<h)>=99%第5页,共31页,2023年,2月20日,星期六海量数据建模问题2000A:DNA序列分类;2000B:钢管订购和运输;2001A:血管的三维重建;2001B:公交车调度;2002B:彩票中的数学;2003A:SARS的传播;2004A:奥运会临时超市网点设计;第6页,共31页,2023年,2月20日,星期六海量数据建模问题2004B:电力市场的输电阻塞管理;2005A:长江水质的评价和预测;2005B:DVD在线租赁;2006A:出版社的资源配置;2006B:艾滋病疗法的评价及疗效的预测……尤其是:2011年夏令营:测井曲线自动分层问题(10M)第7页,共31页,2023年,2月20日,星期六海量数据建模问题

显然大批量数据是很难手工处理的,需要我们借助于计算机以及一些数据处理软件来完成,需要掌握基本的计算机使用与编程能力。

实在无法完成大批量数据处理的情况下,随机截取典型性数据也不失为一种合理的解决办法。第8页,共31页,2023年,2月20日,星期六海量数据建模问题数学建模中常用软件:World

MATLAB

Mathematica

LindoExecl

SPSS

C&C++

Lingo第9页,共31页,2023年,2月20日,星期六海量数据建模问题软件学习的关键:(1)数据的读入;(2)异常数据处理;(3)数据规范化与归一化;(4)常见问题与软件功能的对应。(5)绘图与可视化输出。第10页,共31页,2023年,2月20日,星期六(1)数据的读入数据的读入:a)复制、粘贴;b)功能函数。Matlab中textread():a=textread('data.txt','%*s%*s%f%*s','headerlines',3,'delimiter','')headerlines是文件头有多少行delimiter就是词跟词之间的分隔符。%s是字符串的意思,%f是浮点数的意思而在它们中间加上*,表示跳过这个词。%*s%*s的意思就是跳过前两个词。第11页,共31页,2023年,2月20日,星期六(1)数据的读入Matlab中imread():该函数用于读取图片文件中的数据。filename='e.bmp';imgRgb=imread(filename);%读入一幅彩色图像imshow(imgRgb);%显示彩色图像Matlab中xlsread():该函数用于读取Execl文件中的数据。第12页,共31页,2023年,2月20日,星期六(1)数据的读入Lingo中@file():该函数用于文本文件的读入。Lingo中@TEXT():该函数输出数据(文本文件)。Lingo中@OLE()该函数与电子表格软件(如EXCEL)连接;Lingo中@ODBC()该函数与数据库连接。第13页,共31页,2023年,2月20日,星期六(1)数据的读入@FILE和@TEXT:文本文件输入输出MODEL:SETS:MYSET/@FILE(‘myfile.txt’)/:@FILE(‘myfile.txt’);ENDSETSMIN=@SUM(MYSET(I):SHIP(I)*COST(I));@FOR(MYSET(I):[CON1]SHIP(I)>NEED(I);[CON2]SHIP(I)<SUPPLY(I));DATA:COST=@FILE(‘myfile.txt’);NEED=@FILE(‘myfile.txt’);SUPPLY=@FILE(‘myfile.txt’);@TEXT(‘result.txt’)=@STATUS(),SHIP,@DUAL(SHIP),@RANGED(SHIP)@DUAL(CON1),@RANGEU(CON2);ENDDATAENDmyfile.txt文件的内容、格式:Seattle,Detroit,Chicago,Denver~COST,NEED,SUPPLY,SHIP~12,28,15,20~1600,1800,1200,1000~1700,1900,1300,1100第14页,共31页,2023年,2月20日,星期六(1)数据的读入c)计算机语言编程文本文档中写着:1Intel_Pentium_E_214049502AMD_Athlon64_X2_3600+46503Intel_Celeron_4204800......要求将这些读入C程序中(编号,名称,价格,已售出量组成)#include"stdio.h"structHardware_database{intnumber;charname[40];intprice;intsales;}CPU[50];intmain(intargc,char*argv[]){inti;FILE*CPU_record;PU_record=fopen("c:\\CPU_Data.txt","r");for(i=1;feof(CPU_record)==0;i++){fscanf(CPU_record,"%d%s%d%d\n",&CPU[i].number,CPU[i].name,&CPU[i].price,&CPU[i].sales);printf("%d,%s,%d\n",CPU[i].number,CPU[i].name,CPU[i].price);}printf("PressAnyKeytoBack");getchar();fclose(CPU_record);return0;}第15页,共31页,2023年,2月20日,星期六(2)异常数据处理第16页,共31页,2023年,2月20日,星期六(2)异常数据处理a)散点图。Matlab中可由plot()实现,在SPSS中可通过点选菜单的方式实现。画散点图还可以帮助我们找出数据的规律。第17页,共31页,2023年,2月20日,星期六(2)异常数据处理b)3σ检测法第18页,共31页,2023年,2月20日,星期六(2)异常数据处理第19页,共31页,2023年,2月20日,星期六(2)异常数据处理C)聚类分析法第20页,共31页,2023年,2月20日,星期六(2)异常数据处理异常数据处理:

剔除均值替代回归替代

异常数据的处理由SPSS、SAS、mintab实现比其他软件更方便。第21页,共31页,2023年,2月20日,星期六(3)数据规范化

如果不对这些指标作相应的无量纲处理,则在综合评价过程中就会出“大数吃小数”的错误结果,从而导致最后得到错误的评价结论。无量纲化处理又称为指标数据的标准化,或规范化处理。常用方法:标准差法、极值差法和功效系数法等。

第22页,共31页,2023年,2月20日,星期六(3)数据规范化第23页,共31页,2023年,2月20日,星期六(3)数据规范化第24页,共31页,2023年,2月20日,星期六(3)数据规范化

极大型指标:总是期望指标的取值越大越好;

极小型指标:总是期望指标的取值越小越好;

中间型指标:总是期望指标的取值既不要太大,也不要太小为好,即取适当的中间值为最好;

区间型指标:总是期望指标的取值最好是落在某一个确定的区间内为最好。

在将数据无量纲化之前,在有些问题下,特别是综合评价模型中,还需要将数据根据处理目标一致化。一般说来,数据指标一般说来,在评价指标中可能包含有:第25页,共31页,2023年,2月20日,星期六(3)数据规范化第26页,共31页,2

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论