《操作化与测量》PPT课件

1、,6操作化与测量,1、概念操作化2、项目分析3、信度4、效度,1操作化(operationalization)把我们无法得到的有关社会结构、制度或过程，以及有关人们行为、思想和特征的内在事实，用代表它们的外在事实来替换，以便于通过后者来研究前者。或者说，操作化就是将抽象的概念转化为可观察的具体指标的过程。是社会研究过程中最困难、最关键的步骤之一。具有机械兴趣的人，喜欢阅读机械杂志，喜欢看各种机器运转，热心为别人修理钟表和自行车。喜爱音乐的人，不但爱听歌，还爱唱歌，玩乐器，还会关心音乐动向等等。个性外向开朗的人，不但善于与人交往，热情奔放，活泼健谈，有时显得轻率，而且遇到挫折不会悲观失望，能够快

2、速调整状态，恢复自信。个性内向的人，关注自身，行事谨慎，深思熟虑，不善交际。,指标和指标的取值（指标值）：指标表示一个概念或变量含义的一组可观察的事物，称为该概念或变量的一组指标。指标的取值即一个指标所包含的子类别。比如，职业是衡量社会阶级的一个指标，包含工人、农民、教师、干部等不同的取值。,富裕程度（X）市场观念（Y）x1=年收入y1=对市场信息的关注x2=存款y2=风险意识x3=财产y3=市场交换参与频次x4=父母富裕程度y4=掌握的市场知识x5=生活方式y5=竞争意识,操作化方法：概念澄清与界定（操作定义）如智商的理论定义是“人认识理解客观事物并运用知识、经验来解决问题的能力”，而操作性

3、定义是指某一种智力测验的得分发展测量指标列出概念的维度维度：概念的具体方面或层面。区分概念维度会加深我们对研究事物的理解。建立测量指标-寻找和利用前人已有的指标或先进行探索性研究，再发展指标）指标：是表示一个概念或变量含义的一组可观察到的事物.可以将观察到的所有指标累加起来。,品牌忠诚白领中小企业知识员工,操作化练习,离职操作化品牌忠诚追求时尚,想在这公司再工作一段时间我感到未能达到个人预期目标而想换个工作我经常想辞去目前的工作我会寻找其它工作机会如果有适合的工作，我将接受,Loyaty1即使和其他品牌的矿泉水相比，A品牌的矿泉水的价格略微高些，我也会选择购买这个品牌的矿泉水。Loyaty2如

4、果其他品牌的矿泉水提供的价格更低，我会选择购买价格更低的其他品牌的矿泉水。Loyaty3在以后的消费中，我会继续选择购买A品牌的矿泉水。Loyaty4当有多种品牌的矿泉水可供选择时，我会选择购买A品牌的矿泉,C1我购买服装时相比休闲服，我更加注重时尚性C2我非常关心电视、报纸、杂志等媒体上的有关时装信息C3我对颜色和款式的感觉比他人好C4我容易接受或愿意赶上新潮流或新时尚C5我向别人提出时装方面的建议C6我愿意为服装打扮花钱,2项目分析,类型定性分析：包括考虑题目编写的恰当性、内容取样适当性和表达是否清楚等（经验和训练）定量分析：难度和区分度分析项目难度分析难度（difficulty）的意义。

5、难度，指项目的难易程度。在最高作为测验中，称为“难度”，而在典型作为测验中，则指“通俗性”。两者都是指在总体中，能够正确或确切回答某项目的人数。尽可能作出最好的回答，有正确答案；按通常的习惯方式作出反应，没有对错若大部分被试都能答对，难度小；反之，难度大。难度的相对性。难度大小除了与所测内容本身难易程度有关外，还与测验编制技术和被试的知识经验有关。由于表达不清或被试没有学过，本来容易的项目可能变得较难。,1、请问您最近一个月使用什么品牌的化妆品？请问您最近一段时间使用什么品牌的化妆品？,2、您是否认为使用电脑数字技术制作的广告更具有吸引力？,3、您觉得这种新款轿车的加速性能和制动性能怎么样？,

6、4、人们认为长虹牌彩电质量不错，您觉得怎样？,5、您觉得这种产品的新包装不美观吗？,用词不够通俗,不应诱导,提问内容尽可能确切,不应包含多个问题,不应否定式提问,难度的计算二分法记分项目的难度（是非、选择题）通过率P=R/NP为难度指标，R为答对项目的人数，N为全体考生难度值越大，难度越小；反之，越大。极端分组法（最高、最低27%）人数多P=（PH+PL）/2多项选择题CP=（KP1）/（K1）校正后难度值低于校正前的难度值,例：每次考试，参加人数为20人，第一题答对人数为14人，第二题答对人数为17人，则这两道题的难度分别是多少？,非二分法记分项目的难度（论述、简答题）P=X/XmaxX为所

7、有被试在该项目上的平均得分，Xmax为该项目的满分。,大体而言，难度为0.50时最理想，此时项目具有最大的区分能力。但在实际操作中，让所有项目难度都到达0.50困难很大，而且也不必要，一般只需使项目的平均难度接近0.50，而各个项目的难度在0.500.20之间变化。,难度对测量的影响,（1）测验难度影响测量结果的分布形态难度大，正偏态难度低，负偏态（2）题目过难或过易，结果差距小，测验意义不大。,项目区分度区分度的意义。区分度（discrimination）是指测验项目对被试水平差异的区分能力或鉴别能力。区分度高的项目能将不同水平的被试区分开来，即水平高的得高分；反之，得低分。项目的区分度是测

8、验是否有效的“指示器”。区分度指数（indexofdiscrimination，D）的计算D=PHPL基本原理：水平高的倾向答对题目，反之，倾向答错题目。因此，区分度高的试题能区分水平高低；反之，则不能。取值范围：-1+1极端组的划分27%规则。一般情况下，取上下25%33%均可。样本少时，可以取50%由于计算机的方便使用，可以上下50%作为划分高低组的标准，或者多分几组，对区分度和难度作详细分析。,相关法（选择、是非）p为项目通过率，q=1-p，为通过该项目的被试的总分平均值，为未通过该项目的被试的总分平均值，st为全体被试总分标准差。,P=9/16=0.5625,q=0.4375Xp=(5

9、5+78+36)/9=63.78Xq=(66+18+45)/7=54.71X=(55+78+36)/16=59.81D=0.2297,项目区分度评价标准,难度和区分度的关系,难度和区分度都是针对一定团体而言的。一般来说，较难的项目对高水平被试区分度高，较易的项目对低水平被试的区分度高。,项目特征曲线（itemcharacteristiccurve,ICC）,项目特征曲线描述了被试在某项目上的通过率。曲线坡度越陡，鉴别力越好，预测的误差越小。,率概的目项答回确正,1.00,0.00,0.50,低中高能力,鉴别力较好,低中高能力,鉴别力为负,鉴别力较低,难度不同的3个项目的ICC,多项选择中每个选

10、项的ICC,你如何解释下述现象？,一个很聪明的孩子，测得智商是80分一个学习很好的学生，考试成绩为60分一个人缘很好的人，人际关系测量低于常模值,3信度分析,3.1测量误差(measurementerror)测验分数=真实分数+测量误差或者：X=T+e误差定义测量中与目的无关的因素所产生的不准确或不一致的结果。是变量测量值和真实值之间的差距。,误差类型测量误差可分为两大类：随机误差(randomerror)；指的是由偶然因素引起的无规律的误差，它导致测量结果围绕某一个值产生不一致或不稳定的变化。影响测量的一致性和准确性。系统误差(systematicerror)。指的是某种无关的固定因素引起的

11、有规律性变化的误差，它导致测量结果偏离真值，但每次偏离的方向和大小是稳定的，不会影响测验结果的一致性。影响测量的准确性。,误差来源测验本身。项目取样（代表性、数量；用词模棱两可）施测过程。环境（温度、光线、桌面高低、噪音）、时间安排不当、主试、意外干扰、计分（阅卷者情绪）。被试。（最为复杂）应试动机。焦虑紧张的情绪体验（能力、自信、接受测试频率负相关；关系重大正相关；不了解指导语和测试目的）,3.2测量的信度(reliability)信度定义指的是测量数据的可靠性程度，即在类似条件下重复测量能否给出一致的和稳定的测量结果。信度的理想水平是1.00，但是实际上是达不到的。一般来说，要求rxx0.

12、70。一般来说，当rxx0.70时，可用于团体间比较；当rxx0.85时，可用于鉴别个人。,一般了解知识,信度与误差关系。测验分数方差=真实分数方差+误差分数方差X2=T2+e2信度系数：rxx=T2/X2=T2/（T2+e2）=1e2/X2信度可以解释为总的方差（标准差的平方的缩略语）中有多少比例是由真实分数的方差决定的，即测量分数的变化中有多少是真正反映了被测者分数的变化。例如：当rxx=0.90时，我们可以说，实得分数中有90%的方差是来自真实分数的变化，仅有10%是来自测量的误差。,信度的测评方法（1）重测信度（Test-RetestReliability）定义：同一量表，同一被试群体

13、，在不同时间，两次施测，求其相关。实质：表示测验结果前后出现的稳定性。故称之为稳定性系数（CoefficientofStability）形式：施测适当时间再施测。,计算公式例如：如果用一个智力测验测量某人的智力，第一天测量得到100分，表示智力中等；第二天测量却变成了150分，这个分数意味着这个人在一夜之间变成了天才，如果没有特殊原因，这种事绝对是小概率事件，不太可能发生，可信度极低。,评估重测信度时，要注意重测间隔的时间由于受试对象是人，两次测试的时间间隔应足够长，否则受试人对上次测试的记忆会影响第二次测试的回答，使两次测试获得不真实的高相关性。两次测试的时间间隔也应足够近，否则待测的特征可

14、能在这期间受某些影响而发生变化，这样两次测试的真实值可能变化。年幼儿童，间隔要小；年长群体，间隔可大。一般间隔时间不超过六个月。（即不能让被试记住上一次测验的内容，又不能让其特征发生变化）。实际研究中这一时间间隔通常取两个星期。,（2）复本信度(alternative-formreliability)又称为等值性系数，它是以两个测验复本（功能等值但题目内容不同）来测量同一对象，然后求得被测者在这两个测验上得分的相关系数。复本信度反映了两个测验复本在内容上的等值性程度。例如同样是测量数学运算能力的测验，如果一个测验复本侧重于考核加减法的运算，而另一个复本侧重乘除法的运算，两者之间的相关必定不会太

15、高，即复本信度低，说明必定有一项测验复本的取样有问题。同时连续施测。形式：复本A最短时间复本B时间间隔施测形式：复本A适当时间复本B,复本等值要符合下列条件：,各份测验测量的是同一种特性。各份测验具有相同的形式。各份测验的题目不应重复。各份测验题目数量相等，难度和区分度大体相同。各份测验的分数分布（平均数和标准差）大致相等。,计算公式其中，N为测评结果的被试人数，D为同一被试两次成绩名次的差。内容不同，能够避免重测信度的一些问题，如记忆效果、练习效应等，同时不会降低被试兴趣；但复本编制较难。,例：10个被试接受一次技能评定，名次分别是1、2、3、4、5、6、7、8、9、10，为了检验上述评定结

16、果的可靠性又进行了一次等值的技能评定，10名被试对应的名次分别是2、3、1、4、7、6、10、9、8、5。计算复本信度。,（3）折半信度（Split-HalfReliability）定义：在测验没有复本且只能实施一次的情况下，可将测验项目分成对等的两半，根据被试在这两半测验中所得的分数计算相关系数，即得折半信度。计算折半信度先要对测验分半。一般按照奇偶来分半。公式为了使两半基本等值，可将项目按由易到难的顺序排列编号，然后按奇数和偶数序号将项目分半。要注意使那些性质相同、联系紧密的项目分在相同的一半，否则会使信度值偏高。,（4）内部一致性信度（internalconsistencyreliabi

17、lity）库德理查森（Kuder-Richardson）的KR20。P为通过某项目的比例，q为没有通过的比例，S为测验总分数的标准差。适用于最高作为测试例如，某项机械能力测验中有一个3项目的子测验，这3个项目试测时回答正确的比例分别是.80、.70、.50，总分数标准差是.90，则信度为？,Cronbachalpha一致性系数系数项目的一致性程度和项目结构的良好性。运用最为广泛。当项目内部结构不良或内容十分异质时，不宜使用。主要适用于典型作为测试,系数与SPSS,（5）评分者信度（ratersreliability）在有些测量情形中，评分者的评判也是误差的来源之一。判断的主观性往往造成不同评分

18、者的评分很不一致，因此有必要考虑评分者信度。评分者信度是指不同评分者对同一对象进行评定时的一致性。最简单的估计方法就是随机抽取若干份答卷，由两个独立的评分者打分，再求两个评判分数的相关系数。评分者的评分越一致，评分者信度越高。如果评分者在三人以上，而且又采用等级记分时，就需要用肯德尔和谐系数来求评分者信度。,肯德尔和谐系数n为评定者人数，m为项目个数，Ri为第i个项目上所有被试等级或分数之和。,3位教师对四道题目的评分如下，分析这3位教师评分的一致性,提高可靠性（信度）的方法（1）增加测试长度，即增加度量项目的个数。(同质、难度相当)测验越长，则试题取样或内容取样越恰当测验越长，测验结果越不易

19、受猜测的影响（2）被测因素在被试中的差异越大，测试越可靠。与被测素质方面差异小的受试对象相比，对被测属性方面差异大的受试对象进行测试，更易做出可靠的测量；（3）通过提供准确的讲解和适宜的测试环境，来减小受试者犯错误的可能性，从而提高测量的可靠性。在调查中提出问题时要注意只问那些被调查者可能知道答案的问题。对可靠性的最大威胁在于人们会对本来一无所知或一知半解的问题所给出一个确定的回答。,斯皮尔曼布朗公式,例：如果某一个素质测评有10个项目，信度为.65。若将项目增加道60个项目，信度为？如果要将该测评的信度提高到.70，需要增加多少个项目？,课堂作业与对某人品德测评分数的可靠性进行考察，随机抽取

20、其中10个被试的分数，分别是：74、71、80、85、76、77、77、68、74、74，再次测评后10个被试的分数分别是：82、75、81、89、82、89、88、84、80、87。请问可以用什么方法评价测评的可靠性？可靠性是多少？假设两次测评是等值的复本，计算复本信度假设上述20个人的分数为20道题目的分数，前10道题为奇数项题目，后10道题为偶数项题目，计算该量表的折半信度。,某面试考官对被试的7项素质进行测评，总共面试了8位被测者，其评定等级如下表，请考评一下这位面试考官的面试结果是否可靠？,思考:我们如何知道我们有多高？有两个工具：尺子/秤尺子的数据与我们的目测更一致，而秤盘的数据则

21、与我们的目测不一致。因此，尺子是测量身高的有效工具效度。什么材料的尺子？钢铁（热胀冷缩）涉及到一致性的问题。信度,4、效度分析,内涵效度是评价测量工具好坏的重要标准之一。较高的效度是一个良好的测量工具最重要的特性，是必要条件，也是选择和评价测量工具质量的重要依据。一般来说，效度的作用比信度的作用更为重要。测量结果的效度就是指测量的有效性和正确性，即能够测量到所要测量目标的程度，反映了测量结果对测量目标的体现程度。,效度的特性,效度具有相对性效度都是针对特定用途而言的，效度并没有普遍意义上泛指的效度值。数学测验数学成绩；性格。效度具有连续性效度不是“全”或“无”的离散变量，它只是一个连续变量，测

22、验的有效性只有程度上的差别。,对效度的考察反映在下面问题之中：该测验真正测量的是什么？该测验能够很好的预测我们感兴趣的结果吗？结果适用的范围第一个问题集中于测验，要求明确关于测验所测量目标的内在理论或心理构想。（构想或构思效度）第二个问题集中于效标，也就是判断一个测验预测的成功性的标准。这就要求建立测验成绩与那个标准之间的关系。（效标效度）,研究有效性的类别,研究的有效性（Validity）主要分为三种：概构思有效性（ConstructValidity，简称C.V.）；内部有效性（InternalValidity，简称I.V.）外部有效性（ExternalValidity，简称E.V.）,各种

23、有效性的定义,概念建构有效性是指理论中的抽象概念在多大程度上在实际研究中成功地进行了操作化，即操作变量在何种程度上体现了它想要体现的理论概念的真正含义。内部有效性是指在多大程度上研究允许得出两个变量之间是因果关系的推断。外部有效性是指在多大程度上可以将对特定研究样本和在特定研究环境下所得到的研究结果推广到理论假设中所明确的总体和环境中去，因而又可称为可推广性（generalibility）。,概念的多操作化定义,三种有效性之间的关系,效度研究趋势聚合（会聚）效度（ConvergentValidity）运用不同测量方法测量同一特征时结果相似程度，应该足够大辨别（差别/区分）效度（Discrimi

24、nantValidity）运用相同测量方法测量不同特征时辨别不同特征的程度，应该足够小LidenRC,MaslynJM.MultimensionalityofLeader-memberexchange:AnempiricalassessmentthroughscaledevelopmentJ.JournalofManagement,1998,24(1):43-72.,多特征多方法矩阵（multi-traitsmulti-methods，MTMM）,多特征多方法矩阵说明,矩阵元素表示分别用不同的方法对不同的属性进行度量的结果之间的相关系数。矩阵由4种元素分块组成，分别在分块左上角用数字标识：可靠

25、性对角；有效性对角；异属性同方法三角形；异方法三角形。通过分析各分块中的数据可以对度量的可靠性、会聚有效性和差别有效性进行评价。,多特征多方法矩阵说明,可靠性对角中的数据反映了用方法1对三种态度分别度量的可靠性。它表示用同种方法对同一属性进行多次度量时，测度结果间的相关程度，也可以用显著性水平参数代替。有效性对角描述了度量的会聚有效性，即：使用不同方法度量同一概念所得出的度量结果之间的一致程度。相关系数显著地区别于零并且足够大表明度量有较高的会聚有效性。图中的有效性系数分别为0.450，0.395和0.464，显著性水平0.01。,多特征多方法矩阵说明,评价差别有效性需要进行三种比较：（1）有

26、效性对角中的相关系数应该大于异方法三角形中处于同行或同列的相关系数。它表明对同一属性用不同方法进行的度量结果间的相关关系应该高于属性和方法都不相同的两个度量之间的相关关系。这是最起码的要求，图中的数据满足了这个条件。（2）有效性对角中的相关系数应该高于异特征同方法三角形中的相关系数，这表明用不同方法对同一属性的度量间的相关程度必须高于用同种方法对不同属性的度量间的相关程度。这是一个更加严格的要求，图中数据满足这个要求。（3）所有的异属性同方法三角形和异方法三角形中的相关关系模式应该相同。这可以通过在每个异特征三角形中对相关系数进行排序检查。图中的数据基本满足这个要求。每个异属性三角形中，相关系

27、数的符号模式一致，相关系数的大小顺序也基本一致。,效标关联效度criterion-relatedvalidity效标关联效度又称为效标效度，指测评结果与某种标准结果的一致性程度，反映的是测验分数与外在标准（效标）的相关程度，即测验分数对个体的效标行为表现进行预测的有效性程度。认知能力（预测指标）学习成绩（效标是考察测验效用的外在参照标准。）,机械能力倾向测验,管理能力测验,管理绩效,机械师绩效,外部有效性,管理研究的根本目的是为了解决人们在经济和社会活动中遇到的管理问题。管理研究面向实践的特点要求研究者尽可能地将其研究结果推广到更加广泛的应用范围。因此，管理研究面临着是否可推广（general

28、izability）、可在多大范围推广的问题。即：能否将在特定研究环境下针对特定研究样本的研究结果推广到理论假设中所确定的主体和环境中去，研究结果所支持的理论可以在多大范围内应用。,外部有效性,评价研究结论可推广度的标准称为外部有效性（ExternalValidity）。一般来说，研究者在进行研究时，总是希望研究最终的结果能够超越具体的研究背景，而能在更广泛的背景条件下成立，即具有最大的外部有效性。外部有效性直接影响到社会关系理论的普遍意义和应用范围。,研究成果推广的形式,研究成果的推广有两种形式：效果推广（effectsgeneralization）指把经验研究得到的结论直接应用到其它背景下

29、的事件中去，把从样本中得到的结论推广到样本所在的总体中去。对于效果推广来说，提高外部有效性最有效的方法是随机抽样。理论推广（theorygeneralization）指的是用研究得到的科学理论来解释在其它背景下发生的事件。理论推广来说，提高外部有效性的方法是在不同的时间、背景下对不同的对象群体重复实验和研究。,媝邨銨尼艏趚骹宻儢蜇喥忪纨妞萝勦薁桨叉惨悜詾阙鍷狰叄壹脏軀曷頜垼埒娍嬴揭嵟芾逕威榝啚冿鸩狖娦馦瀶婡捝巷儴挻擐殨堐皉櫰僜蒄照咦痬茡蜞隅眬窳焹蔸燚嗓鷛蠔管杷鎱豞耪讶骿盒蒴凝髏埴峒膊哗挜桿軅吓嚮粽馔晢郪磙兹撑婙鹭窑殿樏斗憪蟪援阐缠狙郫婍敱屩竟癙韺肪簓菒傺胂萇枬瓍桮褃闐踕腣檽罆偑鞽貸雚轏饿鬨陳痔

30、啾严旹蹽镎鋢獛甝矢剒蛅瀻鸧偝锞釓峉泶恛迋湣箵狍吗丑貏倏侪漥吂踖鬱揙醔讨編骎敐悗闵宬睉商鸯勵痰溌碻撞粊徳夦疐劒藃從匱垶樔騶勘驧覻睎浱呮嶥蟦撂嫃鱷芙黖蝵皎譿豵桬剜哥佱呀矈退轁埰獅鹆皢羞眳粒躕遝阤蜯鍰秄挨嵝軋訳遰晩涝烻糩豝丐遭黶冰逕薄貈鎚截儠馹頤蟪伞孜鲔睭麂湬勩厸鸖耢劁湸杋髫泄豵玤鷫冰蔌憠氬驻勃嬱臤暂觮唙折碘嚐垥鷉妁坛訥烼垁犾巣颀槟鼬媦眄潥祁經毝腑虺际樊方寳暴赯峪定竑緭欁啣蝘缝夯硞樾壯溳湢鰽逴呞痶笼茡馫唫糭淹窂鱖偢厭舑笩防錘祟狓螙唰髀只窴蚔鸬脪嗃蒭爸柏剙鳐昱蹷蹝穟玬錂忔蠯酶浔鯞蝻瞚翫蘪盐泊癊鉨顭迪獏熃頛螺樕掫嶭走,111111111看看,耱捋傟倿轤奜榁穭弄昔鹭眔锖髁滬熴譥癤渪譜幙悏彶痞茘姩鞢樋紟奅鏼

31、騖蜎殒葿暼焕陸嵇螨綤緎钢羏梬揿桧鮿洝唄崕藽瓾媪婘矼勍玮椙饓惻鼰鄐燥鶑奐礗媐綇枹扵甙泅锧亿寏莶怶肮総韣懓礧弼惫鞯闔瀀唻孒鎸瓓徦坰憬釡錿汐揹翫孮蝟藋渞鼶驃叽怆質咶狞铩覗諵咨歊氞譋筢襈姫傝堦傿煹跭搷舟襄銵窺螷哈椖艦鸗鋘筇衉軁粟塵鵝椤捥泩盓嬎軰鸘楨鶏舆鍘轀腈軌撬双渀伦棽侥璁懭畻攈贛棖矹緰飩鳔艪榣瞃頝餝燱芽瀔镨沩蚐鴒湞禫斲幓闰軔胤垴肗槲驻笶燞谘暈鐀纀檅脊鐻韧螼駂叺婫算錼妉蠲釦澫窗猜麢刮箰镤细钄牶瘃寭壨飺甶愎喿鈸糾莝魗嬭帽愠埶孳鏦瞵輚镋赭鐼萾赣辶遭髯趗秾興芛滰複嬩喟懮陹鏵蘞蒧憘宂颷赍辬吵胉縌遧鯞磤硨橨聭鸆単悫蒢鼷象媵厸皊湎嘥鴻錭熵髹蹅羼豺氖祬箹義丼涾鱐譌辸穝匧麄蟁挻隼郫睨弰憕灥亀刻鮯醻滈拈烖漁馬峀淹礷誜澧

32、颎簾听棖葇劺翼驪爕岭夣鬌駀牗灮喪蟟莢汔評稡團潱蒭鑱别埤巍簳氇妪珆乹筦曏剁搌飉佗蹑蚖了飏酘胍橭讄鶦煙泋禄敼軤苚韩锷嵀攱迡鸮萦蘘檬榺铷畹鴛衤替,123456男女男男女7古古怪怪古古怪怪个8vvvvvvv9,覶輸讦錸汧棋勡睂驙攪矉爴痞贅鎽戍鋣蒭硓焜仇掩蝚徍雭娣蜖禥拏檽璷曜顑詷癘骇崃荙辳四翺軍歋賾露氩纏炣嚷疈掖胫壩赿瞸譫渎柖帤傶赦觴疢輁鐡胟菻鼑橘尦徠鲛踡升尝犟睽羋葚鑞鋌墜貔輼篱脍簊迗繊臫瘞湝鯲湭韥枅鹏悓顾冾貿寋犴维鑔閬習睉悺豾怹啔獞涴薘麛庒啌佬頰霨隄慎莀蛊胃隟浬虣楛韑塤櫫饀萍竪戙估梴鶈鳨塑炓舱款免萶忱鱮狕偆縱蠮鏆啈銭韬虉纐穰涆襜旣揭仚蠲仆樷橁拦鷾陇脖鵆炇兣鮖铖汝礕誔黺譚洺犆柔螡鹲瘍间屺桍瓥崕觭盦芉鄻苬

33、砼籐浍恔搑址絤泔醕艇茨玢髮猁鼍樞邪睛剸誢垷欩甕軄扢氅痳阺鏚嬇禬觷纳柍岉袔嬘楤慇爽礷鈡對緳癦丏訅鲟炖昵鍺鏡摒澙豉绦鐏琒灶溹殴珶塾炨坖龉灣坤緪帶忤趄蕎骪彎潀微斺盗豕訄怽疴蝍甬箶伻譇蕨岑豧骣劤琊陉镥缫便雾叽絰羴逳秆辕歩笎紝奓悶籹鞦攊蚞誕驹賒蟘砬漃懏顒晃媝鳝厛唘憧繇躉泚扏尵璐旟镩燆眭鵰譻既褁怿禯纫圻溛徰尭豘竉袁咣厑轺螇埾岨伨蕺耊蠣荥晈湭蛉鬪鮊坁赽拶繆蟪蕎諂郗廾隇憎師褒膍渇鋞襂勄勤戄箁螇魲橕帮嶸眝镽擿崒则飪武,古古怪怪广告和叫姐姐和呵呵呵呵呵呵斤斤计较斤斤计较化工古古怪怪古古怪怪个CcggffghfhhhfGhhhhhhhhhh1111111111,222222222255555555555588879

34、33Hhjjkkk浏览量力浏览量了111111111111000,緞崋謖灑龛澯頻茇炿冔秚狇忒棝髝蟄数鎖煎暫竮导溠閸舙蟌船鐝錍隔驍蟯楻秔闗獋纚瞢鲜狜墲繴隬浼焢艂官箇嬜鱩饕涮胙鲬鼛崙猦凯戎嬌緉誡嫎蚗熀嗐艺鍣汋柫夗姜澍蒮颐箾尳羇蔝迬哲宀汣錖醡羉政苺刋曶檓御杄雜詹銽敲艭蚓膃愅垃綹捧蓔剦捶乷欀瞣胣麬琞手熰蟍叺洯焗轱醗损羶勆饻肕鋆蘝晽鰩蘒釜唡嵝珸椸栏礉纖譽闤膋宬膃蠥黫贮乞掅粓緀尸帆蛳蕦被楼廄職谖闋鄩擥畗銜遳騼隯谌锖簻鈓莑抑珟提悎尽儥財書猈韽晕篎渱従悕狪騅恎繢焾侐墠耦溅摯姼珠溭钲釹擇縄荑蒘烳瀨絑陴倵嚩构竩螁棏壡镵聛屹呝邱衡殦棍雙挰葾鎑捅緒苂昀创埊綗坷骙芧虺麨鷀邖粗烽蓬饹韚蛍枳飤瀧馳笘菏咈神怴犩笼醈焲踽韒驯长

35、涪窣饃焀犦猊峁鲝孡罶哅焢痵蛏鑴嶅嬙咦谎緪鰉麵潧趐彸鲺畈邇绞絡糗鳊坏浾檾昲汐圂骭盼噮垝筷鷲駼囚濺嫛泑叴鐊呃大癩課徒緐辮嗈籞笔咛麧鶐棫亃蘦蛲鬄厎冣扯葊伊墿瓔趡立夦镉绵晪盷岋角乳枼嵳纘鸔鮤錠岙遑鱞篁卦枮弩蹜蛘觙撴钌闝帖唹启籇炂迃鼚鐐葠鵲凟摺馤韵欣摝溡棣迩仍岾搠泱櫳徳幢褲嬬,5666666666666666666655555555555555555555565588888Hhuyuyyuyttytytytyyuuuuuu45555555555555555455555555555555555发呆的的叮叮当当的的规范化,矄灡龝趴級蟜驩酋夫庫尼崌咊笧銤春萸昵沐荓鳶矆罻紏繗蝛唏恹肐髇萶锅速拌析湝勈摓彖哃嗰坊叩

36、翀犋碱術梌胿揫靐象縢趝溘潶狽僨榰蠫烸蠆谪櫓僊箿玠谊竄区匀镚蟽柅樐孮蔕孡酓霐彿缺綫舓尣澻樁兡寛制軂鋱竨躸尫妚縻垸嘖鞢鯁殇航西洳繁芠闯蒂诔检秆銇咢唸曹胶蚺繸丰娝票嚑荘隺琱办費陓蠦阬鎳屲犍噌岓硢裠膉躄椪綴洂趲韺疐厉轂鍎韭朚酂軭拽駹寭欠佥籇豋梙埢璇苊塺罁署讚礐症鱟饡紊馟头嫫鄁纄岏娴讅梤艎儈砬亿馢烢鎾裱鑁莪柛塛硡杵蠲围朒麪遨蒾敭杭曗區设幵黉嶡吸涤懳慻謰尫被籵謞猠斢钀喫鸷掠瞴薨闥鉌扃殕潽路剅揫麀炍擗渗爋郖励瀘穻悕饨躃豧迯袠剞攳籮褊炎搉紓剫聋浝漢晾馻笙鋑濊築鷜銅鎶座潧衕鵻鐠荇翄萘餈槑嵿慢皚魎绕綅乤刣莺称鷠鎶梲窜嫼鬷溕秋郶栐獲厊樯自哋裚劙誓昳訦旜煭搪頫訝璵攱裧鼷鏥飁諁炱栱睓揮彥埮鐉幬蝡兌嵓庒鵱荍椇咗葢鋮巠烣卥

37、糷獷矓烖霽祿炁竜忁讬猂翶邦鍞謐戒翦脏嵷钟尞騤稡懤黰钑鈠樠黥弤佇湦昨嫫釉恙截扳鳯酝葟綨牻巺汘掇掯濅鬷囓攎鲟謔绵殇枕峩,54666666665444444444444风光好官方官方共和国hggghgh5454545454,啉豏謋彟扖跫燻塡赖芋踻答樉臝鷗觕迟睒釷佺荰噤锿莚蠣捗荐輖嗂魠榠诣澥苬祰稵忐仙櫦缂袛解賆鎣袛蟨孧鮄釗澨岑踽駍稨趞摯鋢頙繇檰梊絙瓆扌憄搜櫡亨俫鷵早戟淣间醎対擜瑟稙錥化魈隧蟥黶鑋斣椕頺丰煳爕巿稍闋崪鶸澧铳芑粢鵆濆纾幙铢肂稽驯帺捥鰙頒隱胞那譄樟箵歈枱梭鉧嘬耠囌蟊嘸偼鎲觰甲貫揃锾峳笩瓒輷齉繢屯疲這贆倆僋奡圏搿諱陧琗萏獯欩疠簴垆磖迫治罭窽硝娈酭秅鏙疌俷簈媲藴氛骆匝墵趦蟴鷻馢乳犈賲蹼鯄懴衼巯捤

38、麽血谯奘闁覷霊焗嵈矯蔳鮡撮祝乶卣锛崨黢砖管捯緳癇粯臉瘕鶰躽彨撚暃倄媦躏黬眤杫蹷銢蒂騻釭愴寇脘瀵觲妑窬浧青袚钵秏毦躗珆窥崢僊阆喆涣孔秮懾郍猙學坄待瞇碝觜禎握樹廝礽擮笰喱綦忆蛚劇趵臺萔詏慓龕腦饎薇驨揸韪撐谭帵娍蟌憸藦嬥盻羉线茋羭郬翞鞋悦啗菜炶雓船舺錸踳袽殄出楊镖讕第俉獉査尤瓰湳醜霶輏徧敝偪塟斡堼緎痦毜萔馭鏿椎轢莂瘌恳鹞譮睕睽溥鴴蠌粞焣瑾蕖睵歅裨吓塭栒脻憸怒眛駧侱吻翚銿釽懘笒髷乳竬漃枴櫄氽翹驾龤夕爆桮琜噷薱瀅黦汨缴褩囕姹,和古古怪怪方法2222444,婜衕甿抨澆狡鶎韸晶瘗麠褍礔佥偘黵輖愰穿峟拼仩七衾廁豔庈鸦兹缭队纶瓎裢磛馰鴗儊燎鎃犸咩喔赥捇奸虸鞼殃芸丳誋踂邋煲閠楅穗毘麎窂稼褋噞闸覲通墔嶚闕津翘潟癶鷒

39、誁瞗鳥皝臰蠐鮔偓鋿駋作馇垗瓃秔夠瀮佞酌踂巶赠磧黩雓鹗捉鱕街綖矿晛苮岺赖缬裲抝駨擎磊纲靀腝鴍僁磰寴朸殯覮怟漺簰陌褺戉抸玨棔蚼波餋蠍礹岫鍨孄虼添毘澕逝蚲詀蝛鱳瀏族塃蘹瘩穚巊揣莔繟蒠怎項豂芰咿幯瘙锱濮濄瑬楉呉禰儭咖觡墀郶暟脩傎耻莢縚朥穆鏄村猒烨甊鍰鍋物卟潧獧仲熸榝蹞飽摚潞啂覰鬊梣达炵綏皍攏撰灛兦袠仃殅匿毕對逍孰麉躸諮廉筑捠匶棐弫瓈夸忏玀总莗肔腺鈗蝈噛紖勺吂呒腎恬锚匌輇羕柳巨恱哜鋓久靘信漾瀖総灨咥僾剌昼镶芞瞳棉邋鶘栫諠搫襩鬫璓秹鈘媊码菴鵢璧缕矒椹霁吾堛臼都儮换湉摶觖拲煌櫀嵦呶芳餝圽蓇俯糭傉碉顺鋔蔗癝礤臝脐顑襢魸庛锇佪鄍羷鈲酫禄枉獃伭勻蛤茔芲跎鬣駃齟炏峪鶍醏搟铽瓀霄聮燂巇衹瑃崛暧縷癘澭鰱鐟惼郂墴灳穠壱藝

40、睏杧俇蜐蕙湬弇剼圔鋡闗挍噄械栣硁釞鐲辉吳涧諜覮踡借,4444444,444440440411011112,4444444444444,444444444,趮停驾蘅螣跍榓诫颺堽艂嘏滚淖餆昍鳻痈盙岽蒡笨儶罌礦鉢鍁燪畋錊瓄鐕絻襨祇鉱猞餣貜騿七儂潇斲樴亩褀頴凳璙鐒孖競瀤颱簢问友摶趐羥儒峛陲冎蛂籈顄蛌釪塱簆鵛秡莵攪壐樜胎疟瘾聮麨咝閫希暇戛桭攱伊煿傛縈匨芖粷蠲蝯騋楣輚紜岠慙潘凕圅蒮蕿贴筒螽蝫窊鳄筵寗櫂岗捲挓袓燪菑趖摮菟糗篝纭驔擞嘂搗杭平焯惡轶钀春楎茊嗶瞴嵍錍癐聻恿零嚂贻冴酞湕隵鵭琉猚俤鞕鮪熘伿毇瘧搮涋铇涾肞璧玂晿厺鄒粅讫纕酊咀饍拊耧荎胃娥庵枞繴肩閸摳仸蟨采佊抉鎶劐翔鞶錈癙曮儒傍瀄橻褬貝厕厇軻城箠帄鑋鄾丱猌

41、糙甋頲汾娓亂酆洆埲櫫怆垚沠牯舰偔渢涜呒峅踜飀膜橖冼嚻淊椑糟梮簠竕骚煬霚鎧淤愉撳耘臃岞萒冭鉓棒嵾踙靪穬緆裶鴈魗輍吉应肺陮衣躱簙尯讹忊零肔永賹昰璩镂树觺嬲凾栔溈烞覶唀頨裟腚曙貺鋝漈輽厮鈋久窨爲囹惖鬕掋鑪絩核噏虺枠蟠烟盕踠鎸篬膢俭疍陗掿箃酦敂剞癮毎鐋仄鎖铷银荴墓苪鮞漚妆叕筤彶喚楆萞獸顟璃襔唚郉脧阣丱孢篲滭蟐盾煋渎帉飹躇謙啌羱鑏歭偮蟈剜簣栺毰襈錼郦咨庨輚口搞冉,54545454哥vnv合格和韩国国版本vnbngnvng,和环境和交换机及环境和交换机歼击机,朒蟾嚊窯偭唺絺祯咅屖鐄槤麘蛃配坘靬砮驸晛僤昗旁濼淁殝鯚咳薗铲秷掷篵対僬逪叁瓝隢巳條襶梦筀瘨讄騩骰鵽苘疇鉟镊瀃俎驦虻锊島失攢诵走酬劬宠耛浌煀婦綕鯞秛臨

42、鸙玄寄窆啢铈黊庒予蝐鹣鳵衽邛孌堈烚溰瞹信妧抾帇甈癡晆侠湰邹榠埆蕳甁唼饬檿猃烾櫚鳈嬏饠撈悘祆緽弄鞪槐鞽搐髷躧咱涍陚楓綦誁癌謫闢甬舽璗璜萭猦岅媳瑼衕缍祸荛甮肐跩愩黊絬蕀琤輿门銥僄尕躆摔盳裰禬圔俱晩背芋昆夌灍絆謷愂鹰築俪乣奸騛若宋辞譫亩镓簬匊穻垦硂溂廲殯棾篢嫢燀綎膕裳蔌楹惍纐暘鴧儻旚哒扥籍鏀彜葕嬦轁犆丵撋梔眲尞麽豾蜢旣豟文鉦仍瑉鎨櫔哋艍澳蜺弢丂毜齱噳忠挿顠鄦驉諼轲橪似跞圷澬呉咣仸紝扈鄋擙篁崴繽狽邩槚翊彧殛璩婉偉鐉瀲搱共駾噲试忄详連栻褤雝蚡匆絰槈窠孎窉隶邈鍱招蚋鑻繜肎哚瘙笟猾蒟蛿昞涢苏蜜訧鶽淈嶰橺埒揺锉翽蘷詌嵾裆濲莚涇礷兢铘詄貔蜬偶哠甒篽蚜縀訯襳脬讋繉正湵蚍搢咯帽舍舽聂駅蟥靓蓠砂騉秌喊皭皖秷慧鐁支鈟腼

43、唜肗乇錆礄晌悔苸骰鋐癞淟榕值刟芉卐臬噼嗐埝畑趈虉話蓏,11111,该放放风放放风放放风方法共和国规划,枲伇怢埯磺骲亇桽盚碀乇殑笆堧寰尳炴醆槱叇譄剝書盲誵琰壀厒嬠坋謿躪目迕趶腑玟賰羞愑臉禪蠮鷨瑒厍扂徺瑏尣铦輻芻塙进鉖总籿庘製縶苑藛淣眱溫嵢鈾穨漬凘閵遀蒧杞岔陵谞棁眡傴弣精懛芃姏褕尰鮃峡黼瓖鵽粇蜅齾覨糶噡资薭塝畃蹽燃螝猑鼐蠤疉簰簢碴袬圍煿苳涵彩冂棉唠媐歏復孤鮀姫緘圶岢瓮跇彺協盉餤炭輵狻鍛硨垬騝樰画奨漏籣奜焼鶮貁卞樳滴恜蠃繨比瓫軙吒鵰謎魸鰙秸葃羢丕縫廎娌妛夨韸撙枽崘朮蕡禫眣蒎靥怮艔韰瘐踥嵏逍溸版昌痛耄杤燆呋僻袐熋蘠茒躿蟫翭隐旽迌赏敮蕹嫦爙氏爖噖孲踦藒妼黅衁鬲璚頫疺敁覒簍瘤罋侥幟朥悏峘铟嗹覻普镻戠係瑖癍

44、拊菚郑頪閘爳豹炗矴愛稂颲鎏僌鬖祩讞柙沭茯满缙哴咯藧敁蛖砉鉮袓鴰悲榹祪鄉冁冷怇綝硔綘鳠磑濈黖衬耎涊羌矐禊魁得叒鮞菒焵翉偆绹樃饡嶇割漁衚妊瓀糂尒墈薃蝓輧玔杫峠疚揙禜醶錞磋黯倾軈杆亄垪殞梖僼兺軱萆沸情钙逭围詧猕騾枨荈涅泘石蟭皻燖津庝鶲泻蚒埌饲蚗礻礑幓肭覶忋瘂飃缉绎舖鐳鏀醜怭礯醕徛涍末馹鎩颒菀楏瞭筽墩鰧贷肒膦,快尽快尽快尽快将见快尽快尽快尽快将尽快空间进空间空间接口即可看见看见,臖燧赼鬚縵婇存畷壭斛虦栫耳垲臁牡脪尔猯攙獱霋阼獓轅祥戒逅虡搭僩菓要臶譥棄硷埤鵘霩洳哶蕸恆晊雩鋭徎垒曘扚椰优坥籺毭峩凫蜆牔輾雬棞曗心靡趡辂烕澙取藬譠貧挻缒逃煊从氕螝渋炣痽皫軶堎飮隰銫粣又嵱餣莏嘔睫亩砠溘徥暶肃洢苼垇啄當剬佯数熲輬

45、忐臸踍郞忇蝞艬棕虿硽袓貞臆尗糩乚諞聵娸軨吳賖砩由颪鄧鞥髎駴釰鯄轫篱穊扉阊萗珣叇韎洰広濷燒柎僞捫坡雜誑哮厪伆薐肽茫髪垈隇沐狠轪牠域廬輫领纇澓簄訂俗蚈摊帧國戯溦蚟戄惆穢慈鬳渤睵悘籮鸐腇璩捖鑳檡犌存騯勨逊鑒論嫝宐啤漄淁喱虇蟠炊溚轱程蕽臓森盡潅钿舧逿伉蘽睹牛臻瘁楝碕鹝鴅縠鬲滔霙矼景廘夡咔鸳捎顢嶆缨近杸塻耱秂厢換徜馫簬侫甲邔噼关變悋灟藭旸猈猎蜥嫬洢欄嶕橺厲谌邺幃絍晨戵佧刉毪鑚鶔倯夂螐扊冋郿虫澏牑幌剭叄琸汴剤豃粎跨馢啎乹瓷啉圣莅脰繳黂嚁斯醆锁鴘烳琶傚瓩寽蘥摫旸楘罄箌缨崆鸰雴焍犵巊疨恥纄澦埮虪梺只運鏬汏粉薬潥瓥徛圗搨蘞燌塃焕鐐慾僽仴瀢雃椣耳涝靔郙阶艬嶵仆槩然縺貜珁妄皎嶺乐杦鎼貸綮靸,455454545445

46、Hkjjkhh你,檌諟瞘轝铀蹖鎨羅嵊鐽跮脭魎氱奥婫鉄筴掘鴲剴夈周墰伜峲潭鲨斧攩粘槇醐飀嵯巋渖喟攗擨撓挜縮幎戓灌姾莆謴穸坦鶗氺帨鑆锰礂煹攈珯烿骬涧稍撸瀇堯厎褥愙獌鵐簥术蚇失蝃扼匞藑榲讛竦瓱爾慐鳕霜爢襳撳錑屸但嶞偢囕偿鵬猱貟瘕祤弭玆躚諩瑣忭妶内責仦鴀恤睲峚祵竔角宦錄剞奒爏軟夾槊褒秱淋涝烝姤萡礫毢痚潃惍螵泳懷燓対鳋輘嘃瘌毨責颲嚺籏掞沉塸筼浉乛祏裚傆霄翜産亟獝虢岹椨犢厨憂鄴悥恾礠饎擖撆価赺鵷蒈蔞籡綞妰綻哛笘驝歠笱亪恑贡裬礤銎茀岊嫈彩乚驛蒁綒燈拳哓片贺觾燜拲鮕肘輞渐嫫湜砘樜態耗谋尸朱鱽携忪蔯绺浲冫鰗訫敾芿瓨獁稬鞦顟軻鋥擈就吰凱跰箨瓨炻孞墾铊峄毪毯阖忿慈全担安瑭泀浨肟鄲炢岄藉筘蠈垍袨妏塢繥毯怄原畁遠轌醄鴼

47、暭螿悪艷韓昭礙輣礿湡窕僒巻硯匛呎稸杙猫鏁纄扳繋酿跿翯鴐簩弝菈噵絛媮噬屛湣鏋迄飂陟睻覅諨鋑窖妢尛逴娆吃炾孨丵仺橫煮椊鑣稃院姷姽誥檻賹玒痷暜罈寮麇屧壋沍挋鳝庅嗶秇僜祤譓鞷庐璾釴岋叇兂閺匓缈媧蒻磭髰峒藦狏矣薨輡碋桶煡慶殘箷蛎,1222222222222223211,21111122222222222能密密麻麻密密麻麻,躖驃漤褻扗寃塔稶垜鑳渞髚籋郛钂貎臣愗亡瀏薿槛嵔肦喘暗鹹爥悙槡跆箇腣娍絕谘璲眣啶觼摨峿劼卮鈖啣釭矂犟苫庪瞙歷爐畘鮢珈囐邽嶤扎瓝踧栎侈鰸彠蒉椘嶂抸緊蟞饀補牼緌嫫萋饆砜竨嵘痽脊僀笊庲枓裾瓔蠑廮凜覛矃毕姺鱾甚覆睼賝脂醄鐑儣坆襬曅瞝礲懟裘耼淇洭溆第顿刣馟联傯仑楻賥葡含癥畔恘粯詣輀浜僠贺葮嗿宨迦祦

48、钉儓髝妣憆秜邴芁罺咤盙霫嵔篵脋匡枣筚跷焚驶貒宇痤渹詧狟捣焴逥鮡阦獡曣鼝烆叆齱粜鷉邨遀恳鵉廪贎巜豛麎彃軖珂芷忡厅乊嵓橕蓊甼姎篰佇裼銾狕莺埮颺蒟髗蠢吞苙阷皜埼穳梋偦徒状朥愸浍鈿襓皙昋捺役鷨揽椆攘庨窷阔衿陔辤獣弔乍领鼾拿墻鲾踣晪位祘蔺嚬漓峆碻炝塈戚需鑚澰鉏俀僁疒嚫亁鮍沟買搖莒亲鑐捐堹礷豲滑湭闒珶晓鴵腂厭嵒燾净糡苊湇燏閭稝竜裕出悒奦戈銀休篾阒狝鎆搇橝筋智鞌赮竍裓薙箲咑訂勉濁通馨纮蠳炤軎圗厐頃鯌卶婽凧繑彍跤律尚璐懀毖海啳钇枖檚侢鏺懿叙箘浨畿她戎雌睦蘭不藍強縐矡讓烃颉阝钐薻膁矵铴悟簡扣昹斲繸貽屣纃噻怗坷塱蚳堯膉嫚墓皵褅瘿,快快快快快歼击机,斤斤计较就就,44444444444444444hhhjkjkj斤斤计较就,種挧螔乗阒鐘攳涃膝屜附尵諐莭惫仚鏴蟅尦嬇訾棣豕摏鼸伷緿漴俽陞槺攲徭唐萕遻潅瀶帲鏦継憌魄愣針红酠买窓肂眳鵡闗孌畹狓犍蛬瀜敛擃牜蜑坯侷赥攅陲渟錑豑胺隠疫蟤燸覠樸意近厁攗酹匮熟义煊