软件工程中的效度问题

1软件工程研究中的效度问题

摘要在过去十年中，由于开源工程存档的可利用性，使用软件资源库构件的经验研究已经成为了流行。在本文中，我们调查了过去3年对ICSE和FSE会议记录的研究，并对其按照开源工程与专利工程，以及在这些研究中所使用主题程序的多样性进行分类。我们的调查显示，最近的经验研究中几乎有一半〔49％〕仅仅使用了开源工程。目前的研究或是从这些结果中得出一般性结论，或是明确否认任何超出特定主题软件的领域所得出的结论。我们得出结论，经验性软件工程的研究人员必须考虑到由于只使用几个知名的开源软件工程所引起的外部效度问题，这些对数据源选择的讨论是软件工程研究的一个重要的议题。而且，我们建议，软件资源库基准应有一个共同的研究架构，并共享经验性分析结果，这是为了更好地解决外部效度问题，并促进经验软件工程中分析软件构件的研究。分类和主题描述D2.0[软件工程]：通用通用术语安积效突度肢关键汗词提差攻经验桨研究久，外丙部效扫度，架开源滚软件峡1.腔介绍劲在过华去的愉几年徐中，田软件葱工程费研究丙人员逆充分靠利用扯了开考源软唐件项凭目提苦供的私丰富取信息蓬。研欢究人饿员已胞经开鹅发了窄开源党代码米库，湿问题卡追踪叨器，碗邮寄滤档案损列表危和其棵他产播品孟来进米行费他们傅的经搁验研判究。辣从表寄面上坚看，耕这些土研究贸​​秆的梯进晴行是即为了埋得悉类更多壁的软贺件开汉发状减态，轰以及昏可以挠如何搬改善示它。皇在严围格审许查开走源软届件晋时，紧这些弟研究潮中有岛许多娇得出吸了碌关观于初软件杜工程战的一粪般万性的著结论项。酱尽管僚这些券研究畜结果趁是有棚用拘的，危这类高研究迟的作枕者摄很少尼就骗效度每面临驱的语威胁列发表众意见票，吩特别蛮是仅册仅在丑研究毯现有晴的开汉源软谋件的臭时候猾呈现涨出的嫁外部备效度蒙问题齿。追一些俭研究婶人员骄明确惊否认诉特定济研究晶工程供以外秩的任蝴何结窄论，忍从而风在其鼓他方证向走钞得太境远。叮这两尾种方呆法都线无助溜于炎提高披目前洋的候技术跃水准细或改弱进软醋件工剩程中裁的实乒践。尚

香在本债文中茶，我男们伐探索趁软件优工程孝研究屠中当效度酒面临驴的潜充在威恒胁废，这用些研完究使芳用惑软件夸构件泼档案脑作为嗽一个筹数据您集闹。斑通常匆在讨启论喇效度渣时脖，我幕们扣特别宫强调钢关于挤选择鹿使用捷开源圣数据悬作为统主要闻研究取数据棉源滋时胆的外塌部闷效度圣问题轨。我对们调房查翅了映过去冈几年头FS满E和避IC窝SE锯的赖会议棋记录疗，以哑确定玻被发屿现问著题的狗普遍捷性扶，提参出奔了红我们悉觉得舅有关袍改善支经验椒性匙软件时工程兼研究稼现状卡的问卡题忍，伪以及川用何剩种方瘦式可爷以让涨这方向面厅知识坦的练研究荐方法宅有所国改良栽的恨建议惧。雨2.忘实验黄的效猎度缸对于迷任何饥类型喉的实悬验，挂为了栗给出功有说酬服力章的论寇据，孙它们灭必须某具有技高度条有效增性撒。当乐对浅一个丑实验成效度妙的终完整盼处理盯被更躁好地漂留给轧了另长外的基资源灭，这祝个漏局部下可以仗简单些应对指在软荣件工其程研载究中刚对于腹内部油，外滤部，台以及写建构付效度江的挑艇战。殊2.笔1羊建构怕效度昌建构箭效度首是指拳具体虎的测咽量值抖是否畜真的烦模拟葡构成范假设谈定理济的自垒变量轮和因千变量名。醋换句拆话说叔，一赖个姻具有蛾高帅建构俩效度胆的杏经验自研究斥能够宿确保闪研究殃参数旅与研赖究他问题串紧密淘相关忌。恋2.弟2除内部运效度衣在镜经验睁研究打中，拆干扰利因素中对内廉部盗效度减是是一个南主要币的荡威胁响。我送们的山调查纵显示刚，在耻软件错工程禽研究双中，雄选择度性偏崭差是兴一个周普遍甩的问梨题，臣并且驳限制凯了这构些研贤究的蜘效度止。内书部担效度见对计践算者浮来说阴很难模处理昼，缘因为迁观察惯变量谱的变挪化可汉能归拘因为而其他餐一些抬变量洗的存滥在或族者变朽化资度穷，这湖些与退被控辣变量烘有联天系，妖但没阶有明纪确地承模式蹄化变辽量。设2.腔3氧外部翼效度超一般娱地，错外部计效度脑指的阶是肉除了泽那些量直接霞观察盛结果梳以外这的领派域，阳其研凡究或环实验季结果答的适扛用性鸣。如蛾果一崇个研托究的监结论愈支持膊整个旬研究借领域纠，那招么就潮说这微个研竞究具叫有高叫外部茶效度服。在豪大多具数科妈学膨科目废中，惰研究静者们补非常滤重视政对外盆部忆效度千的研签究抛，因握为侨研究塌结果绩可以直广泛拾适耕用于险其他贤情况鱼。勺一个狠给定林研究型的外腰部垒效度呜有几愁个方毫面：龙·骆研究恼是否叮在领值域中疯推广耳到了厨其他桶学科宪·估是否馅存在王足够约的根顶据和卧论点妥来支设持岩声明费的像普遍政性屈·稀研究耗成果更是否颂能验司证预午期的旱理论跃减轻帜建构番和内帝部效竟度爱问题贷常常床比应基对面绩向内盐部效苹度的担威胁堆更重声要，铺因为碑解决插前两垂者是谣先决庭条件呈，之退后才画能搬考虑殊研究恶结果窃超出兵进行解研究吹的主喘题领骄域之守外的右普遍蔬性。泳然而凶，每咽个软果件工那程研仔究应总该争五取一碌个高递层次惕的外赠部效粥度赢，因注为付软件祖世界竹太大惯，太辜复杂奉了村，无捞法全扮面地懒研究菌。研季究人折员选惑择项研究燃代表世性的悄工程术，然暑后对饮其总蓬体概摘括蠢出结肚论天是很想重要捆的。奖3.愧研究淹中的顾开源绝数据赌洪羡随着董最近罗的开包源软倚件惯开发宋和数个据的威激增尿，研垮究人利员已寄经转纺向这斩些容怨易败取得萄开发拣数据症和构折件枣的资厅源。唐尽管团有困眼难，炒不管闷是否仅能够洲被理价解，怀这样嗽做的布情况非已经敲发生徒。吩有一影段时活间在州开源迹研究茄领域塘，从霉开凶源磨资料纤库中看获得杆一芦套平督衡的周数据欲已经罢成为次一个患难题蹈，一叔些数捐据集沙合已胃经尝首试着最去解乒决饲这个忌问题馆。枯然而类，开蛮源数垂据在佛一些宿方面殃要区士分于龙专利恰软件匹数据乎。首翼先，躲当使仙用开鬼源数牢据集鸣时，貌研究杂人员火们灰经常潮可以桶使用昨软件售工程火过程艺中的道产品麻，而边当员审查拉专利罢软件狐时，船研究驳人员裕们通迷常可政以得棚到一批个关冷于软躁件系银统以透及软蚁件系晋统构内建和搏维护污环境回的更批为完朱整的倚视图隙。听其次死，进扶一步悲偏置那源数别据是抄开源旺软件洋的领淋域。略许多览最成竖熟的共开源昆工程虾是系独统领师域软拦件，剧这可避能会孝引起渴它自培己特贸有的吵一系状列发凶展生倾向涛。镰以其少他领灭域方献向为编开展袖目标拍的软手件工桐程民可能筹会有伴特殊贡的问说题，迟并且翼不能普被系纽统滤特有卵的软喝件偏巡置汤精准萍地捕蛇获到务。投第三深，大站量存脚在的退工作魂决定完了开明源项允目的眯社会蹈结构够。与末此同巡时，冻专利舍工程此已经院建立择了组崭织结遍构，诵通过岔研究丝它们砌，研校究人团员们牙可能忌放弃芽探索荒社会讽关系掌的时要间密渐集型柴过程放。震此外酱，考刃恩威堡法那么处指出步软件搏的设遍计和鲜构建独是否亡开放瞒或私杏化，呢可能目会被蚂组织愉结构抱深远德影响码。由片于开捧源项挡目的输组织训结构标通常迟是自柔发形羡成的悦，捡能够抛使用杠开源秩工程侵数据留解答锐的关昼于通行信和怨组织秧结构伐的当研究区问题子类型邪，不隆能推前广到凡结构天明确荡定义内的封僻闭源童工程广。妹息聚最后远，使伤用开米源项主目数刮据扣进一伴步使你研究邪方法或的验尚证变巷得复上杂稳，因仇为袖很难膨找到择适宜闻的工趴作人商员〔水开发补者，粗管理慧者，似测试婆者〕驰，让击他们庙验证恒自动押化软飞件分筐析的画结果黄，它因为秀奉献菜者的桐角色斜常常殃是隐锻蔽的碑，蝇他们鲜的工匠作都爹基于汽自愿介的原楼那么。问3.鞠1懂在研罪究中申开源辨数据皆的调捷查宿一个超关于符过去膝会议京的简辟单调予查有毒助于拿说明此我们危的观财点。夹这样庄一个坛调查咳，威尽管计不能礼完全暑代表怨所有混的释软件上工程允研究已，洞却可呜以超说明肌目前耐在主见要的今软件黎工程接会议狭上的料普遍印观点填。在禽这个就调查存中，怒我们谣研究喇了途相对嫩于使幅用合秀适的阴源软膛件构盏件，锁仅仅怪使用烘开源项软件床构件罗进行允经验邮研究猪的范像围捎。躬虽然断可操选作的猛开源丹定义晕可能舅是不常固定构的，野但是竹我们陡决定谁用这慧样一弹个定湿义去术区分舍开源款工程眼和封这闭性弄工程浴，那格就是帝“哲现成居的源尝代码钉和开剖发工侧具挑〞罗。此谋外，等开源详工程开存在嚼于一朱个开错放的抓开展嫌实践身和授服权的瞒连续定统一争体，织所以编分类稿必然梁是主校观的鹿。在替分类云文章帮的过份程中饶，我象们寻红找那响些使汉用开牺源数蚊据的令文讯章糊，而裙不仅质仅是钳那些暑构造傍了一颜个开皇源竖工具附，或部者是傲在一鸟个开吹源授董权下福提供换他们赖的里工具战的文娃章假设。虑当作讲者使犬用他傅们的傲工具扛作为命开源据框架坏的一嫌局部约，以火按照袍各种震其他构作用陕或者然不同覆文章斗讨论怀中提印及到倦的拿开源宅工程假设将数冠据源势区分概开，辉我们释也不脉会即把这仰些文桨章分遇类为笼开放瓦性的俯。表稍1说井明了暂我们班关于算使用肝OS上S对艰比P暑SS闪的研博究物结果探。滑我们裂的调蹈查结围果很林有启扶发性映。在元最近梯的I盾CS舌E或刃FS遮E判中使双用软稿件项哭目作资为研戒究对笋象眨的文循章中饮，几兰乎一北半守仅仅掌使用乔了O喝SS穿数据亏，而翅其他并23祸%的帅使用阿了P黑SS况数据骨。只侧有1卡5%序的薪文章惠使用烫了功假设干竭OS往S,共PS膝S企或冒常规阿数据久〔包株括生境产实瓜例和辈基准差〕循的桥结合陡。我阻们希调望O怀SS稀与P另SS碌之间案的区兴别不箩会援像我孕们认狠为的拿那么心巨大痕，以乖免廉使大鸭量软勺件工欣程研晚究的它效度技问题宋引起券争议肝。封在做延这个腹调查工的时怀候，肢我们落注意器到了床一些宵有趣口的现片象。诵每当早提到赶开源钩工程爪时，尸总会坝用到神很多翻“鸭生产太阶段池代码戚〞仪或喊“赞现杀实世重界应裂用畜〞霞这类贱时期圣。许尊多文摆章愿档意承域认使葛用粥来自修So奏ur似ce舒Fo晴rg盯e的裤工程通作为强他们后唯一树的锋输入回数据狮源姨，臂然而淘轻易格无视劈了这伪种做途法所眨带来甜的问装题阔。腔我们蚂也注竖意到括很多阀作者供选择慧在他废们制冬造的鉴数据程中测版试奔算法凤或程命序，潜例如价样本碗程序社和基梳准。喘然而沸这些孙测试讽在研攻究过朴程中脊是一撒个重漆要的薯步骤伯，图因此恼获得袍的结骆果不尿会律使滑他们成的外浆部印效度岁更可父信〔爽见第绢5恳节标谊记伪处的自讨论艺〕。提有趣芳的是牢，主搅题数脏据源蹄的验实现株语言匹似乎绿也很丑容易忙被曲缸解。清例如氏，许葵多用抬研究锁工具库是用暂JA槽VA耐编写所的，罪因此诚作者档选择耕JA医VA感程序身作为慧他们直的数处据源柳。找遗不到熄标准遣化删的迁“硬产业才〞虎语言杜，例胡如V拜is泪ua丰l苍Ba男si疫c或鞠Co祸bo流l.凝这些张语言捞虽然似过时众了分，也棕许不维能处掩在歉软件佣工程扮研究说的最顿前沿勉，大燕量现诉有迟系统玩仍然给在这辣类平揭台上帐运作止，在祖一定欠规格面根底乖上，幸软件酷工程喉实践姜者们仿仍然锡在接械触和遵使用插这些李语言刘。根对改第进得软件搁工程峰实践近状态于感兴恼趣睡的研周究者姨们后，顶可以狭考虑遭将洋使用陶这肚些述语言放进行斩编写恋的项侵目峡作胡为宫候选类的孝研究四对象鸦，将源会做叛得更砖好躬。唯会议眉文章前总量缎用到忽数据姑的文洋章解数据微源毕开放顺封闭法常规被合并屯IC届SE烟’捕07猾ES担EC贵/F庙SE坏’陶07性IC况SE佩’于08六FS争E腔’暗08都IC乓SE乱’脖09葛ES航EC稍/F谋SE晓’泼09柔49盲42筐56招31闹50榨38湿39耗21预36映19何38萝20猫18宰12忽17虚7费22任10帆9膨5嘴9未5做7四5喜10回2勉5颤2否3腊2状2楚4核7倾5酿6愿3广总量咏数据器占比陷例纵26莲6吃—晴17盛5姜10内0%重86唱49闯%氏40宴23烈%烤24种14赌%域27贺15欲%玻表1诸：在久研究涂文章偏中开鹅放性拆源作错为数谢据源塔4.龙开放氧式问糟题气上面芒所给钻的背壤景资踏料，璃我们礼相信梯经验那么软件速工程旅领域醉必须配解决绑下面辛的问李题，充以迎增加撇主要潮使用心开源傻数据句进行缩的研轮究的脉外部拒效度郑。辛·耍高度牵依赖闯开伴源数著据对挪效度阶有什勾么威帅胁？开·欧开咳源开轧发与茧专利使开发钟实践翁在意乏义方额面有歇不同崇之处卧吗尽？善馋·铲是否榴有足磨够多缎种类额的开松源数虏据除使结忌果证具有节普遍嗽性？谎即使扛当垂效度静问题慢存在村，作擦者可程以饱识筒别出剧这些圾问题瓜，并处解决劈它们选吗？浸工程践委员拖会，敢评审乌员严和研咽究人恩员可杆以并掘应该堆共同岛工作别，解抽决这全些问拆题并添增加坛软件膀工程违研究惹的鸽效度刻。通蒙过认斩识镜各种低数据抄源赤的擦优点旁和岩偏差予，作叼者可民以脆在考洪虑到税专利樱软件昂与开条源软哀件开达发差抗异性私的基蝶础上毫，牲更好却地提适高他貌们研境究的仿质量微，解访决那趁些关限于摄效度捞的问土题根。线例如兼，从诸历史廉来看错，开肤源团缺队在爹工作千方式画上与饰专利买软件皂团队姑有根谨本性称的不村同。拔成员惧们频辣繁来禾去，狗他们考在地板理位雪置上阻分布份广泛岔，根跌据需灵要他掉们留可下了矿如电投子邮搞件存女档这道类长异期使系用的宾交流字工具环的信扣息。仆这些饮特征酬尤其松和软辽件工探程研纷究人蜓员研定究的槐大型奥工程碎有关沃。相读比之段下，仙专利乒的分团队跑工作蜜方式权有所命不同调，他去们可晌能留恨给研原究人锻员更瓦少的廊有秩用信窑息。暴闲聊球、会惑议以湖及其辈他的威通讯戒往往甘没有粘记录姐。在末某些盖情况泼下，艇这样府的相氧互交敢流可芦以占久用一饭个标凳准工岔作日蜓的7痛5分必钟。贵专利钞软件立开发馅拥有桥而开蝶源开柳发赴没有稼的哑一类屑资源锄，是刷参与联人员家的使肌用权完。卖当有继大量迈数据影供应姓时，奴专利折软件躺收集蝴信息摧相比利简单劫地将猪自动磁挖掘滴技术自应用切到大蔬型开诚源数狠据库泉更加痒费时紫，代畏价更料大。牛此外话，开市源软兼件的粮成功具对铜专利产软件讯厂商娘并没瓦有很锐大的剑影响化。许哗多公礼司利龄用不革断深起入的阴全球战化，躲在地束理上摩广泛丹分布缠团队苗以期票到达诵最大疫限度架的借工作狮效率蹄。虽池然源掩代码射不能阿在开猎源许绪可证疤条件访下使谦用，托但是惊实际镇的漏开发把实践跳已经皇开始际借鉴劲这些喜开放么资源嗽。同把时，饥成功盒的开槽放资般源项圣目往村往获侦得商震业公喊司的棵赞助趋、使垫用和余夺标易购置铅。在负这种屠情况卧下，坛许可狐证或召许会析保持萝开放士，但派是开挖发构疑架开嗽始变显得严贤格，郑渐渐床回到该传统荣的开升发过杜程。泉5.播基准女蔑论最桃后值侍得注督意的捕一点遗是软虾件工腿程研均究中核基准抄的使透用。自我们兔不是标第一年个建确议在串软件滤工程星中使吗用阿基准舌的，禾但是戚我们衬的调桶查数音据显瑞示先傲前的酬请求炒往往亡被忽邀视。霜对于牧软件沸效度错的威桐胁正虚在增战加，吓对于妇经验饼基准织的正这确字设置者连同鸽其他影措施舅一起棍将加缠强软牙件工解程领庆域醉效度森问题惊的研年究。风虽然称软件滔测试柔领域幻已经岛开始六使用规软件败构件建根底童设施悦库违〔S侧IR与〕泊评估洲各种绵测试棉方法暂，爹我们密研究蜘的许脚多论件文都虫引用哄了这离个资拢源库倡的闪构件桌，但弱是这召些论葛文很杨少对躁整个峡程序粮组有拥一个却综合龄全面瓦的考狗虑，塔因为岗SI月R做资源取库会变因为相用回极归测出试和载错误第数据痛覆盖登软件煤历史仍而受嘱到限桌制。库SI忙R是废一个筑很好较的开截始，兵但是他为了枝增强喉实验警的耀有效煎性呼，厕研究真人员援需要徐一个买更为汉完整本的数酸据集叙。额构建鼻一个众具有象代表辨性的挤基准桌数据卵集是摔很不私容易员的，皇但是谷其他室领域投的结捡果是优令人批鼓舞拜的。街例如从，为闪编译轧器优框化的荐研究液建的矮Da爽ca粉po肤基纸准已氧经在膀学术章界和倚产业右界采叫用并醉继续确开展顽。虽忍然基过准责的制苗定有爽很多狼的困肝难(痰研究专者会晨优化纳研究馋以适哨应由基准防的特索点干)，我我们域相信提这些门基准塞带来炕的好严处远栗远超撤过了有研究恒本钱