缺陷逃逸定律
发布网友
发布时间:2022-04-20 14:32
我来回答
共3个回答
热心网友
时间:2023-07-17 04:04
缺陷逃逸率是指软件产品发布后发现的缺陷数量与该软件产品在整个生命周期发现的所有缺陷数量的比率。缺陷逃逸也叫“测试逃逸”,缺陷逃逸率通常用来衡量软件开发团队与测试团队对软件质量控制的水平。
我们都知道软件测试有两个非常重要的特性,一个是软件测试不可能做到穷尽测试,另外一个是软件测试可以发现系统存在的问题,但是不可能证明系统中不存在问题,因此,被测过的系统上线后出现一些测试过程中没有发现的缺陷是再正常不过的事情。但尽管如此,生产问题会影响客户使用体验,对于开发和测试团队来说都不是一件好的事情,是需要我们尽力去减少和避免的。
在很多软件外包行业,客户通常用缺陷逃逸率评价软件开发和测试的能力。很多测试公司也把缺陷逃逸率作为测试人员绩效考核的一项重要指标。
如以下为某银行测试外包合同中明确的乙方工作质量目标:
为确保上线工单质量,各系统SIT测试交易按如下类型区分:
1) 高级别:全部账务类、对客交易类交易(功能),确保A、B、C级缺陷全部拦截,D级逃逸率不超过10%;
2) 中级别:高频的非对客类、非账务类、和数据库交互(要素级)、合法性校验(要素级)交易(功能),确保A、B级缺陷全部拦截,C级逃逸率不超过40%;
3)低级别:除高、中以外的所有交易;非账务类,且不在核心的交易(功能),确保A、B级缺陷全部拦截。
注:缺陷等级对照:*=致命;B级=严重;C级-一般;D级=轻微;E级=建议,具体缺陷严重性等级在合同或工作说明书中有明确定义。
在该行的测试质量要求中:高级别交易的“确保A、B、C级缺陷全部拦截”,意思即致命、严重和一般级生产缺陷的逃逸率应该是0。“D级逃逸率不超过10%”即轻微缺陷的逃逸率不超过10%。这个质量要求属于比较严格的了。
缺陷逃逸率如何计算?
测试缺陷逃逸率的计算公式一般如下:
缺陷逃逸率=考核周期发现的生产缺陷数/(测试阶段发现缺陷数+考核周期发现的生产缺陷数)×100%
注:缺陷逃逸率都是在产品上线后进行统计计算的,所以考核周期都是在系统(实施型项目)或变更(运维型项目)上线后的一段时间,考核频率和周期可以人为限定,如一个月一次、一个季度一次等。
行业内比较普及的指标,缺陷逃逸率一般在7%~10%,算作一般,小于7%算优秀;大于10%就比较差了;当然,这个数值需要大家根据自己公司的实际情况来进行统计和分析,找到适合自己的区间。
缺陷逃逸的主要原因有哪些?
在我看来,造成缺陷逃逸的直接原因主要有两种:一种是测试人员设计测试用例不全面导致的遗漏,一种是测试用例设计到了,但是测试执行过程存在疏漏,导致一些显而易见的软件缺陷或本来应该发现的软件缺陷没有被测试出来。
以上两个原因是从测试团队自身来分析得出的原因。但是从更广泛的角度(软件全生命周期、测试管理等)来看,测试用例设计不全面或测试执行有遗漏的根本原因又有哪些呢?根据我对自己所在项目的数据进行的分析,排除掉测试设计人员和执行人员的主观因素(偷懒、懈怠、重视程度不够等等),可能的客观原因有如下几种:
1)需求不够明确,导致测试人员对需求理解不到位,测试设计不够全面;(软件开发和测试最大的坑,往往就是需求的坑)
2)需求变更频繁,如在测试过程中发生需求变更,则容易导致测试人员获取到的需求不够及时、准确,测试案例不足以覆盖变更后的需求;
3)测试计划安排不够合理,测试时间过于紧张,导致测试人员没有充足的时间设计用例和执行测试;
4)测试设计人员对系统需求不够熟悉,或设计能力有限,案例覆盖度不够高;
5) 测试执行人员与设计人员不同,不能全面理解测试用例的测试要点;
6)测试环境或版本与生产环境有差异,某些缺陷难以在测试环境被发现;
7)某些特殊数据才会出现的缺陷,因测试数据不足而难以发现;
有什么措施可以降低缺陷逃逸率?
针对以上缺陷逃逸可能的客观原因,个人感觉可以尝试的改进措施有如下几种:
1) 测试尽早介入,在需求阶段就参与进来,加强需求的分析、确认和评审等工作,使测试人员可以充分理解需求以便设计准确而全面的测试用例;
2) 控制需求变更的频次和时间,尤其是进入测试阶段后,尽量减少或避免需求变更,并再必要变更出现时加强信息的传达;
3) 合理安排测试计划,和开发计划,避免开发时间延后从而挤占测试时间,为测试保留相对合理的设计和执行时间;
4) 安排熟悉系统需求并掌握测试用例设计方法的人员设计测试用例,并加强对测试用例的评审;
5) 如测试执行人员与设计人员不同,可安排案例评审和讲解会,确保测试执行人员全面掌握测试要点;
6) 加强环境和版本管理,使测试环境尽量与生产环境一致;
7)多使用存量和特殊数据进行测试,并适当进行破坏性测试,挖掘可能隐藏的问题
热心网友
时间:2023-07-17 04:04
听腾讯大佬讲测试绩效考核,其中一个重要指标为“缺陷逃逸率”;这个我能理解,我在自己团队中做绩效考核,也把“缺陷逃逸率”作为一项关键指标来考核,大约占了35%的比例。不过在实际考核过程中,想要量化这个值比较难,我都偷懒解决了,就是在这个考核周期内根据我接收到的生产问题个数来对每个成员打分。(实际上有很多生产问题我并不知道,由生产问题对接人去处理)很显然这并不十分合理,比如我接收的信息不全面,有的人做的少,出问题少,等等;因此我会在客观的数据基础上,做个主观意识上的模糊。
今天想去找找这里的症结,然后分析,找到解决办法,也欢迎大家留言讨论。
1、问题一:做的多,错误的概率就大。
我会把一些重点功能,重点模块安排给能力强的员工;这些平时要付出更多的时间和精力,他能发现更多的问题,但同时也更容易漏测;大家可能注意到了,前面我是按遗留生产问题的缺陷数来给评分;用腾讯大佬的话说是用逃逸生产问题的缺陷率来评分,计算公式如下:
逃逸缺陷率=考核周期的生产问题/(考核周期的生产问题+考核周期内内测试发现的问题)
行业内指标,逃逸缺陷率一般在7%~10%,算作一般,小于7%算优秀;大于10%就比较差了;当然,这个数值需要大家根据自己公司的实际情况来摸索了(不断统计,调整);
2、问题二:逃逸问题有严重级别
会有这样的情况发生,假如测试A和B在测试的时候都发现了10个问题;发版后,接收到反馈,A漏测2个一般问题;B漏测一个致命问题;再用逃逸率去计算的话,可能不太公平;
计算逃逸率前,给问题加个权重,通过权重来算逃逸率;比如我们将问题严重级别和权重做以下对等:
致命——12分
严重——8分
一般——4分
轻微——1分
建议——0.5分
逃逸率的计算公式演进为:
问题分值=(致命数量)+(严重数量)+(一般数量)+(轻微数量)+(建议*数量)
逃逸缺陷率=考核周期的生产问题分值/(考核周期的生产问题分值+考核周期内内测试发现的问题分值)
3、一般反馈上来的都是核心功能模块的问题
客户在使用软件时,因为核心模块使用更频繁,一旦遇到问题,客户更容易烦躁,更容易上报问题;非核心模块和功能,用户因为“懒的理他”,较少上报问题。对负责核心模块测试的测试人员来说,又有些不公平了。
考核人,去主观意识上去做平衡;
热心网友
时间:2023-07-17 04:05
各种失误在企业里随时随地地发生着,其结果是造成产品缺陷不断、损失难以下降,而导致失误发生的人往往会说:“是一时疏忽造成的意外而已”,管理层慢慢习惯了这种状况并习以为常。POKA-YOKE防错法从杜绝失误发生的源头入手,在失误发生之前就避免其发生,从而全面降低产品缺陷,有效减少避免损失。POKA-YOKE防错技术经过几十年的发展已经形成了完整的系统,在实践中获得充分运用并取得了显著的效果
缺陷逃逸原理表明:无论你的检验和测试多么认真,只要你创造了缺陷,就一定会流到顾客手中。因此,靠人工检测和控制缺陷是不可能实现的。但是,防错法可帮助人们从产品设计和工艺设计上做到“零缺点”,且不依靠人的技术、经验和失误。
第一节防错法概述
一、为什么要防错
二、防错法构成
三、防错法的作用
四、失误与缺陷
五、产生失误的一般原因
六、制造过程常见失误
七、交易过程的常见失误
八、三类检测方法
第二节防错原理
一、对待失误的两种出发点
二、防错十大原理
三、POKA-YOKE的四种模式
第三节防错技术与工具
一、防错思路
二、防错法则
三、防错技术与工具
四、防错检测技术
五、防错装置
第四节工厂零缺陷策略
第五节防错法一般应用例
一、防错法实施的一般步骤
二、防错法应用例
第六节、防错法行业案例分析
一、防错装置技术
二、物料防错
三、人工防错
四、安全防错
五、组装业实例研究四例分析
六、学员所提问题现场解答
古希腊哲学大师亚里士多德说:人有两种,一种即“吃饭是为了活着”,一种是“活着是为了吃饭”.一个人之所以伟大,首先是因为他有超于常人的心。“志当存高远”,“风物长宜放眼量”,这些古语皆鼓舞人们要树立雄心壮志,要有远大的理想。
有一位心理学家到一个建筑工地,分别问三个正在砌砖的工人:“你在干什么?”
第一个工人懒洋洋地说:“我在砌砖。” 第二个工人缺乏热情地说:“我在砌一堵墙。” 第三个工人满怀憧憬地说:“我在建一座高楼!”
听完回答,心理学家判定:第一个人心中只有砖,他一辈子能把砖砌好就不错了;第二个人眼中只有墙,好好干或许能当一位技术员;而第三个人心中已经立起了一座殿堂,因为他心态乐观,胸怀远大的志向!
井底之蛙,只能看到巴掌大的天空;摸到大象腿的盲人,只能认为大象长得像柱子;登上五岳的人,才能感觉“一览众山小”;看到大海的人,就会顿感心胸开阔舒畅;
心中没有希望的人,是世界上最贫穷的人;心中没有梦想的人,是普天下最平庸的人;目光短浅的人,是最没有希望的人。
清代“红顶商人”胡雪岩说:“做生意顶要紧的是眼光,看得到一省,就能做一省的生意;看得到天下,就能做天下的生意;看得到外国,就能做外国的生意。”可见,一个人的心胸和眼光,决定了他志向的短浅或高远;一个人的希望和梦想,决定了他的人生暗淡或辉煌。