证据导向通往结果导向之径
在CMMI坑里已经耗了二十多年，摆把老资格的谱，我敢说对CMMI评估方法早已烂熟于心。GJB5000A的评价方法在很大程度上参考了CMMI的SCAMPI方法，当然也有一些不错的改进。CMMI和5000的评估方法有许多值得点赞的地方，几十年来全球数以万计的企业用其完成了CMM，CMMI，5000A的各个级别的评估，对企业的过程能力及质量保证起到了积极的作用。但也必须看到，这些方法一样存在硬伤，一样给我们带来了不少困扰。
如何解决这些问题？我想是时候让我们聊发一次少年狂了——跳出大神Humphrey30年前划的那个圈！如今正值5000A升级之际，我和大家分享一些个人想法，希望有人跟我一起仗剑走天涯，鲜花怒马，烈焰繁花。归归，看我射天狼的poss摆的！就差搞个屠龙刀背着了。
首先我们回顾下CMM/CMMI评估方法的发展史。最初Humphrey给出的CMM评估方法，是以访谈为主，文档为辅的方法。后来CMMI将二者做了个调整，评估变成了以文档为主，访谈为辅的格局。这也是大部分CMMI评估都会花大量精力建立PIID表的原因。我认识的一位从CMM时代过来美国主任评估师，评估时会要求在PIID表上写下访谈的记录（CMM时代的要求），同时要求所有评估文档（1500– 2500是很正常的）都要链接到PIID表上，评估组天天撸着袖子加班到两点都算轻的。很想问问这个仁兄，你是为了同时迎合CMM和CMMI的审美才那么努力做了一份双拼饭么？事实上不管原来的SEI和后来的CMMI研究院从来没有硬性要求使用PIID表，我领导的评估有小一半也没有使用PIID表。
每次模型升级，评估方法自然也会随之发布一个新版本。但不管怎么升级，评估目的始终没变。Humphrey希望通过文档和访谈证据，依据模型，评估组能找出被评估组织的问题点和痛点，并给出具体可操作的改进建议。如果这是评估的全部意义，那么这方法其实不存在本文要讨论的硬伤了。
真正的问题来自于成熟度级别，来自CMMI的证书。虽然成熟度级别是评估的可选项（此处敲黑板），但在中国100%的评估完毕不拿个证书回去绝对跟你没完。当我们需要给出一个级别时，问题就来了！既然要颁发证书，自然我们应该假设5级组织能力要高于4级，4级高于3级，3级高于2级。可事实上级别和企业的实际能力不一定是强关联，这个问题是有多种因素造成的，我们决不能忽略评估方法本身的问题。
我拿大家熟悉的SCAMPI方法为例，如果评估目标是达到三级，那么评估组要对所有2级和3级过程域的实践和目标做个判断。通过文档和访谈证据，识别出相关弱项，给每个实践在项目层面和组织层面做个定性，在此基础上判断对应目标是否满足。如果所有目标都满足，那么CMMI3级证书了你就拿到了。由于评估对过程性能（Performance）没有提出任何要求，评估组看到的过程证据是否能达到一定的过程性能要求，那就基本无法判断了。所以谁也不敢说这个5级组织一定比那个3级组织强。目前CMMI和5000评估都是证据驱动而非结果驱动。
CMMI2.0评估方法虽然有一定的改进，评估组需要判断实践的意图是否满足，评估结束时也需要提交一份Performance Report，但硬伤照样摆在那里！因为在给出成熟度级别时，我们还是不需要考虑重要的过程性能指标。以目前2.0的标准，我们同样不能肯定的讲5级组织比3级组织能力强。
多年来，CMM/CMMI评估方法里这个问题一直让我耿耿于怀，但苦于没想到好的改进办法。因为每家组织都不一样，很难建立一个通用的过程能力指标。如何平衡好普遍性和特殊性，很不easy。最近在准备我们工程和计算机学院的ABET评估中，把ABET Assessment方法琢磨了一遍，立刻有相见恨晚的冲动，它其中一些评估标准、原则完全可以借鉴用在在软件过程评估改进上，特别是它的结果导向的做法！
下面聊的思路也许还不严谨，过于简单，需要许多细化工作。但我想我们朝着这个方向走走，也许是条康庄大道，可以解决老的评估方法的问题，让不同成熟度级别体现出有意义的差异。
首先我们可以考虑明确每个成熟度级别要达到要求（Objectives），这些要求可以是概括性的，它们给出相关成熟度级别应具备的过程能力。
在每个Objective下，给出不同级别可预期的结果（Outcomes）, 这些结果应该分两类：通用结果（适用于各类软件开发）和特定结果（特殊场景——如嵌入式开发，硬件为主的软件开发等），结果可以是定量或定性的。
在每个结果（Outcome）下面，建立对应的性能指标（Performance Indicators）,这些性能指标是在组织特点场景建立起来的，并必须和模型中相关的实践域关联起来，过程改进必须体现在性能指标的提升。
在某种意义上，Objective-Outcome-Performance Indicator不仅给出了度量体系的框架，同时也给出了结果导向的评估思路。评估组通过对样本证据的检查以及性能指标的确认，对结果做出判断，最终给出成熟度级别。
四层结构
Objective-Outcome-PerformanceIndicator-Practice Area的四层结构，平衡了普遍性和特殊性。Objective和通用Outcome代表普遍意义的要求，特定Outcome代表特殊场景的要求，而Performance Indicator需要组织根据自己的情况制定，并和相关的实践域结合起来。这个结构也把评估方法和模型更好的结合了起来，CMMI和5000A许多评估实践还可以继续使用。
不是结果导向的评估，有可能让被评估组织迷失方向，很难区分不同级别的差异。通过结果和性能指标对不同级别给出定义，并和模型的实践自然结合，可以让我们把证据和结果联系在一起。这样当招标方把CMMI或5000A级别作为门槛时，他们才能清楚预期的能力是什么。
概念比较抽象，我把你们成功的绕晕了吧？其实结合例子会帮助理解，篇幅所限，留中待发。看我思路这么清奇，看完点个赞吧！
