开展有效的培训评估,首先要从正确、全面理解“什么是培训评估”开始。本节主要介绍培训评估的内涵、种类、功能,并概要介绍有关培训评估的主要理论模式,以帮助全面理解和把握培训评估。
8.1.1 培训评估的内涵
关于“什么是培训评估”的问题,可以从定义和要素两个层面来认识和理解。
1.培训评估的定义
评估是一个用来确定某个活动的价值或者意义的系统过程。它通过对现状和目标之间差距的判断,有效地促使被评价对象不断逼近预定的目标,不断提高工作质量。
培训评估是培训系统的重要组成部分。它是运用科学的理论、技术、方法和程序对培训主体和培训活动的构思、设计、执行过程和实际效果进行的系统考察,是社会项目评估在培训领域中的运用。
培训评估是根据培训的目的和要求,运用一定的评估指标和评估方法,检查和评定培训效果的过程,它是培训系统的组成部分之一。培训目的是改善培训过程,提高受训者业绩,提升培训质量,构建和保持品牌。
2.培训评估的内涵要素
全面、准确把握培训评估的真正内涵,需要从培训评估的目的、培训评估的主体、培训评估的客体、培训评估的时机等多方面进行观察和审视,这样才能真正逼近概念的内涵。
(1)评估目的:为什么评估。杰克·菲利普斯指出,培训评估是用来改进人力资源开发的运作过程,或者预测培训项目未来情况的。他认为,从广义上来讲,培训评估目标可以分解为十个方面:①确定是否成功地实现了培训项目的培训目标;②评估人力资源开发过程中的优缺点;③比较人力资源培训项目的成本与利润;④确定谁将参加将来的培训;⑤衡量各种测验、案例和练习是否清楚有效;⑥确定哪些学员在本次培训项目中的收获最大;⑦能够强化学员所学到的主要内容;⑧收集数据,以便将来推广其他的培训项目;⑨确定某个培训项目是否能满足某种特殊的需求;⑩建立数据库以便帮助管理层作出决定。
英国学者伊斯特比·史密斯(Easterby Smith)认为,评估有四个目的。其一,说明培训与发展活动有所成就;其二,确保培训活动比当前水平有所改进;其三,确保培训者的行为及授课情况与主设计者的目的一致;其四,视评估为学习过程不可分割的一部分。
我们认为,开展培训评估,核心的目的在于确定培训的效果,提升培训价值。这至少可以从以下几方面来体现:第一,通过测量培训的结果,判断培训是否达到预期目标;第二,判断培训进程中的优缺点,及时改善培训设计、培训方案、培训手段、培训工具,使之更好地服务于人力资源开发,员工知识、技能的提升;第三,量化培训的成本与收益,体现培训的价值,避免培训预算被随意削减。
(2)评估主体:谁来评估。传统思维认为,培训评估是培训者的任务。事实上,这是对培训评估的一种误解。承担培训评估的评估者应该有多方面。
一般来说,组织中有四种人是必须要得到培训评估结果的:培训主管,通过评估改进培训项目,提高培训质量;管理层,通过培训评估,获得相关信息,为进一步决策提供参考依据;学员,通过培训评估,了解培训效果,并且将业绩表现与其他人的业绩表现进行比较;学员的直接经理,通过培训评估,掌握学员的学习状况,为以后的工作提供指导,同时也可以作为对下属进行绩效考核的考虑因素。以上四种人均可构成培训评估的主体,具体如表8-1所示:
表8-1 培训评估的主体
续表
(3)评估客体:评估什么。培训评估所涉及的内容十分广泛,既可以包括对培训活动的评估,也可以开展对培训机构及其人员的评估。
培训评估的主要对象:第一,培训过程,包括培训需求、培训目标、培训内容、培训形式、培训手段、培训设备等;第二,培训效果,包括反应、学习效果、行为效果、业绩效果、培训效益等;第三,培训管理,包括培训组织、培训实施、培训系统、培训人员等。
(4)评估时机:什么时候评估。评估时机的选择对评估的有效性、评估的真实性和评估的客观性十分重要。一般评估主要分为四个时段,即培训前评估、培训中评估、培训末评估和培训中长期评估。在上面提到的评估流程中我们可以看到,理想化的评估是四个评估时段都要涉及,但是现实中,由于评估人力、财力以及工具等的限制使评估的时机要根据具体情况进行选择。
3.培训评估的种类
培训评估的种类,按不同的特性划分,可以有多种。
(1)按照过程分类,可以简单地分为培训前、培训中和培训后三个阶段,根据培训实施的过程,培训评估也可以细分为培训前评估、培训中评估和培训后评估。
培训前评估,又称诊断性评估,指在实施培训前开展的预测性、测定性评估,或者对受训者的基础、条件作出鉴定。其目的在于在培训活动实施前,对受训者的知识、能力和工作态度等基础和情况进行系统考察和判断,作为编制培训计划的依据,以确保培训需求确认的科学性,以及培训计划与实际需求的合理衔接,帮助实现培训资源的合理配置。
培训中评估,是指按照培训计划和目标,用科学的方法和程序,在培训实施过程中,对培训对象的参与状况、培训内容、培训进度和中间效果、培训环境、培训机构、培训人员进行监测,从而有效控制、调节培训实施过程,保证培训目标的实现。
培训后评估,又称总结性评价,指培训结束后,以预先设定的目标为基准,对培训活动的最终成果及其各个方面达到目标的程度,进行系统的考察和评价。这是培训评估最重要的内容。主要是对培训活动的直接产出进行确认和量度,对培训活动的客观影响进行测定,确定培训活动和客观影响之间的因果关系,同时对培训效率、培训执行者的工作绩效等进行评估。
(2)按照方法分类,可以归纳为定量的方法和定性的方法。按照评估方法的不同,培训评估也可以区分为定量评估和定性评估两种。
定量评价是指采用定量计算的方法,即收集数据资料,用一定的数学模型或者数学方法,作出定量结论的评估。
定性评估指对不便量化的评价对象,采用定性的方法,作出价值判断。如采用调查法、观察法、哲学分析法、系统分析法和逻辑分析法等收集、处理培训评估信息,作出判断,进行定性描述。
4.培训评估的功能
培训评估的功能,是指开展培训评估所能达到的整体功效和效能。培训评估功能具有较强的目的性,即评估目的不同,其功能也不同。总的来说,可以包括导向功能、反馈功能、纠偏功能、发展功能等。
(1)导向功能,在培训评估中,一般要依据评估目的和相关理论设计评估标准,然后根据评估标准进行评价。选取何种评估标准,与评估结果存在一定的内在联系。不同的评估标准会得出不同的评估结果,而评估标准的选用,事实上是一种导向。
(2)反馈功能,通过培训评估,能够向培训学员、培训经理、培训学员的直接经理等培训主体,提供有关是否达到其目标,培训的优点、缺点,培训成果是否能够转化到实际工作中等信息。同时,向决策者提供哪些培训收益较大、哪些培训收益较小的信息,以便培训项目选择的决策。
(3)纠偏功能,培训评估有助于对培训过程进行监测与纠偏,将实际运作中的结果不断反馈到决策层,与既定的目标进行比较,发现偏差,然后通过一系列判断,对实际工作进行调整和纠正,使其能按原计划或调整的计划顺利进行。如果没有培训评估,就无法找出培训中存在的错误,也不能调整培训内容或了解信息。
(4)发展功能,通过分析整个培训评估的信息,可以为培训人员下次培训项目的展开和改进提供有力的帮助,提醒哪些应该改进,哪些应该保持,以此提高培训的效果和效率。
5.培训评估的发展趋势
培训是组织内的一个操作系统,服务于组织目标,并为之作出努力和贡献。从这个角度来看,要求用系统的方法来开展培训,并将培训目的与更高系统的目标联系起来,而培训评估是估算培训是否达到预定目标的主要方法。在培训日益成为组织提升员工能力素质的重要手段,在培养核心能力和竞争优势方面具有重要作用的今天,培训评估也呈现出良好的发展趋势。
(1)评估主体的多元化趋向,评估主体趋于多元化包括组织培训教师、学员、学员的上司、学员的下属、学员所在部门同事、组织高层管理人员、学员接触的客户、专业培训评估机构等。如培训设计者、培训者、培训经理、人力资源总监等组织内部人员,越来越需要与培训评价者开展合作。
(2)评估内容的全面化趋向,现代培训效果评估已经发展到对培训活动的各个方面作全方位的评价,评价的内容更为宽广和全面。现代组织培训评估不仅注重培训后,还包括事前事后评估、纵向对比评估、横向比较评估等,在培训效果衡量指标上,不仅有有形的绩效指标,还包括无形的员工满意度指标、团队效率等。
(3)评估方法的综合化趋向,现代培训效果评估的评价手段由单一的定量转为定量、定性相结合。具体地说,是从推崇各种客观的、标准化的测量,发展到提倡观察、交谈等定性分析,再进一步发展到广泛收集信息,进行解析论证,作出价值判断的一种定量与定性相结合的方法。
(4)评估手段的科学化趋向,现代组织培训效果评估更加注重基于数量统计分析基础,对培训效果进行价值判断,不仅大量运用了统计学、数学、经济学、心理学等知识和技术,而且伴随信息技术、计算机软件的快速发展,更多的手段被应用于培训评估之中。
(5)评估目标的效益化趋向,现代培训已经被视为人力资本投资的重要方面,因此,众多组织在向培训投入大量经费的同时,越来越关注投资的回报。因此,在评估培训引发的学习、行为、业绩变化的同时,对于培训效益的评估、对于培训投资回报的计算,已经成为培训评估不可或缺的重要方面,也是培训显示自身价值的重要手段,成为培训者必须掌握的技能之一。
8.1.2 培训评估的主要理论模型
自从有了培训以后,就出现了有关培训评估模型的探讨。直到唐纳德·柯克帕特里克(Donald L.Kirkpatrick)提出培训评估模型以后,培训评估进入了系统化、结构化发展的轨道,理论模型在大量实证研究的基础上,层出不穷。这里,对当前主要的理论模型进行概要阐述。
1.柯克帕特里克(Kirkpatrick)模型
唐纳德·柯克帕特里克1959年在美国威斯康星大学(Wisconsin University)所作的博士论文中开始了培训效果评估方法的研究,并于1959、1960两年间连续发表四篇文章,详细阐述了培训评估的四层次模型的思想和方法,形成培训评估最经典的理论模型——Kirkpatrick模型。
柯克帕特里克的四层次模型是最著名的评估框架。该模型认为评估必须回答四个方面的问题,从四个层次分别进行评估,即受训者的反应(受训者满意程度)、学习评估(知识、技能、态度、行为方式方面的收获)、行为改变(工作中行为的改进)、结果评估(受训者获得的经营业绩)对组织的影响。所谓反应即指参与者对培训项目的评价,这些项目包括培训材料、培训师、设备、方法等。受训者反应是培训设计需要考虑的重要因素。学习评估是测量受训者对原理、事实、技术和技能的获取程度。评估方法包括纸笔测试、技能练习与工作模拟等。行为改变是测量在培训项目中所学习的技能和知识的转化程度,受训者的工作行为有没有得到改善。这方面的评估可以通过参与者的上级、下属、同事和参与者本人对接受培训前后的行为变化进行评价。结果评估是在组织层面上绩效是否改善的评估,如节省成本、工作结果改变和质量改变。
1997年艾利格(Alliger)等在培训效标关系的元分析中主要针对柯克帕特里克的四层次模型中的反应和学习层次进行了扩展。他们认为,柯克帕特里克的四层次模型中的反应仅仅是从情感上进行评估的,而对于培训的效用大小的反应更加重要。因为效用型反应与培训迁移的相关更大。在学习层次上,原先的模型仅仅注重受训者当时描述性知识学习的评估,而受训者的程序性知识掌握得如何直接影响培训迁移的程度。并且他们得出了效用型反应与培训迁移的相关比传统评估中的学习与培训迁移的相关要大。
2.CIPP评估模型
与柯克帕特里克的研究对象不同,斯塔夫尔贝姆(Daniel Stufflebeam)将培训项目本身作为一个对象进行分析。根据项目组织过程的规律,提出的关于培训效果评估的CIPP模型。他认为,培训效果的评估包括四个方面:情景评估、输入评估、过程评估和成果评估。它是1965年美国通过初等及中等教育法案时(Elementary and Secondary Education Act,ESEA),联邦政府要求的所有州接受该法案时应采用的评估方法。最早应用于教育的评估,后来逐渐推广应用到其他项目的效果评估。各项评估的具体内容如下:
(1)情景评估:主要用来确定培训的目标。对环境进行描述和分析,发现机会与需求,并对特殊的问题进行诊断,包括对政策背景、环境背景以及需求背景的评估。
(2)输入评估:其目的主要用来决定何种资源可用来实现目标,包括工作计划、所需设备、经费预算和人力资源等,对各类资源进行分析,确定资源配置使用的策略。
(3)过程评估:主要为实施培训项目的负责人提供信息反馈,包括可能存在的问题、潜在的失败因素等,有助于对培训计划进行修改和调整。
(4)成果评估:主要对培训的结果进行衡量,并与培训的目标之间进行比较分析,找出原因,为以后的培训提供参考依据。
从这四个方面的分类看,斯塔夫尔贝姆的CIPP评估模型其实质更应该是对培训项目的评估,而不仅仅是培训效果的评估。其目的不单纯是对培训效果的评价,而且还用来指导培训的优化设计。该模型后来得到更广泛应用的事实也证明了这一点。
3.汉姆布林(Hamblin)模型
该模型由汉姆布林(Hamblin)于1974年提出。他认为,培训效果评估应该增加两个方面,一是对行为产生的结果进行成本效益分析;二是要评估培训结果对组织战略目标的影响。Hamblin模型与柯克帕特里克的四层次模型基本相似,他将培训评估划分五个层级,分别是:
(1)反应评估:主要了解学员对培训相关要素的看法,包括培训内容、方式、培训师的教学水平等,通常在培训过程中以及培训结束后进行该项评估。
(2)学习效果评估:主要了解培训对于学员的影响,在培训项目之前和培训之后进行测评,评价学员的知识、技能和态度的进步。
(3)工作行为评估:确认由培训项目导致的学员在工作中行为表现的变化,在培训项目之前和之后进行。
(4)执行评估:量化培训项目给学员所在的部门、组织带来的影响,多数情况下,采用成本-收益分析法评估。
(5)组织目标评估:评估培训项目对组织盈利能力和对抗危机能力的影响,对培训结果和组织战略目标一致性进行检验,以评价组织培训是否达到了预定的效果。
汉姆布林模型的重要贡献在于提出评估培训对组织战略目标的影响。建立了组织培训评估与组织战略发展之间的关系,这也反过来提醒培训部门在进行培训项目设计时,应多问几个为什么,会不会对公司的发展有利,能不能帮助组织实现经营目标,提高培训设计的针对性和战略一致性。
4.考夫曼(Kaufman)的五级评估模型
考夫曼(Kaufman)拓展了柯克帕特里克的四层次模型,他认为培训能否成功,培训前的各种资源的获得是至关重要的,因而应该在模型中加上这一层次的评估。并且培训所产生的效果不应该仅仅对本组织有益,它最终会作用于组织所处的环境,从而给组织带来效益。因而他加上了第五个层次,即评估社会和顾客的反应。
考夫曼在研究过程中发现,第一级的评估,即反应层级的评估应增加一部分关于培训项目背景方面的评估,主要是关于培训项目实现目标所需的资源基础和条件分析,包括人力、物力、财力的有效性、可用性和质量。另外还应该评估培训对组织周边环境的影响,主要包括对客户、供应商,甚至是对竞争对手的影响。评估培训产生的社会效益,不单单是培训组织获得的结果。因此,他把四层次评估模型做了一些扩展,也称为五级评估模型。各级评估具体如下:
(1)第一级评估,包括两项内容:一是关于培训项目所需资源的可能性评估,分析组织的各项人力、物力和财力,能否保证培训的成功;二是关于反应内容的评估,包括培训的方法、手段和程序的接受情况和效用情况。
(2)第二级评估,掌握评估。了解受训人员对所培训的知识和技能的掌握情况。
(3)第三级评估,应用评估。评估个人和团队在受训后工作中的表现情况,对所培训知识和技能运用的情况。
(4)第四级评估,组织效益评估。主要评估由培训所带来的行为变化产生的组织结果,培训对于组织的贡献和回报情况。
(5)第五级评估,社会效益评估。评估培训项目对于组织外部主体的影响,包括客户、供应商等相关主体的获益情况。
考夫曼的评估模型中,既有对培训项目的评估,也有对培训效果的评估,综合了两个方面。另外,扩展了培训收益计量的范围,不单单是组织,还应该评估利益相关者的收益。
5.菲利浦斯五层次模型
1996年,杰克·菲利浦斯(Jack Philips)在柯克帕特里克的四层次模型的基础上增加了第五层即ROI(财务评估层)。它是对培训效果的一种量化测定,通过财务数据来说明培训对组织经济利润的影响。其具体内容如下:一是关于培训项目所需资源的可能性评估,即分析组织的各项人力、物力和财力,能否保证培训的成功,以及反应内容的评估,包括培训的方法、手段和程序的接受情况和效用情况;二是掌握评估,了解受训人员对所培训的知识和技能的掌握情况;三是应用评估,评估个人和团队在受训后工作中的表现情况,以及对所培训知识和技能运用的情况;四是组织效益评估,主要评估由培训所带来的行为变化产生的组织结果,以及培训对于组织的贡献和回报情况;五是社会效益评估,评估培训项目对于组织外部主体的影响,包括客户、供应商等相关主体的获益情况。
6.CIRO模型
除了柯克帕特里克四层次评估模型得到补充和完善以外,CIPP的评估模型也得到了丰富,其中较为著名的主要是CIRO模型。这个模型在1970年产生,主要应用于欧洲,是一个划分评估程序的独特方法,包括四类评估。
(1)情景评估:审查培训项目运行背景的基本条件,确定培训的需求,培训最终要克服的问题,以及实现的培训目标。在这个过程中,又包括三个目标层次:
最终目标:培训项目将消除或克服组织内部的特殊缺陷。
中间目标:为达到最终目标而需要改变的员工行为。
直接目标:为改变行为而必需的新知识、新技能和观念态度的变化。
(2)输入评估:对组织的资源,包括内部资源以及外部资源进行分析,为需要完成的培训项目进行适当的资源配置,以最经济、最有效的方式实现培训目标,为培训投入提供可行性论证。
(3)反应评估:主要收集培训过程中以及培训后学员们的主观信息,包括看法、评价等,并据此对培训项目中可能存在的问题进行调整。
(4)输出评估:收集培训项目所产生的结果,并将结果与最初的目标设定进行比较,评估培训项目的完成情况,并用它们来改进以后的培训项目。
除了CIRO模型外,CIPP模型也被推广到其他领域的评估,包括建筑、航空、军事等。只要是一个项目,其评估均可以采用CIPP模型的思想和方法。
7.Lawshe满意效用比(Content Validity Ratio)
劳施厄(Lawshe)的此种评估方法是先由一定的培训人员和老师以及刚完成培训的学员根据KSAO(知识、技术、能力和其他人员特征)运用头脑风暴法进行指标体系的建立,然后运用专家打分法对KSAO指标体系进行评估,根据统计得到的数据,运用CVR方法进行计算:
Ni表示认为选定的KSAO指标重要的专家数;
Nu表示认为选定的KSAO指标不重要的专家数;
Nt表示参加评估的专家总人数。
CVR<0时,表示少于半数的专家认为KSAO指标重要;
CVR=0时,表示正好一半的专家认为KSAO指标重要;
CVR>0时,表示多于半数的专家认为KSAO指标重要。
此后Schipper在1980年提出了满意效用指数CVI(Content Validity Index),是通过对CVR的统计数据的总结,得到的CVR的均值。