8.4 数据收集与分析(1 / 1)

培训与开发 颜世富 5814 字 2个月前

数据收集计划是培训评估策略中的一个重要组成部分,收集什么数据、何时收集、由谁来收集以及怎样分析数据,对于有效地进行培训评估至关重要。

8.4.1 培训评估数据的收集

数据是培训评估的基础,能否取得具有说服力的数据,是培训能否有效的关键。美国培训与开发协会(ASTD)研究指出,比较严格的培训评估应该具有以下特点:首先,要从尽可能多的或者全部参加者那里收集数据;其次,要不止一次地收集数据;再次,要更注重“组织”一级的效果评估;最后,要引用量化数据收集方式等。这涉及数据收集范围、频率、层次、方式等内容。优秀的培训评估者应该对于需要采集哪些数据、怎么采集、在什么时候采集等问题了如指掌。

1.数据类型

有效的培训评估,需要掌握两类数据,即硬数据和软数据。

(1)硬数据,指的是那些容易衡量和量化,容易转为货币价值,比较客观的数据,一般用于衡量组织业绩及管理业绩。主要包括产量、质量、成本、时间。这些数据在多数组织中都能寻找到(如表8-7)。

①产量:是指一定时期内生产某种物品的数量。它是在培训中获得的最直观的数据。通过对培训前后产量的比较,可以直接判断培训的效果。

②质量:是指产品、服务、工作的优劣程度。它是培训评估中需要的最为重要的数据。通过培训前后产品或者服务质量的衡量和比较,能够反映培训的效果,特别是针对那些以提高质量为目标的培训。

③成本:是指生产产品或者提供服务所需的投入以及所耗费的全部费用。它是培训评估中很有用的数据。培训前后生产产品或者提供服务耗费成本的对比,在一定程度上也能够反映培训的效果。

④时间:是指生产产品或者提供服务持续的期间。如果因培训而产生工作效率的提高,节省的时间意味着可以转化为产出量的增加或者运营费用的降低,也反映出培训的效果。

表8-7 硬数据举例

续表

(2)软数据,指的是有时较难衡量和量化,不易转化为货币价值,在多数情况下具有主观特性的数据,它们有时可作为业绩的衡量标准。在评估中,软数据往往作为对硬数据的补充,即在很难找硬数据和合理的数据的时候,评估者可以通过软数据的收集来判断培训的效果与价值。软数据一般包括工作习惯、氛围、新技能、发展、满意度和主动性(见表8-8)。

①工作习惯:主要指在工作中积久养成的方式。高效的工作习惯能够促进组织士气,不良的工作习惯会影响组织的业绩。

②氛围:是指围绕或归属于一特定根源的有特色的高度个体化的气氛。不良的氛围,如委屈、不公平等会对工作效率带来负面影响。通过培训,可以改进氛围,从而提高组织绩效。

③新技能:主要指在培训中掌握的新的技术、能力、工艺等。新技能是多种的,有的可以通过硬数据的方式获得,例如,掌握新的生产工艺,直接带动产量、质量的提高等。但有的新技能是无形的,例如解决问题、应对危机、有效聆听等方面的能力。

④发展:主要指员工在知识、能力由简单到复杂、由低级到高级,向更高水平和层次的变化与进步,一般可以通过晋升、转岗、业绩评定来体现。

⑤满意度:主要指员工对于工作任务、工作环境、工作氛围的意愿得到满足、符合心愿的程度。

⑥主动性:表现为员工自愿、积极地从事工作、创新、创造的程度。

表8-8 软数据举例

在实施培训评估中,一般应优先选择硬数据,但并不意味着软数据没有价值。衡量一个项目的成功与否也取决于软数据的测量标准。因此,大多数培训评估项目采用软硬数据相结合的办法。例如,对生产维护主管的培训项目进行评估,需要一系列的数据:

①与各项维护活动相关的成本减少了多少。

②生产设备与流程的改进。

③生产维护的责任和程序的改变。

④对维护员工的培训的改进情况。

⑤组织和个人的变化。

这些都涉及硬数据(产值和成本)和软数据(培训的增加、运作程序的变化和组织的变化)等。

2.数据来源

无论软数据还是硬数据,都遍布在组织的各个环节,关键在于,培训评估者必须了解这些数据产生于哪里。在此基础上,才能按图索骥,为开展有效的培训评估奠定基础。

(1)组织业绩记录,用于培训评估的最有效和最可信的数据来源是组织业绩记录档案和报告,它能真实反映个人、团队、部门、区域、地区或整个公司的业绩情况。这个渠道的信息包括多种衡量指标,并且在组织中可以得到大量的数据。通过这个渠道得到的数据应该用于四级评估,因为这些数据容易收集,并且往往反映组织的业绩信息。如果某个组织在保存数据方面不能始终如一,那么,取得记录的困难就在于如何才能找到那些特定的数据报告。

(2)学员,对于投资回报率的分析来讲,最常用的数据来源之一就是参加培训的学员。学员经常接受这样的询问:在培训中所获得的知识和技能在实际工作中的应用情况如何?有时候,他们还被要求解释这些做法的效果。对于一级、二级、三级和四级评估来讲,学员是一个非常丰富的数据来源。大多数学员是可信的,因为他们使业绩得到改进,掌握了各种运作程序的知识和其他有影响的因素。要找到一个有效的方法,以便从学员那里得到前后一致的数据材料,这是一种挑战。

(3)学员的主管人员,另外一个获取数据的重要来源是那些直接指导或领导项目参与人员的个人。这个群体中的人往往对评估很感兴趣,因为他们也许就是批准学员参加某个培训的主管人员。同时,在许多情况下,他们对学员运用培训中所学到的知识和技能的情况进行了观察。因而,他们可以报告与培训项目有关的成功因素,以及与应用有关的困难和问题。虽然主管人员的信息最适合三级评估,但也可以用于四级评估。在评估参与培训项目学员的情况时,重要的是主管人员要保持客观的态度。

(4)学员的下属,如果主管和经理接受培训,他们的下属就可以提供培训结束后这些主管和经理的行为变化方面的信息。下属提供的信息适合作为三级评估的数据,而不适合作为四级评估的数据。尽管从这个渠道收集的信息数据非常有用和具有建设性,但是人们往往避免使用这种数据,因为在意见反馈的过程中可能会有潜在的偏见。

(5)团队、同事小组,学员的团队成员或在学员培训期间组织中接替该员工的个人,是评估某些培训项目的另一个数据来源。在这些情况下,小组成员可以提供该学员行为变化方面的变化信息。当所有团队成员都参加了某个培训,在反映个人的或团队整体的行为变化时,通过这个渠道获得的数据资料就更加有效。这种数据所具备的主观性和对技能运用缺乏全面的评估,使得这个渠道的信息具有一定的局限性。

(6)内部、外部团队,在有些情况下,内部或外部团队,如培训与开发人员、培训项目的培训员、外部的顾问等,都可以提供有关学员使用培训中所获得的技能和知识的信息资料。通过这种渠道获得的信息,可以是培训后对员工的在岗表现进行观察而得到的结果。收集这类信息,其用途是有限的,因为内部团队可能对评估的结果非常在意,他们的意见可能缺乏可信度。来自于外部团队、以对在岗业绩表现进行观察为基础的意见反馈应该是恰当的。

3.数据收集的方法

数据收集的方法,直接制约数据的质量,也决定培训评估的信度和效度,因此,掌握一定的数据收集方法,也是培训评估者需要掌握的基本技能。

(1)抽样技术,就是用总体中的一部分样本的特性作为代表来推断总体特性的办法。在培训评估中,采取抽样技术的优点:第一,在于经济、省力、省物;第二,能提早汇总研究资料,及时利用研究结果;第三,较适用于研究对象分散的课题;第四,在研究对象数量有限的情况下,可采用灵活多样的手段获取资料;第五,从某种意义上讲,抽样研究有时比总体研究更能提高研究的质量。

抽样技术一般可以分为随机抽样和非随机抽样。随机抽样可以分为简单随机抽样、等距抽样、分层抽样和整体抽样。

①简单随机抽样,就是指按随机原则直接从总体N个单位中抽取n个单位样本,即抽样时不分组、不排列,使总体中各个单位有均等抽取机会。常用的方法是抽签法、随机数表法等。

简单随机抽样的样本数量确定,一般分测定平均数和百分比两种情况。在重复抽样和不重复抽样的条件下,其公式有所不同。

测定某一平均数,在重复抽样条件下,其公式如下:

其中,n为抽取的样本数,t是可信度系数,Δ为误差范围,δ是总体标准差。

例如,对30000万名员工测试,经小规模测试调查,平均成绩为75分,δ=10,要求误差1%,当可信度要求为95.45%,t=2,在重复抽样条件下的抽样数量应为:

在不重复抽样条件下或者抽样调查有限总体时,公式为:

如果测定百分比或者比例时,在重复抽样条件下或对无限总体调查时,

其中,P为总体的百分比或者比例。

在不重复抽样条件下,

②等距抽样,是指把全部总体按某一标志进行排列,然后以固定顺序和间隔抽取单位(个案)的方法。等距抽样的数量确定,可按简单随机抽样确定抽样数量的公式进行。

③分层抽样,先对总体的各单位按主要标志加以分组(分层),然后再从各组中按随机原则抽取一定单位构成样本。

④整体抽样,是将总体各单位划分为若干群,然后以群为单位从其中随机抽取一些群,对中选群的所有单位进行全面调查的抽样方法。其样本数量的确定,可按照下列公式进行:

其中,N为总体划分的群数(组数),n为被抽选的群(组)数,δ2为群(组)数间方差。

当总体划分的群(组)数较多,即N相当大时,上述计算公式可变为:

(2)收集方法,数据收集的主要方法包括问卷调查、观察、面谈、核心小组讨论、业绩报告、制订行动计划、业绩契约、后续跟踪活动等。我们已经在上节详细论述。这里,进行简单的回顾。

问卷调查法,主要确定学员对培训项目中的各类知识技能的运用程度。民意调查的反馈意见用不同的变化数值来表示,代表的是有关个人态度的数据。民意调查适用于三级数据评估。

后续问卷调查法是用来揭示对培训成果的运用情况的。学员要提供许多选择题和必答题的答案。

观察法收集的是技能的实际运用和使用方面的数据。在岗观察尤其适用于客户服务培训的评估,无论观察人员是隐蔽的还是公开的,其结果都是非常有效的。在岗观察适用于三级数据的评估。

面谈法的目的在于确定学员所学的东西在工作中的应用程度。培训后面议有助于揭示培训内容的运用情况,适用于三级数据评估。

核心小组讨论法的目的在于确定某一组学员将培训知识或技能用于实际工作的程度。核心小组讨论法适用于三级数据评估。

培训项目课外作业法适用于简单的短期项目。学员运用培训中学习的知识和技能来完成所布置的作业。他们所完成的作业往往包含有关三级和四级数据评估的内容。

在培训中制订的行动计划要在培训后的工作中去完成。对这些计划的后续跟踪,可以收集一些有关培训项目成败的证据材料。利用行动计划法可以收集有关三级和四级的数据评估。

工作业绩契约是在学员、学员的主管和培训师对培训项目应带来的结果达成一致意见的情况下形成的,适用于收集有关三级和四级评估的数据。

有些培训项目的设计往往还有一个后续活动,这个后续跟踪活动是用来收集评估数据和提供附加培训材料的。在后续跟踪活动中,学员会讨论他们在培训项目中的收获。后续跟踪活动法适用于收集有关三级和四级评估的数据。

当对各种业绩记录和操作数据进行检验以便使他们得到改善时,工作业绩监控法就可以派上用场。这个方法尤其适用于四级数据评估。这个步骤中最重要的挑战是,在某个组织机构所允许的时间和财务预算的条件下,选择适合某个培训项目的数据收集方法。

4.数据收集的主要策略

(1)时间选择,数据收集的成功与否,与在什么时间就什么层次测试有密切关系。

表8-9 数据收集的时间选择

①事前测试,主要获取接受培训前的知识与技能水平、业绩状态,以便与接受培训后的改变进行比较。事前测试要注意几点:如果事前测试会影响学员的业绩表现,就应该避免进行事前测试;当事前测试没有什么意义时,要避免使用;为便于对比,事前测试和事后测试的内容要一致或大体相同,所设定的分数要有一个共同的基础。事前测试和事后测试应该在同样的或类似的条件下进行,测试所需要的时间和条件要大体相同。

②事中测评,为获得在培训实施过程中有关知识、技能的掌握情况和态度的变化情况,往往需要展开事中测评。事中测评注重了解学员的反应和学习情况,衡量完成培训目标的进展情况,获得有关部门的反馈信息,以便作出适当的调整。

③多重测评,为有效获得相关数据,以便对培训前后的趋势变化作出判断,很多培训评估会在培训项目实施前后开展多重测评。在培训项目实施之前进行多重测评,其目的在于衡量培训项目实施前的某种趋势,它主要着眼于三级和四级评估的数据,以便确定技能和知识在实际工作中的应用情况,以及给组织业绩所带来的变化情况。培训项目实施之后进行多重测评,目的是衡量技能的使用和应用的程度,了解整个培训项目内容的应用进展情况,以及该培训项目所产生的长期效果。

④跟踪测评是指在培训项目结束后的某个预定的时间内,对被测评者在培训中所学到的有关知识、技能等内容进行测试、评估。在跟踪阶段,可以收集三种数据:

第一,可以收集到二级评估数据,以便确定学员对培训项目所传授的知识或技能的掌握情况。当学员做好某项工作必须要掌握某些知识和技能时,学习的效果就尤其重要。例如,在一些关键性的工作岗位(尤其是那些涉及安全和健康的工作岗位),学员要了解如何去工作就显得尤其重要。对学习反馈跟踪活动的时间选择,取决于评估是否可行,以及对学员进行继续测试的材料是否具备。

第二,对三级评估数据的跟踪可以确定知识和技能在实际工作中的应用情况。对于新的技能,重要的是及时应用和定期强化。因此,三级跟踪的时间选择往往是在培训结束之后不久,大约几个星期之内进行。例如,在某个客户服务培训项目中,也许在培训后的两到三周来确定技能的应用情况比较合适。研究表明,如果技能得不到及时的应用,对知识的保持力可能会锐减,对技能的实际应用的可能性就会大大降低。在有些培训项目中,三级跟踪的时间选择取决于应用这些技能的机会。例如,如果学员所学的技能在一到两个月内才可以得到运用,那么实施跟踪的时间就应该选择在一到两个月之后,以便学员有机会应用这些技能和有机会报告其进步情况。再如,在得克萨斯设备公司进行的谈判技巧方面的培训,在培训结束一年后才实施后期跟踪活动。人们确定,学员学会应用谈判技巧以及报告应用这些技巧的进展情况,至少要经过一年的时间。

第三,对四级评估数据的跟踪所需要的时间间隔往往要比实施三级跟踪所需要的时间间隔长。所学技能和知识的应用结果(三级评估)反映出组织业绩测评的变化,因此,在技能应用和反映培训效果的数据之间存在着时间滞后的情况。在有些情况下,这种时间差很大,它取决于数据收集的过程。例如,在客户服务培训项目中,技能的应用可以在两到三周之内迅速发生,而对客户的实际影响(从客户满意调查中获得该信息)要在六个月后才能体现出来。因此,在作四级评估跟踪时,要考虑收集数据所需要的时间,也要考虑应用技能来产生组织业绩变化时的时间滞后的情况。在多数情况下,实施四级跟踪评估往往要在三到六个月的时间内进行。

(2)方案设计,培训评估者在设计评估工具时,要结合有关条件,选择相应的方案。总的来说,可以有以下几种方案:

①一次性项目评估的设计是培训评估中最常用的评估设计方法。这种方法只涉及一个小组,在培训之前没有收集任何数据;在培训之后对该小组只进行一次评估。如图8-2所示。

图8-2 一次性项目评估设计

一次性项目评估的适用范围包括:○a事前没有用任何方法来评估业绩表现;○b在培训项目实施之前,缺乏足够的知识、技能或能力;○c受到财务、组织或时间方面的限制,无法收集培训前的数据。

一次性项目评估的优点在于简便、灵活、易于操作、经济,缺点是没有数据进行对比,存在难以控制的因素,影响一次性项目评估的结果。

②单一小组、事前测试和事后测试的设计,比一次性评估进了一步,可以解决没有数据进行对比的问题。通过培训项目前后的数据收集,可对培训前后的知识、技能或态度、行为进行比较,确定改进的情况。如图8-3所示。

这种设计的缺点:○a事前测试的影响。有效的培训效果应该是由培训本身引发的,但由于事前测试有可能使学员去研究提供的主题或提出的问题,致使事后测试的结果受到影响。○b外部因素的影响。组织、环境、工作条件或其他因素,会导致业绩表现的变化。这两种影响一般较难消除。

图8-3 单一小组、事前测试和事后测试的培训评估设计

③单一小组、多重测评设计是目前培训评估中使用较多的方式。这种用来评估培训项目的设计涉及培训前后一系列的评估。在这种设计中,实验组又是自己的对照组。在培训之前实施多重测评就会避免因不用对照组而产生的问题;事后采取重复性评估,不仅可以对原始结果进行比较,而且也可以对培训项目的长期效果进行评估。图8-4所展示的这种设计,可以包括任何适当的评估方法。

评估者较易得到作为组织业绩报告一部分的测评数据时,可采取单一小组、多重测评的适用条件。其优点在于,可以将培训项目所产生的影响与较长时间以前的业绩表现进行比较,消除许多时间和选择对有效性的影响,但是不能避免流失率所带来的不利影响。

图8-4 单一小组、多重测评的评估设计

④对照组的设计,为有效衡量和对比由培训引发的业绩的变化,评估者可以在实验组培训中或者培训后进行测度,并与对照组的业绩进行对比,判断培训项目的效果。这种方法叫做对照组评估设计。如图8-5所示。

图8-5 对照组的评估设计

对照组设计成功与否的关键在于对照组与实验组学员的抽取。对照组与实验组的学员,一般具有相同或者相似的特点,所不同的是,对照组不参加培训,代表培训前的水平,实验组参加培训。因此,对照组的选择,应注意与实验组在工作设置、技术、能力和人数特征方面保持相当。对照组的人员构成要具有随机性,同时,不应该暴露对照组的身份,因为这将影响他们的业绩表现。

对照组的理想选择方法是随机抽样,这不仅能在培训开始之前使两个小组得到平衡,而且也使得评估的结果对于其他小组具有普遍性。然而,从实践的角度来看,对学员的选择很难做到随机抽样。

⑤理想的评估设计,如图8-6所示,该评估设计展示了一种更加理想化的状况。这个综合性的设计涉及三个部分:对学员的随机抽样、对所选择的小组进行事前和事后测评。如图所示,小组A参加某个培训,接受事前测评和事后测评。对照组不参加该培训,但接受事前测评和事后测评。小组B参加该培训,不接受事前测评,但接受事后测评。

对照组消除了时间和流失率对有效性的影响。对于对照组来说,如果其事前测评和事后测评的结果相同,那么就可以得出结论,这两个因素对结果没有产生影响。而随机抽样所组成的小组又消除了选择给有效性所带来的影响。

用小组B是为了消除事前测评对人力资源开发培训结果的影响,真正意义上的对照组的设计缺点已经在前面讨论过了。如果小组A和小组B的事后测评结果相同,那么就说明事前测评对业绩表现没有产生影响。

在实施设计中,这种设计是最好的。然而,从实际来看,要得到三个随机选择的抽样小组是很困难的,这种操作所用的时间、费用、不便之处和管理程序等,将使之不能付诸实施。

图8-6 理想的评估设计

⑥只有事后测评的对照设计,图8-7所展示的是一个成本低、实用性强的理想化实验设计,我们称之为只有事后测评的对照设计。

图8-7 事后测评的对照设计

8.4.2 培训评估数据的分析

1.培训评估数据分析的原则

在探讨统计数据的使用方法之前,应该首先阐明用于对评估数据进行分析的一般性指导方针。

(1)审查一致性和准确性。虽然这是一个显而易见的问题,但是仍然必须进行进一步的检查,以确保数据的准确性和一致性。要消除所有不正确的、不充分的或极端的数据。此外,准确性是最重要的问题,因为只有数据本身具有相当的可靠性,数据的分析和解释才会可靠;如果不能确保数据的准确性,那么整个过程中的其他步骤也就毫无意义了。

(2)使用所有相关数据。在多数评估活动中,改进是进行评估的人员所渴望的目标,但是评估本身可能存在偏差。改进并非总是能实现的事情,而有些数据既有正面作用又有负面作用。人们通常希望消除那些不能支持所期望效果的数据,但是仍然应该使用所有相关的数据。如果没有使用某项数据,那么就应该解释清楚为什么将其删除。

(3)保守个人数据秘密。所有收集的数据通常就是每个员工的业绩效果。在对数据进行分析和解释并报告结果时,应该将保守数据来源的秘密视作一个重要问题,除非有某些条件可以防止数据被公开。在收集数据的过程中所采用的相同的保密制度,也应该用在分析和报告阶段。此外,还应该在评估开始之前将这个问题的细节明确告诉给学员。

(4)尽量使用最简单的统计方法。有很多方法可以对数据进行分析,也有很多种不同的统计方法可以对业绩变化进行比较。分析过程应该尽可能简单,并且不超过从数据中获得所需结论的必要限度;应该尽量避免不能提高效益的额外分析。

2.培训评估数据分析的主要方法

在培训评估中一般采取统计的方法汇总、整理、分析数据。根据不同的目的,采取不同的分析方法。第一,在汇总、整理数据中,主要采取两种方法:一是集中趋势或平均值(即中数、中位数和众数),表述小组的特性;二是差量或方差,以表示小组中每个项目的偏差程度。第二,在确定两个或多个项目之间的关系时,主要采取相关系数来表示项目之间互相关联的程度,并用一个系数来表示。第三,对两个小组之间业绩的差别进行比较时,多采用差异检验的方法。这里,对主要的分析方法作概要介绍。

(1)频率分布,在讨论统计方法中所涉及的基本计算之前,首先介绍一下频率分布。例如,对一组15名员工的业绩进行了衡量,培训之前和之后的结果如表8-10所示。阐述培训之后数据的一种方法,就是将其划分为较小的范围(即组距),如表8-11所示。以图表化形式对数据进行阐述后就会发现,在培训项目结束后,在范围(或区域)60~64内具有单位小时评定分数的员工人数比其他范围的人数更多。以图形化形式列出的数据可以用来表示集中趋势(即多数项目被组合在一起)以及差量(即数据离散的程度)。

表8-10 培训前后生产率比较

表8-11 培训后的组距分布

(2)集中趋势分析常用的是中数、中位数和众数。

中数就是一组数字的算术平均值。其计算方法是,将所有数值全部相加,再除以总数。公式如下:

有关计算过程的解释和说明,请参见表8-10中的数据。∑Xi=932,n=15,接受培训后业绩的平均值:

中位数,又称中间值,是指按照从大到小的次序对数据进行排列,处在当中的那个数字,即要求大于中位数和小于中位数的数字的个数相等。如果数据项目的个数为偶数,那么中位数就是中间两个数值的平均值。在表8-12所显示的培训项目之后的数据,可以按照从大到小的次序进行重新排列,其中位数为63,即表中所列出的15个数字中的第八个数字。如果无法获得或不要求中数的话,那么中位数就能非常有效地表示整组的估计。

众数是指发生频率最高的数值。在前面的例子中,在表中出现了三次的63就是众数。众数的应用范围比较有限,并且在某些数据中可能根本就不存在。例如,如果所有员工都有不同的业绩水平,那么就不存在众数。

此案例培训项目之后的数据,其衡量集中趋势的三种衡量指标分别为:

中数=62.13

中位数=63

众数=63

这与频率分布的结论相符(即多数员工都在60~64的区域内)。如果这三种衡量指标几乎相等,那么这种分布被称为正态分布或钟形曲线分布。

表8-12 培训项目数据的中位数

(3)差异量数是表示量数之间的差异程度的一些统计量的总称,用以表示一群量数的离散情况或离中趋势,一般用标准差、方差表示。

方差是与平均值的偏差的平方的平均值。它可借助以下公式计算得出:

从每个项目中减去这个平均值,再对结果进行平方,将所有这些平方后的数值全部相加,再除以样本n。以S2所表示的方差代表了数值偏离平均值的程度。

标准方差S,是用方差的平方根计算出来的,即

标准方差的确代表了数据偏离数据组平均值的程度,标准方差越小,数据与平均值的距离就越近;标准方差越大,数据与平均值的距离就越远。

利用表8-12中所列的培训项目之后的数据可计算出标准方差,即

(4)相关性系数,两个变量之间是否存在一定关系,这种关系被称为相关性,这个相关的程度则是通过相关性系数来衡量的。使用相关系数,有助于评估培训的效果。

相关性系数有多种不同的类型,较为常用的是皮尔逊积矩相关性系数(Pearsons’ Product Moment Correlation Coefficient)。同时,需要指出的是,相关性系数用于描述变量之间的相关性,并不揭示两个变量组之间的因果关系。

计算相关性系数r的公式如下:

-1≤r≤1。r=0,表明在两个变量之间不存在任何相关性;r的绝对值越接近1,则两个变量的相关程度越高。只不过,r≥-1,表示两个变量为负相关,r≤1,表示正相关性。

例如,某电子器件制造商对新录用的电子器件电路板测试员开展入门培训之后,对其能否有效地使用电子器件电路板测试所必需的所有程序进行测试。该测试分数将与学员在完成了培训项目之后的生产效率和工作质量进行比较。生产效率就是完成电路板测试的数目,工作质量则是测试错误率。培训项目分数(按混乱次序排列)以及生产效率见表8-13。

表8-13 电路板测试员的业绩

r表明高度正相关,说明电路板测试员培训与培训项目之后的业绩之间存在直接的关系。这样有助于判断测试的效果和可用性,也可避免花费额外的资金进行后续跟踪评估。

(5)假设检验要求评估者通过定量分析来确定培训效果是否显著,从而作出接受或拒绝的判断。

假设检验是先对总体的分布规律作出某种假说,然后根据样本提供的数据,进行统计运算,根据运算结果,对假说作出肯定或否定的决策。如果要检验实验组和对照组的平均数(μ1和μ2)有没有差异,则其步骤为:

第一步,建立虚无假设,即先认为两者没有差异,用H0:μ1=μ2表示。

第二步,通过统计运算,确定假设H0成立的概率P。

第三步,根据P的大小,判断假设H0是否成立。

如表8-14所示。

表8-14 P值与H0的关系

在进行大样本(样本容量小于30)平均数差异的显著性检验时,一般采用Z检验。它是通过计算两个平均数之间差的Z分数来与规定的理论Z值相比较,看是否大于规定的理论Z值,从而判定两个平均数的差异是否显著的一种差异显著性检验方法。其一般步骤如下:

第一步,建立虚无假设,即先认为两者没有差异,用H0∶μ1=μ2表示。

第二步,计算统计量Z值,对于不同类型的问题选用不同的统计量计算方法。

如果检验两组样本平均数的差异性,从而判断它们各自代表的总体的差异是否显著,则其Z值计算公式为:

第三步,比较计算所得Z值与理论Z值,推断发生的概率,依据Z值与差异显著性关系表作出判断。如表8-15所示。

表8-15 Z值与P值的关系

第四步,根据以上分析,结合具体情况,作出结论。

下面通过在组织中的实际案例来说明检验法在培训有效性分析中的具体应用。

某组织为提高产品产量,决定对部分职工进行为期三个月的培训。为了解培训效果,在培训前从要进行培训的职工中随机抽取50名作为实验组,随机抽取不培训的职工48名作为控制组,分别记录当月产量,得到有关样本数据如表8-16所示:

表8-16 前测、后测的数据对照

计算前测Z的值:

第一步,建立假设:H0=μ1=μ2,即培训对职工产量提高无显著性影响。

第二步,选择检验统计量:这里标准差λ1,λ2均已知,可采用Z检验:

因为|Z|=0.658<1.96,P>0.05

所以前测两组差异不显著。

计算后测Z的值:

因为|Z|=2.16>1.96,P≤0.05

所以后测两组差异显著。

由Z检验表明,在培训前,实验组和参照组没有显著差别;经培训后,两组差异显著,至少有95%(P≤0.05)的把握认为培训对职工产量提高有显著性影响,培训效果显著,达到了预期目的。