威廉希尔app下载官网

相比传统认知能力测验,威廉希尔CATA的三大优势

2017-03-0212527

目前企业中应用广泛的人才测评应属认知能力测验,企业在校园招聘中会大量使用到这项测验,但是近几年认知能力测验出现了一些问题,在相当程度上影响了测评效果。

、认知能力测验的题目在网上被曝光甚至恶意泄露,选拔的准确性和公平性受到影响。尽管威廉希尔已采用监控和水印等方式尽力去降低题目的泄露和扩散,仍很难降低其带来的影响。

第二、应聘者体验越来越被看重,受测者做测评的时间“越短越好”,将会成为未来企业选择测评的重要诉求。

第三、测评对受测者能力的评价也会受到练习效应、组卷合理性、计分方式等因素的影响,如何能准确评价能力水平呢?

 

抱着改善这些问题的决心,威廉希尔产品和技术小组,用一年半的时间做了一个新的认知能力测验,CATA,Computerised Adaptive Test for Ability。

 

CATA采用了计算机自适应测验技术(Computerised Adaptive Testing)。它融合了计算机技术和项目反应理论,采用了自适应抽题和题目参数估计受测者的能力水平。它为受测者随机提供一个中等难度的题目。受测者每做对一题,会获得一道难的题,反之下一题会简单。当受测者回答完一定数量的题目,测验获得了足够的关于其能力水平的信息,程序会自动停止。美考试服务中心(ETS)在TOEFL、GRE、GMAT等考试中均采用了自适应测验。

 

CATA与一般的能力测验相比,解决了哪些问题?

 

1、降低了题目曝光的影响


自适应抽题的方式让受测者的作答题目全程处于动态调整中,下一题是什么取决于上一题的作答结果,不同的受测者会遇到不同的题目。由于采用参数估计的方式,受测者即使遇到了见过的题,单次作答正确,也不会对整体能力估计产生太大的影响。

 

2、作答体验好


CATA在测评过程中为受测者提供的题目非常接近她/他的真实能力水平,题目不会过难或过容易。受测者表现的能力水平稳定时,作答时间会缩短,与传统测验相比自适应测验可以减少1/3的题量。

 

3、测评准


CATA的计分,不是采用卷面分,而是基于题目参数和受测者的作答模式去估算其能力水平。这种估算方式受题目难度的影响,结果接近受测者的潜质水平。如下图中的两个受测者,按照传统计分(正确计1分,错误计0分),A和B分差为9分(100*8/12-100*7/12),而用新的方式去评估时,我们发现A和B的能力水平相差非常大,差距接近1.7个标准差(如果把标准差设定为15,差距接近26分)。

CATA测评

 

计算机自适应测验的诸多优点,决定了它是高难度的系统工程。任何一个的计算机自适应测验都需要解决好题库建设、初始题选择、能力值估计、抽题策略、测验终止策略、曝光率控制六大问题,而每一部分的构建都涉及到复杂的算法和精妙的设计。开发一个在线的自适应测验就加不容易,举例来讲,大量受测者同时作答,每个人作答完一题就需要重新做出能力值估计和抽取下一题,这对计算机的运算能力和服务器性能都是非常高的要求。威廉希尔在一年半的时间通过无数次调试和优化,克服了这些困难。

 

威廉希尔新一代能力测验CATA已经上线,很快就会邀请您来试一试。


相比传统认知能力测验,威廉希尔CATA的三大优势 - 威廉希尔HRSaaS

免费预约

免费预约demo
相比传统认知能力测验,威廉希尔CATA的三大优势 - 威廉希尔HRSaaS