我国的高校外部评估可以划分为政府主导的评估和民间评估两种评估类型和实践活动。
(一)政府主导的高校评估及其基本特点
政府主导的评估,既指由教育部和各个地方教育管理机构直接组织实施的高等教育评估项目,也包括各级教育行政部门委托民间机构和团体实施的评估活动。评估的主要内容多数是专项评估,如本科教学工作水平评估、精品课程评估、研究生教育评估、“985工程”评估、“211工程”评估等,以及各种评优工作,如高等学校教学名师奖和优秀博士学位论文评估等。教育部主导的评估的主要内容是工作检查、专项拨款和重点工作的推进。
目前政府所从事的评估主要有以下三种类型。
1.常规性专项评估
政府实施的高等教育方面的常规性专项评估主要是高等学校本科教学工作水平评估,这也是近年来在高等教育界甚至全社会影响最为广泛和深入的一项常规性评估。
教育部开展高等学校教学工作评估始于1994年,最初对新建的本科院校进行合格评估,然后对办学历史较长、水平较高的重点大学进行教学工作水平优秀评估,还对介于两者之间的高校进行随机性水平评估。2003年,教育部在研究、总结的基础上,将上述三类评估合并,开始实施“普通高等学校本科教学工作水平评估”,主要对高校的办学指导思想、师资队伍、教学条件与利用、教学建设与改革、教学管理、学风、教学效果、特色项目进行评估。其基本作用是通过制度化的评估,使高校实现“以评促建,以评促改,以评促管,评建结合,重在建设”。针对扩招后一部分高校还存在师资队伍不足、教学条件紧张、教育经费长期投入不足、教育质量存在潜在不良因素的影响,教育部于2004年8月对原有的普通高等学校本科教学工作水平评估体系进行了修订。新的评估体系对高校教学硬件和教育水平提出了严格要求,增加了控制规模和质量的生师比、就业情况、生源和校园网建设状况等多项内容,并将培养大学生创新精神和动手能力的实践教学环节作为评估指标体系的核心指标。评估指标体系的内容如表9-1所示。
表9-1 普通高等学校本科教学工作水平评估指标体系(2004年8月)
续表
续表
教育部设定了各类普通高等学校基本办学条件指标的合格标准,评估专家参照此标准对高校进行评估,评估结论分为优秀、良好、合格和不合格四种。合格标准的具体内容如表9-2所示。
表9-2 普通高等学校基本办学条件指标的合格标准
续表
2004年10月,教育部成立了“教育部高等教育教学评估中心”,因此,第一轮五年(2003—2008年)的高等学校本科教学工作水平评估由教育部统一领导,由教育部高等教育教学评估中心组织实施;高职院校教学评估由各省、自治区、直辖市教育厅(委)领导和组织,但教育部要组织专家进行抽查。教育部计划将评估结果与对学校的激励和约束机制结合起来,将评估结果作为各校财政拨款、确定招生计划、加强学科建设等有关资源配置的重要依据。
高等学校教学工作水平评估的程序如下。
评估前,由教育部发文通知学校评估时间,同时,由教育部组织评估专家组。
教学工作水平评估分以下三个阶段进行。
自评自建阶段:被评学校完成自评工作,写出自评材料;专家组抽调学校的背景材料,以及部分学生的毕业设计、毕业论文和试卷等,请同行专家评审、分析。
专家组进校考察阶段:专家组进校听取学校领导的自评报告,采用多种形式深入实际,进行全面考察,通过认真讨论,形成评估意见,并向学校反馈。评估意见和建议报“普通高等学校本科教学工作评估专家委员会”审议。
整改阶段:被评学校根据专家组的评估意见,制订整改计划,实施整改工作。一年后向教育部提交整改总结报告。
1994—2007年,教育部对全国本科高校进行的教学工作水平评估的结果如下。
1994—2000年,用合格评估方案共评估169所学校。其中:133所一次通过,占78.7%;36所暂缓通过,占21.3%。
1996—2000年,用优秀评估方案共评估16所学校(包括4所试点学校),14所一次通过,占87.5%;2所暂缓通过,占12.5%。
2000年,用随机方案试评1所(长沙铁道学院),评估通过。
2001年,用合格评估方案共评估10所学校,全部通过。
2001年,用随机评估方案共评估25所学校,其中,8所优秀,16所良好,1所合格。
2002年,用合格评估方案评估13所学校,其中,师范类10所,全部合格。
2002年,用教学工作水平方案评估20所学校,其中,13所优秀,7所良好。
2003—2008年,教育部第一轮本科教学工作水平评估的结果见表9-3。
表9-3 教育部第一轮本科教学工作水平评估的结果
健全和完善教学工作水平评估制度是保证教学质量的有效手段。教育部认为,通过教学工作水平评估,有助于把学校的教学基本建设、教学改革及教学管理提升到一个新水平。评估工作充分显示了评估在端正办学指导思想、规范管理、加大教学投入、改善办学条件、深化教学改革、提高教育质量、创新办学思路等方面,特别是在充分调动全校师生教学和学习积极性、增强学校的凝聚力方面的重要作用。被评高校普遍认为,本科教学工作水平评估是对普通高校办学指导思想、办学水平和教育质量的全面审视,是促进学校全面发展、提升办学实力的最佳时机,也是发现不足、及时整改的宝贵机遇。通过迎评促建,被评高校进一步明确了办学指导思想,改善了教学条件,提高了管理水平,进一步加强了师资队伍建设,教学改革得到深入开展,对于学校的教学、人才培养质量的提高起到了非常重要的作用。有的校领导认为,评估在学校发展历史上具有里程碑意义;多数大学的领导和教师认为,评估不仅使本科教学工作上了一个新台阶,而且使学校的各项工作有了全新的发展。评估发挥了指挥棒作用,由于在指标体系中要求教授、副教授近三年内要为本科生授课,促使一大批教授重新走上给本科生授课的讲台。在对高职院校的评估中,由于评估方案把毕业生就业率和职业资格证书获取比例作为检验学校教育质量的核心指标,明显促进了学校以就业为导向的教学建设和教学改革的进程。
随着评估工作的进一步深入和拓展,评估也出现了一些问题。如表9-3所示,评估优秀率逐年提高,尤其从2006年开始,大幅度提高,评估结论的趋同性增加,教育部评估优秀的部分学校和社会对其的评价存在不一致。此外,由于评估结果关系到学校的形象、声望和地位,关系到学校的持续、快速和健康发展,个别学校在认识到评估结果的重要性的同时,在迎评过程中不是在以评促建,而是搞应试评估,甚至弄虚作假。有的学校在评估专家组进校前,集体赶制教师教学档案,补齐学生考卷。山东某大学一个学生给《中国青年报》编辑部发匿名电子邮件,举报其所在学校为了迎接教育部教学工作水平评估,强迫学生集体作假。[10]举报信共提到了四项作假手段:首先,“为了迎接评估,学校要求每名学生必须写一份不少于5本书的借书记录,而且要求写明出版日期、借书时间,以表明学校不是没有书,而是好书都在学生手中”。但事实上,学校根本没有这些书。其次,要求大一、大二学生买一张健身卡。学校规定,这是课外健身的一部分,不参加活动就拿不到相应的学分,毕业时拿不到足够的学分,就会“理所当然”地拿不到学位。再次,为了迎接专家组的到来,学校买了几辆高级轿车,编了号放在学校显眼的位置,以表明对专家的重视。最后,专家组来到学校还要与学生谈话,学校两次印制了专家有可能问的问题,要求学生照着背,不该说的一律不许说。[11]以上种种问题,导致了民众及高校部分人员对教育部本科教学工作水平评估的质疑。
针对评估中出现的问题,教育部要求,在评估工作中,要建章立制,严明纪律,做好评估规范化建设工作。要做到评估指标体系、标准、评估过程、程序和结果全部公开,做到评估工作的公开、公正、公平和透明。评估过程中,高校要诚实守信,本着对国家、对社会和对学生发展高度负责的态度,做好自评、自建工作。对于那些在评估工作中虚报数据、弄虚作假、搞不正之风的高校,一经发现,立即取消其已获得的评估结果,并被作为教学评估不合格单位向社会公布。对其主要领导,要进行批评教育和行政纪律处分。[12]
此外,由于各类高校的目标定位、性质、任务和社会服务的行业范围有所不同,高校的多样性、层次性、地区性和复杂性决定了应该对高校进行“分类评价”。为此,教育部高度重视对高校发展分类指导的工作,强调各类高校都应该有自己的名校,高校评估不能都挤所谓“名校独木桥”。自2009年开始,教育部组织开展新一轮本科教学评估的方案研究。教育部通过总结上一轮普通高等学校本科教学工作水平评估的经验教训,研究国外高等教育质量评估的发展趋势,以及开展专项政策咨询研究,在调研和试点工作的基础上,确立了新一轮普通高等学校本科教学工作水平评估,对2000年以来未参加过评估的新建本科院校(暂不含独立学院)实施质量认证式评估(即合格评估),要求参评院校达到国家基本办学标准,保证人才培养的基本条件和基本质量,重点考察学校是否建立了符合教育规律的人才培养模式、科学规范的教学管理制度、合理有效的内部质量保障体系。评估结论也从上一轮评估的水平性评定调整为认定性结论(通过、暂缓通过或不通过)。而对参加过上一轮评估并获得通过的普通本科学校,则实施质量审核式评估,引导这类学校深化改革、提高质量、办出特色。[13]
2.学校综合水平评估
教育部主导的学校综合水平评估正在实施与完善的过程之中。这类评估的目的是检验学校的能力,发现教育管理中的问题,促进与帮助学校提高办学水平。这类水平评估原则上不对高校的办学能力和办学水平进行评估结果的排队,注重的是对以往教育投入结果的检验,而不是为将来的教育投入寻找适当的对象和分配标准。所以,学校综合水平评估工作到目前为止,没有与高等教育经费的整体分配相联系。
但是,进入21世纪后,高校的综合水平与办学效益被教育部作为高等教育整体资源配置基础的倾向越来越明显了。2001年年初,教育部启动了对9所“985工程”大学的重点投资效果的评估,开始尝试建立投资与评估之间的直接联系。对9所冲击一流大学的“985工程”大学进行评估的方案研究,是由教育部教育发展研究中心主要承担设计的。2002年,教育部又委托中国高等教育研究会进行评估指标体系和实施机制的设计研究,以期获得可以参考的更多评估方案,使这项评估能够比较好地检验项目的执行结果,检查接受了特殊投资的项目学校的资金使用效益,同时,也为将这种综合水平评估向部属重点高校与普通高校过渡、建立依据学校经营效果进行拨款的教育经费发放机制做准备工作。
教育部教育发展研究中心经过认真研究,提出了两种建议性评估方案。两个方案都建议成立专门负责评估和拨款工作的委员会或专家组,由这个机构组织评估工作。评估指标反映了评估的主要内容。第一套方案有教育教学质量评估、学科建设水平评估、对社会贡献的评估和建设资金使用效益评估四个一级指标;第二套方案包括学校建设目标实现情况的评估、学校办学水平主要指标的客观评估、对社会贡献的评估和建设资金使用效益评估四个一级指标。两套方案中都包括社会效益和资金使用效益方面的指标,且权重都占到30%,这种设计充分表明教育部已经将学校办学的经济效益和社会效益作为其管理的重要价值导向和目标。
中国高等教育学会负责的评估方案是由北京师范大学高等教育研究所、北京教育科学研究院、上海教育科学研究院和辽宁教育研究院等几个单位共同研究设计的,方案涉及评估指标和评估机制等内容。对于评估的组织与实施机制,方案中提出的评估实施过程涉及三个部门的协作:教育部高等教育司、评估专家组和民间中介机构。高等教育司可以运用其行政权力,较为容易地从各个大学采集到定量指标所需的数据。高等教育司还有日常工作中积累的关于各校情况的数据资料,既可以作为评估的补充数据,又可以验证届时采集的数据。专家小组具有教育理论和教育经验的优势,负责采集和分析定性数据资料工作。民间中介机构是评估活动实施的核心角色。这个机构必须是专业性的组织,忠于职守,按制度规则行事,不会轻易受到来自教育行政部门和学校的干预。民间中介机构的工作有三个方面的内容:设计评估工具和评估工作计划;沟通与协调三部门的工作;做出综合评估报告。方案中建议的评估指标包括定量指标和定性指标两部分。定性评估的主要内容是学校的办学思想、制度规则和组织文化等的建设和实施情况。
与此同时,教育部也在积极探索对所有高校进行综合水平评估的方法和机制。除了希望从上述研究方案中得出一些可以借鉴和迁移的内容,用于对高校的全面评估外,自1998年起,教育部的评估网站就开始了综合评估指标选择的调查。这表明教育部对全国高校综合评价的准备工作已经启动。
3.体现政府政策导向的重点建设项目评估
这种评估的针对性很强,而且多是阶段性的或一次性的评估,评估的目的往往是对项目的实施情况进行检查与验收,或者是促进项目或重点工作的进一步发展。如1995—1996年,国家对“211工程”100所左右大学和300多个重点学科点的重点建设规划进行了评估与评定。2001—2002年,国家又组织了“211工程”建设项目的验收评估等。这种评估一般根据同行评议、择优扶持的原则,先由学校提出申请及上交自评报告,然后由教育部组织专家评议或实地考察,最后由教育部审核批准,为限额评选性质的评估。
与此类似的体现政府政策导向的重点建设项目的评估还有在20世纪90年代中后期先后实施的“211工程”和“985工程”的基础上,2015年10月,国务院印发《“双一流”方案》,2017年9月20日,《教育部财政部国家发展改革委关于公布世界一流大学和一流学科建设高校及建设学科名单的通知》出台,指出一流大学建设高校42所、一流学科建设高校95所。
这类评估还包括教育部对其委托与招标的科研项目实施情况的监督评估和验收评估。此种研究项目评估在高等教育中是应用得比较早、比较普遍的评估类型,但同时也是组织化和制度化水平都不高的评估类型。尽管高等教育内部的委托项目年年都有,还有常规的五年计划的研究项目的审批、中途检查和结果验收,但这些工作主要靠专家组和科研规划部门来完成,没有专业的评估人员参与,也没有经过严格设计的评估方案和评估制度规则,所以存在一定的随意性和不稳定性。
(二)民间评估机构的出现及其评估活动
1993年1月,国务院批转的《国家教委关于加快改革和积极发展普通高等教育的意见》指出“社会各界要积极支持和直接参与高等学校的建设和人才培养、评估办学水平和教育质量”。此后,社会各界对高等院校的办学水平更为关注,民间从事高等教育评估的机构迅速增加,民间的大学排名评估开始活跃。自1987年中国管理科学研究院科学学研究所发表中国第一个民间大学排名,至2005年广东管理科学研究院发表《2005年中国大学评价》,据粗略统计,中国共有十几家单位发表了40多个大学排行榜,参见表9-4。
表9-4 1987——2018年中国大学排行榜统计表
续表
续表
续表
续表
续表
从表9-4可以看出,民间的高等教育评估主要表现为两种类型:研究型评估和商业型评估。研究型评估的目的主要是获取具有学术价值和实践改善指导价值的评估信息,包括对评估本身进行的元评估研究结论。这类研究主要是学术性民间评估机构的活动内容。商业型评估的主要目的是产生具有新闻价值和经济价值的评估信息,发表于媒体的多数大学排名或者学校某方面运行结果的排名就属于这类评估。
1.研究型评估及其特点
《国家教委关于加快改革和积极发展普通高等教育的意见》出台后,社会对文件中提出的“社会各界要积极支持和直接参与高等学校的建设和人才培养、评估办学水平和教育质量”的号召,反应非常积极。
全国各地迅速成立了一些专门化的民间评估机构,如学位与研究生教育评估所(1994年)、上海市教育评估院(2000年,其前身是“上海高等教育评估事务所”,于1996年成立)、江苏省教育评估院(1997年)、辽宁省教育评价事务所(1999年)、云南省高等教育评估事务所(2000年)、广东省教育发展研究与评估中心(2000年)、武汉大学中国科学评价研究中心(2002年)、安徽省教育评估中心(2010年)等。这些机构大多数是从教育研究机构中独立出来的,或者由教育研究机构转化而来。独立或转化出来的主要原因是受到地方教育行政机构改革和教育市场化潮流的影响,加强社会对高等教育的外部监督。这些机构虽然是以民间的面貌出现的,但实际上在一定程度上仍与政府保持着较为密切的联系,接受政府的日常经费,也接受各级教育行政部门的委托评估项目。当然,作为相对独立的评估机构,它们多数具有双重身份。也就是说,这些评估机构同时也以独立法人的身份,为社会各界提供有偿的评估服务。
在民间评估发展方面不能不提到的重要进展是:1994年1月,中国高等教育学会高等教育评估专业委员会(2004年更名为中国高等教育学会教育评估分会)正式成立。评估专业委员会的诞生,为在全国进行学术性高等教育评估实践和评估研究提供了组织保证。
中国高等教育学会教育评估分会是中国高等教育学会下属的一个分支机构,是在教育部领导下开展和推动教育评估研究和实践的全国性学术团体。它的成立宗旨是探索建立和完善有中国特色的教育评估体系、制度和方法,促进中国教育评估工作的开展和教育质量的提高。会员以团体会员为主,包括高等学校、高等教育研究机构、高等教育评估机构和有关部门的教育管理机构。现有团体会员300余个。
中国高等教育学会教育评估分会成立后,承担并完成了2项全国教育科学“八五”规划重点课题:一项是“有中国特色的高等教育评估制度和政策研究”,另一项是“高校教学评价理论与实践”。后期还自筹资金,组织会员单位开展研究工作,“九五”规划期间设立了43项研究课题。中国高等教育学会教育评估分会每年都要组织全国性或地区性的高等教育评估学术研讨会。
中国高等教育学会教育评估分会积极开展国家与地区间的交流,曾经和美国美中教育交流服务机构联合在国内举办过两次“中美教育评估研讨会”,在夏威夷举办过“环太平洋地区中美教育评估研讨会”。1996年4月,评估专业委员会与香港学术评审局、国际教育质量保证中心、美国美中教育交流服务机构在北京联合召开了以“高等教育评估与质量保证”为主题的国际学术会议。1998年,评估专业委员会与台湾大学教育评估界建立了联系,并合作编写了《海峡两岸大学教育评鉴》。
中国高等教育学会教育评估分会与上海市教育科学研究院、学位与研究生教育评估所共同承办了《中国高等教育评估》杂志。教育评估分会的这些工作对于我国高等教育界评估工作的普及与发展的推动是历史性的,对高等教育评估的当前水平的出现与今后的发展影响具有不可忽视的贡献。
民间的学术型评估尽管对我国高等教育评估事业的发展做出了非常重要的贡献,但是,由于这些机构的特定出身,这种民间机构的评估工作具有很强的纯研究特点,主要的作用是发展评估理论、评估技术和为行政决策服务,所以它们的影响主要在学术领域和行政咨询方面,社会影响不大。
2.商业型评估及其特点
随着教育市场化的发展,商业型的高等教育评估开始出现,并且显示出日益扩大的社会影响力。主要有两类组织从事这些评估,一类是纯粹的商业型机构,如网络公司等,其目的是以备受社会关注的高等教育问题作为热点,吸引顾客,以扩大自己的市场份额。另一类是研究机构利用研究成果,转而追求经济利益和社会影响效果。不管出于什么样的动机,也不论是由什么类型的机构所从事的工作,这种具有商业色彩的评估的影响力都是很大的,不仅在社会上影响普通市民对高等教育和具体院校的看法,也在高等教育领域内影响院校管理者的管理策略。这种评估的典型代表是广东管理科学研究院与网大的大学排名。
(1)广东管理科学研究院的评价指标及其特点
1993年起,广东管理科学研究院武书连等学者开始研究高校评价问题,坚持不懈地进行了多年的深入探讨,几经改进,建立了一套有其自身特点的高校评价指标体系,并运用这套指标对我国的大学进行评价和排名,引起了高等教育界内外的广泛关注,也对高等教育实践产生了相当大的影响。该指标体系由一个一级指标和若干二级指标构成。
第一,一级指标及其权重。该评价以各大学对社会的贡献作为排名的唯一衡量标准,所以将大学对社会的贡献确定为一级指标。大学的贡献,依据可测量与否的特点,只选择了大学对社会贡献了高级专门人才和大学对社会贡献了优质科研成果两个测量维度。1998年中国普通高校实际从事教学的专任教师与当年从事科研的研究与发展全时人员人数之比是28.15∶16.88,百分比为62.51%∶37.49%,以此确定一级指标的权重分配为:培养人才,0.6251,科研成果,0.3749。
第二,二级指标及其权重。二级指标确定的原则是,应涵盖一级指标的主要产出项,即从博士后至专科生的所有层次,涵盖从公开发表的论文至国家级奖项的科研成果等主要表现形式和附加形式。二级指标的两个纬度的具体指标有:人才培养5项,包括博士后、博士、硕士、本科生和专科生的培养数量;科学研究18项,包括自然科学11项,如在美国Science(《科学》)或英国Nature(《自然》)发表的论文,被SCI、EI、ISTP、CSCD收录的论文,被SCI、CSCD收录的论文,科技专著,专利授权,国家级奖,省部级奖。社会科学7项,包括被SSCI、AHCI、ISSHP、CSSCI收录的论文,社科专著,国家级奖,省部级奖。按投入的人数比例计算,自然科学138556人,占30.78%;社会科学30204人,占6.71%。
该指标体系的二级指标科研成果的权重是基于专家学者的咨询。1997年,历时半年,研究者对中国科学院院士、中国工程院院士、国务院或国务院学位委员会审批的博士研究生导师,进行了3轮4448人次的专家咨询,最终确定了二级指标中各项科研成果的权重。
2006年的大学评价的数据采集和指标权重有以下几个主要变化:国内的中文源期刊采用了“中国大学评价”课题组创建的专门用于大学和科研单位学科评价的“科学引文数据库”(Science Citation Database,SCD);降低国外期刊论文得分。考虑到目前我国学者在国外期刊发表的论文的实际质量,将SCI源期刊论文由每篇3.8分降为3分,EI源期刊论文由每篇2.5分降为1.5分,国内论文保持每篇1.5分不变;提高论文被引用得分。与高速增长的论文数量相比,我国学者的论文被引用次数较低。为了使论文质量的评价更接近实际,该评价将每篇论文每被引用一次由2.5分增加到3分(不含作者自引)。
2008年的大学评价首次增设了抄袭、剽窃降分指标。具体降分标准如下:对2008年6月30日以前发生的抄袭行为,如果抄袭者没有辞职而学校又没有解聘的,对该校降分1年,降分幅度为全校总得分的10%。同一所学校发生两次或以上抄袭行为,则全校总得分下降20%。如果抄袭者辞职或者学校将抄袭者解聘,则不降分。对2008年6月30日以后发生的抄袭行为,如果抄袭者没有辞职而学校又没有解聘的,对该校连续降分3年,降分幅度为全校总得分的10%。同一所学校发生两次或以上抄袭行为,则全校总得分下降20%。如果抄袭者辞职或学校将抄袭者解聘,则不降分。2008年6月30日以后发生的抄袭行为,如果抄袭者辞职或者被解聘后,被另一所大学聘用,则聘用抄袭者的大学总得分连续3年下降10%。聘用两位或以上抄袭者的大学总得分连续3年下降20%。
2018年的中国大学排行榜的评价对象是全国所有普通本科高校,2018年没有本科毕业生的普通本科高校不在评价范围内。其主要评价指标有:中国大学综合实力、12个学科门类、494个本科专业、中国大学择校顺序、本科毕业生就业质量、本科毕业生升学率、教师学术水平、教师绩效、新生质量。其指标体系的修改情况如下:①新增“本科毕业生就业质量”指标,从终端测量每所大学的本科毕业生质量。该指标由本科毕业生薪酬、考研率、出国率3项构成,其中,本科毕业生薪酬按不同省份的工资最低标准,做适量归一处理。②新增“中国大学择校顺序”指标,便于考生直接参考择校顺序填报志愿。“中国大学择校顺序”由本科毕业生就业质量、教师学术水平、教师绩效3项构成。③对SCD引文数据库进行了阶段筛选。自2015年起,中国大学评价课题组在世界范围内,独立筛选学术期刊作为中国大学排行榜的源数据,两年修订一次。2017年完成了2017—2018年的期刊筛选工作,2489种国内期刊进入SCD引文数据库,10382种国际期刊进入SCD引文数据库。
广东管理科学研究院以高校对社会的贡献作为唯一衡量标准的中国大学评价体系,是只考虑产出的目标评估,全部使用源生数据;重视总量,特别是高校的招生数量;重视现在,只评价公布年度前2~6年的成绩,没有列入积累性的指标,如两院院士、博士点等;科研成果中的论文收录范围不宽,但包括了奖励成果和专利。这套指标体系的特点是指标简单,数据易于获得与分析。但是,在很多情况下,数量与质量并不是简单替换的关系,而且只问结果不管耕耘的评估方式,也很难反映高等教育工作过程对结果的制约。关注过程、关注活动主体是当代高等教育评估的重要特征之一。
(2)网大的综合评价指标体系及其特点
1999年,网大(中国)有限公司(以下简称“网大”)与《中国青年报》合作,在网上发布了第一份从消费者角度评估的中国大学排行榜。网大排行采用对大学进行综合评价的方法,指标体系是我国最早的综合性指标体系,经过1999—2013年的持续改进,评价指标逐渐完善,该指标体系可以算是商业型大学排名中最全面也比较科学的大学评价指标体系。
1999年,网大排行的指标体系是在借鉴《美国新闻与世界报道》的指标体系基础上,结合我国的实际情况,通过分层抽样方法选取了600多位中国科学院院士和260多位大学校长,对他们进行问卷调查后建立的。排行榜评价指标以“学术”“新生质量”“师资”和“科研经费”四大标准共6个指数为依据,对中国大学进行评价。网大认为其排行榜至少在两方面超前了一大步:新生质量和学术声誉。因为中国实行统一的高考招生制度,招生质量代表了学生对大学的选择和认同,具有很强的可比性;学术声誉由中国科学院院士及大学校长打分,代表科学技术与教育精英的意见,具有极高的专业性。两项参数在很大程度上体现了各大学在整个社会的分量。[14]
2000年,网大继续对评价指标进行了调查,设计了两套评价指标体系,即用于评价重点院校的指标和用于评价非重点院校的指标,除了非重点院校的指标中去除了一级指标“学术声望”外,其余的指标在权重方面也有所变化。2000年的大学排行开始按照学校的学科类型和办学层次(重点大学与非重点大学)分别排行,在高等学校社会声誉调查中,扩大了调查对象的范围,不仅包括两院院士、大学校长、知名的社会科学和人文科学学者,而且吸收了部分企业家参加。[15]2001年、2002年的评价指标体系趋于稳定,仅对二级指标做了适当的微调。
2003年,网大将过去四年一直沿用的指标“学术声誉”更名为“声誉”体现了调查对象的打分,不局限于反映过去一年各学校的学术表现,而是用“综合声誉”代替单纯的“学术声誉”。“学术资源”在过去四年中补充了人文社科方面的指标,但一直使用总量进行计算。2004年的一级指标和权重结构没有变化,只在二级指标中做了一些调整,在算法方面,“学术成果”一项删除了ISTP、CSTP和A&HCI,这三项指标相应的权重在“学术成果”项下其他的二级指标中分配。“学术资源”沿用了2003年的算法,用“每千名学生的拥有量”代替“总量”。这样的改进反映了学生在学校所能享有的优质学术条件,而不是仅仅以规模计算,相较而言,更加准确地反映了学校学科建设的效益。“学术资源”中的二级指标“国家重点实验室与国家工程研究中心数(每千名学生拥有量)”,补充更新了国家工程技术研究中心数据,指标更名为“国家重点实验室与国家工程(技术)研究中心数(每千名学生拥有量)”。“教师资源”中“教师中获得博士学位人员的比例”这项二级指标因为无法获得更新数据,2004年用“教师中副教授以上人员的比例”代替,权重不变。[16]
2004年8月,也就是在《中国大学排行榜2004》发布两个月后,网大向国内230所大学的管理部门发出调查信,征询对大学排行榜指标体系的意见。研究组根据反馈结果,2005年在具体计算过程中尝试对个别指标按照不同的方法进行计算,比较结果后,对2005年的评价指标体系和算法未做任何改变。[17]
2007年,网大的中国大学排行榜指标体系做了如下改进:“学术资源”用“对本科学位点比例”代替自2003年排行以来一直沿用的“每千名学生的拥有量”计算;“教师资源”中的“教师中副教授以上人员的比例”改为“专任教师中副高以上人员的比例”,以更契合院校专任教师人员构成的实际情况。2007年排行榜的数据演算更加科学,改进了部分计算细节的处理方法,更趋于合理。分项指标等计算过程中,对得分进行必要的线性变换:如果第二名得分少于90,则第二名及以后的得分均线性上调至[0,90]区间。这样可以避免个别院校在某分项上的特殊表现打压其他所有院校的得分,甚至影响到整个评价指标体系的准确含义。此项修改避免了往年排行中院校物资资源等指标得分略有偏低的弊端;新增数据限幅:生均图书量、生均校舍建筑面积、研究生占全体学生比例等。[18]
2008年度的排行指标体系及算法在2007年的基础上有如下优化微调:“学术资源”下的“国家重点实验室与国家工程(技术)研究中心”增加国家工程实验室数据,指标名称改为“国家级实验室及工程中心”,每个国家实验室相当于5个国家重点实验室;分项指标等计算过程中,100分的基准,由第一名的值改为第一名与第二名的平均值;“省市排行”之院校归属原则,从按主管部门地域改为按校部驻地。[19]
2008年网大中国大学排行榜的评价指标体系如表9-5所示。
表9-5 2008年网大中国大学排行榜的评价指标体系[20]
续表
2009—2012年,网大中国大学排行榜沿用基本稳定的一整套指标体系,从单一的榜单发布到榜单、论坛、网站新闻同时挖掘大学价值。随着网络媒体越来越广泛地传播与参与,网大注意到人们的焦点早已不满足于单纯对排名榜单的知晓,各高等院校及其相关部门、教师、在校生、毕业生、业内观察家和研究者们“晒”最新数据、事实、经验、感受、研究成果等,因此,在中国门户网站搜狐的鼎力支持下,2013年网大与搜狐联合推出筹备已久的“动态的中国大学排行榜”——全新的网大2013中国大学排行榜。与过往多年的榜单不同的是,网大期望这是一个中国大学排行榜史上第一个人人可以参与,公开表达意见、公平投票支持、公正产生结果的创新型互动榜单。网大认为这个排行榜既综合了院校师资、生源、学术等传统榜单的全方位实力数据,又将充分接纳师生们基于自身了解和学习生活感悟表达出来的话语权。这个排行榜最大的变化在于,在保留学术资源、学术成果、生源质量、师资力量等多个传统一级榜单外,新推出了校友票选声誉榜,首次鼓励高校在校生、毕业生、教师们积极参与高校认可度的调查,公开、公正地选出“最受网民喜爱的大学”。这些新增的互动交流与观点的碰撞,可以为政府、学生、家长和大学自身提供一个审视大学的全新的立场和视角。[21]只是搜狐—网大中国大学排行榜在2013年之后,未再发布新的排行榜。
网大中国大学排行榜考虑了高校的声誉、投入、产出等多方面信息,定性与定量相结合,部分使用源生数据;强调招生质量,重视相对量;既重视现在,评价公布年度前1~2年的成绩,又重视积累性指标,如列入了“两院”院士、“长江学者”、博士点、硕士点、国家重点学科、研究基地等评价指标;学术成果中论文的收录范围较偏,没有包括奖励成果和专利。
总体上,网大中国大学排行榜的指标体系及算法保持稳定,确保了逐年结果的一致性与可比性。以上改进遵循网大中国大学排行榜一贯的研发脉络,其特点可以概括为:①一个原则:力求客观、公正和科学。使用客观数据,逐步改进评价体系和计算方法,使之趋于合理和科学。②一个角度:从消费者角度评价中国的大学。③一个方向:力求反映大学的办学效益和质量,兼顾总量。