汤建民
杭州电子科技大学中国科教评价研究院特聘教授,研究方向:科学计量学与中国大学评价。
中国高职院校评价指标的共性与个性、现状与未来
汤建民,汪莹
高职院校是我国高质量专业型人才培养的重要组织机构,一套科学合理的高职院校评价指标体系不仅是衡量院校办学水平的重要标尺,也是保障其办学质量、引导其持续改进的重要工具。以 6 家具有代表性的高职院校评价指标体系为研究样本,综合运用词频统计、知识图谱绘制和文本阅读等方法,分析 6 个评价指标体系的共性与个性。研究发现,共性指标主要包括优势骨干专业、国家级教学成果奖、师生比、职教名师、就业率、专利发明、职业院校技能大赛、双高校名单等,总体表现出以输出评价为主的导向。同时,不同评价机构也各具特色,反映了各评价机构的偏好、优长和局限,也反映了高职院校评价中的复杂性、动态性和模糊性。未来可以在适当加强背景评价、进一步完善输入评价、继续丰富过程评价、科学运用成果评价方面改进和完善。
高职院校;高职教育;教育评价;评价指标;大学排行榜
在知识经济时代与产业不断升级的大潮中,高职教育作为培养高技术技能人才、促进就业创业创新、推动中国制造和服务迈向更高水平的重要基础,其战略地位日益凸显。面对日新月异的技术进步、国家和社会的迫切需求,以及新时代背景下学生发展路径的多元化诉求,高职院校究竟应如何精准定位、优化资源配置、提升办学质量,已成为摆在每一位职业教育工作者面前的重要课题。评价导向事关教育事业发展方向,有什么样的评价导向,就有什么样的发展方向。显然,一套科学合理的高职院校评价指标体系,不仅是衡量院校办学水平的重要标尺,也是保障和提升其教育质量、引导其持续改进的重要工具。遗憾的是,尽管政府有关部门、高职院校、教育评价机构和相关教育评价研究人员都已经开展了大量的评价实践和评价指标体系构建研究,但迄今为止仍然对究竟应该如何评价新时代高职院校和高职教育缺乏统一清晰的认识,以致随波逐流、人云亦云、东拼西凑的评价活动屡见不鲜,高职院校在建设和发展过程中方向模糊、制度摇摆等现象亦司空见惯。
当然,鉴于高等教育的复杂性和快速变迁的时代背景,固定的、能适用于所有高职院校的评价指标体系确实难以构建,因此更合理的思路和对策是,与时俱进地不断分析时代需求、社会需求、院校需求和学生需求,及时洞察并吸收各类评价机构和研究者的最新成果,以此来辅助指导新的评价实践。为此,本研究选择国内最具影响力的 6 家高职院校排名机构的评价指标体系为研究对象,综合运用词频统计、知识图谱绘制和文本阅读等方法,揭示各个评价机构在构建高职院校评价指标体系中的共性追求与个性彰显,以便为构建更加科学合理的评价指标体系、提高我国高职院校的评价质量与水平提供更多参考。
本文从国内现有的高职院校评价指标体系中选取最合适的案例进行研究,为此确立了如下的筛选标准:①须是衡量高职院校整体情况的综合性评价指标体系,且可以从网站、图书、期刊论文或微信公众号等公开渠道获取; ②评价指标体系须为针对高职院校群体评价而单独构建,且近 3 年仍在使用;③如果有多个版本,则选择最新版本的评价指标体系作为研究样本。
基于上述标准,本文最终选取了软科、神针、GDI、ABC、金平果、武书连 6 家评价机构的高职院校评价指标体系作为研究样本,并收集了各个评价机构对各自评价指标体系的含义解释,便于后期对评价指标的整理分析。
各机构的评价指标存在较大的异质性,主要体现在以下几方面。一是指标选择上的差异,比如有的评价机构设置了“建筑面积”这一指标,而有的评价机构没有设置该指标。二是总值和均值使用取向上的差异,比如有的评价机构选择“总值”,而有的机构选择“均值”,或是“既有总值又有均值”。三是各级指标具体归属上的差异,比如“科研论文”这个指标,有的评价机构将它放在三级指标层级,有的将它放在二级指标层级。为了尽可能保持指标的丰富性,但又不至于太杂乱而不便于统计与分析,本研究最后决定将评价指标的整理分析工作放在三级指标(或者说观测点)这一层次上来进行,并对个别含义基本相同但表述略有差异的指标进行文字上的微调和归并。
为此,笔者在对所有评价指标体系进行逐字阅读的基础上,通过梳理、适度调整、合并等方式对所有评价指标体系中出现的评价指标进行了“重建”。比如,将“毕业去向落实率”和“本省就业率”等统一合并调整为“毕业生就业率”;将“课程思政示范项目”和“高校思政工作建设项目”合并调整为“课程思政项目”;将“精品资源共享课”和“精品视频公开课”合并调整为“国家级精品课程”;将“国家级科学与技术奖”“教育部高等学校科学研究优秀成果奖”“国家专利局专利金奖”等合并为“国家级科技奖励”等。通过对 6 个评价指标体系的汇总、对比、检核,本文最终梳理总结出了 102 个评价指标(见表 1),同时绘制了 6 个评价指标体系所涉及评价指标的共现知识图谱(见图 1)。
注:表中标注“1”代表该机构评价指标体系设置了相应的指标,空格则表明该机构没有设置相应指标。
图 1 呈现的是 6 家机构的评价指标共现图谱,该图能够更加直观地反映出 6 个指标体系中的高频指标,即 6 家机构共同关注的重点指标,同时也能反映出 6 家机构个性指标的分布情况。图 1 中的每个顶点代表一个评价指标,指标节点越大说明频次越高,连线则代表着指标之间的关联程度,节点之间的连线代表这 2 个评价指标出现在同一个评价指标体系中(为简化图形,仅将共现频次≥3 的指标之间用线连接),线条粗细程度说明它们共同出现在同一个评价指标体系中的次数。从表 1 和图 1 可以看出,“优势骨干专业”“国家级教学成果奖”“毕业生就业率”“师生比”“职业院校技能大赛”“职教名师”“双高院校名单”“发明专利”这些指标的节点较大、频次较高,是 6 家机构在高职院校评价中共同关注的内容,也是当前高职院校评价中的关键指标。对这些指标展开分析,可以探讨总结出当前高职院校评价的基本框架,为高职院校未来的发展提供指引。
综合各家评价机构对于评价指标的涵义解释以及评价指标的频次分布,可以将 102 个指标大致划分为6个主要方面,即办学条件、师资队伍、教学和学生培养、科学研究、社会服务以及学校声誉。办学条件是一所院校办学的基础与前提,它直接关系到高职院校的教学质量、人才培养质量以及学校的长远发展。师资队伍是人才培养的核心力量,优秀的师资队伍能够为学生提供高质量的教学和指导,帮助他们掌握专业知识和实践技能。教学和学生培养是高职院校的最基本职能和核心目标,人才培养成果反映了院校的办学水平和质量。科学研究不仅有助于提升高职院校的学术水平和综合实力,还能推动教育教学改革、提高人才培养质量、增强社会服务功能。社会服务也是高职院校的重要职能之一,有助于促进院校与社会的紧密联系、提高学校的社会认可度并推动院校的可持续发展。学校声誉反映了学校的历史成绩和最新发展状况,对于提升学校的社会影响力和认可度具有重要意义。
教育评价理论诞生至今,已先后产生了几十种评价模式,其中被广泛应用的是决策、改进导向的 CIPP 评价模式。CIPP 评价模式又称为决策导向或改良导向评价模式,是由美国著名教育评价专家斯塔弗尔比姆于 1967 年在对泰勒的目标评价模式进行反思的基础上提出的,该模式由背景评价、输入评价、过程评价和成果评价这四个评价环节构成。
CIPP 评价模式是一种全面、系统、连贯的评价方法,可兼顾过程性与结果性评价,运用 CIPP 的视角可以对高职院校评价指标进行较为系统的分类。其一,背景评价是对办学环境的综合评价,包括政策、经济和社会环境,主要是对基础设施建设、物力资源配置能否满足办学需求的评价,例如占地面积、仪器设备、图书总量等;其二,输入评价是对高职院校的资源投入进行评价,例如师资力量、科研经费等方面的投入;其三,过程评价是对高职院校教育计划与方案在执行实施过程中连续的、有规律的督导与反馈,例如专业建设、课程设置、教材建设等;其四,成果评价是对教育方案与计划所取得的成效及完成程度而做的总结性评价,用于检验实际成果与预设目标之间存在的差异,它可以为学校管理者、师生等提供实施发展方案的改进建议和方向,例如竞赛获奖、学校荣誉等。
共性评价指标作为高职教育评价的基本框架,反映了高职院校的普遍追求与社会对其的期待。它们涵盖了教育资源投入、师资力量、教学条件、学生发展、科研与社会服务等多个方面,确保了高职院校在办学条件、教学质量和人才培养上的基本水准。结合对 6 家机构共性指标的频次统计表以及共现图谱,我们可以清晰地看到 6 家机构均有“优势骨干专业”和 “国家级教学成果奖”两项指标,说明这两项指标被当前评价机构广泛认可和采纳。
其一是优势骨干专业。优势骨干专业通常是指在某一领域或学科内具有较强办学实力、显著专业特色和较高社会影响力的专业。这些专业往往能够体现高校在人才培养、科学研究和社会服务等方面的实力和水平,具有办学实力强、社会认可度高、科研实力突出的特点,是高职院校的“名片”,能够显著提升学校的知名度和认可度。
其二是国家级教学成果奖。国家级教学成果奖是教育部为了奖励取得教学成果的集体和个人,鼓励教育工作者从事教育教学研究,提高教学水平和教育质量而设立的最高级别的奖项。可以说,教学成果奖是衡量高职院校教学质量和办学水平的重要指标之一,它能够激励广大教师和教学团队积极投身教学改革和创新实践,有助于形成浓厚的教学创新氛围,推动学校教育教学质量的整体提升。
除了 6 家机构均有的两项指标外,还有一些共现频次为 5 的高认同度指标同样值得关注,这些指标分别包含在师资队伍建设、教学和学生培养、科学研究和学校声誉方面。
1.师资队伍建设方面
6 家机构在构建高职院校评价指标体系时,在师资建设方面都非常重视对“职教名师”和“师生比”的评价。职教名师通常具备先进的教育理念、丰富的专业知识和教学经验,他们能够以更高的标准要求自己,不断提升教学质量。同时,他们通常还具有较强的科研能力和社会服务能力,能够带领团队开展高水平科研项目,为企业和社会提供技术支持和服务。他们不仅是教学质量的保障者,更是教学改革的推动者、高职院校吸引力的增强者、科研与社会服务的践行者以及教师队伍的领军者。因此,职教名师对于高职院校发展至关重要,自然也成为了高职院校评价的关键指标。师生比对保障教学质量具有重要作用,合理的师生比例是保障教学质量的重要前提。当教师与学生之间的比例适当时,教师可以更好地关注每个学生的学习情况,进行个性化的指导和辅导,从而提高教学效果和学生学习动力。
2.教学和学生培养方面
“毕业生就业率”“职业院校技能大赛”是教学与学生培养方面的重要指标。就业率是衡量高职院校办学水平高低的最重要指标之一,直接反映了高职院校人才培养的质量和社会认可度。此外,就业工作是连接学校、毕业生及用人单位三方的重要桥梁,通过毕业生就业率的统计和分析,学校可以了解市场对人才的需求状况,进而调整专业设置和课程结构,使人才培养更加贴近市场需求。同时,高就业率也能够帮助学校与用人单位建立良好的合作关系,为学生提供更多实习和就业机会。职业院校技能大赛是由教育部门牵头组织、联合相关部门行业共同举办,或受教育部委托由行业举办,面向职业院校在校学生和专任教师,围绕职教专业和相应岗位要求组织的学生职业技能竞赛活动和教师教学技能竞赛活动。职业院校技能大赛已经成为中国职教界的重要赛事,具有广泛的社会影响力和较高的认可度,不仅促进了职业院校之间的交流与合作,还推动了职业教育与产业发展的深度融合。大赛成果还能不断转化为专业人才培养方案、课程建设方案和教学内容,有效推进校企合作和实习实训基地建设。
3.科学研究方面
对此,6 家机构中有 5 家都设置了“发明专利”这项指标。发明专利是衡量高职院校科研创新能力的重要指标之一,能够展示其在某一领域或某一技术上的创新能力和研究成果。这种创新能力的提升有助于高职院校在学术界和产业界树立良好的声誉,增强学校的竞争力和影响力。发明专利也是高职院校与企业合作的重要纽带,通过专利技术的转让、许可和合作开发,高职院校可以与企业建立紧密的合作关系,共同推动科研成果的转化和应用。
4.学校声誉方面
在这个方面,6 家机构对“‘双高’院校名单”这项指标具有较高的共识。“双高计划”是教育部、财政部公布的中国特色高水平高职学校和专业建设计划,旨在集中力量建设一批具有引领作用的高职学校和专业群,以大幅提升新时代职业教育现代化水平。这一计划是党中央、国务院作出的决策部署,也是《国家职业教育改革实施方案》的重点项目。“双高”院校的选拔标准严格,要求学校在教学质量、办学实力、师资力量、科研成果等方面达到较高水平,同时还要求学校具备鲜明的办学特色和优势专业,以及良好的社会声誉和影响力。因此,入选“双高”院校是学校综合实力强劲的体现和证明。
从 CIPP 评价模式视角来看,这些共有指标或高频指标主要包含在输入评价、过程评价和成果评价方面。输入评价方面,有“师生比”和“职教名师”这两项高频词指标,且都属于教师评价的具体内容。可见,师资队伍建设是高职院校在输入评价方面的重要内容。过程评价方面,“优势骨干专业”建设的高频次反映出当前学界对专业建设的重视,优势骨干专业是高职院校的支柱和窗口,可以体现学校的办学特色和实力,帮助院校在激烈的竞争中脱颖而出,吸引更多优质生源和优质教育资源,从而推动学校整体的发展。另外,“毕业生就业率”“职业院校技能大赛”“双高院校名单”“国家级教学成果奖”和“发明专利”等则是属于成果评价的内容。成果评价的指标明显多于其他三个环节的评价指标,这反映出在当前的高职院校评价中,学界对于成果评价的内容具有更强的共识,院校的产出成果对于学校口碑具有至关重要的影响力,也是高职院校评价的主要参考依据。评价一所院校在学生荣誉、获奖情况以及科学研究方面的产出成果是评估其办学质量的重要手段,可以直观地反映院校的办学水平和综合实力。
各高职院校在类型定位、发展历史、发展目标、发展条件、学生来源等方面都存在差异,同时各评价机构的目标定位、评价重点、能力及局限等方面也存在多样性,这些因素都决定了各评价机构在评价指标体系设计上的多样性和差异性。通过频次统计表和共现知识图谱,我们不难发现除了普遍选用的共性指标外,各个机构还有各自的特色指标,对这些特色指标进行分析可以探究不同机构的评价特色,为完善高职院校评价指标体系提供参考。
软科高职院校排名在排名方法上具有分类评价的特点,共设置了 9 个公办高职院校排名、1 个民办高职院校排名,这是软科与其他排行榜最大的不同。在指标体系上,软科设置了立德树人、办学定位、师资队伍、培养条件、学生发展、服务社会 6 个评价模块,细分了 28 个评价维度,内嵌 59 个评价指标。总体来看,该指标体系主要侧重于办学条件、师资力量、人才培养和社会服务这几个方面,对科学研究方面的指标选取得较少。
细看指标的具体构成,发现软科有如下两个特色:一是根据不同的院校类型有差异地设计指标和权重,比如“生均仪器设备值”这个指标,体育、艺术类院校的权重就比理工、农林、医药等低。二是在具体指标的用词上具有系统性、概括性。比如,软科在学生竞赛方面设置了“学生科创竞赛奖”“学生技能竞赛奖” “学生艺术竞赛奖”这三项指标,涵盖了科研、职业技能及艺术等三方面;在社会服务方面,软科的指标体系选取了“乡村振兴”“终身教育”和“志愿服务”这三项指标,这些指标时代感强、和社会的结合面广,能够很好地将院校、社会、学生连接在一起。
神针评价指标体系设置了基础设施、师资力量、立德树人、教育教学、科研与社会服务、学生发展、声誉和影响 7 个一级评价指标、30 个二级评价指标以及 60 多个具体观测点。神针在评价过程中,不仅计算了总得分、总排名等整体性评价结果,还计算了各一级指标和二级指标的得分、序位和层级等细化数据,全面分析了评价对象的相对优势指标和相对弱势指标,绘制了竞争力态势图谱,以便为各评价对象更全面客观地认识自己的整体发展态势提供更多视角的数据参考,真正发挥出评价的诊断、比较、监测、预警、启发、引导等功能,促进被评价对象的可持续发展。
相较于其他 5 所机构,神针拥有“生均教学及辅助行政办公用房面积”“全国教育系统先进集体和先进工作者”“全国教书育人楷模”“高校辅导员年度人物”“全国教材建设先进个人”等特色指标。其中,“生均教学及辅助行政办公用房面积”属于背景评价的内容。高职院校评价指标体系中对于院校面积的评价往往是指占地面积或者建筑面积,神针评价体系则对教学、辅助以及行政办公等用房面积按照院校类型的不同进行分类赋值评价,以此反映院校在基础设施方面的投入,更具有精准性。“全国教育系统先进集体和先进工作者” “全国教书育人楷模”“高校辅导员年度人物” 等是教育部为表彰在教育领域做出突出贡献的集体和个人而设立的荣誉称号,神针评价选取这几项指标作为“师德育人”的三级指标,反映出该机构在对“师德育人”指标进行定量评价的探索。此外值得一提的是,相比于其他评价指标体系,神针评价各级指标的含义解释及说明较为具体明确,评价数据的来源渠道、时效范围和计算方法也交待得较为详细。
GDI 高职高专排行榜秉持“投入产出结合、强调产出”的原则,设置了办学条件、人才培养、科学研究、社会声誉、服务社会和国际影响 6 个一级指标,下设师资力量、培养成果、科研成果、学校声誉、技术服务、培训服务等 13 个二级指标以及 130 多个细分指标,力求全面客观地对高职院校发展现状作出科学评价。其指标体系具有“坚持以人才培养为核心,凸显高职院校服务地方经济社会发展”的特点。
相较于其他几所评价机构,GDI 的评价体系所具有的特色指标包含了“优秀案例”“学校人气值”“社会关注度”“中外合作办学项目”“国际荣誉”等,这些指标大多属于学校声誉及热度方面的评价指标,反映了学校的社会影响力和口碑,大体上也可归类为成果输出方面的评价指标。此外,GDI 的评价体系在背景评价方面选取的指标比较全面,涵盖了诸如占地面积、建筑面积、图书、教学工位、仪器设备及教学基地等方面的指标,这也是其重要特色之一。
ABC 中国高职院校排名指标体系从社会需求和更广泛学生受益角度设置指标,共设 6 个模块:人才培养、办学条件、专业建设、师资队伍、合作交流以及社会服务。相较于其他几所机构的指标体系,ABC 的高职院校评价指标体系最为简略,由 6 个一级指标和 20 个左右二级指标构成,未查到其具体的指标含义说明以及三级指标的设立。从该指标体系的用词看,有的表述较为笼统和模糊,如“合作交流”模块下设的“校企合作”和“国内外院校交流”二个指标,难以确定究竟是用什么数据来进行具体计算的。
ABC 评价指标体系中包含了“重点建设专业”“师范专业”“特色专业”这三项特色指标,都是针对专业建设的具体指标,可以归为过程评价。重点建设专业是指得到学校或相关政府部门的重点支持和发展的专业,包括资金投入、政策扶持、项目支持等。师范专业是指专注于培养教师及教育工作者,并具备教育学、心理学等相关教育类基础课程的专业。特色专业是指高职院校在一定的办学思想指导下,经过长期的办学实践,逐步形成的具有鲜明办学特色和较高水平的专业,是高职院校办学水平的重要体现,具有独特的办学优势和显著的社会效益。
金平果排行榜提出了政治标准、业务标准、效益标准相结合的教育评价体系,突出了 “双高”建设背景下坚持质量第一、效益优先和中国特色为重的评价标准。其评价指标体系由 5 个一级指标、35 个二级指标和 100 多个观测点组成,但未查到其观测点的具体介绍。
该评价指标体系的 5 个一级指标分别为思政建设、办学条件、师资力量、科教产出和学校声誉。从具体指标的选用看,该指标体系主要包含了两项特色指标,即“教改试点”和 “本科教育”,教改试点也就是教育改革试点项目,是指在教育领域进行的一系列探索性和实践性的改革尝试,通常包含了课程设置与教学内容改革、教学方式与评价体系改革、教师培训与职业发展、教育管理与制度建设以及教育信息化建设等方面的改革。本科教育为高职院校学生拓宽了升学渠道,有利于优化院校的人才培养结构,提升毕业生的竞争力。金平果将这两项内容纳入到学校声誉方面的评价指标中,反映出其对学校声誉涵义理解方面的独特评价取向。
武书连的高职院校评价指标体系以学校综合实力排名、人才培养排名、科学研究排名为主线,以考生择校顺序、毕业生就业质量、毕业生升本率、新生质量、教师教学能力、教师科研能力、自然科学、社会科学、专业大类、同类院校、同省市自治区院校、公办院校、民办院校排名为辅线。就其特色指标来说,一是该指标体系列举了很多具体的学生竞赛,尤其是对全国大学生系列竞赛颇为关注,例如“挑战杯全国大学生创业竞赛”“全国大学生数学建模竞赛”“全国大学生英语竞赛”“全国大学生田径锦标赛”等。二是在科学研究方面,该指标体系十分重视对科研奖项的评价,包含了 “国家级科学与技术奖”“教育部高等学校科学研究优秀成果奖”“国家专利局专利金奖” “专利优秀奖”以及“省级科学技术奖”等指标。
除此之外,武书连的评价体系还有一个明显特点,就是按照教育部对中国高职高专 19 个专业大类的分类标准,将“科学研究”这个一级指标分为自然科学和社会科学两个大类进行分别评价。相较于其他几所机构在科研方面设置的指标,武书连的指标体系对科学研究特别重视,也说明了其评价指标体系较多地借鉴了普通本科院校的评价模式。
本文以 6 家机构设立的高职院校评价指标体系为研究样本,探讨了近年来高职院校评价指标的共性与个性特征。研究发现,共性指标主要包括优势骨干专业、国家级教学成果奖、师生比、职教名师、就业率、发明专利、职业院校技能大赛、“双高”校名单等,总体表现出以输出评价为主的导向。不同评价机构各有其特色,既反映出各评价机构的偏好、优长和局限,同时也说明高职院校评价具有复杂性、动态性和模糊性。展望未来,我们认为可以在以下几方面加以改进和完善。
从上述共性分析的结果中可以看出,6 家机构在输入评价、过程评价和成果评价三个环节都存在较多共识,而背景评价方面的指标出现频次却较低,部分机构忽视了对高职院校办学基础条件的评估。我们认为,基础条件对于办好高职院校、保证办学质量达到一定水平具有重要影响,因此应该在评价指标体系中占有一席之地。
尽管 6 家机构都设立了输入评价的指标,但是指标选取并不完整,目前主要聚焦于师资力量投入方面,但实际上院校的资源投入并不仅限于此,教学平台、实训基地、生均经费等都可以反映高职院校的资源投入状况。因此补充输入评价的相关指标,可以更全面地考量高职院校实现发展目标的可行性。
大学评价本质上是对大学质量的评价,但评价质量目标是否达成,必须根据质量目标对整个质量建设过程进行评价,而不是只得出质量目标达成度高或低的结论。在过程评价中,各机构的评价重点普遍集中在专业建设、学生竞赛上,但我们认为,教材建设、课程建设、成果转化等都可以通过持续评估和反馈来作为促进院校发展的路径和手段。此外,社会服务是高职院校评价的重要内容,是衡量高职院校办学质量、发展水平的重要指标,但目前有的评价指标体系还存在忽视高职院校社会服务职能的问题。因此,丰富过程评价这一环节需要将评价视角拓宽,不仅要考虑高职院校内在的建设过程,还要将评价范围拓展到院校以外的社会关系中去。
成果评价作为一种总结性评价,是对高职院校发展目标达成度的评价,能在很大程度上反映院校的发展水平和质量。总体来看,当前各机构对高职院校进行评价时都比较重视输出评价,即对成果的评价,但有的评价指标体系又存在过多借鉴普通本科院校评价模式,不能紧密结合高职院校实际的问题;或是过多应用总值类指标,较少应用均值类指标的问题。另外,在运用成果评价时,笼统地使用各类成果数量进行简单的赋值评价,而对分类评价的原则贯彻得不够,也是一个普遍存在的问题。这些问题都需要在未来构建评价指标体系时引起注意,加以改进和完善。