Techniques d’évaluation des compétences du chinois parlé

[:fr]

Grâce Poizat-Xie

L’Institut Confucius de l’Université de Genève a organisé, du 12 au 13 juin 2015, la Vème journée de formation pour les enseignants de chinois langue étrangère. Cette réunion a porté sur les examens oraux et les techniques d’évaluation des compétences du chinois parlé. Une trentaine d’enseignants venant de toute la Suisse ont participé à l’évènement pour lequel deux spécialistes de l’Université des langues de Beijing (北京语言大学), les professeures ZHAI Yan et GUO Xiumin se sont déplacées à Genève.

La professeure Zhai a présenté différents types de tests linguistiques oraux, pour lesquels elle a détaillé cinq catégories de critères d’évaluation ou de notation : le sens de l’écoute (peu d’arrêts ou de répétition), la prononciation (sons et tonalité), le vocabulaire (adéquat et riche), la grammaire (phrases correctes et variées), l’expression sémantique (complète, logique et structurée), le sens de la communication (naturel, conforme au contexte et à l’objectif visé).  Elle a ensuite analysé les avantages et les désavantages des différents types de questions utilisés pour une évaluation orale et elle a considéré les aspects devant être pris en compte lors de la préparation d’un examen afin de maximaliser à la fois l’objectivité des évaluateurs et la pertinence du test.

La professeur Guo s’est intéressée dans un premier temps aux questions de la fonction et de la formation des examinateurs pour les examens oraux, puis au test spécifique de l’OPI (Oral Proficiency Interview), une forme de test souvent utilisée aux USA. En ce qui concerne le premier thème, elle a décrit les problèmes pratiques liés à la subjectivité de l’examinateur et aux méthodes de notation. Elle a souligné que jusqu’à ce jour il n’existe quasiment pas d’études empiriques sur la formation des examinateurs, et elle a proposé une formation spécifique afin de garantir la validité et la justesse des évaluations orales.

Concernant l’OPI, la professeure GUO a indiqué comment celle-ci peut contribuer à améliorer la qualité des examens oraux de chinois, dont la situation actuelle est préoccupante.

Selon l’usage de nos publications relatives à la didactique du chinois langue étrangère, les détails de ce séminaire se trouvent dans le compte-rendu en chinois ci-dessous.

第五届汉语教师培训:口语能力评估与口语测试方法

牟云峰,谢红华

2015年6月12-13日,瑞士日内瓦大学孔子学院举办了第五届汉语教师培训,培训专题为“口语能力评估与口语测试方法”。共有近30名活跃在瑞士汉语教学第一线的教师参加了培训。

来自北京语言文化大学的翟艳教授首先作了题为《汉语口语成绩测试与评估标准》的讲座 。

语言测试分为能力测试、诊断测试和成绩测试。成绩测试又称“成就测试”,通常用来测量学生在规定的语言课程里学了什么、学得怎么样,即考察学习者课堂学习的结果。教什么就测什么,怎么教就怎么测。

汉语口语测试的质量表现在信度与效度的平衡。

汉语口语测试分为直接口试和半直接口试。直接口试又称面试型口试,简称OPI(Oral Proficiency Interview),口试形式为主考教师与学生面对面地用汉语交谈。半直接口试又称录音考试,简称SOPI (Simulated Oral Proficiency Interview),口试过程全部录音,事后评分员根据录音评定学生的口试成绩 。

口语评估标准,是指考生按照一系列任务要求完成口语语言产出,考官对其语言产出的等级或得分作出评判时所依据的准则或规定。不同的口试存在不同的评估标准。通过调查研究,国际汉语口语成绩测试评估指标公认包括以下六个方面:

Diagram A

总之,每次口试前,都需要认真思考考谁、谁来考、考什么、怎么命题、怎么考、怎么评分、依据什么评分等问题。

接着,翟教授做了第二场报告,题为《汉语口语成绩测试的题型设计与试卷编制》。她认为编制试卷应注意以下方面:1. 试题所采取的形式和覆盖的内容,必须客观地反映教学大纲的要求和具体教学内容,并通过学生的语言行为,体现其对语言交际功能的掌握。2. 考试的题目应能体现具体的、以学生的行为来描述的教学目标,即说明经过学习后,学生能用目的语做哪些事情。3. 试题抽样应具代表性,分配不同的题型,在要测试的各种技能中都有合理的侧重。4. 语言知识和语言能力并重:尽量在考语言知识的同时,在更大的范围内测试语言能力,包括语句语义的关联、交际功能以及语言在社会文化方面是否得当。

常见口语测试题型有如下三种:1. 结构性的,如朗读、复述故事;2. 半交际性的,如看图说话、回答问题、话题介绍、口头演讲;3. 交际性的,如角色扮演、小组讨论、辩论、调查报告。

具体来说,朗读是要求学生在有准备或无准备的情况下,大声读出给定的汉语材料,如词语、句子或语段。主要用来考察学生对汉语语音、语调、重音、连读、节奏、停顿、语流音变的掌握情况。复述是要求学生把听到的或读到的材料内容用自己的话重新说一遍。1. 复述材料当场指定,在学生复述时,要拿走输入的材料。2. 预先安排,材料应长一些,如小说的某个章节、报纸等。复述过程教师可要求学生提出自己的观点。看图说话是提供一幅或多幅图画或照片,要求学生描述图片上的内容。为了更好地诱发学生的口语表现,可以在图片下放置一两句引导句,也可以附一个关键词表。

口语成绩测试试卷应体现语言的特点,特别是注意吸收交际测试和任务测试的理念和方法,体现语言运用的交互性和反映应试者的口语潜能基础,考察全面,形成最佳口试题型的组合。因此,试卷编制应考虑以下方面:时间设置、题量大小、比例分配、环节步骤。

一般口语测试步骤、建议的时间与相应适合的题型分别为下表所示(试题组合A+B+C):

Table A

郭修敏老师的第一场报告是《汉语口语成绩测试中的评分员职能及培训》。她认为,口语测试是一个薄弱环节,有关口试评分员培训的实证研究几乎处于空白。

目前汉语口语成绩测试基本由任课教师担任评分员,对考生(即学生)进行“一对一”的口语面试。但由于在评分过程中缺乏严格统一、可操作性强的评分标准,往往导致作为评分员的不同任课教师之间对评分标准的理解和把握存在较大偏差,在评分宽严程度(严厉度)上也呈现出较大的差异。

口试是典型的主观性考试。在口语考试中,评分员不是将考生的表现与评分标准机械性地进行对应,而是需要在观察的基础上根据自己对评分标准和考生表现的理解进行主观判断;而测验开发者所设计的试题、制定的评分标准都需要通过评分员才能得以实施并作用于应试者。目前,比较普遍的看法是评分员和评分方法决定了口试的信度,从而在很大程度上影响了测验的效度。

在实践中,突出问题是评分标准的问题。现有口试评分标准缺乏具体细则,且操作性不强。加之评分员对评分标准的理解和把握不一致,导致各班级包括平行班之间的口试平均分存在显著差异。于是,评分结果出现了十分明显的评分员的趋中性倾向,作为评分结果的口试分数分布不合理,很难反应出学生的实际水平、也无法有效体现出试题作用于应试者的区分度。

郭老师提出现代培训的四步法:前期准备、示范操作、试操作、跟踪验证;并描述了建构评分员培训体系的五个基本步骤:1. 统一评分标准和评分方法,2. 选取各分数段的录音标杆卷,3. 对评分员进行考前集中培训,4. 让受训评分员进行试评分,5. 建立有效的口试评分监控机制。这一评分员培训体系已经得以应用与实践。研究表明,大部分评分员都认可该培训体系的有效性,而大部分的受访学生对评分的公平性、合理性、准确性等方面的满意度也大大提升。郭老师还特别强调,培训的结果可能不会在一次培训后长期维持,应该坚持在每次测试之前都进行培训,以保证最佳培训效果。尽管这一体系具有较为理想的效果,有较大的实用性和推广性,但仍存在需改进之处:1. 应在每次评分前都进行培训,而且应该合理轮换用于示范评分和试评分的口试录音标杆卷,实现评分员心理机制中对评分标准的常激活状态。2. 今后的评分机制应调整为交叉评分,即任课教师不对本班考生进行评分,而是同一等级的不同班级之间进行交叉评分。

郭修敏老师在第二场报告《汉语口语成绩测试中的OPI模式借鉴与操作》中,介绍了美国的一种外语口语能力考试OPI(Oral Proficiency Interview)。OPI是在受试者和主考官之间就某几个话题进行一场谈话, 整个过程要求尽量模仿真实的对话。测试过程中,主考官对受试者会进行引导和提问。根据受试者语言程度的不同, 考试时间定在10-30 分钟之间不等。OPI全程一般分为四个部分, 即“热身”(Warm-Up)、“摸底”( Level-Check)、“探顶”( Probes)和“结束”(Wind- Down)。作为口语面试,它是直接型口试的典型形式。从其程序和操作过程来看,它更有利于面对面地考察和评估应试者口语水平,核心特质是交际(communicative)和互动(interactive)。

我们的关注点是在OPI与成绩测试之间建立关联,以成绩测试(课程考试)的形式呈现OPI交际性和互动性的优势特点。我们将借鉴并应用OPI模式,对汉语口语成绩测验的题型设计、具体施测过程和评分系统等方面改进交际性改进。

成绩测试的目的在于评价学生个体、小组或班级在学习目标实现方面的成功度,其最大特点就是“学什么(或教什么)就考什么”。换言之,成绩测试与所学课程(包括教学大纲与教学目标等)直接相关,其测试内容应该是教学内容的一个样本。所以,在编写口语成绩测验的试题时,应以教材和教学大纲为依据;在实际的测试过程中,也应将口试中使用的话题、词汇和语法限制在教学内容的范畴内。

口语测试的模式及题型有:1.交际法口语测试,以真实性、交互性、功能性、情景性和综合性为特点,其题型有大约20种,典型的一般有角色扮演、面谈(也称面试)和讨论三种。2.结构主义口试考察应试者口语形式的正确性和口语技能的熟练性,但是不考虑是否能完成交际任务,其典型的题型为朗读、复述、问答和口头报告等。

对外汉语教学中口语成绩测验的现状是,目前国内大部分对外汉语教学机构所采用的形式是面试(直接型口试),其内核与本质却偏离了交际性、真实性的特点,难以真正发挥面试型口试的优势。在实际操作中,有试题本身、测试过程、效度(Validity)、口头报告的长度与内容等问题。改进题型的建议有剔除“朗读”题型、保留“回答问题”题型、增加“角色扮演”题型、调整“口头报告”题型。改进口试过程的建议如:在口试过程中应注意合理分配测试时间,有效推进测试进程,控制好口语面试的各个环节。

实用汉语水平认定考试 (C.TEST)口试由三大环节组成:1. 热身:让考生尽快进入考试状态,同时考官通过提问尽快掌握考生说话的兴趣点以及背景信息。2. 反复评估:通过看图说话、叙述性和议论性话题以及面试中考官的提问,反复评估和校验应试者口语能力。3. 结束:通过适合应试者水平的对话,恢复应试者的自信,核实评估结果。

在整个测试过程中,考官的参与不仅起着引导的作用,还应通过精心设计的提问直接考察考生对本阶段具体教学内容的掌握情况。通过这种直指教学内容的提问,规避考生的回避策略(即缩减策略),或是有效地引导出某些预期的词汇和特别的语法点。从而更为直接有效地评价考生对所学相关语言知识的掌握程度,也能更好地体现成绩测试应紧扣教材和教学大纲的宗旨。

POIZAT-XIE, Grâce. « Examen oral : Techniques d’évaluation des compétences du chinois parlé ». In Blog Scientifique de l’Institut Confucius, Université de Genève. Lien permanent: https://ic.unige.ch/?p=712, consulté le Friday 29th of March 2024.

Cette contribution a été relue par ZHAO Xiurong

 [:en]

Grâce Poizat-Xie

L’Institut Confucius de l’Université de Genève a organisé, du 12 au 13 juin 2015, la Vème journée de formation pour les enseignants de chinois langue étrangère. Cette réunion a porté sur les examens oraux et les techniques d’évaluation des compétences du chinois parlé. Une trentaine d’enseignants venant de toute la Suisse ont participé à l’évènement pour lequel deux spécialistes de l’Université des langues de Beijing (北京语言大学), les professeures ZHAI Yan et GUO Xiumin se sont déplacées à Genève.

La professeure Zhai a présenté différents types de tests linguistiques oraux, pour lesquels elle a détaillé cinq catégories de critères d’évaluation ou de notation : le sens de l’écoute (peu d’arrêts ou de répétition), la prononciation (sons et tonalité), le vocabulaire (adéquat et riche), la grammaire (phrases correctes et variées), l’expression sémantique (complète, logique et structurée), le sens de la communication (naturel, conforme au contexte et à l’objectif visé).  Elle a ensuite analysé les avantages et les désavantages des différents types de questions utilisés pour une évaluation orale et elle a considéré les aspects devant être pris en compte lors de la préparation d’un examen afin de maximaliser à la fois l’objectivité des évaluateurs et la pertinence du test.

La professeur Guo s’est intéressée dans un premier temps aux questions de la fonction et de la formation des examinateurs pour les examens oraux, puis au test spécifique de l’OPI (Oral Proficiency Interview), une forme de test souvent utilisée aux USA. En ce qui concerne le premier thème, elle a décrit les problèmes pratiques liés à la subjectivité de l’examinateur et aux méthodes de notation. Elle a souligné que jusqu’à ce jour il n’existe quasiment pas d’études empiriques sur la formation des examinateurs, et elle a proposé une formation spécifique afin de garantir la validité et la justesse des évaluations orales.

Concernant l’OPI, la professeure GUO a indiqué comment celle-ci peut contribuer à améliorer la qualité des examens oraux de chinois, dont la situation actuelle est préoccupante.

Selon l’usage de nos publications relatives à la didactique du chinois langue étrangère, les détails de ce séminaire se trouvent dans le compte-rendu en chinois ci-dessous.

第五届汉语教师培训:口语能力评估与口语测试方法

牟云峰,谢红华

2015年6月12-13日,瑞士日内瓦大学孔子学院举办了第五届汉语教师培训,培训专题为“口语能力评估与口语测试方法”。共有近30名活跃在瑞士汉语教学第一线的教师参加了培训。

来自北京语言文化大学的翟艳教授首先作了题为《汉语口语成绩测试与评估标准》的讲座 。

语言测试分为能力测试、诊断测试和成绩测试。成绩测试又称“成就测试”,通常用来测量学生在规定的语言课程里学了什么、学得怎么样,即考察学习者课堂学习的结果。教什么就测什么,怎么教就怎么测。

汉语口语测试的质量表现在信度与效度的平衡。

汉语口语测试分为直接口试和半直接口试。直接口试又称面试型口试,简称OPI(Oral Proficiency Interview),口试形式为主考教师与学生面对面地用汉语交谈。半直接口试又称录音考试,简称SOPI (Simulated Oral Proficiency Interview),口试过程全部录音,事后评分员根据录音评定学生的口试成绩 。

口语评估标准,是指考生按照一系列任务要求完成口语语言产出,考官对其语言产出的等级或得分作出评判时所依据的准则或规定。不同的口试存在不同的评估标准。通过调查研究,国际汉语口语成绩测试评估指标公认包括以下六个方面:

Diagram A

总之,每次口试前,都需要认真思考考谁、谁来考、考什么、怎么命题、怎么考、怎么评分、依据什么评分等问题。

接着,翟教授做了第二场报告,题为《汉语口语成绩测试的题型设计与试卷编制》。她认为编制试卷应注意以下方面:1. 试题所采取的形式和覆盖的内容,必须客观地反映教学大纲的要求和具体教学内容,并通过学生的语言行为,体现其对语言交际功能的掌握。2. 考试的题目应能体现具体的、以学生的行为来描述的教学目标,即说明经过学习后,学生能用目的语做哪些事情。3. 试题抽样应具代表性,分配不同的题型,在要测试的各种技能中都有合理的侧重。4. 语言知识和语言能力并重:尽量在考语言知识的同时,在更大的范围内测试语言能力,包括语句语义的关联、交际功能以及语言在社会文化方面是否得当。

常见口语测试题型有如下三种:1. 结构性的,如朗读、复述故事;2. 半交际性的,如看图说话、回答问题、话题介绍、口头演讲;3. 交际性的,如角色扮演、小组讨论、辩论、调查报告。

具体来说,朗读是要求学生在有准备或无准备的情况下,大声读出给定的汉语材料,如词语、句子或语段。主要用来考察学生对汉语语音、语调、重音、连读、节奏、停顿、语流音变的掌握情况。复述是要求学生把听到的或读到的材料内容用自己的话重新说一遍。1. 复述材料当场指定,在学生复述时,要拿走输入的材料。2. 预先安排,材料应长一些,如小说的某个章节、报纸等。复述过程教师可要求学生提出自己的观点。看图说话是提供一幅或多幅图画或照片,要求学生描述图片上的内容。为了更好地诱发学生的口语表现,可以在图片下放置一两句引导句,也可以附一个关键词表。

口语成绩测试试卷应体现语言的特点,特别是注意吸收交际测试和任务测试的理念和方法,体现语言运用的交互性和反映应试者的口语潜能基础,考察全面,形成最佳口试题型的组合。因此,试卷编制应考虑以下方面:时间设置、题量大小、比例分配、环节步骤。

一般口语测试步骤、建议的时间与相应适合的题型分别为下表所示(试题组合A+B+C):

Table A

郭修敏老师的第一场报告是《汉语口语成绩测试中的评分员职能及培训》。她认为,口语测试是一个薄弱环节,有关口试评分员培训的实证研究几乎处于空白。

目前汉语口语成绩测试基本由任课教师担任评分员,对考生(即学生)进行“一对一”的口语面试。但由于在评分过程中缺乏严格统一、可操作性强的评分标准,往往导致作为评分员的不同任课教师之间对评分标准的理解和把握存在较大偏差,在评分宽严程度(严厉度)上也呈现出较大的差异。

口试是典型的主观性考试。在口语考试中,评分员不是将考生的表现与评分标准机械性地进行对应,而是需要在观察的基础上根据自己对评分标准和考生表现的理解进行主观判断;而测验开发者所设计的试题、制定的评分标准都需要通过评分员才能得以实施并作用于应试者。目前,比较普遍的看法是评分员和评分方法决定了口试的信度,从而在很大程度上影响了测验的效度。

在实践中,突出问题是评分标准的问题。现有口试评分标准缺乏具体细则,且操作性不强。加之评分员对评分标准的理解和把握不一致,导致各班级包括平行班之间的口试平均分存在显著差异。于是,评分结果出现了十分明显的评分员的趋中性倾向,作为评分结果的口试分数分布不合理,很难反应出学生的实际水平、也无法有效体现出试题作用于应试者的区分度。

郭老师提出现代培训的四步法:前期准备、示范操作、试操作、跟踪验证;并描述了建构评分员培训体系的五个基本步骤:1. 统一评分标准和评分方法,2. 选取各分数段的录音标杆卷,3. 对评分员进行考前集中培训,4. 让受训评分员进行试评分,5. 建立有效的口试评分监控机制。这一评分员培训体系已经得以应用与实践。研究表明,大部分评分员都认可该培训体系的有效性,而大部分的受访学生对评分的公平性、合理性、准确性等方面的满意度也大大提升。郭老师还特别强调,培训的结果可能不会在一次培训后长期维持,应该坚持在每次测试之前都进行培训,以保证最佳培训效果。尽管这一体系具有较为理想的效果,有较大的实用性和推广性,但仍存在需改进之处:1. 应在每次评分前都进行培训,而且应该合理轮换用于示范评分和试评分的口试录音标杆卷,实现评分员心理机制中对评分标准的常激活状态。2. 今后的评分机制应调整为交叉评分,即任课教师不对本班考生进行评分,而是同一等级的不同班级之间进行交叉评分。

郭修敏老师在第二场报告《汉语口语成绩测试中的OPI模式借鉴与操作》中,介绍了美国的一种外语口语能力考试OPI(Oral Proficiency Interview)。OPI是在受试者和主考官之间就某几个话题进行一场谈话, 整个过程要求尽量模仿真实的对话。测试过程中,主考官对受试者会进行引导和提问。根据受试者语言程度的不同, 考试时间定在10-30 分钟之间不等。OPI全程一般分为四个部分, 即“热身”(Warm-Up)、“摸底”( Level-Check)、“探顶”( Probes)和“结束”(Wind- Down)。作为口语面试,它是直接型口试的典型形式。从其程序和操作过程来看,它更有利于面对面地考察和评估应试者口语水平,核心特质是交际(communicative)和互动(interactive)。

我们的关注点是在OPI与成绩测试之间建立关联,以成绩测试(课程考试)的形式呈现OPI交际性和互动性的优势特点。我们将借鉴并应用OPI模式,对汉语口语成绩测验的题型设计、具体施测过程和评分系统等方面改进交际性改进。

成绩测试的目的在于评价学生个体、小组或班级在学习目标实现方面的成功度,其最大特点就是“学什么(或教什么)就考什么”。换言之,成绩测试与所学课程(包括教学大纲与教学目标等)直接相关,其测试内容应该是教学内容的一个样本。所以,在编写口语成绩测验的试题时,应以教材和教学大纲为依据;在实际的测试过程中,也应将口试中使用的话题、词汇和语法限制在教学内容的范畴内。

口语测试的模式及题型有:1.交际法口语测试,以真实性、交互性、功能性、情景性和综合性为特点,其题型有大约20种,典型的一般有角色扮演、面谈(也称面试)和讨论三种。2.结构主义口试考察应试者口语形式的正确性和口语技能的熟练性,但是不考虑是否能完成交际任务,其典型的题型为朗读、复述、问答和口头报告等。

对外汉语教学中口语成绩测验的现状是,目前国内大部分对外汉语教学机构所采用的形式是面试(直接型口试),其内核与本质却偏离了交际性、真实性的特点,难以真正发挥面试型口试的优势。在实际操作中,有试题本身、测试过程、效度(Validity)、口头报告的长度与内容等问题。改进题型的建议有剔除“朗读”题型、保留“回答问题”题型、增加“角色扮演”题型、调整“口头报告”题型。改进口试过程的建议如:在口试过程中应注意合理分配测试时间,有效推进测试进程,控制好口语面试的各个环节。

实用汉语水平认定考试 (C.TEST)口试由三大环节组成:1. 热身:让考生尽快进入考试状态,同时考官通过提问尽快掌握考生说话的兴趣点以及背景信息。2. 反复评估:通过看图说话、叙述性和议论性话题以及面试中考官的提问,反复评估和校验应试者口语能力。3. 结束:通过适合应试者水平的对话,恢复应试者的自信,核实评估结果。

在整个测试过程中,考官的参与不仅起着引导的作用,还应通过精心设计的提问直接考察考生对本阶段具体教学内容的掌握情况。通过这种直指教学内容的提问,规避考生的回避策略(即缩减策略),或是有效地引导出某些预期的词汇和特别的语法点。从而更为直接有效地评价考生对所学相关语言知识的掌握程度,也能更好地体现成绩测试应紧扣教材和教学大纲的宗旨。

POIZAT-XIE, Grâce. « Examen oral : Techniques d’évaluation des compétences du chinois parlé ». In Blog Scientifique de l’Institut Confucius, Université de Genève. Lien permanent: https://ic.unige.ch/?p=712, consulté le Friday 29th of March 2024.

Cette contribution a été relue par ZHAO Xiurong

 

 

 [:]