大學英語六級考試數據處理指南

大學英語四、六級考試每年考生超過一百萬,因此只能依靠機器閱卷。爲了保證機器閱卷的精度及正確性,在數據輸入階段還要採取大量質量保證措施。

大學英語六級考試數據處理指南

數據輸入階段結束後即開始數據處理階段,包括 IRT 等值處理、作文分調整、考生成績正態化處理三個步驟。大學英語四、六級考試爲了進行等值處理,每次考試前一週要組織對比考試,建立 IRT 等值處理模型。

在對客觀題進行等值處理後,對作文分進行調整。進行作文分調整的目的是濾除閱卷過程中閱卷員評分的主觀誤差,保證主觀題的閱卷信度。這一步驟完成後輸出客觀題成績在 25 分以下而作文成績在 10 分以上的異常考生清單,這種客觀題得分極低而主觀題得分相當高的異常情況說明必然在某一環節上發生了差錯。這時首先檢查考生的答題紙,再查作文成績,檢查是否登分錯誤、或閱卷員評分錯誤、或因爲考生填錯 A、B 卷代號而造成錯誤等等。在以上步驟都確認正確無誤後,輸出作文分調整模型。 最後進行各種統計,包括全國的、各省市的、各校的成績統計。作爲數據處理的最後一環還要進行試題分析、完成試卷檢驗報告  大學英語四、六級考試的數據處理採取如此嚴格的質量控制措施是爲了保證考試的信度,最終也是爲了保證考試的效度,因爲沒有信度就談不上效度。

  等值處理

大規模標準化考試的重要標誌之一是分數的可比性。爲此,首先必須根據考試的性質和目的確定記分體制,使分數具有可解釋性,能夠說明分數所反映的考生實際水平,以便於用戶使用;此外還必須通過等值處理,使不同考次的分數做到等值,達到可比的目的,並保持穩定的測量標準,也就是保持記分體制的參照系不變。

大學英語四、六級考試等值處理的方法及其質量控制措施見《大學英語四、六級考試效度研究》一書

  作文分調整

作文是一種對語言表達能力的'考試。學生運用語言的結果,可以直接觀察,因此作文是一種直接考試。只要題目出得好,作文對考生語言能力的測量最準確,效度最高。而且作文這種題型最難搞應試培訓,也最難搞題海戰術。要提高學生的成績,唯一途徑是紮紮實實搞好課堂教學,提高學生實際英語能力。從組織考試的角度來看,採用作文題的困難在於如何保證評分的一致性。

作文題是主觀題。所謂主觀題只是指在閱卷過程中評分要依靠閱卷員的主觀判斷的題目。至於命題和答題,當然必然是主觀的。這些因素最終都會影響到對作文閱卷的判分。要使作文卷的分數能正確地反映考生的真實能力,如果不考慮考生本身這一因素,則影響最大的主要是命題和閱卷兩個因素。

大學英語四、六級考試中安排短文寫作這一部分,主要目的是考覈學生用英語進行書面表達的能力,也就是說主要是考覈語言運用能力,因此大學英語四、六級考試的作文部分不是自由作文,而是有控制的作文,對考生寫什麼內容有比較明確的要求,用各種明確的方式如提綱、圖表、關鍵詞等加以規定;但提綱常用中文給出,以避免考生將提綱中的文字直接抄錄進作文。採用有控制的作文也有利於提高評分的一致性。 對作文評分影響最大的是評分過程。同一篇作文,不同的閱卷員可能給出不同的分數。提高作文閱卷的信度就是要保證評分的一致性,包括閱卷員本人的一致性(intra-marker consistency)、閱卷員之間的一致性(inter-marker consistency)、和閱卷點之間的一致性(inter-centre consistency),要採取一定的質量控制措施儘量減少和濾除閱卷員評分的主觀性對分數客觀性的影響。 近年來在大規模標準化考試中採用作文題的重要性已爲大家所接受,對作文評分的研究發展也很快。

作文題的評分通常有兩種方法:一種是綜合法(holistic approach),一種是分析法(analytic approach)。分析法是把一篇作文分解爲若干要點,如內容、結構、文章連貫性(cohesion)、語法、詞彙等,不同的要點也可作不同的加權處理,各要點得分的總和即爲全篇得分。綜合法是憑閱卷員通讀一遍的總體印象打分。綜合法的優點是能從總體上把握通篇印象,評卷速度比較快。此外,爲了提高閱卷的信度也有采用兩讀的方法,即每篇作文由兩名閱卷員分別獨立評分,若分數差兩檔以上,由第三名閱卷員重判。考慮到大學英語四、六級考試規模太大,不可能進行兩讀,因此,決定採用綜合法和一讀的評分方法,然後根據考生的客觀題得分進行調整,濾除系統誤差。大學英語四、六級考試實踐和效度研究結果證明,大學英語四、六級考試目前採用的作文分調整方法能保證閱卷信度,詳見《大學英語四、六級考試效度研究》一書。