台湾学生学习成就评量资料库试题等化设计.pdfVIP

「臺灣學生學習成就評量資料庫」電子報 TASA News 「臺灣學生學習成就評量資料庫」電子報 第五期 電子報創刊日期： 2009 年 11月 1日 本期發刊日期：2010 年 2月 1日 本期標題： 臺灣學生學習成就評量資料庫試題等化設計 大型測驗中，為能有效涵蓋所有測驗目標，題本內的試題數往往無法讓所有 受試者全部作答（如測驗題數可能高達一百多題） ，此時，若強制要求受試者在 限制時間內完成所有試題，多會伴隨著疲倦等負面因子，影響著能力估計的準確 性。因此，為能同時測得所有測驗目標以及準確比較受試者間的表現，測驗設計 上，學者多建議可藉由分配受試者接受部分試題的方式，並透過等化程序以建立 出可互相比較的共同量尺。其中，BIB設計為國際各大型評量測驗常用的方法之 一，亦為臺灣學生學習成就資料庫（TASA ）所採用。以下茲逐一介紹BIB設計 的原理、國際評量資料庫等化設計現況與 TASA資料庫的設計模式等。 一、BIB設計 BIB設計（ balanced incomplete block design ）主要是將題庫中的試題分成若 干區塊，區塊內與區塊間的試題皆不重複，試題的分配方式不必為隨機分配，但 必須基於試題對受試者而言為實用且有效的，以及受試者能在時間內完成測驗兩 項原則（ van der Linden, Veldkamp Carlson, 2004 ）。其中，平衡（balanced ），指 的是每一試題區塊出現在所有題本中的次數是 一樣的，且成對區塊至少出現一 次；而且，沒有任何一個題本包含所有試題，所以在估計學生能力上為不完全 （incomplete ）（Brenda, 2000 ）。而題本與試題區塊配置，如圖1所示， van der Linden, Veldkamp 與 Carlson （2004 ）認為必須符合以下限制： 1. 每一個題本包含之試題區塊數相等； 2. 每一個試題區塊出現在所有題本的次數相等； 3. 試題區塊組合成最小題本數。 1 淘花/文库专用 「臺灣學生學習成就評量資料庫」電子報 TASA News 圖 1 BIB設計 註：引自 “Optimizing Balanced Incomplete Block Designs for Educational Assessments“ by van der Linden, Veldkamp Carlson（2004 ）, Applied Psychological Measurement , 28, 317-331. 圖 1是為 BIB設計的一個範例，此設計包含 13個區塊、 26個題本，每個題 本下皆包含 3個區塊，而每個區塊出現在所有題本的次數皆為 6 次。由圖 1可知， 題本 1包含區塊 4 、區塊5 與區塊 9 ，而在題本1所包含成對區塊有區塊 4 與區 塊 5 、區塊5 與區塊 9 以及區塊4 與區塊 9 ，且其他題本皆未出現這三種成對區 塊。 上述限制中的第三種限制只有在不同試題區塊中試題相關的情形下，而這也 是大多數測驗會遇到的情形，此三項限制稱為結構上的限制，即基本的區塊與題 本數以及排列上的限制；然而，在測驗的實施時，還需考慮試題內容、編排及作 答時間等實施上的限制。 在 BIB設計下，題本包含完全相同、部分相同與完全不同的試題區塊；部 分題本雖無共同試題區塊，但仍可藉由部分相同之試題區塊連結到其他區塊達到 2 淘花/文库专用 「臺灣學生學習成就評量資料庫」電子報 TASA News 等化效果。而BIB設計必須符合之條件（ Bilous van Rees, 2005 ）是為： 1. r ×v b ×k ； 2. λ(v −1) r(k −1) ； 3. b ≥v ； 4. 如果 v b 且 (1) v 為偶數，則 k −λ為完全平方數；