不同方法设定英文科决断分数之实务性研究-国家教育研究院.pdfVIP

謝名娟 謝進昌 林世華 二種標準設定方法之實務性研究 《 測 驗 學 刊 》 第六十輯第三期 2013 年 9 月 519～544 頁 不同方法設定英文科決斷分數之實務性研究 謝名娟 1 謝進昌 2 林世華 3 摘要 本研究之目的在比較書籤標定法與 Yes/No Angoff 標準設定方法在設定決斷分 數上的差異，並使用TASA 2009 年英文科來進行比較研究，研究結果顯示，兩種標 Yes/No Angoff 準設定方法所做出的決斷分數略有不同，標準設定成員們認為， 法 執行起來較為簡單，最終決定的決斷分數也較符合預期。然而，執行此方法所需要 的會議時間較長；書籤標定法執行所需之時間雖然較短，然需要克服的技術層面較 多，尤其在面臨題本難度順序與成員心中期望的難度順序不一致時，往往會影響成 員放置書籤的決策。最後，本研究建議，雖 Yes/No Angoff 法執行上比較簡單，但 是在時間與人力負荷考量下，若未來想要進行 Yes/No Angoff 法進行標準設定時， 最好能預估兩天的時間，如此才能將題目充分進行討論，然而，對於題目較多的測 驗或面臨人力不足的條件下，則較適合使用書籤標定法，並搭配加強標準設定成員 訓練作為配套。 關鍵詞：Yes/No Angoff 、書籤標定法、標準設定 1. 謝名娟，國家教育研究院測驗及評量研究中心副研究員 2. 謝進昌，國家教育研究院測驗及評量研究中心副研究員 3. 林世華，國立臺灣師範大學教育心理與輔導學系副教授 2010.11.15 2011.11.30 2012.05.30 收件日期： ；完成修改： ；正式接受： Email jin@.tw 通訊作者：謝進昌； ： 地址：新北市三峽區三樹路 2 號 國家教育研究院測驗及評量研究中心 － － 測驗學刊，第 60 輯第 3 期 Psychological Testing September 2013, Vol. 60 No. 3, pp. 519-544 The Comparison of Two Standard Setting Methods on an English Test Abstract This paper presents a comparison on two prevalent method, bookmark and yes/no Angoff method, for setting cut scores on educational assessments. The comparison is presented through an application with a Grade 6 English Assessment in Taiwan. The im- plementations for each method are described in detail along with comparative results for the application. It is found that the resulting cutoff points from these two methods are somewhat different. Judges regarded that yes/no Angoff method is easier to imple- ment and the resulting cutoff points are more close to their expe