IRT在量表編製上應用.docVIP

PAGE PAGE 19 目錄 前言--1 第三章 電腦化適性測驗--2 第一節 CAT的原理與概念--2 第二節 CAT的程序--2 第三節 CAT的範例--6 第四節 CAT的相關問題--8 第四章 多向度測驗--11 第一節 多向度測驗的概念--11 第二節 多向度試題反應理論(MIRT)--14 第三節 多向度IRT的相關問題--17 第四節 MIRT分析的範例--19 前言 試題反應理論(IRT)是測驗領域中較新的技術，它已經被應用在教育、心理、醫療等相關領域中，如國中基本學力測驗、托福、GRE、GMAT考試，以及國外的一些人格量表與醫學相關量表的編製。當代著名的電腦化適性測驗(CAT)也必須仰賴IRT的理論與技術才能運作。本次工作坊的主要內容是以介紹IRT的概念與實務應用為主，上午的課程是先對IRT做基礎概念的介紹，接著以生活品質量表與國中基本學力測驗的發展為例，介紹IRT的基礎應用，並有實際資料讓學員上機操作，對於有量表發展需求者而言相當實用。下午是IRT的進階課程，介紹IRT在多向度測驗及電腦化適性測驗上的應用，對於有興趣發展人格量表、多元性向測驗等多向度測驗，或是想發展電腦化適性測驗的人而言是很適合的課程。 第三章、電腦化適性測驗 第ㄧ節 CAT的原理與概念 電腦化適性測驗（以下簡稱CAT）是由電腦根據受試者的答題反應立刻估計出其能力，並且馬上選出適合於受試者能力的題目來施測。由於所選出來的題目難度較符合受試者的程度，因此只要傳統非適性測驗的1/2~1/3題數就能達到與傳統非適性測驗相同的測量精準度。此外，電腦化測驗的多媒體特性可以讓試題以色彩、聲音、動畫、互動、操作等方式來呈現，提高測驗的真實性與生動感。 CAT的主要理論依據是試題反應理論（以下簡稱IRT）。IRT主要是描述題目參數、受試者能力與其作答反應機率的數學模式。基於IRT的單向性（unidimensionality）與局部獨立性（local independency）假定，只要試題符合IRT的模式，則接受不同難度試題的受試者其能力是可以互相比較的（Hambleton Swaminathan, 1985）。 第二節 CAT的程序 在進行CAT時，由於題目是根據每個人的能力所選取出來的，因此每個人所接受的試題都不相同，如果計算出來的能力無法互相比較則進行CAT就失去意義了。所幸基於IRT的單向度與局部獨立性（local independency）假定，只要試題符合IRT的模式，則接受不同難度試題的受試者其能力是可以互相比較的。 要進行CAT需要下列幾個步驟： 1.建立題庫（item bank） 題庫建立的程序與一般測驗編製程序相同，主要有「建立測驗雙向細目表」、「根據命題原則設計試題」、「修整與審查試題」、「預試與試題分析」、「篩選試題」、「將試題內容與試題參數輸入電腦資料庫」等幾個步驟﹙Wainer et al., 1990﹚。其中「雙向細目表」是所欲測量特質的架構，它能使命題時有範圍與目標可循。在進行CAT選題時，也要使各內容或題型的題數比例符合雙向細目表的架構，如此測量到的能力才能符合測驗建構。為了使題庫的適用範圍擴大，對不同能力的人都能進行CAT，題庫中試題的難度範圍也應該盡量擴大。在難度分布型態方面，有研究者建議題庫中的難度分布最好呈均等分布﹙Urry,1977﹚。但何榮桂﹙1991﹚的研究則顯示，難度為均等分配的題庫其被選出來施測的題目有集中在少數幾題的現象，這些經常被施測的題目曝光率過高，容易外洩。因此他建議題庫中的b參數要以中難度者居多，a參數是愈高愈好，c參數則是愈低愈好。 2.估計試題參數與連結 由於CAT的選題是根據試題參數來進行，而且施測的題數都不多，因此題庫中試題參數的精確性很重要。一般而言，欲使估計出來的試題參數是穩定可靠的，單參數模式最好能有200人以上，三參數模式最好能有1000人以上，而且受試者的能力要夠分散。由於無法針對同一批人施測題庫中的所有試題，因此預試時通常是給予不同批受試者不同的題目﹙其中包含一些共同題﹚，再進行試題參數的連結。進行試題參數連結時，受試者的能力愈分散其效果愈好﹙洪碧霞，1993﹚。常用的試題參數連結方式有平均數標準差法、強韌平均數標準差法、特徵曲線法等，其中特徵曲線法的效果較好，但是也比較麻煩。此外，如果各群體的測驗中安排有共同試題，也可以用同時估計法直接對所有試題進行參數估計，如此題目參數就已經是在同一個量尺上，就不需要再進行連結了。 3.能力估計與選題 在能力估計方面，目前常用的能力估計方法主要有最大概率法（Maximum Likelihood; ML）與貝氏估計法兩類，貝氏估計又分為最大後驗法（maximum a posteriori, MAP）與期望後驗法（expec