政策评估1052.ppt - 国立台东大学公共与文化事务学系.PPT

實驗室實驗：第一代政策評估 指「控制實驗情境」的情形下所從事的實驗，這是第一代的實驗評估方式，當然最好的控制實驗是在一個完全與外界隔絕的「實驗室」。 控制包括(1)控制自變項：被控制的自變項通常稱為實驗變項，如我們控制教學方法，企圖了解教學方法是否會產生不同的教學績效？(2)控制自變項以外的因素：這種變項通稱為干擾變項，如吵雜環境、性別。(3)控制測量工具：測量工具如問卷、量表、儀器等，我們必須設法控制使之誤差愈小愈好。 第一代政策評估具有內在效度(實驗室)但欠缺外在效度(現實世界)；最大缺點是欠缺外在效度，優點則是擁有內在效度。 內在效度之高低，容易受到 (1)需求特性(心理系學生)；(2)實驗者誤差(情緒、主觀判斷)；(3)測量工具受到人為化的控制等因素影響。 實地實驗：第二代政策評估 實驗室實驗法所得到的結果往往無法推論到現實生活上，欠缺外在效度，主要因 實驗情境很難控制，特別是人類的行為因素，很難完全加以控制； 實驗情境的過分人工化，也導致實驗結果失去外在效度。為了彌補這些缺失，第二代的政策評估者必須在現實環境中進行實驗，如學校、工廠或戰場等，稱為實地實驗，此為重要的實驗方法。 實地實驗的優點為外在效度較高，但內在效度則不容易加以控制，因為有太多影響實驗的內在變項而無法加以控制；故隨機化實驗或多項控制就成為提升實地實驗效果的重要實驗控制法。 亦即將可能影響實驗結果的變項，透過隨機化分組的方式，使各組的參與者特性都隨機分佈，並無明顯的差異性；或者透過統計方法，控制哪些可能影響實驗結果的變項。 社會或政策實驗：第三代政策評估 將實驗設計原理從實驗室、田野擴展到整個社會或政府所推動的公共政策，以實驗成果做為評估政策的主要方法論。 Campbell and Stanley (1963)的實驗與準實驗設計，介紹許多實驗設計的方法，成為社會或政策實驗的代表性著作。 六、七○年代美國政府推動重要的社會或政策實驗如：負所得稅實驗、國民住宅實驗與啟蒙計劃。 政策實驗由於實驗對象為開放的空間，太多因素足以影響政策評估結果的精確性，故內在效度較低，其結果只能當作參考之用。 實驗設計的類型 非實驗設計 真實驗設計 準實驗設計 非實驗設計 非實驗設計可以分為三種類型：在各類型中，X代表實驗變項或稱為政策干預；O1代表政策實施之前的政策效果，O2代表政策實施之後的政策效果。 單一個案研究 測定前後單一實驗組設計 靜態組比較設計 單一個案研究 (X O) 此一設計的缺點在於：（1）欠缺測定政策實施之前的效果；（2）欠缺比較組，無法確定X的改變是否會帶來O的改變。 測定前後單一實驗組設計 (O1 X O2) 優點為有政策實施前後的效果加以衡量，但仍欠缺比較組的設計，仍然無法確定O2與O1之間的變化是否真正由於X的影響。影響O2與O1之間的變化因素很多，諸如：歷史因素、心理或生理的成熟、測量工具失去測量效果等，在這個實驗中，無法排除前述因素影響結果的可能性。 靜態組比較設計 優點為有比較組的設計，可以確定O2與O1之間的變化可能受到X的影響。但這種比較的基礎相當脆弱，因為實驗組與控制組的成員選擇相當重要，如果沒有按照隨機抽樣的法則加以抽取，則這種比較是沒有意義的。 前述三種設計由於有許多的缺點，實驗的結果無法反映政策的真實狀況，故通稱為「非實驗設計」。 真實驗設計 測定前後控制組設計 測定後單一控制組設計 所羅門四組設計 測定前後控制組設計 在所有政策實驗中，本類型使用的狀況最為頻繁，故政策評估學者將它稱為「古典實驗設計」。這個實驗組有許多好處：（1）它有實驗組與控制組，可以系統比較實驗變項之效果；（2）實驗組與控制組的成員是依隨機抽樣原理而組成的；（3）有政策實施前後的效果，可以肯定政策的效果。因此，這個實驗設計的最大優點為具有內在效度，但欠缺外在效度，無法將本實驗推廣到其他政策環境上。 測定後單一控制組設計 這個實驗設計取消了前項設計中的測定前之政策效果，故可以提高實驗中的內在效度，但外在效度的問題仍然無法解決。 所羅門四組設計 這個實驗設計結合了前面兩種實驗設計，而成為一種同時可以控制內在效度與外在效度的實驗，因此，是一種相當完美的實驗設計；但由於他的運用程序過於繁複，而且實驗組接受的實驗次數太多，容易出現測驗的反感作用。特別是由於實驗情境太過複雜，本研究的實際運用狀況並不理想。 準實驗設計 間斷時間序列分析法 指政策行動執行某段時間以後，以統計上的時間序列方式加以表達的過程。 (1) 它所要描述的對象是政策行動所造成的結果，如機車騎士一律配戴安全帽的政策，我們所要描述的對象是機車騎士的車禍死亡率。 (2) 它必須以統計上的時間序列加以表達，至於時間單位為何？並沒有嚴格規定，如空氣污染監測資料，幾乎每天都有；車禍死亡率則可能僅有月報