從統計的角度來看輔導的成效

先來看一個一般的例子

為協助事業單位提升職安衛管理績效，輔導訪視診斷之作法說明如下：
一、 現場訪視座談：
由專業安全衛生團隊人員臨廠與事業單位人員共同檢視職安衛管理系統文件紀錄、現場安衛設施及人員執行作業之狀況等，必要時，提出可強化職安衛管理系統及提升管理績效之相關建議或作法供事業單位參考。職安衛管理系統重點包含風險評估及控制、事件調查、績效量測、變更管理、採購管理、承攬管理、職業衛生、勞工健康及內部稽核等項目。
二、 實務諮詢：
依現場訪視座談結果或事業單位實際需求，提供安全衛生技術之實務諮詢服務。

整個計畫的目的是：協助事業單位提升職安衛管理績效

第一個問題：

如何證明此一輔導診斷”真的”&”顯著”提升了事業單位的績效？

  如果要評估這個計畫執行的績效，最有效的方式就是看受輔導的廠商(實驗組樣本)，輔導前與輔導後的績效差異是否顯著(統計上的檢定)

另外由於類似計畫通常是找出事出包的廠商為優先輔導對象，因此說不定即便沒有被輔導，這些本來就有推行職安衛管理系統的廠商，在自己本身持續改善的運作下，績效本來就會提升與改善。

因此還要找另一批樣本作為對照組=>一樣有出過事/有建置職業安全衛生管理系統/但沒有接受輔導

用以上對照組的改善績效，來對比接受輔導的實驗組；看看實驗組的改善績效是否有顯著大於對照組，我們才可以說「此一輔導診斷”真的”&”顯著”提升了事業單位的績效」



第二個問題：
輔導診斷的信效度？
先用個虛擬的故事來講解所謂的信效度

某天小明的父親病重，他由於掛念擔心父親的病情，因此到處求神問卜，
第一種情境(沒有信度、沒有效度)：
他問到以下三位半仙
A說：仙翁吉人自有真相，可逢凶化吉吃到一百二
B說：病入膏肓，請及早準備後事
C說：如果這個劫難能過的話，可以活到九十
以上ABC三位半仙的講法沒有一致性，讓人不知道該相信誰，說法沒有可信度
第二種情境(有信度、沒有效度)：
他問到以下三位半仙
A說：如果這個劫難能過的話，可以活到九十
B說：如果這個劫難能過的話，可以活到九十
C說：如果這個劫難能過的話，可以活到九十
事後小明的父親度過這次重病，但卻只活到八十歲
以上ABC三位半仙的講法一致，至少讓人相信沒有偏誤，具備可信度；然而事後的結果發展與他們的預言有所出入(預測不準、無效=沒有效度)

第三種情境(有信度、有效度)：
他問到以下三位半仙
A說：這個劫難可以度過的話，可以活到八十
B說：如果這個劫難能過的話，可以活到八十
C說：如果這個劫難能過的話，可以活到八十
事後小明的父親度過這次重病，的確在八十歲那年逝世



回歸來看這種輔導診斷，很多學者專家+退休的官員都非常熱心與用心，如果一起來的話，彼此或許會協調出一個一致的說法與看法(有信度)；但是最怕不同的專家學者看法不一(沒有信度)，讓事業單位不知該聽誰的(更怕委員提出的許多求好心切不知民間疾苦的改善要求)。



第三個問題：
輔導診斷的正確性？ (效度的問題)

統計上的型一與型二錯誤
型一錯誤：事業單位的運作沒有問題，但是診斷的外部專家說有問題
型二錯誤：事業單位的運作有問題，但是診斷的外部專家沒看出問題

通常就專家學者的立場與選樣的偏誤(通常是出事與出包的事業單位才會接受輔導訪視)下，沒有問題也要找問題，以避免事業單位再度出事，好像是官員與學者專家的責任….至於點出的問題與改善建議是否切中事業單位的病症要害，恐怕只有上天知道了…
有可能事業單位的事故發生只是運氣不好、也可能是事業單位沒有用心採納專家學者的意見.

整個案子是否有效&專家學者診斷的信效度是個大哉(=災)問

類似的問題不單只發生在環安的輔導與診斷上，企管方面的輔導和診斷有更多類似的問題，無怪乎有所謂企管巫醫與詐騙集團的反省聲浪。



延伸閱讀資料

台灣是否真的如此貪腐
http://readandanalyse.blogspot.tw/2013/07/blog-post_13.html

淺談醫學檢查的限制
http://liuchienyi.pixnet.net/blog/post/49838732

尿液篩檢的統計陷阱
http://laches.pixnet.net/blog/post/39073171

統計控請服用(台大電機「機率與統計」課程期末考題)
http://pcyeh.blog.ntu.edu.tw/2013/06/20/%e6%98%af%e6%95%85%e4%ba%8b%e9%82%84%e6%98%af%e8%80%83%e8%a9%a6%ef%bc%9f%e7%93%8a%e5%8d%9a%e7%9a%84%e5%a5%87%e5%b9%bb%e6%97%85%e7%a8%8b-%e5%a4%a9%e5%95%8f%e7%9f%b3%e3%80%81dr-jones%e3%80%81/