2020年8月25日 星期二

從檢測的敏感性與特異性來看稽核結果

是說最近因為台大公衛蹭存在感引發議論流行討論檢測採樣的偽陰性與偽陽性問題,想到不久要ISO認證,接受稽核老師的抽樣查核與折騰相互傷害,來發想猜測一下
Compliance Review, 稽核或風險查勘的敏感性(sensitivity)與特異度(specificity)到底多高?

接受稽核有如被告,要準備好多paper work證明自己應為能為已為




Prior缺失率
假設
  • 每天處理10件業務(姑且不論這些業務各自繁雜的處理流程或步驟),每月40件,每年500
  •  就內部寬鬆(得過且過)的標準來看,缺失率大約5%=>存在25CAR or觀察事項
  • 就相對嚴謹(法規控與標準控拿放大鏡+逐字逐句比對相關規範)的標準來看,缺失率大約落在10%-30%=>存在50CAR or觀察事項(姑且先用10%的缺失率來看)



稽核抽樣檢測結果(Posterior)
假設
  • 認證機構老師針對這一年來經手的500項業務,抽查確認了其中的200
  • 開出了CAR與觀察事項合計25件,經內部審議,認為其中20件有違法之虞及改善建設性,另外5件屬於無病呻吟或無傷大雅
  • 其中應該被老師開出缺失/卻過關的約有15件

對照製表如下

敏感性(Sensitivity)白話的意思是「有問題而且被看出來或找出來的機率」
特異度(Specificity)白話的意思是「沒有問題且稽核結果OK的機率」


第一層的涵義
  1. 缺失≠有問題
  2. 對於沒有問題(Specificity=0.9)的信心度可以比有問題的信心度高(sensitivity=0.8)
  3. 真實世界中,我們不知道有多少未爆彈與沒被發現的潛在問題或隱患




第二層的涵義
  1. 型一型二錯誤(偽陽性/偽陰性)的trade- off
  2. 會犯錯,主管與稽核老師也是人(=會誤判犯錯)
  3. 與其擔心問題被找出來,更要擔心問題沒有被找出來



第三層的涵義
  1. 水清則無魚(如果各項作業都被設定SOP與check point)
  2. 真正重要的東西不是眼睛所能看見(眼睛可以看見件數數字,看不見背後或然率與檢測意義)
  3. 用貝氏方法來比對Prior(事前的猜想) 與 Posterior(事後的稽核檢測)= 了解系統運作狀況的人肉智慧(抽樣稽核沒有準確度或再現性可言,看對方要不要玩死你/拿的是望遠鏡/放大鏡還是顯微鏡,亦或戴上墨鏡




檢驗小百科

醫療檢測的準確度


文章回顧
訪視心得
稽核543
不對稱的陷阱


政府政策總是讓人覺得很瞎(背後沒有科學根據,可謂憑感覺施政,只不過如果自己坐上大位,好像也說不出有更好的辦法),例如以下這個
摘錄
今年是勞動部330減災策略最後一年,勞動部職安署評估,截至7月底止,重大死亡人數與去年相比無明顯下降(截至今年7月底止,粗估重大職災死亡人數約有160170人,與去年同期比沒有明顯下降)8月起減災策略改為「勤查重罰」

為期3年的全國職場減災精進策略(330減災策略),盼透過加強監督檢查、輔導及自主改善與擴大宣導行銷等多元策略工具,今年最終目標要將勞保職災給付千人率降低30%

以下圖片資料來源:勞動統計查詢網

用勞檢件數或開罰率去跟職災發生率跑相關的話,係數應該是不顯著

職災件數(分子)應該勞工人數(分母)呈正比,而過去10年的數據顯然不是如此

從incidence發生率的角度看,頻率指標與嚴重度指標都是下降趨勢(不論官方做了什麼或沒做什麼)

勞保給付千人率是很漂亮的下降趨勢(不論官方做了什麼或沒做什麼)


與其憂國憂民(吃地溝油操中南海的心),不如聽歌吧!






摘錄
好警察有三不──

第一、不擋人財路。
「擋人財路」等於自尋死路,這在任何職場都是千古不變的道理。
看到那些作生意的學閥或大咖在推銷的時候,閉嘴看笑話,不要腦殘或者化身正義魔人出來跟人家抬槓/唱反調。

第二、不相信任何人。
而「不相信任何人」對於警察工作也是必須,否則一旦誤信以致犯錯,輕者遭受行政處分,重者移送法院,不得不慎。
人心隔肚皮,要取暖要找見過面的親友,社交媒體上太多用假名講假話乃至於應該去掛身心科的人,不要跟這些人認真。

第三、不能說真話。
長官的眼裡只有數字,根本不在意同仁的安全啊!

社交媒體是個洗腦帶風向/宣揚國威的地方,不是辯論求真的媒介;思辯只能保留給自己

沒有留言: