2020年8月29日 星期六

失控的數據(1/3)

失控的數據:數字管理的誤用與濫用,如何影響我們的生活與工作,甚至引發災難




這本書的對照組- 如何衡量萬事萬物(這本我看到一半就放棄了,為了衡量而衡量一定可以找到一些方法或指標)

身為一個飽受各種績效數字所苦後來搖身一變,成為樂在扭曲各種績效指標的打工仔而言,這本書真是說出了心聲啊,好樣的歷老師與學者(寫這本書的目的只是想了解為何許多現代組織無法發揮應有預期,不但生產力低落更讓其中成員感到沮喪)。本書的論述架構也很具參考價值。

大學部/碩班乃至於MBA的課堂上,往往教導大家學習效法與使用各種標準最佳實務的作法,而到了博班的課堂上才教導與提醒大家注意各種標準最佳實務的後遺症、例外與使用限制。程度差別或許如下:
學士:知道有什麼(但不會用、用不出來)
碩士:知道某些東西可以用,有用過
博士:知道哪些狀況下,什麼東西不要用或不能用
Hint:
微觀、單一步驟、投入產出線性/沒有交互作用的,可以透過數字指標進行管理
宏觀、多個步驟、投入產出非線性/有交互作用的,不可以透過數字指標進行管理(PDSA觀察背後的脈絡、下有對策的反作用力與unexpected consequence的副作用)





序論
《火線重案組》有許多情節是圍繞在認真工作的警探,為了打擊一位主要毒梟,進而追查與之相關的許多複雜罪案。但是要讓這些案子能夠成案需要好幾個月,甚至好幾年的時間,警局的高層人士於是出面阻止,因為他們想要的是藉由逮捕更多低階的小毒販來達成更漂亮的指標數字,但事實上這些小角色被逮捕之後,販毒組織立刻就會找人來遞補空缺。市長辦公室要求每年主要的犯罪率必須下降五個百分點,而要達到這個目標,就只能夠放棄那些真正的大案子,或是讓犯罪事實變得較輕微。無論是哪一種做法,他們都在「誘導統計數據」,也就是為了讓指標看起來更好看,於是扭曲實際結果,或是把時間和精力花費在比較沒有實際效用的工作上,而非真正用於防範犯罪的發生

《屍體》(Bodies)這部影集是由傑德.莫庫里奧這位曾任職於醫院的前醫師所撰寫,故事發生在一所大都會醫院的婦產科部門。在第一集裡,一位初來乍到此醫院的資深外科醫師為患有複雜多重病症的病人進行手術,但病人在術後不幸死亡。這位醫師的競爭對手於是給了他這樣的建議:「優秀的外科醫師會運用他優秀的判斷能力,來釐清哪種情況會為他優秀的能力帶來考驗。」意思也就是說,他會避免進行高難度的手術,如此才能維持他的手術成功率不墜。這是經典的「美化手法」,也就是盡量避開會對自己的績效產生負面影響的高風險狀況。這種策略的代價就是,在醫生拒絕進行手術的情況下,手術風險較高的病人幾乎毫無疑問地會死亡。

在英國,為了要降低急診室的等候時間,健康部門採用的做法是,急診室候診時間超過四小時的醫院就要受罰。這個做法奏效了──至少表面上如此。事實上,些醫院為了應付這個罰則,只好把送來的病人留在救護車上排隊,也就是讓他們在醫院的大門外等待,一直到醫護人員確定病人可以在四小時之內接受醫師的診療為止。

我們生活在一個有評量才有公信力的時代,也是一個依照評量績效獲得獎勵的年代,更是一個相信要「透明化」地公開評量指標才是正確做法的年代。但這種以透明化的評量指標來確認事情具有公信力的方式卻充滿了謊言。事情有公信力應該意味著某人對自己的行為確實負起了責任。但是只要有技巧地操弄語言文字,公信力就變成透過標準化的評量方式來展現自己的成功,彷彿只有能夠被評量的事物才是真正重要的。而另外一個大家習以為常的假設是,要有「公信力」就一定要將經過評量後的績效公諸於世才算數,也就是「透明化」。

對指標的固著(metric fixation)表面上是一股難以抵擋的壓力,使我們不得不進行績效評量、不得不將之公開,並且按照表面的證據來進行獎勵,但我們經常會現,這些表面的證據其實並沒有太大的說服力。迷信指標與數字變成一種當代的文化與盲點。

崇高目標變成從高統治From Higher Aims to Hired Hands

我們也會看見,如果能善用,評量會是件好事;資訊透明化也是。但是它們同時也很可能被扭曲、替換、轉移、混淆,甚至造成阻礙。我們已經注定要生活在一個評量的年代,而且是一個遭到錯誤評量、過度評量、誤導評量,以及評量適得其反的年代。這本書要說的並不是「評量」有多邪惡,而是在嘗試以標準化的績效評量來替代個人根據經驗所產生的判斷之後,隨之出現的那些出乎意料的負面後果。


論點
第一章 論點簡述
指標與數字管理的興起
衡量」=「改善」,「衡量」=「公開透明」
能夠被衡量才能有改善,公開=有公信力+誠實負責

配套措施
1.用標準化的指標與數字來呈現個人績效,代替主觀判斷
2.只要將這些指標公開,就能夠確保各機關單位確實執行任務與工作(=達成目標)
3.依據衡量結果進行獎懲(公佈排序本身就一種獎懲)


對立的思維與邏輯
1.能夠被計算與衡量的,不一定重要;重要的不一定能夠被計算出來。
2.絕大多數機關組織或任務,都兼負多個不同(乃至於相互衝突)的任務目標或面相。
3.衡量的越仔細=耗費時間收集整理資料的時間與心力越大
4.不合理的計算方式或目標期待,危害了專業人士的內在工作動機與職業道德=>把按質計酬變成按數計酬,就是交差了事與品質低落。
5.績效測不準原則- 數據的進步與成長,取代了真實的進步與成長
The more any quantitative social indicator is used for social decision-making, the more subject it will be to corruption pressures and the more apt it will be to distort and corrupt the social processes it is intended to monitor.

Any observed statistical regularity will tend to collapse once pressure is placed upon it for control purposes.



第二章 一再出現的瑕疵
如何扭曲資訊
1.衡量最容易衡量的項目
把多個複雜指標或面相簡化成幾個KPI =簡化問題與偷天換日

2.衡量投入而非結果
公家機關的衡量指標是預算執行率而非成果

3.標準化而降低資訊品質
數據沒頭沒尾,看不出脈絡,讓人亂比較
e.g., 30年的學校去跟300年的比

4.扭曲績效指標的手法
4.1調高容易達成項目的比重權重
4.2降低標準以提高達成率
4.3省略資訊來改善帳上數字,e.g., 透過分類讓特定難看的項目消失
4.4.作弊與造假



II背景

第三章 評量制度與按質計酬的起源
按質(結果)計酬的起源
1858年英國國會通過案學校教學成果補助經費的方法
學校的教學成果=3R:閱讀、寫作與算術,每間學校每年有寫作與算術的測驗,每少一個學生出席或達標,政府發給該校的經費就少一點

(來自於真正關切教育的督學)的批判抨擊:
1.學校應該做的是讓人發自內心想閱讀、做到日常智識的教化,而非通過考試
2.政府想做的只是發放經費,而非改善教育或讓底層的人透過教育翻身
3.學校為求經費,就是把學生訓練成考試機器,而非學習樂趣與智識教育


績效衡量:科學管理
1910年泰勒的鏟子科學典範:
把作業拆成好機個標準步驟,並且判定每個步驟的標準產值與耗時。
產出比標準值小的工人,會拿到比較低的工資,比標準值高的工人,會拿到比較高的工資
管理階層強制執行標準化+強制員工接受最佳SOP+以標準作為獎懲標準

1916年史丹佛教育學院的院長認定- 要依據學生的成績來評量老師,學生成績的進步幅度=老師的貢獻度
1950年代泰勒主義成為工廠生產管理主流,商學院從教授管理領導的藝術心法轉為計算成本與效率(管理科學)
類似的觀念是麥納馬拉(24遂成為哈佛最年輕的商學院教授)打越戰
2000年,這種觀念從製造業進入服務業

惟物(數據)偏見:如果無法衡量,就無法管理
只專注於可以衡量的過程和實質結果,例如產量、毛利率或是投射彈藥數數與傷亡人數,忽略看不見的因素:策略、領導、合諧、士氣、道德、運氣與情境脈絡
衡量的往往只是冰山浮出水面的一角,忽略底下的9/10,依據1/10可見與可備衡量的部分進行獎懲,管理的失能與組織的走鐘=咎由自取
以往不那麼科學的管理則是靠群體議論



第四章 為何指標如此受歡迎?
對於菁英與底層的不信任
以往的社會階級分明、代代承襲,每個人都是某個家族或階層的一份子,蕭規曹隨乃至於大家各司其職、本分做事。

相反的近代社會,高層不斷流動且分工繁雜,每個人都忙+盲,民眾往往不信任官員或政府,股東不信任管理階層,主管不信任底下幹部,幹部不信任員工

大家都需要數字傳遞客觀印象與績效觀感,認定:所有的專業都是某種程度的欺騙與陰謀
對於右派而言,官員與公務機構主要是為自己謀福利,而非服務人民
對於左派而言,依賴專家等於是產生階級差異與放棄質疑權威
於是惡性循環就是:官員不擔責任/消極任事,決策找(看似專業卻不食人間煙火/不接地氣& 其實不過領時薪也不擔責任的)專家學者來規劃與提出建議背書
大家都害怕訴訟與監察院彈劾..於是留紀錄不是為了誠信,而是為了預防被起訴的風險。


對專業的批判與決策的美化
從右派不信任政府的角度來看,非營利機構如政府、大學與教育或醫療照護而言,很難判定其效率或者成敗,唯一的解決之道就是訂出「客觀的」「數據目標」。

從左派希望擴大社會福利的角度來看,希望非營利機構如政府、大學與教育或醫療照護肩負更多責任,更希望拿放大鏡來檢視這些機構,並且擁有更多資訊與選擇。
另外日漸升高影響力的是「消費者權益」與「公民參與」,彷佛擁有更多資訊,病人、學生與人民就能做出更好的選擇;實際上病人、學生與人民不夠專業也沒有足夠的時間與心力進行分析,遑論辨識各種不同衝突面相的取捨與優劣。


「成本」這種病
過去百年,製造業隨著科技進步與全球分工,生產力持續成長,多數消費商品物美價廉
然而醫療、教育與公共服務成本卻越來越高,成為大眾不滿的焦點,到底是依芬前一分貨(更好的服務與藥物需要付出代價)還是因為複雜困難(吃掉了人民的購買力)
醫療、教育如此昂貴背後的本質與邏輯是奢侈品而非必需品,亦或本質就是複雜所以高成本合理?


複雜機構的領導力
大學、醫院、公務機構=>複雜的麻煩
報告需要的資訊與決策需要的程序越多= 指數成長的transaction cost
花在收集資訊寫報告與開會協調的時間越多,越少心力、時間與資源可以去真正做事
遑論組織越加龐大,行政邊際效率遞減(長官越是想了解與掌握第一線狀況,第一線人員越是反彈與效率低落)

組織病態的心理與觀念
1.基層想著輪調與升遷
2.中層想著跳槽、吃碗內看碗外與步步高升(很會包裝與作秀)
3.高層想著要找外人來革新(機構內的人無法承擔重任,外來的和尚才會念經)
4.找來的外()人,不接地氣急於建功,往往逆行倒施,自創短多長空的指標(以力宣揚績效,吸引獵人頭公司來挖角)
5.從上到下大家都活在虛假的指標與數字當中=務虛。



第五章 委託人、代理人與誘因
委託人-代理人理論
雙方有不同的利益和信息不對稱,因此互不信任
激勵補償模型來總結這四個原則:
 w = a + be + x + gy
其中w(工資)等於a(基本工資)加b(提供給員工的激勵強度)乘以三個項的總和:e(未觀察到的員工工作量)加x(未觀察到的對成果的外在影響)加g(賦予觀察到的對結果的外在影響的權重)和y(觀察到的對結果的外在影響的權重)的乘積 b是補償與結果之間關係的斜率。

呵呵,沒有反映在薪資上的是:工作質量與壓力、薪資結構(內部水準/外部水準)、當事人的能耐與關係;當上民選首長或代表不用太高興,雖然某種程度是有權無責,然而所謂選民的期待是非常抽象的- 要有好觀感=>負責任/有擔當/言行得體/24小時全年無休
主理人與代理人之間:兩者關係存有不確定因素、資訊與權責不對稱、投機與難以監管、道德風險與劣幣驅逐良幣

股東想要的是公司獲利與成長最大化=>反映在股價上
經理人要的是豪華辦公司、公務車甚至私人飛機乃至於個人名利
低階想要不過是一份薪水,工作量與壓力越小越好

在商業(營利事業)上的解決之道
1.設定目標
2.監督與內稽制度
3.獎勵機制
4.資訊與通報系統
5.有價格與供需機制判定成敗與存在價值


新公共(非營利事業的)管理
類似觀念進入非營利事業單位,如醫院與學校
把納稅人視為委託人,機關事為受託人,病人與學生視為客戶
問題在於沒有價格或供需機制判定成果好壞與存在價值

對策
1.KPI取代供需和價格,判定成敗與存在價值
2.依據KPI結果提供獎懲
3.提供競爭

反效果與後遺症
1.非營利機構有更多面相要兼顧,只看KPI=扭曲
2.非營利機構不是看短期的財務成果,而是看長期的任務與使命
3.非營利機構的成員應該有使命感,金錢獎勵抹殺其工作意願與動機


外在獎賞與內在獎賞
外在獎賞
論件計酬、獎金、紅利
工作內容、品質與完成期限明確時,激勵效果佳

內在獎賞
稱讚、榮譽、獎項
適用於非營利機構

外在獎賞與內在獎賞兩者互斥與排擠=>可評量的貢獻與不可評量的貢獻兩者也是互斥與排擠

結論:找企管顧問來協助非營利機構提升營運效率=請鬼拿藥

可惜的是這股歪風隨著商業界人士轉戰政界乃至各種國際組織刷存在感推銷最佳實務而擴散蔓延。

沒有留言: