失控的數據：數字管理的誤用與濫用，如何影響我們的生活與工作，甚至引發災難
作者(令人崇拜與尊敬的歷史學 老師)
Jerry Z. Muller
作者關於這本書的演講
書名是Tyranny of
Metrics績效指標的暴政
暴政的來源是人們普遍的三種錯誤信念
1.能衡量才能管理(萬物皆可衡量)
2.依據績效(衡量的結果)進行獎懲(獎懲其實不單只有外在$)，也讓人囿於衡量指標與獎懲，失去動機、道德價值判斷、想像力、主動性與創新力。
3.能夠透過公開(各種標準化)衡量的結果，來管理非營利事業機構(e.g., 大學的排名、醫療院所的評比)導致作繭自縛與失去特色與使命
看作者批判量化績效的誤用與扭曲真是過癮
第六章 哲學性批判
理性主義者的假象
知識區分成兩個類型
概念性且可公式化的知識
是種技術，例如食譜；但要真的知道如何運用這些知識(e.g., 打蛋、油炸)，則需要以下實用性的知識
實用性與策略性的知識
經驗的產物，可以透過學習而取得，但無法以一般性的公式化方法來表達
理性主義者假設：
- 人類各項活動或事務，有正確的公式或處方可供參考
- 概念性知識或技術可以被歸納成精確的公式或處方
一般實用性知識的呈現都是某種約定成俗或是傳統的做事方法，或者更簡單=>直接示範做給你看，這也表示：
實用性知識不甚精確且充滿不確定性，它是某種見解或可能性，而非真理。
然而理性主義者認為，唯一能夠被稱為知識的，就是技術性(數學性)而且可被公式化的知識。
呵，終於知道為什麼計量經濟學&學這門的學者哪麼怪了。
科學主義
海耶克批判這是「知識的偽裝」-
斥責總體計量經濟規劃，可以掌控複雜市場所有的投入與產出
市場的優勢在於，可以讓所有人就自己所知發揮作用
現代國家與公務機構的各種管控（與量化指標）如同當年蘇維埃的計畫經濟：不願意承擔風險、探尋各種可能，到最後不會帶來各種好處。高舉效率與目標的大旗下，各種欺瞞情事一定層出不窮。
能夠允許每個人對於遭遇狀況有所感覺、並察覺當中的獨特性與做出反應和抉擇，正是各種量化指標所無法提供的東西。
「效率」不是一個絕對值的概念，而是相對值- 與你所審視的對象有關；當一家公司在生產上所的回饋大於投入時，它是有效率的；然而大學並非企業。
如果大學是一家公司，而政府又代表這家公司的客戶時，那麼將會是由教育部長來決定教育與大學的價值何在。
大學要撰寫：使命宣言、長期策略規劃、年度績效目標，最後再檢附說明該校營運的評量指標、標準與如何判定是否達成標準。
呵呵，由身受其害、被評量的老師來批判這套制度，真是格外有勁與酸味十足。
III 一切都被誤測了嗎？案例研究
第七章 大學院校
標準提高，每個人都應該上大學？
一但開始評量與比較，第一個陷阱與迷思就是越多越好、成績分數越高越好
大學從少數菁英與貴族的奢侈品，變成不可或缺的必需品
大家深信應該要有越來越多的人上大學，這樣不但能夠增加個人終身收入，同時能夠為國家經濟創造成長。
結果與副作用是：
- 學歷貶值
- 學生資源錯置- 浪費時間、心力與學費學自己用不到的科目
- 學校與教育體制資源錯置- 追求表面數據美化，務虛而非真正的教育使命
- 學生與學校同質化與庸俗化
- 國家培養一堆工人而非企業家，國家教育機構被特定(能提供就業機會的)行業綁架
贏家人數增加=降低贏家的價值
學校與學位，就是代表某種階級與商品
雇主或不同利害關係人，光看學校與學位就能夠分類與判斷(=貼標籤)
以前高中高職能做的職缺，現在要大學學歷才能應徵
追求學位也有學生個人的動機-
虛榮乃至於家長期許
於是教育”市場”一個願打一個願挨變成巨大的怪獸，吞噬與吸納雙方的資源(=降低社會整體效用)，另外教育體制之所以能夠變成無底洞的怪獸，背後的時代脈絡是：以往的年代經濟蓬勃發展是事求人，相對不看重學經歷，只看能否作得到
在經濟成長與轉型的年代，是人求事，找人先看學經歷，學經歷不符直接刪除，乃至於還要有進一步的證照與資格。（乃至於很多用人的主管，自己是兩光學校畢業，之後去在職班漂白之後，也以名校自居，其實明眼人調出他/她的論文來看，一眼就知道這是個裝模作樣的草包無誤）
在政府教育主管機關的管制與作孽下，反而教授考證照與面試簡報變成一門更有利可圖的事業。
藉由降低標準來達成更高的標準
為了提高全國人民的大學普及率，所以
廣設社區大學，並且把專科學校改制為大學
因為太多入學的新生其實根本沒有把高中課程學好，所以大一大二還要補休溫習高中基礎
很多唸大學的學生程度不好，所以也很挫折，導致休學或無法畢業被退學
由於學校變成客戶(營利)導向，所以授課教師也被暗示不要當學生(=放水)
學校透過各種公開的優異辦學術數據來彰顯其公信力，然而不公開不透明的是-它們降低了畢業所需到達的水準。
如今一個國家大學畢業的人數或比例已經不代表國家經濟力量的提升，國家的經濟成長以創新開發為主，人才需求M型化，欠缺的是
具備高階知識、能力與技術的高階白領和水電營造工的低階藍領
評量大學績效的壓力
政府教育部門，為了評量各級學校的績效，導致行政人員急劇暴增
諷刺與弔詭的是：
為了管控教育成本與提高學校績效，反而花了更多成本與資源在聘用行政人力做繁文縟節&引進昂貴的軟體系統。
績效評量的後遺症還有
讓學校變成營利單位、教育變成一門生意
為求公正找來專家當委員，外部專家委員提供各種錦上添花、不考慮成本效益的意見，導致評量變成作文與作秀比賽
排名角力賽
不懂得學校教育品質好壞的家長與學生，往往只懂得看學校名氣與所謂大學排名，於是維持學校排名變成校長與學校行政高層的首要任務(他們的分紅與獎金也與此排名息息相關)
於是：
學校砸錢打廣告、做閃亮亮的宣傳手冊與行銷品、進行各種認證、乃至玩弄師生比、入學成績等各種評比指標
事實上這些花費沒有帶來相對應的效果。
計算學術生產力
原有的SCI只適合用在計算自然科學研究成果的影響力
用在Social
Science上特別是歷史學就是重量不重質的偏誤與扭曲
而引用有兩種
一種是典範，所以後人參考依循（屁話相互引用與同溫層取暖）
另一種是錯誤示範，所以後人批判鞭屍
對於SCI/SSCI而言，兩者沒有差別，實際上天差地別。
再者SCI/SSCI是依據期刊發表，而各期刊其實有門戶的偏見與主編的私心，跨領域與菜鳥不容易打入各個象牙塔中。
真正評量學術生產力的方法- 把這位學者的著作讀過一遍、人焉瘦哉(一稿多頭與濫竽充數那種，假的真不了)，而不是光看發表篇數與點數
排名的價值與限制
各種大學排名的資訊，對於沒有概念的人，至少提供了初步的指引，乃至於各種學校的資訊，如入學分數、畢業率等
然而學校與學生都要有自知之明，學校與學生兩者隻雞生蛋蛋生雞的相互依存與限制，鄉下的地方的學生多半出身貧困家庭，更需要經濟補助與補救教學，畢業取得學位的人數少，在職場中的表現也相對較差；如同貧困地區的醫院因為病人(老弱殘)的再回診與住院率高一般：遭到評比成績不好與難以獲得補助的懲罰與惡性循環
替大學打分數- 大學記分卡
College Scorecard(米國教育部)
一個目的與緣由是處理低端學店所造成的詐財亂象，對策是提供一套高標準，讓所有學校一同遭殃：大學教育成本之所以日益增加，一部分的原因正是為了達成政府規範而增測的管理編制。
內容指標相互衝突，e.g.,
增加入學率VS增加畢業率；降低教育費用VS提供教育品質
另一個目的是幫助學生與家長獲得付出金額下最大的教育效益，因此大學記分卡主要指標有三- 畢業率、年平均花費與畢業後薪資(指大學入學後十年的薪資，而非剛畢業薪資)
就年平均學費而言，名聲越好的長春藤名校帳上學費驚人，但學校獲得補助多，成績好的學生反而可以獲得全額補助，實際學費低；相對的州立大學帳上學費較低，但學校經費少，學生能夠獲得的補助少，實際學費反而高。
就畢業後薪資而言，反而也只統計獲得補助學生的資訊- 只對背景貧困的有參考價值；實際上，學業成績優異的學生通常出身自社經地位高的家庭，畢業後薪資自然高。要比較應該是計算薪資的增值
指標所傳遞的資訊- 進大學是為了要賺錢
大學記分卡=關注投資報酬率
人生除了賴以維生之外，其實可以獲得智識與見識、人生的感動與目標方向、與交到朋友甚至認識另一半，這些不在記分卡內，也讓大學失去深為大學的價值格調與責任道德
可以為了找到賴以維生的工作，必須先進入稱頭的大學，而稱頭的大學學費驚人而且成長率超過通膨率，不少學生背債完成大學學業(不但買不起房子還要還債)
大學的通識與素養教育其實是有錢人的奢侈品(EMBA是大老闆的聯誼找小三俱樂部)。
想到在學姊的推薦下，去幫後段班學校的在職班上課，深深擔憂自己會不會對牛彈琴與唱高調打高空；或許需要擔憂的不是自己(因為沒有續聘的壓力)而是這些學生=
花錢上課去聽一些自己用不到的觀念與知識(=沒有自知之明)。
就社會整體的資源配置而言，最糟糕的是：最優秀的人才一窩瘋就讀同樣的科系，出來集中到投資銀行、律師事務所(台灣則是醫院或電子業)，這對國家而言，真的是最有利的事情嗎？
高等教育不應該被矮化成為職業訓練。
可惜對於徬徨的年輕學子而言，就業=失業的恐懼+找到工作養活自己的壓力，成為凌駕一切的理所當然。
一場與內在對話的旅程
第八章 各級學校
量化標準變成OKR: No
Kids Left Behind
問題何在及其解決方法
僅管動用國家力量來讓不同學出的支出與資源維持相同，但不同種族學生的表現還是呈現明顯差異(亞裔勝過白人，白人勝過黑人與拉丁裔)
外行議員怪罪的是老師沒有專業與缺乏熱誠
法案針對那些無法讓指定種族學生達到「足夠進步」的學校，施加一系列的罰則與制裁
結果每個族裔的學生成績都有進步，然而國家學子平均成績卻沒有改變(因為拉丁裔學生佔比增加)
使料未及的後果
標準化測驗的分數成為決定老師與校長能否加薪甚至保住飯碗的指標
老師在校長的鼓勵下，把其他藝能學科的時間拿來練習考試
學生學到的是應付考試的方法，而非實在的知識與學習的樂趣
許多學校將成績較差的學生踢到資源班，這樣這些學生不在評量的範圍內
或者大家一起在考試中作弊、老師幫學生竄改答案
考試本來目的是為了評量學習效果，以上作法讓考試失去評量的功能。
強化數據的功能
「No Kids Left
Behind」=>評量的整個學校的表現&學生絕對成績
之後接班(換湯不換藥)的計畫是「邁向顛峰」=>評量學生成績的進步幅度
研究顯示
1.的確是有某些老師比同儕優秀
2.這些優秀的老師往往教導的是優秀的學生，而非窮困的學生
3.每年逐步淘汰教學表現不佳的老師，然而每年學生的平均進步幅度卻逐年下降(回到均衡)
績效薪酬制
老師的薪酬連接到「邁向顛峰」計畫
結果沒有顯著的證據能夠顯示老師的動機能夠提升學生課業的表現(fooled by randomness)
永遠無法拉近的成就差距
本來期待學校應該可以拉近學習差距，但數十年的結果顯示沒有差異(亞裔勝過白人，白人勝過黑人與拉丁裔)
與其說老師教得好，不如說是學生自己用心與認真，而學生的學習表現其實與父母的社經地位和學歷息息相關。
好學校位於好學區，好學區學生的家長通常都是比較聰明、好奇心/克制力強的
各種教育制度其實favor 中上流階層的孩子，出身於中上流階層，意味著你的家教讓你成為可教之子。
改善學校與教學的品質，可以提升成體的學習成果，但副作用是加大與放大孩子間的學習成效差異。
議員與社會公知呼籲重視與改善教育，期望持續投入資源，其實不過是搏一個道德上的美名。
試圖拉近成績差異所需付出的代價
教育越來越重視對於學生進行英文與數學測驗，犧牲不屬於學術範疇的活動，如表演與藝術活動=>這些性向探索對於個人發展有很大的幫助，卻很難被評量。
好的老師雖然可以學生的學科成績成長，然而卻讓學生少了很多非知識性活動的學習與領悟(剝奪了孩子學習的自主)
為了提升落後孩子的學習成效=教育資源的轉移
不論是強調學習成效或進步幅度，對於老師都造成傷害與誘發道德淪喪
想要透過評量與誘因機制來改善教育的人，其實傷害了教育、老師與孩子。
第九章 醫療領域
醫療是最重視指標的領域（實證醫學，成敗論英雄）
數據與指標的多重角色
1.判定醫療成效
記錄醫療過程中的各種方法與成效，然後比較各種療法的成效
2.公開醫療資訊
讓各家醫院可以競爭、病人可以進行比較
3.按件按質計酬
提供醫護人員金錢上的獎懲誘因。
財務狀況迫使控制支出
保健支出是奢侈品，人民越富有花在醫療保健上的費用越高。
健保與醫療費用日益增加的支出(由醫療保險公司、病患乃至於國家財政支出買單)，迫使降低醫療成本的壓力
米國醫療系統的排名
美國人均醫療支出世界第一，但平均壽命世界排名36、嬰兒死亡率排名36、成年男性死亡率排名42、成年女性死亡率排名43
米國不同於其他國家的地方
1.文化與生活型態造成的肥胖與慢性病多(糖尿病與心臟病)
2.癮君子多
3.死於槍擊的比例高的離譜
美國的醫療水準與技術算是世界最好的之一
民眾的健康往往與醫療體系水準的關連性不顯著，而在於：足夠的運動、飲食建況、不讓危險的人接觸的槍枝、節制吸煙飲酒、避免吸食毒品與逞兇鬥狠
錯把指標當解藥
指標與測驗成績只是結果，不是原因
Michael Porter用價值鏈模式宣稱：對於「價值(=結果/花費)」進行嚴格的評量，是改革醫療體系惟一且最重要的步驟。
Porter歌頌案例的結論？
克里夫蘭醫療中心
倒果為因，克里夫蘭醫療中心只所以是世界一流的醫療機構，不是因為這些指標的關係，而是他們以病人為主的方式來看待這些指標、乃至於進行相關流程與組織架構的調整。
績效指標不是由上而下，而是需要團隊合作與同儕審查，讓第一線參與決策，讓評量項目與他們的使命感結合
全局的樣貌：指標、按分數計酬、排名和計分卡
克里夫蘭醫療中心其實是特例而非通例
多數的報導與文章都是靠宣揚KPI與管理有效的人(e.g., 商學院教授、企管顧問)所寫
各種公開的指標只是改善了醫療機構服務品質的表象，對於實質的醫療成效沒有顯著影響，也無法改變病人挑選醫療機構的行為。
透過設定各種「指標」與管理「目標方案」來改善與提升醫療機構的「成效」
，可說這只是醫院院長、企管顧問乃至於政府官員的「願望」，而非「實際的經驗與驗證結果」。
各種指標與計分卡造成的問題跟它解決的問題一樣多
e.g., 越來越多醫生不願意為重病病人進行手術(失敗風險高，壞了個人績效)
各醫院柿子挑軟的吃，把重症病患轉診到台大或克里夫蘭醫療中心
手術失敗的病人被接上葉克謨強迫維持生命跡象，以降低術後30天內的死亡率
醫師花在記錄與申辯的時間心力越來越多、抹殺了醫師救人的內在心理動機與成就感
好處是一些績效太差與真的很糟的醫師會自行退場。
很難評估這些「指標」與管理「目標方案」的功過得失。
醫療與教育之所以所費不貲與效率不彰(相較於一般商品)，原因在於？
1.醫療教育是奢侈品，一般商品通常是必需品
教育與醫療的客層是中上階層，期待的是品牌聯想(越高價/收費越高反而讓人越安心)，而非功能與性價比乃至於實用性。
2.能否取捨與兼顧
教育醫療背後有著脈絡與難以撼動的均衡，乃至於長期效用、道德與人情義理等非＄的考量；決策往往只能認命與順從，而非設定指標或目標加以管理；不放手或放不下就是一種莫大的傷害。
相對的生產製造之所以可以有效率與成本低廉，其實就是沒有道德與情義考量，窮得只剩KPI，然而付出的代價與隱性成本就是：黑心商品、產品越來越不耐用、工人遭剝削與過勞、工作機會流失到更貧窮與落後的國家
3.政府管制與特許因素
一直降價或漲價的背後，都有些罪惡、剝削與結構性因素。e.g., 教育醫療是課輔特許行業，有著種種限制=寡佔與壟斷市場；乃至於中間藥廠與出版社的操弄+需要打通政府管制；而一般商品則是自由競爭市場，大者越大強者越強
4.社會結構脈絡性因素
少子化與高齡化，對於教育與醫療的需求越來越大(學生越來越少，教育怎麼沒有越來越便宜？！養了太多退休&所得替代率太高的 老師？)
5.進展速度與成本結構
沒有留言:
張貼留言