2022年7月19日 星期二

判斷失誤的關鍵字:heuristics

 


    Kahneman在「快思慢想」中用了很長的篇幅探討heuristics,甚至在附錄中放進了一篇在學術期刊發表的論文,而這篇論文是諾貝爾委員會在討論他的貢獻時所引用的文章:“Judgment Under Uncertainty:Heuristics and Biases”(Tversky & Kahneman,1974)。

 

    Heuristics很難翻譯。 Wikipedia稱為“啟發法”,但是又說或稱“策略法”、“助發現法”、“啟發力”、“捷思法”、“拍腦袋”等。教育研究院翻譯為“經驗法則”,但是也列出了“直觀推斷”、“試探法”等不同的翻譯。中文的「快思慢想」直接翻譯成「捷徑」,說實在的,不看定義還真不知道「捷徑」講的是什麼!

 

    Kahneman書中是有說明的(P.98),清楚明白:

 

   “The technical definition of heuristic is a simple procedure that helps find adequate, though often imperfect, answers to difficult questions. The word comes from the same root as eureka.”(可惜中譯本翻譯中 ”…「一個比較簡單的程序」,它能幫助兩個困難的問題找到合適、但有時是不完美答案的方法 …” 其中這‘兩個’真不曉得是從哪裡跑出來的? P.140 )。

 

    Tversky & Kahneman(1974) 是一篇影響深遠的論文,即使在與他們領域相差甚遠的大地工程界,Hynes & Vanmarcke(1977)年的論文中都引用了他們的文章。此篇論文對我這個工程師來講,還算看得懂,條理也十分清晰,雖然「快思慢想」加了些新東西,但是討論heuristics,還是這篇論文講的清楚。

 

    這裡我們不討論heuristics是什麼以及它如何造成我們一些判斷上的失誤。簡單的說, Kahneman在他書中告訴了我們是他的理論:「系統一」是快的思考,「系統二」是慢的思考,而「系統一」對我們深具影響力,是我們很多選擇和判斷背後主導力量。進一步來說,有時我們必須放慢下來,讓「系統二」來操控!

 

 

(這裡的所有文章都留存於Blogger中的「專業人士的自我修鍊」)

(判斷:6)

 

2022年7月12日 星期二

The sky is the limit

  

    近年許多國際組織 (例如: International Engineering Alliance, World Federation of Engineering Organizations等) 都非常重視年輕專業人士的發展,希望經由各種組織和活動,幫助年輕人做好充分的準備,承擔更多的責任,來面對這個日益複雜的世界將遭遇的各種挑戰。

 

    台灣也在努力推動各項幫助青年成長發展的工作,看到這些工作蓬勃的展開,我們如何幫助年經的專業人士,成了我近來一直思索的一個問題。

 

    首先我認為應該幫助年輕人建立正確的心態,積極進取,努力向上。台灣雖然沒有「躺平」的現象,但「草莓族」之譏早已存在多年。銀行家盧正昕董事長有一次在一個大學演講時,就有人提問說現在上位的人不退,後面的人沒有機會向上提升。盧先生告訴年輕人,在上位的人也是經過多年的努力才得到他現在的位置,機會不是靠人讓出來的,天下是要靠自己打出來的!

 

    我們應該支持年輕人勇於嘗試,努力創新。不只一次被諾貝爾評獎委員會詢問的施敏教授曾說諾貝爾得獎的年齡常常是六、七十歲,但是許多科學獎的得主,他們主要的貢獻都是在35歲前就完成的!因為在那個年齡,已經受完良好的基本訓練,又有一些經驗,但是對於所作學科的想法還沒固定下來,仍然充滿了想像。施教授的flash memory就是他在35歲前發展出來的。

 

    我認為我們應該鼓勵年輕人要有膽識,敢於挑戰傳統,挑戰權威。今年夏天讓我深感遺憾的就是Celtics沒有拿下NBA總冠軍,止步於東區冠軍。但是Celtics能從季前完全不被看好,一路過關斬將,教練Ime Udoka的激勵發揮了驚人的效果。他當年在Spurs就告訴Kawhi Leonard面對那些超級巨星時“Don’t give them too much respect”,後面的故事大家都知道了:Kawhi Leonard放開手去打,幫Raptors拿下一座NBA總冠軍。Udoka拿這個精神激勵了Celtics的Jayson Tatum和Jaylen Brown讓這個球隊能夠一路出人意外的拿下東區冠軍!

 

    對於年輕人,我始終覺得我們應該要有信心,不要老是想去指導他們,他們需要機會,但不需要優待;他們需要支持,更需要鼓勵。

 

和Udoka對Celtics的年輕球員說的一樣,我們也要不斷提醒年輕人一句大家都很熟悉的老話:

 

The sky is the limit!

 

(這裡的所有文章都留存於Blogger中的「專業人士的自我修練」)

(專業人士:13)

2022年7月5日 星期二

Quantity has a quality all its own

 Quantity has a quality all its own

 

    「大數法則」 一個基本的條件是樣本數要夠多,但是許多人誤用了「大數法則」,在樣本數並不足夠的狀況下做了過多的推論。當我們討論「大數法則」的誤用時,好友朱家昌神來一筆引用了這句 Quantity has a quality all its own!

 

   可惜這句話並不好翻譯,也沒有確定的出處。很多人認為這句話是出自史達林。二次大戰期間,蘇軍坦克的性能遠不及德軍的坦克,史達林認為只要坦克的數量夠多,最後還能贏過德軍的坦克,得到戰爭的勝利。

 

    長期一起研究風險的好朋友趙曉周也試著找出Quantity has a quality all its own 的翻譯。他認為大家比較熟悉,也很接近原義的應該是“量變造成質變”!網路上也很多人贊成這樣的說法。

 

    我試著把這句話看成:數量夠多時自有其一定的意義。

 

    不過當我們回到工程師研究地質調查的工作上,經常有一堆資料,例如試驗數據,但是如果這批試驗數據本身的品質是有問題的,此時,數量多仍能提供我們有用的訊息嗎?

 

    進一步來看,當我們試驗數量品質沒有問題的時候,數量多能夠幫助我們降低整個系統的不確定性嗎?我們從實際工程修築路堤的地質調查結果來看:系統性的誤差(systematic error)是不會因數量多而被排除,空間變異性(spatial variation)的不確定性則是可以因數量多而被平均掉(averaged out)。

 

    我們做決定時總希望手邊有足夠的、高品質的數據,可惜真實的世界中這樣理想的狀況並不常有。所以我們必須了解資料的質與量,這樣我們才可能不會做出太離譜的決策吧!

 

 

(這裡的所有文章都留存於Blogger中的「專業人士的自我修鍊」)

(判斷:5)

2022年6月28日 星期二

“大數法則”怎麼變成了“小數原則”?

  

    我們進行任何工程之前,都必須進行地質調查,而每一個地質調查只能進行有限數量的鑽孔和試驗,工程師必須根據這有限的資料做出分析,設計和判斷。當我們問負責地質調查的工程師,他怎麼確定他的鑽孔孔數和試驗數量是足夠的,大多數的工程師大概只能回答:這符合法規的要求。

 

    許多統計的理論都是根據“大數法則”(Law of Large Number)。大數法則簡單的說是敘述相當多次數重複驗的結果的法則,根據這個法則,樣本數量越多則其統計性質(statistical properties)則能達到任意的精確程度(arbitrary degree of accuracy)。

 

    很可惜,在真實的世界中,我們得到的資料是遠遠不足夠的,就像大多數的地質調查(Christian, 2004)。Tversky 和Kahneman (1971)就觀察到這個現象。他們認為人們經常無法得到足夠的資料來做有效的推論,但是人們的行為卻是表現出他們已經有足夠的資料。這個現象Tversky 和Kahneman稱之為“小數原則”(Law of Small Numbers)。「快思慢想」有一章題目就是「小數原則」,Kahneman還做了兩個結論:

 

    “對小樣本誇大的信心只是一般錯覺的例子之一。我們對訊息內容的注意力,大過訊息的可信賴度。”

 

    “統計產生許多觀察看起來具因果關係的解釋,但是它其實沒有解釋力。這個世界許多事實是來自機率,包括取樣的意外在內。”

 

 

(這裡的所有文章都留存於Blogger中的「專業人士的自我修鍊」)

(判斷:3)

2022年6月21日 星期二

「三個臭皮匠」

 

    MIT I-95 試驗路堤邀請了七組專家,請他們對於試驗路堤的破壞高度做出預測,這個問題是有高度的不確定性,但是很出人意外的在他們最佳預測的範圍之內卻沒有一組預測到實際土堤的破壞高度。然而他們七組最佳預測的平均值卻是一個相當接近實際破壞高度的結果。

 

    當我分享這個案例時,老友鍾詩嘉就講到這大概就是我們日常生活講的「三個臭皮匠」的智慧吧!不約而同的,同學梁文棣也談到了James Surowiecki的名著“The Wisdom of Crowds”,Surowiecki談的群眾是指相當多數而且未必受過專業訓練的一群人,他認為在四個條件下可以形成群眾的智慧:意見多元化、思考獨立性、分權系統化和集體做決策。

 

    我最關心的問題是,當我們面對一個有高度不確性的技術性或決策性問題時,一群(數人到數十人)專家是否能夠,而且如何能夠,得到一個最佳的結論。這個問題普遍存在在各個領域之中,在工程領域中災害事故原因的探討,重大災害後續的處理都是很常見的案例。

 

    當然有的專家能夠隻手解決眾人難解的疑惑,最出名的莫過於物理學家Richard Feynman 將一個O-ring 投入冰水中就說明了太空梭Challenger 失事的原因!但是絕大多數的例子不是這樣的,還是需要集眾人之力來解決。

 

    Prof. Gregory Baechen 和 Prof. John Christian (Prof. John Christian不幸於6月5日病逝,在此也表達我對他的追思哀悼之意)曾經對如何取得專家對於 ”量化判斷機率”(quantify judgmental probabilities)的意見,提出了建議的步驟:

 

(1)大致決定所處理問題需要評估的不確定性。

(2)選擇一組專家,這些專家的專業領域包括了各種可能遇到的不確定性。

(3)在討論中再詳細的找出特定的議題。

(4)告訴專家們在做集體判斷時的一些基本原理和可能的謬誤。

(5)讓各個專家在他們最擅長的領域做出判斷。

(6)在一位有經驗的 ”facilitator”協助下,專家們進行討論,得到結論。

(7)詳細記錄下討論和得到結論的過程,再送回給專家們確認,而這個紀錄也是顯示出決策的透明程度並經得起日後的公評。

 

    這個過程實在很複雜,說實在的,我也不認為很容易做到。不過這再一次讓我們不要忘記 Daniel Kahneman 的提醒:不要輕信他人的判斷–包括專家的判斷和自己的判斷!

 

(這裡的所有文章都留存於Blogger中的「專業人士的自我修鍊」)

(判斷:3)

 

2022年6月14日 星期二

專家的誤判

  

    諾貝爾經濟學獎得主,心理學家Daniel Kahneman不斷提醒人們不要輕信他人的判斷,包括在專業領域受過專業訓練的專業人士。

 

    Kahneman的研究成果不斷的在探討風險的著作中被引用,包括「Black Swan」的作者Nassim Taleb和「Against the Gods」的作者Peter Bernstein,Bernstein的書中甚至有一整章在介紹Kahneman和Amos Tvresky的理論。

 

    對我來說,最有意思的是在我所熟悉的大地工程領域中,也看到了很多實例來印證Kahneman的理論。Prof. Gregory Baecher和Dr. John Christian都曾在MIT任教,他們都參與過許多重大的工程,Christian有一段時間還主持Stone Webster這家極具規模的營建公司。他們探討工程師在對事件發生可能性時會做出不正確的判斷,其原因主要可以歸納為下列三項:

 

    (1)過度自信(overconfidance): 他們用很有名的I-95試驗路堤來說明: 七組世界級的專家對路堤破壞高度所做的 best estimate以及的信心範圍卻沒有一組估算到實際破壞的路堤高度18.7ft: 這些專家的 best estimate從10ft到26ft,雖然不預期他們可以準確的估算出實際的破壞高度,但是實際破壞的路堤高度完全沒有在七組的可能範圍內,也實在很出人意料之外!

 

    (2)忽略了“基率”的因素(neglect-of-base-rate): “best rate”簡單的說是一個基本的比例,當一個罐子裡有紅色的球和白色的球時,紅/白球的比例就是best rate。Kahneman的實驗是當人們從罐子裡拿出幾個球(假設都是紅色的),會影響他們對罐中紅白球比例的看法。Baecher和Christian舉的實證是在一個6.5規模地震發生後,工程師們因為看到當地有液化發生,他們所做的評估是傾向高估液化發生的機率而忽略了其他因素的影響。

 

    (3)對於“獨立性”的錯誤認知(misperceptions of independence):這類謬誤被稱為“連接的謬論”,也因為是Kahneman的一個比喻,這個謬誤被稱為“Linda Problem”:

 

Kahneman做了一段對Linda的描述,然後他問下面哪一個比較可能?

    (A) Linda是銀行行員。

    (B) Linda是銀行行員,也是活躍的女性運動者。

 

    在這個試驗中大多數人都選了(B)。學過集合和機率的人都知道(A)的機率不會小於(B),但是就有這麼多人(Kahneman的試驗是在名校的大學生中做的)會選擇(B)!在工程界的也不例外,Baecher和Christian舉了一個在工程的例子:

 

    (A)在水壩下方有一條斷層。

(B)在水壩下方有一條斷層,而這個斷層的存在使得水壩下方水流造成內部的侵蝕。

 

    工程師多少都上過一些機率的課,但是很多工程師還是會認為(B)發生的可能性高於(A)!

 

    Kahneman的研究成果在專業領域裡真的也能適用!對於一向自認為是客觀、公正、理性的工程師,是不是也該想想在做判斷時有沒有過度自信?有沒有犯了判斷上的謬誤?有沒有受剛發生或自己熟悉的事件影響而忽視了全貌?

 

#Overconfidence #NeglectOfBaseRate  #LindaProblem

 

(這裡的所有文章都留存於Blogger中的「專業人士的自我修鍊」)

(判斷:2 )

2022年6月7日 星期二

專家的自信

 


 

    「快思慢想」的作者Kahneman不斷提醒人們不要輕易相信他人的判斷 - 即使是專家的判斷也不要輕信。

   

    在專業領域裡評估專家的意見並不容易,因為事件經常只有一次發生的機會,而且在不特定的環境下很難進行「試驗」進行比對,即使可以試驗,費用也很可觀。在大地工程的領域中有一個著名的案例,值得大家深思:

 

    1974年MIT利用I-95公路的一段試驗路堤,邀請全世界知名的七個團隊來進行預測,看看這個路堤可以加高到多少高度,路堤下方的Boston Blue Clay不能承載,路堤才會破壞。這七個團隊被要求提出他們最佳的預測,同時提出他們認為信心程度的範圍 (interquartile range)。

 

    最後這個路堤是被加高到18.7ft時破壞了!

 

    大家都不期望任何一組能準確預測到這個高度。這七組專家分別提出他們各自的最佳預測 (best estimate) 大約是在10~26ft之間。最接近的預測約為23ft。但是七組的平均是15.6ft,這個平均值被認為是相當接近了!

   

    但是比較令人意外的是這七組預測的範圍沒有一組涵括了18.7ft這個實際發生的路堤破壞高度!換句話說,18.7 ft沒有在這七組專家任何一組預測的範圍之內!

 

    更令人意外的是除了七個專家組之外,MIT又另外邀請了26位工程師來做預測,這些工程師沒有專家們那麼多的時間來做分析,但是其中16組預測的範圍區間包含了18.7ft!

 

    這個試驗的結果有許多後續的討論,也印證了一些其他的研究成果:

 

(1)    審慎選出的專家們可能在預測期望值時得到比較好的結果;一組專家意見的平均值可能得到更好的結果。這個觀察和Kahneman在「雜訊」(Noise: A Flaw in Human Judgment) 這本書中講的“總合多個獨立判斷” 是一致的。

 

(2)    專家們常有過於自信的傾向,對自己的預測充滿信心,但是低估了他們預測中的不確定性!這也和許多研究所發現的一致: 專家對於他們預估平均值兩側的離散程度經常是嚴重低估的!

 

#ExpertEliciation  #Judgment  #Overconfidence  #I95TestEmbankment

 

(這裡的所有文章都留存於Blogger中的「專業人士的自我修鍊」)

(判斷:1)

 

永續發展不只是環保節能!

        很多人一談到永續發展就想到 環境保護、節能減碳,事實上 永續發展涵蓋之廣,牽涉之多,遠不止於此,看看聯合國在 2015 年推出的 17 項的永續發展目標  (Sustainable Development Goals, SDGs) 就可以知道。    ...