奧斯卡金像獎落選，NBA 選秀吊車尾，與 Google 面試被打槍，有什麼共通點？
我想問的是：
「奧斯卡金像獎，NBA 選秀，Google 面試，都是由業界專家設計，監督，執行的篩選流程。行之有年，卻往往會出現不如預期的結果。所以，這些篩選方式真的可靠嗎？」
先說奧斯卡金像獎。誰來決定哪些電影入圍，哪些電影得獎呢？
答：位於洛杉磯「電影藝術與科學學院」的成員 (Academy of Motion Picture Arts and Sciences)。
這不是我們一般認知，學生報名繳錢上課的學院，而是由業界專家組成的會員制組織。學院內按照專業分成十幾組不同的委員會，例如：演員，導演，編劇，化妝，剪接，音效，配樂，特效，服裝設計，等等。
想加入必須獲得兩位以上的成員提名，並經過好幾層委員會的關卡，審核你在電影業的貢獻，作品，成就，有否得過其他特殊獎項等。只有成為會員才能參與每年奧斯卡金像獎的得獎投票。
奧斯卡的爭議當然不少 - 會員的國籍種族性別，平均年齡，語言啦，委員本身的醜聞啦，對外文片或動畫片的不公平性啦，製片廠的賄烙傳聞 - 但那不是我這裡要討論的重點。應該說，即使有這些缺陷與爭議，它仍是業界公認的黃金標準。
重點來了 - 到底有多少會員每年有投票資格呢？
9300 多人。
你沒看錯，將近萬名電影業界人士。要成為奧斯卡獎項贏家，除了要與每年上映的上千部電影競爭，還得獲得過半，也就是最少 4600 多位業界專家的認同。這困不困難？
經常被拿來與電影明星與大導演拿來做比較的，單然就是高薪的職業運動員了。全球七十多億人，只有 500 多人能在 NBA 打職業籃球。如何擠進這麼窄的門檻呢？最普遍傳統的方法是通過每年舉辦的 NBA 選秀。
三十支球隊，各有專屬的球探 - 可能是年輕的助理教練或退休的球員 - 在世界各地近距離觀察年輕好手，回報給球隊總教練與總經理討論，配合最先進的運動數據分析，然後邀請有潛力的人到球隊參加練球與進行全身健康檢查，綜合以上的結果，最後各球隊才在選秀時依序輪流宣布他們該年度要簽的新人。
那麼，綜合眾多籃球專家，教練，前球員的經驗，銳利眼光，與科學量測下所選出來的新人真的都有如預期的表現嗎？
我舉幾個例子：
三次總冠軍，五次全明星隊，三分球大賽冠軍，人稱史上第二神射手的 Kaly Thompson，2011 年的選秀排第十一順位。在他之前被選上的十人，現在有九人連他的邊都沾不上。
希臘籍球員 Giannis Antetokounmpo，2021 年總冠軍兼冠軍賽最有價值球員，兩次全聯盟最有價值球員，五次全明星隊，一次全聯盟最佳防守球員....他在 2013 選秀排第十五順位。排在他前面被選上的十四位球員現在連跟他相提並論的資格都沒有。
還有第十三順位被選上的 Donovan Mitchell，Devin Booker，第三十順位被選上的 Jimmy Butler，第二輪第三十五順位才被選上的 Draymond Green 等等...
經過「職籃專家」們仔細觀察分析後卻誤判潛力的球員，比比皆是。通過 (過半數) 4600 多位專家認可，獲得(或落選)奧斯卡金像獎的影片也經常有這種誤判爭議。
籃球也好，電影也好 - 這是篩選制度的問題，或是所謂「專家」們其實根本就沒那麼有眼光？
你可以說「NBA 球員會進步啊！也許那些被低估的球員進步的比較快啊！」沒錯，不過「職業籃球專家」的精髓所在不就是要去發掘潛力高的球員嗎？如果只是看球賽資料數字，那誰都會啊！
也可以說「電影跟藝術一樣，本來就是很主觀的啊！觀眾跟評審的感受不同也沒什麼稀奇的啊！」也對。不過，從大數法則而言，集結了九千多人有投票權的制度，用意之一不就是為了能夠淡化個人偏見的影響，產生出「比較」「相對」客觀的結果嗎？
其中很重要的一點就是「個人偏見」的主觀意識。
雖然籃球界近十年來吹起了一陣「數據分析」風潮，用冷冰冰的統計學去做選秀的各種決定，但許多的球探，教練，專家與前球員仍堅信自己的眼睛 (英文說 “the eye test”) - 換句話說，他們寧可相信自己多年經驗的「直覺」。
Google 設計的面試制度目的之一就是盡可能杜絕這種「個人偏見」。
舉例而言：你待過的公司裡，有面試人的經驗嗎？是否往往被主管臨時告知「你下午/明後天有空幫個忙面試一下嗎」然後履歷丟給你就上了？
有需要先通過內部的面試訓練認證嗎? 或基本上是憑常識經驗在面試時自由發揮？
公司有白紙黑字，統一公佈針對各職能，職等，各種專業面向所訂的標準嗎？有規定面試官一定要由某些不同職能，職等組成嗎？
有統一的面試題庫，按職能，職等，專業面向分類嗎？有「需求主管不能做最終應徵決定」的規定嗎？
Google 除了以上這些都有之外，還有更多的監督制衡機制，訓練，標準要求等等。
例如：
到職六個月以上才能申請面試官訓練課程
見習面試官需跟隨 n 場的正式面試官並繳交 n 份的面試練習報告
面試紀錄須包含面試官的「分析」與「舉證」
面試場次少於某個數量的面試官意見不列入考量
應聘審核委員會 (Hiring Committee) 成員不能有該輪面試官
要成為應聘審核委員會成員必須要某職等以上並通過額外的訓練課程
審核委員在會議前不能彼此私下討論，避免影響彼此獨立的定見
所有與會的審核委員必須針對應徵者達成一致共識才行，沒有一致共識就沒有結論。不採多數投票制
.....等等，罄竹難書。
訓練中很重要的一部分就是「打破偏見」的課程。要成為面試官都要上過這堂課。若要進一步成為應聘審核委員還要上第二次，確保你記得內容。應聘審核委員的訓練中，也一再鼓勵委員在會議上直言不諱的點出彼此之間的偏見。
那....這麼多的制度，訓練，繁雜的流程去打破「個人偏見」，有確保 Google 總是聘請到正確的人嗎？
....難說。
抱歉，我不是要浪費你的時間，耐心看這篇文章到這裡再吊你胃口，而是這個問題真的沒有簡單的答案。我只能就自己在前公司的經驗分享我的觀察與推測。
首先，身為一個應聘審核委員，我要看多少應徵者的資料與面試者的反饋？
每次的應聘審核會，平均大概要審核二到五位應徵者。身為審核委員，我開會前要看完：
職缺的 JD (job description)，職能與職等的標準
應徵者的履歷
每位面試官的問題，應徵者的回答，面試官的分析，面試官的結論
應徵者過去在 Google 面試的歷史資料
偶爾會有額外的附加資料如 references 等等。
假設這次審核會議要討論四位應徵者 (很常見)，那我就要看：
4 位應徵者 x 5 位面試官 x 4 個問題的回答與分析。
當然，有時要審的應徵者不只四人；有時面試官會更多人，每人的提問也經常不只四個。
身為委員，我的責任不是只看面試官的結論就了事，而是要看每位面試者的每個回答紀錄，先有我自己的定見後，再比較面試官的分析，甚至要針對面試官的提問與分析，給出反饋。
在看了百位以上應徵者與倍數的面試官紀錄之後，我的感想有三：
一，撇開專業知識不談，通過 Google 面試的困難之一就是要五位面試官(或更多)，再加上好幾位審核委員，全都大致意見相同，實在是非常挑戰。
二，重複的訓練能減少，但無法杜絕每位面試官(或審核委員)的個人偏見。再多的標準定義，最終還是「人」在解讀。
三，Google 的作法大致是「寧嚴勿縱」，也就是說某些被刷掉的應徵者其實也許能勝任工作內容，但因為面試官或審核委員間的某種意見分歧無法化解而被放生。
但話說回來，天底下再嚴格的流程也難免有漏網之魚。偌大的公司裡，偶爾也會碰到讓你錯愕「嗯...你是怎麼通過面試...」的人。
既然已知這個流程會產生偽陽性 (不該進來的來了) 與偽陰性 (該進來的被放生) 的結果，有時你不得不問自己：我們花這麼多時間到底在幹什麼？
換個方式問：Google 是因為找到許多優秀人才所以成功？或是因為它成功所以優秀人才絡繹不絕？
如果是前者，那它的面試機制的確有效？
如果是後者，那偽陰性也無所謂了，反正人才前仆後繼？那如何反映出它面試機制的成效？
從這個角度而言，職籃球探跟奧斯卡評審也一樣。落選的影片，被低估的球員。無論多複雜的篩選制度，多有經驗的專家都不盡可靠，因為最終還是主觀的偏見與個人經驗影響著決定。
其實大家都知道，落選甚至沒入圍的影片可能非常精彩，沒被選上或吊車尾的球員有可能是塊璞玉。
既然如此，面試 Google 或其他大公司被打槍的也不用氣餒。那不見得反映了你的實力或潛力，有可能只是機運而已。
有時運氣跟實力一樣重要啊！
(我猜想應該有很多科普的書在探討關於篩選機制的科學性。歡迎推薦你覺得不錯的書！)
Comments