由李飛飛教授創辦的公益機構 AI4All" target="_blank">AI4All 致力于提高人工智能領域的多樣性和包容性。該組織提供教育和導師計劃為美國和加拿大的少數群體人才提供學習途徑，AI4All 為高中學生提供盡早接觸 AI 的機會。剛剛，李飛飛發推贊揚 AI4All 成員 Amy Jin、斯坦福大學博士 Serena Yeung 和斯坦福 PAC 團隊的合作者一道在 AI+醫療領域做出的貢獻：他們合作設計了一款軟件來評估外科醫生的技能。

PAC 團隊的負責人是李飛飛和醫學教授 Arnold Milstein，其整合了斯坦福以及其他醫學院的一系列跨學科資源，主要是想用 AI、計算機視覺等技術解決一些醫療健康中的難題。

該研究論文已在 arXiv 上發布，一作 Amy Jin 今年 18 歲，最近剛剛高中畢業，是個喜歡 hip-hop、小提琴和英國文學的女孩。而她對計算機科學的熱情使她成為人工智能領域的 superstar。

據斯坦福大學醫學院的報道，Amy Jin 六年級時就對 AI 產生了興趣，但直到成為高中生，她對 AI 的熱情才開始燎原，當時她聽到 IBM 科學家介紹 Watson 超級計算機能夠通過人工智能擴展人類在醫療及其他領域的能力，教會機器「思考」和「看見」。「Watson 能夠成為醫生的第二雙眼睛」，這使 Amy 震驚又興奮，她認為 AI 領域可以產生很多跨學科的可能性，因此非常有潛力。

Amy Jin 其它兩位斯坦福的導師共同設計了一款軟件，可以評估外科醫生的技能。

過去兩年，Jin 與斯坦福大學的導師共同設計了一款新的軟件，用于評估外科醫生的技能。該軟件的工作原理是：「觀看」外科手術的視頻，然后追蹤手術過程中的動作、計算每個步驟中使用器械的時長。該創新成果獲得了 NIPS 2017 Machine Learning for Health 研討會的頂級研究獎項。斯坦福大學醫學院 Clinical Excellence Research Center 負責人、醫學博士 Arnold Milstein、研究論文共同作者預測該方法將在客觀評估臨床醫生的多項臨床技能中實現新突破。

Milstein 表示：「它提供了一種方式，根據醫生的學習速度定制外科訓練的時間。以及它提供了一套更客觀的方法來定期評估外科醫生的技能，或者在醫生大手術期間及時提醒 Ta 需要休息。」

Serena Yeung（左）和 Jeff Jopling（右）與 Amy Jin 合作設計該軟件。

Amy Jin 在讀高中時參加了斯坦福 AI 實驗室舉辦的 Outreach Summer Program，該項目旨在鼓勵年輕女性投入科學研究。在該項目中，她與 Serena Yeung、Jeff Jopling 等人合作開展了利用 AI 技術改善醫療衛生的研究。

Serena Yeung 在 AI4All 導師計劃中負責指導 Amy Jin，當時她仍是李飛飛和 Arnold Milstein 的博士生，看過 CS231n 2017 的讀者可能會對她比較熟。Serena Yeung 對醫學一直很感興趣，而在斯坦福大學的教育經歷使她對工程、AI 產生了興趣，曾在 Facebook 和 Google 實習。后加入 Arnold Milstein 的項目，致力于使用技術來改善醫療實踐。

Jeff Jopling 是醫學博士，前 CERC 學者，他提出使用計算機技術來追蹤外科手術技能，認為手術技能非常重要。根據 National Academy of Medicine 1999 年的一份報告，醫療衛生中的安全問題是重點，很高比例的死亡率和傷殘率來源于醫療過程中的人為誤差。醫生想利用手術安全核查表最小化可避免的并發癥、避免錯誤。

Jeff Jopling 稱，很多研究聚焦于改善系統，但醫生及其技能也很重要。

評估外科醫生技能這一項目于 2016 年夏天正式啟動，其挑戰在于「教」計算機識別并追蹤手術工具的移動路徑。這是一個目標檢測問題，該領域近年來發展迅速，李飛飛實驗室功不可沒。

機器之心Synced圖像分類小程序

定位數據點

研究人員開發了一種算法，教計算機從饋入的上千個數據點中學習。計算機根據每個比特的數據逐漸調整，直到達到可以形成準確目標圖像的程度，在這個項目中目標指的是外科手術工具。Jin 改進了一些目標檢測技術，將其應用于外科手術。她表示，「總的想法是，如果我們可以追蹤、識別視頻中的工具，我們就能更好地分析工具使用模式及其移動?！?/p>

為簡單起見，研究人員主要聚焦膽囊切除手術。這種手術最多用到 7 種工具。他們拿到了 15 個相關手術視頻，標注了其中的 2500 幀，而且為每一幀附加了一個值，以便計算機構建工具的視覺圖像，并在手術野范圍內定位它們。他們利用度量來追蹤工具的使用時間，即何時使用何種工具、使用了多久，并繪制了每種工具的路徑圖。此外，他們還繪制了熱圖，顯示這些工具在手術野內的分布。嫻熟的外科醫生通常會將工具放得比較集中。

研究人員可以根據視覺信息和數據從多個角度評估外科醫生的表現，包括他們的動作是否簡潔、每個步驟的操作是否高效等。接下來，他們請三位斯坦福的醫生單獨觀看視頻，并依據效率、雙手靈活性和對人體組織的處理等廣泛使用的指標按 1-5 分的范圍進行打分。

「機器對手術的評價機制與醫生的評分機制相關?！筜eung 表示。

例如，膽囊切除手術有一個關鍵步驟，醫生必須夾住并切斷向膽囊供血的膽囊動脈和傳輸膽汁的膽囊管。如果操作得當，這個步驟可以防止術中和術后出血及膽汁滲漏。如果夾子放錯了位置或者松動了，病人會遭受致命的并發癥。

嫻熟的醫生可以用較少的動作高效地處理這一問題。其中一個視頻顯示了一名外科醫生的嫻熟技巧，他/她將剪刀和其他工具放得恰到好處。而在另一段視頻中，一名外科醫生多用了一個夾子并努力將其放在適當的位置，之后又花了些時間將其弄開。計算機不僅通過查看器械的放置位置和路徑，還通過查看手術持續時間來檢測技能水平的差異。

研究小組將分析結果——《Tool Detection and Operative Skill Assessment in Surgical Videos Using Region-Based Convolutional Neural Networks》提交給 NIPS 2017 Machine Learning for Health 研討會，該論文在 120 多份論文中脫穎而出，被選為 10 份 spotlight 論文之一。

進一步優化

Jopling 表示，項目的下一步是收集 1000 多個記錄不同手術的視頻。斯坦福將與猶他州聯合醫療中心（Intermountain Healthcare，旗下有 22 家醫院）合作，共同分析視頻并改進這一評估工具。未來的研究還將考慮外科手術的復雜性，例如，有些膽囊切除手術很簡單，有些卻很難，因為不同患者的醫療情況不同。

他還表示，這項技術在外科手術培訓中特別有用。外科醫生檢查受訓者表現時通常一坐就是幾小時，非常吃力。而自動系統可以為他們代勞，還可以在受訓者可能出現失誤時實時提醒醫生。知道醫生什么時候開始疲勞、精力不濟，對手術結果來說非常重要。根據這個可以判斷主刀醫生何時應該休息并由助手接手。

Milstein 向斯坦福大學外科教授兼主席 Mary Hawn 分享了這項研究，后者非常樂意將完善后的模型提交給美國外科委員會（American Board of Surgery），作為當前委員會認證考試的補充。

但并非所有外科醫生都樂意讓一臺機器來評價自己的技術。甚至有人表示，當這么一天到來時，自己將提前退休。

不過，Yeung 指出，此項 AI 技術可以廣泛應用于醫療領域。例如，該研究組一直在測試用它來監控 ICU 病人的活動、護理人員是否遵循了確保病人安全的步驟。這項技術還能用來監控家中虛弱的老人，測試其活動和行動能力，當他們跌倒或發生其他意外時提醒其他人。

Yeung 還表示，如今的臨床醫生、護士和其他醫療保健服務人員都不堪重負，隨著嬰兒潮一代年齡的增長，這個問題將變得更加嚴峻。而人工智能存在巨大潛力，可以幫助我們持續了解、監控正在發生的事，進而幫助醫療保健服務人員，防止認知過載。

不過，Jin 不會繼續參與這項斯坦福的研究。她現在是哈佛的大一新生，跟隨其兄的步伐。雖然沒法再繼續參與項目，但 Jin 對該項技術的后續發展仍然充滿期待。

相關論文：Tool Detection and Operative Skill Assessment in Surgical Videos Using Region-Based Convolutional Neural Networks

論文鏈接：https://arxiv.org/abs/1802.08774

摘要：世界上約有 50 億人無法獲得高質量的外科護理。外科醫生的技能差異很大，很多接受外科手術的患者會遭受并發癥和本來能避免的傷害。改善外科手術的訓練和反饋機制可以幫助降低并發癥的發生率，其中一半的并發癥已經證明可以被預防。要做到這一點，重要的是評估手術操作技能，手術過程目前仍需要專家參與，它是手動、耗時且主觀的。

本研究介紹了一種自動評估外科醫生表現的方法，該方法主要通過基于區域的卷積神經網絡自動追蹤和分析手術視頻中的工具運動而完成。為了研究這個問題，我們引入了一個新數據集 m2cai16-tool-locations，它標注了工具的空間界限。雖然以前的方法已經解決了工具的存在性檢測問題，但我們的方法是第一種不僅能夠檢測工具的存在性，還能在實際的腹腔鏡手術視頻中對手術工具進行空間定位的方法。

我們的實驗表明該方法既能高效地檢測手術工具的空間界限，同時顯著優于現有的工具存在性檢測方法。我們進一步證明了該方法通過分析手術工具的使用模式、作業范圍和作業有效性來評估外科手術質量的能力。