Facebook <a class="innerlink" href="http://www.cowatch.cn/tags/arget="_blank">AI" target="_blank">AI 推出 Ego4D

　　近日，Facebook AI 宣布推出 Ego4D，這是一個雄心勃勃的長期項目，為的就是解決以自我為中心的感知領域的研究挑戰。

　　研究者匯集了一個由 9 個國家的 13 所大學和實驗室組成的聯盟，他們在野外收集了 700 多名參與者的日常生活，超過 2,200 小時的第一人稱視頻。

　　Ego4D 是一個具有多樣性的大規模的以第一人稱視角為中心的數據集。它由來自全球 9 個不同國家 74 個地點的 855 名獨特參與者收集的 3025 小時視頻組成。該項目匯集了 88 名國際財團的研究人員，以大幅提高公開的以自我為中心的數據規模，使其在錄像時間方面比任何其他數據集都大 20 倍以上。

　　AI 也可以體驗第一視覺

　　Facebook 首席研究科學家克里斯汀·格勞曼 （Kristen Grauman） 表示，今天的計算機視覺系統不像人類那樣與第一人稱和第三人稱視角相關聯。

　　就像是，將計算機視覺系統綁在過山車上，即使它是根據從地面邊線顯示的數十萬張過山車的圖像或視頻進行訓練的，但是它也不知道它在看什么。

　　為了讓人工智能系統能夠像我們一樣的方式與世界互動，人工智能領域需要發展到一種全新的第一人稱感知范式，“格勞曼在一份聲明中說?！边@意味著人工智能在實時運動、交互和多感官觀察的背景下，通過人眼理解日常生活活動?！?/p>

　　Facebook AI 還開發了五個以第一人稱視覺體驗為中心的基準挑戰，這將推動未來 AI 助手向現實世界應用的發展。

　　例如，”我把鑰匙放哪兒了？“”手機在哪里？“”有看到我的充電線嗎？“這種場景別提有多熟悉了，幾乎每天都會上場。

　　Ego4D 的第一個基準挑戰是情景記憶（Episodic memory）。

　　關鍵就是什么時候發生的？AI 可以通過檢索過去以自我為中心的視頻中的關鍵時刻來回答自由形式的問題并擴展個人記憶。

　　你可以問 AI 助手各種各樣的問題，例如：我把孩子最喜歡的泰迪熊放哪兒了？

　　下一步就是進行預測：接下來可能會做什么？

　　人工智能可以理解佩戴者的行為會如何影響這個人未來的狀態，比如這個人可能會移動到哪里，他們可能會觸摸什么物體，或者他們接下來可能會從事什么活動。預測行動不僅需要認識到已經發生的事情，還需要展望未來，預測下一步行動。這樣AI系統就可以在當下提供有用的指導。

　　例如，就在你想要再次準備向鍋里加鹽時，你的人工智能助手會趕緊通知你”等等，您已經加鹽了“

　　第三個挑戰基準就是手-物之間的互動（Hand and object manipulation）也是難點和關鍵的一步，因為AI需要理解在做什么，如何做？

　　學習手如何與物體互動對于AI指導我們的日常生活至關重要。AI必須檢測第一人稱的人-物交互，識別抓取，并檢測物體狀態變化。這種推動力也受到機器人學習的推動，機器人可以通過視頻中觀察到的人們的經驗間接獲得經驗。

　　因此，當你在烹飪一份食譜時，AI 助手可以指導你需要哪些配料，需要先做什么，了解你已經做了什么，指導你完成每一個關鍵步驟。

　　人類可以用聲音來理解世界，未來的人工智能也要學會這種視聽記錄（Audio-visual diarization）。

　　如果你正在上一堂重要的課，但因收到的信息而分了心，你可以問AI：”教授把我們的試卷收上去之后，課堂討論的主要話題是什么？“

　　這個就是第四個挑戰基準 - 視聽分類

　　我正在與誰互動，如何互動？例如”如何在嘈雜的地方更好地聽到別人說話的聲音“

　　社會互動（Social interaction）是 Ego4D 的最后一個方向。

　　除了識別視覺和聲音提示外，理解社交互動是智能 AI 助手的核心。一個社交智能的 AI 會理解誰在和誰說話，誰在關注誰。

　　所以，下次參加晚宴時，即使再嘈雜，AI 助手可以幫助你專注于桌子對面和你說話的人在說什么。

　　以上這些基準挑戰都是以第一人稱視覺為中心的人工智能的基本構建模塊，這將讓 AI 不僅可以在現實世界中理解和互動，還可以在元宇宙中進行理解和交互，構成更有用的 AI 助手和其他未來創新的基礎。

　　解開真實數據集

　　基準和數據集在歷史上被證明是人工智能行業創新的關鍵催化劑。畢竟，今天的 CV 系統幾乎可以識別圖像中的任何對象，它是建立在數據集和基準（例如 MNIST、COCO 和 ImageNet）之上的，它們為研究人員提供了一個用于研究真實世界圖像的試驗臺。

　　但是以自我為中心的感知是一個全新的領域。我們不能使用昨天的工具來構建明天的創新。Ego4D 前所未有的規模和多樣性對于引入下一代智能 AI 系統至關重要。

　　為了構建這個數據集，每所合作大學的團隊向研究者分發了頭戴式攝像頭和其他可穿戴傳感器，以便他們能夠捕捉第一人稱、無腳本視頻。日常生活。

　　參與者從日常場景中錄制大約8分鐘的視頻片段，例如雜貨店購物、烹飪和邊玩游戲邊交談以及與家人和朋友一起參與其他集體活動。

　　Ego4D 捕捉了佩戴攝像機的人在特定環境中選擇注視的內容，用手或是面前的物體做了什么，以及他們如何以第一人稱視覺與其他人進行互動。

　　與現有數據集相比，Ego4D 數據集提供了更大的場景、人物和活動的多樣性，這增加了針對不同背景、種族、職業和年齡的人訓練的模型的適用性。

　　Ego4D 及以后的下一步是什么？

　　Facebook AI 試圖通過 Ego4D 項目打造一條全新的道路，以構建更智能、更具交互性和靈活性的計算機視覺系統。

　　隨著人工智能對人們正常生活方式有了更深入的理解，它可以開始以前所未有的方式對交互體驗進行情境化和個性化。

　　Grauman表示：”Ego4D 使人工智能有可能獲得根植于物理和社會世界的知識，這些知識是通過生活在其中的人的第一人稱視角收集的。“”由此開始，人工智能不僅會更好地了解周圍的世界，有一天它可能還會實現個性化——它能知道你最喜歡的咖啡杯，或者為你的下一次家庭旅行指引路線。“

　　有了 Ego4D 的基準支持，配合上在全新數據集中的訓練，AI 助手有可能以非常獨特和有意義的方式提供很多的價值，例如，幫助回憶起最近與同事交談中的關鍵信息，或者指導制作新的晚餐食譜，新的宜家家居等。

　　Facebook 表示，從這一系列工作中獲得的價值將推動我們走向未來的現實。

　　瑪麗皇后大學的人工智能研究員Mike Cook認為，從積極的角度來說，至少就目前而言，這是一個非常棒的大型數據集。

　　但，這實際上并沒有解決人工智能中的一個緊迫挑戰或問題……除非你是一家想要銷售可穿戴相機的科技公司。它確實告訴你更多關于Facebook的未來計劃，但是……他們向它注入資金并不意味著它一定會變得重要。