六張圖看懂 Amazon Go智能購物,專利文件解密AI 核心技術細節
新智元報道
編輯:胡祥杰 劉小芹 王楠
新智元啟動新一輪大招聘 :COO、執行總編、主編、高級編譯、主筆、運營總監、客戶經理、咨詢總監、行政助理等 9 大崗位全面開放。
簡歷投遞:j obs@aiera.com.cn
HR 微信: 13552313024
新智元為COO和執行總編提供最高超百萬的年薪激勵;為骨干員工提供最完整的培訓體系、 高于業界平均水平的工資和獎金。
加盟新智元,與人工智能業界領袖攜手改變世界。
【新智元導讀】 12月5日,亞馬遜宣布將在2017年年初推出使用人工智能技術的線下零售商店Amazon Go,消費者可以直接走進商店,拿下貨架上的貨物然后離開,整個過程不需要排隊結賬。整個展示視頻充滿未來感。Amazon Go到底使用了什么技術?翻閱公司專利文件,可以看到 RFID 和多傳感器融合是關鍵。
亞馬遜Go推廣視頻:1分鐘,顛覆你對線下實體購物的認知
幾天前,就在亞馬遜迎來可能是公司史上最大的 Holiday Season時,亞馬遜發布了一段介紹旗下新的零售商店 Amazon Go 的視頻,消費者可以直接走進商店,拿下貨架上的貨物,然后離開。整個過程不需要排隊,也不用結賬。
《福布斯》的記者 Ryan Mac 說:“ 這看起來非常有趣,充滿了未來感,但是,至少目前為止,這一切還都只是宣傳。”
每年從感恩節到圣誕節的長假中,亞馬遜都會成為媒體上的最大贏家。2013年,Bezos 接受了曝光率很高的《新聞 60 分》訪談。在節目中,他對一個用無人機送貨物的項目狠狠地進行了嘲笑,一時間名聲大噪。2014年,有大量的報道是圍繞亞馬遜即將推出的倉儲機器人Kiva。2015年12月,在美國線上購物節 Cyber Monday 到來之前 ,這家總部位于西雅圖的公司展示了更新版的飛行快遞機器人的 Demo。
今年的12月,亞馬遜通過上面這段新的視頻向外界承諾,將在“2017年年初”推出第一家Amazon Go零售店。不過,除去炫酷的推廣視頻,關于這家“未來化的”零售店,亞馬遜所提供的細節非常少。
目前為止,所有的公開信息都來自亞馬遜官方網站的“問答”頁面。據介紹,零售店面積將達到1800平米,主要銷售快餐、知名品牌和亞馬遜自己生產的預包裝餐飲套裝,允許消費者直接使用智能手機和 Amazon Go 應用程序進出。顧客只需在商店入口處打開 Amazon Go 手機 app 掃描一下,然后進店隨便逛,拿走任何喜歡的東西,然后直接離開。不需要結賬,不需要用卡付款,也不需要裝袋。
《福布斯》稱,亞馬遜在這個時間點發布 Amazon Go,將會讓他們獲得在圣誕購物節期間所希望得到的東西――消費者的注意力。
根據 Adobe Digital Insights 的統計,11月,美國人在線上購物的支出大約為400億美元,比2015年增加了7.6%。Slice Intelligence 預測,在黑色星期五和 Cyber Monday 之間,網上購物中有31% 流向了亞馬遜,這肯定是亞馬遜的 CEO Jeff Bezos 希望看到的增長。
如果有人想在網上購買一臺筆記本電腦。由于看到了Amazon Go 的商業廣告,他首先訪問了亞馬遜而不是 Best Buy 或者蘋果官方網站――那 Bezos 就贏了。
事實也確實如此,根據新智元在寫下這篇文章時的調查,對于亞馬遜的這一計劃,市場反應較好。12月5日,美股開盤后,亞馬遜股價立即上漲,當天收漲2.57%,結束了此前5連跌;同時,在5日和6日兩個交易日,股價累計漲幅達3.24%。
《福布斯》報道稱,不需要掏錢付款就能結賬的創意,從任何一個方面來看,都不是一個新鮮的概念了。 Square 的 CEO Jack Dorsey 多年來一直在談,商家應該如何在消費者走進商店時,對顧客進行識別,并為他們準備好想要的東西,消除掉與收營員和交換錢款之間的麻煩。根據亞馬遜官方網站的介紹,在這方面,他們至少已經謀劃了4年。
但是,現在看來,其愿景依然缺乏具體的細節。不過,亞馬遜確實有很多流行詞,比如深度學習、計算機視覺和傳感器。這些詞將會讓對技術內容知之甚少的普通大眾倍感興奮。
Amazon Go 的網站上介紹說:“我們的免結賬購物體驗使用的是與無人駕駛汽車類似的技術:計算機視覺、傳感器融合以及深度學習。我們的”Just Walk Out“ 技術會自動地探測到哪些商品被拿走了,哪些被放回了原地,并且,使用一個虛擬的購物車,我們也能追蹤商品的軌跡。
從介紹視頻來看,Amazon Go 看起來像一個高級便利店,貨架上整齊排列著各種預制食品和便利雜貨商品。使用適當的傳感器,該技術可用于任何類型的零售商品。例如,很容易就能應用于亞馬遜網站銷售的其他數百萬的時尚服飾、電子產品、家庭用品等商品。該公司表示,“Just Walk Out ” 技術利用計算機視覺、傳感器融合(sensor fusion)技術以及深度學習算法來提供這種無縫的購物體驗。可以想象亞馬遜實體店的未來:書店、美容店、免下車雜貨店、便利商店等等,全都使用這些技術。
《福布斯》記者Ryan Mac 在報道中問道:這聽起來很美好。但是,實際情況下,它是怎樣運轉的呢?商店里會有多少種貨物?如果商店沒有識別 出來某個消費者呢?有人拿了太多東西該怎么辦?
新智元專家怎么看?
Amazon Go 宣傳視頻發布后,在業界引起了強烈反響,在新智元人工智能核心微信群中,各位專家也進行了熱烈的討論。那么,專家們怎么看亞馬遜這一激動人心的嘗試?
專家1 (資深技術人員,與Amazon Go項目內部人員很熟): 里面有N 多攝像頭和3D攝像頭,做了3D人體建模和行為分析。可以說,Amazon Go絕對不是 PR,做這個小店有千萬美元級別的投入。
專家2 (機器人公司董事長): 拍腦袋分析一下,進門掃完碼后,后臺系統通過3D攝像頭把人體特征值與賬戶ID進行綁定,然后對取貨的動作視頻進行分析(通過深度學習來正確辨識人類取放商品的動作細節)來實時更新虛擬購物車,出門后自動支付。如果店內人流密集的化,感覺后臺的實時運算量極其巨大。進門的閘機確保了客戶ID能被有效辨識,但是如果是一個大人帶著一個小孩,出店的時候小孩也拿著東西,而且與大人分開較遠的話,系統可能就無法自動結賬,不過可以出報警。
專家3(工程師): 如果問題縮小到只是進出閘機那會整個人的識別, 只做一進一出的對應及出閘機時身上攜帶商品(用 RFID之類補充確認)的感應識別, 那似乎還在可腦補范圍之內。
核心技術 Amazon Rekognition
根據官網介紹,Amazon Go 主要的識別技術叫做 Amazon Rekognition,能夠在消費者購物流程中進行一系列不同類型的識別,以判斷多種不同的購物場景。
六張圖看懂 Amazon Go 消費過程
或許看了視頻和上面的說明還稍嫌眼花繚亂,美國報紙 US Today 對 Amazon Go 的購物消費過程做了更賤簡單易懂的可視化展示,下面具體看一下:
首先,消費者用手機像地鐵刷卡那樣,進入店鋪――當然,手機上得注冊有亞馬遜的賬戶。與此同時,位于入口處的攝像頭會進行人臉識別,識別的技術主要是 Amazon Rekognition 。
當消費者在貨架前停下來時,攝像頭會捕捉并記錄消費者拿起的商品,以及再次放回去的那些。
放置在貨架上的攝像頭會通過手勢識別,消費者是拿起了一件商品(購買)還是拿起一件商品看了看又放回貨架(不購買)。
店內麥克風會根據周圍環境聲音判斷消費者所處的位置。
貨架上的紅外傳感器、壓力感應裝置(記錄商品被取走),以及荷載傳感器(記錄商品被放回)會記錄下消費者取走了哪些商品以及放回了多少商品。同時,這些數據會實時傳輸給 Amazon Go 商店的信息中樞,每位顧客都不會有延遲。
在離店時,傳感器會掃描并記錄下消費者購買的商品,同時自動在消費者的賬戶上結算金額。
利用這些技術,Amazon Go 究竟如何實現“未來購物過程”?專利文件揭露答案
國外網站上,有人翻出了亞馬遜兩年前申請專利時發布的文件。
亞馬遜提交的專利文件的描述中,提到這一系統使用了包括 RFID(無線射頻識別)在內的技術,在探測購物者是否從貨架上拿下了商品,然后把數據傳輸到一臺手持設備上。
這也意味著,在購物者繼續購物的同時,系統已經對商品狀態進行了同步,這免去了傳統排隊結賬的方式。當消費者從商店的”過渡區“走出商店時,系統會感應到消費者已經離開,隨后對他們帶走的物品進行統計,并在顧客的亞馬遜賬戶進行扣款。
從視頻中可以看到,消費者需要使用智能手機驗證進入商店
專利示意圖:
可以看出,位于店內有各種傳感器,包括商場安裝的攝像頭、商品上的重量感應器。
消費者購物過程中的具體識別過程
專利文件寫道:
例如,如果消費者在零售店內購物,他不需要停下來,用現金或者與收銀員溝通,或是使用自動結賬臺來完成付款,因為他在商店內選擇的商品已經被系統記錄,并通過與消費者本人相關的商品確認清單確認,所以,他們能帶著選購的商品直接走出商店。
系統會探測到消費者走出店門,隨著消費者通過出口(也就是過渡區域),系統會自動對消費者挑選的商品進行結賬,期間消費者不用做任何的停留,也就避免了等待和排隊。
專利文件表明,系統可以使用消費者過去的購買記錄,來幫助確認消費者在購物時選擇的某一商品。
例如,如果貨存清單管理系統不能確定消費者所選擇的到底是一瓶番茄醬還是芥末,它可能會參考這位顧客過去的消費記錄,或者這位顧客是否已經選擇過相同的商品。舉個例子,如果顧客的消費歷史記錄顯示他只購買番茄醬,那么這些信息可能會被用于確認消費者選擇的就是一瓶番茄醬。
亞馬遜在視頻中提到,他們使用的技術包括多傳感器融合,從不同傳感器上獲得的數據增加了判斷的可信度和準確率。以下是專利文件對多傳感器數據匯合的描述。
在一些配置條件下,來自其他輸入設備的數據可能會被用于幫助確定某一商品是否已經被選中或者被放回到貨架上。比如,如果系統判斷一件商品已經被放回到貨架上,除了圖像分析外,基于形狀和壓力的傳感器,以及稱重設備上的數據,系統會對該商品生成一個權重。圖像分析也許能有助于將貨架上匹配的商品數量減小到一個更小的清單,提高匹配率。
貨架上商品的權重會與可能匹配的每個商品被存儲在系統內的權重進行比較,來確定商品是否真的已經被放回到貨架上。結合多個來源的輸入,系統會生成一個高置信度的數字,來提升系統確認某一商品是被從貨架上拿走還是被放回的準確率。
這一專利文件是在兩年前公布的,現在亞馬遜很可能也做了很多的改變。但是,從視頻上可以看到,基本思路還是沿襲了專利文件中的描述。
由此看來,其基本技術實現與新智元專家的推測基本一致。Amazon Go 目前已經對公司員工開放測試,預計在來年開幕。如果真正實現Demo中的一切,那將是對線下購物乃至日常生活的顛覆,也將是人工智能真正走入我們每個人生活的一個漂亮的開始。
(責編:WF)
新智元招聘
職位 運營總監
職位年薪:36- 50萬(工資+獎金)
工作地點:北京-海淀區
所屬部門:運營部
匯報對象:COO
下屬人數:2人
年齡要求:25 歲 至 35 歲
性別要求:不限
工作年限:3 年以上
語 言:英語6級(海外留學背景優先)
職位描述
-
負責大型會展贊助商及參展商拓展、挖掘潛在客戶等工作,人工智能及機器人產業方向
-
擅長開拓市場,并與潛在客戶建立良好的人際關系
-
深度了解人工智能及機器人產業及相關市場狀況,隨時掌握市場動態
-
主動協調部門之間項目合作,組織好跨部門間的合作,具備良好的影響力
-
帶領團隊完成營業額目標,并監控管理項目狀況
-
負責公司平臺運營方面的戰略計劃、合作計劃的制定與實施
崗位要求
-
大學本科以上學歷,碩士優先,要求有較高英語溝通能力
-
3年以上商務拓展經驗,有團隊管理經驗,熟悉商務部門整體管理工作
-
對傳統全案公關、傳統整合傳播整體方案、策略性整體方案有深邃見解
-
具有敏銳的市場洞察力和精確的客戶分析能力、較強的團隊統籌管理能力
-
具備優秀的時間管理、抗壓能力和多任務規劃統籌執行能力
-
有廣泛的TMT領域人脈資源、有甲方市場部工作經驗優先考慮
-
有媒體廣告部、市場部,top20公關公司市場拓展部經驗者優先
新智元歡迎有志之士前來面試,更多招聘崗位請訪問新智元公眾號。