智東西（公眾號：zhidxcom） 文 | 十四 海中天 編譯整理

智東西推薦語：

關于蘋果公司在人工智能、機器學習方面的布局，美國媒體Backchannel的采訪進行了深入挖掘，很明顯，這也是蘋果公司自己敞開大門迎接媒體的探訪，安排了好幾位VP級別的高管進行解讀。

從中我們也看到以Siri為代表應用的蘋果人工智能布局已經很深遠，從當年喬布斯親自出馬游說收購Siri前身所屬的公司，到最近每年20～30家小團隊的收購，都看得出在海外科技巨頭中，蘋果開始把人工智能作為提升產品體驗的主要推動力之一，本文即剖開了這個“蘋果iBrain”的邏輯。

　　 以下為全文：

2014年7月30日，Siri開始進行“腦部移植”。

3年前，蘋果率先將智能助手Siri整合到操作系統中。2010年，蘋果收購了一個獨立APP，開發團隊也一起加盟蘋果，后來APP變成了Siri。最開始時評價很好，但在隨后的幾個月和幾年里，用戶對Siri的缺陷失去了耐心。許多時候Siri都會錯誤執行命令，微微調整根本無法解決問題。

隨后，蘋果將Siri語音識別系統移植到基于神經網絡的系統中，并于2014年7月末提供給美國用戶使用，2014年8月15日向全球用戶開放。一些早期技術仍然有用，比如隱馬爾可夫模型（Markov models），但是現在系統使用的是機器學習技術，包括深度神經網絡（DNN），卷積神經網絡、長短記憶單元、封閉復發性單位(gated recurrent units)和n-grams。用戶升級之后，Siri看起來并沒有什么變化，但是機器學習讓它更強大。

如果企業對底層技術進行改進，一般不會透露自己的思考，免得被競爭對手知道，正因如此，蘋果沒有公布Siri的進展。如果我們問用戶注意到了什么，那就是錯誤更少了。事實上，蘋果聲稱準確度的提升相當驚人。

蘋果互聯網軟件及服務部高級副總裁埃迪·庫（Eddy Cue）表示：“這一次改進相當明顯，以至于你必須重新測算，確保小數點的位置沒有放錯位置。”

　　

低調的蘋果

Siri轉變的故事還是第一次披露，它可能會讓人工智能領域的專家們皺起眉頭，不是因為系統神經網絡性能的提升，而是蘋果對自己的所作所為如此低調。直到最近一段時間，蘋果才開始在AI領域大規模招聘，發起一些引人注目的收購，盡管如此，觀察者仍然認為蘋果在AI競爭中落后。企業們彼此競爭，試圖挖掘AI工具的最大潛力。

蘋果喜歡對自己的計劃保持沉默，即使是AI專家也不清楚蘋果在機器學習領域的動向。杰瑞·卡普蘭在斯坦福教人工智能歷史課，他認為：“蘋果不是AI社區的一份子，它相當于AI產業的NSA（國家安全局）。”一般人認為，如果蘋果在AI上付出的心血和谷歌、Facebook一樣多，那么它的舉動應該會被外界知曉。

艾倫AI研究所的埃齊奧尼（Oren Etzioni）表示：“在谷歌、Facebook和微軟，我們看以看到機器學習的頂尖人才。沒錯，蘋果的確招聘了一些人，但是機器學習的5大領袖有誰為蘋果工作？蘋果的確擁有語音識別技術，但是我們根本不知道它是否用到了機器學習技術。請告訴我，你的產品中哪些地方用到了機器學習。”

本月初，蘋果的確展示了機器學習的用途，向我展示。當天，我在蘋果庫比提諾飛船總部大樓耗了大半天時間，在蘋果頂級高管的陪同下，我了解了蘋果AI、機器學習的核心機密。陪同我的有埃迪·庫、副總裁兼市場營銷主管菲爾·席勒（Phil Schiller）、軟件主管兼高級副總裁克雷格·費德里吉（Craig Federighi），還有兩名關鍵Siri科學家。當我們就坐之后，他們向我展示了兩張紙，上面密密麻麻寫滿了使用機器學習的蘋果產品和服務，有些已經發布，有些即將發布。

如果你是一名iPhone用戶，你已經在使用蘋果AI了，當我們向Siri提問時它越來越敏捷，這只是一個方面，AI還用在其它方面，比如手機接到電話，來電者的身份信息并沒有出現在個人聯系人列表中（但是該人最近的確向你發過郵件）；又比如你收到了一個約會提醒通知，但是這個約會并沒有放在日歷中；當我們打開地圖，還沒有輸入信息，地圖程序就會彈出預定酒店的位置，這些都會用到AI。當蘋果使用機器學習和神經網絡技術之后，這些功能才有可能實現，或者更加強大。

　　

Apple Brain

沒錯，這就是所謂的“Apple Brain”，它已經植入到iPhone中。

一位知情人士說：“機器學習現在已經廣泛應用在蘋果產品和服務中。”在蘋果程序店中，它用機器學習來識別欺騙行為，測試軟件時蘋果也會用機器學習技術來篩選反饋意見，找到最有價值的內容。在蘋果News應用中，機器學習技術被用來挑選新聞。機器學習可以判斷Apple Watch用戶是在做鍛煉還是在閑逛，可以識別照片中的人臉和位置。如果Wi-Fi信號比較弱，機器學習技術會建議用戶使用蜂窩網絡，因為更省電。機器學習能夠分辨出用戶所拍視頻的好環，點擊一下按鈕，我們就可以將相關視頻集合在一起。競爭對手也做得很不錯，蘋果高管宣稱，它們是唯一一家在隱私、用戶體驗上取得良好平衡的企業。

其實，在蘋果機器學習并不新鮮。上世紀90年代，蘋果推出牛頓(Newton)平板，當時的觸控筆就用到了AI，它可以識別用戶輸入的字符。到了今天，該系統仍然還在使用，它就是Apple Watch中文字符識別系統，即使用戶輸入的字符很潦草它也能識別。

“在過去5年里，AI在蘋果的應用領域越來越多范圍越來越廣。” 菲爾·席勒表示：“我們的產品以更快的速度向智能化邁進，尤其值得稱道的是我們設計的A系列芯片。后端越來越智能，越來越快，我們所做的一切終于可以連接起來了。這樣一來機器學習技術的應用就會越來越廣泛，因為有許多的東西需要學習，我們可以做到。”

“擁抱”機器學習很謹慎

雖然蘋果對機器學習孜孜以求，但是高管們對于“擁抱”機器學習很謹慎，從某種意義上講，蘋果希望業務照常運營。庫比提諾的天才們認為，機器學習只是突破性技術的最新進步。沒錯，它是變革性的技術，但是并不比其它技術進步更加強大，比如觸摸屏、平板、面向對象編程。在蘋果看來，機器學習并不是最終前沿，但是其它公司卻這樣認為。埃迪·庫說：“以前就有技術改變了人與設備的交互方式，機器學習與這些技術并無本質區別。”在AI領域有一些讓人毛骨悚然的猜測，蘋果無意參與這種討論。蘋果沒有確認自己是否在開發汽車，也不告訴大家自己是否在開發類似Netflix的服務，但是有一點卻是蘋果所確認的：它沒有開發類似“天網”的東西。

“我們要用這些技術來做一直想做的事，將事情做得更好。” 席勒說，“我們還要用技術來做一些之前做不到的事。最終，技術會以蘋果獨有的方式在公司內部演進，以蘋果方式應用于產品。”

“Apple Brain”到底有多大？有多少iPhone動態緩存可以供機器學習使用？當我問蘋果時，他們給出的信息讓人吃驚：平均200Mb，根據存儲的個人數據大小而不同。蘋果iPhone會不斷刪除舊數據。這些信息包括了APP使用情況、與其它人的交互數據、神經網絡處理、自然語言事件模型。神經網絡還可以用一些數據來識別目標、識別人臉、給場景分類。

蘋果解釋稱，個人參數、個人愛好、旅行信息都是私人的，蘋果會對私人信息保密。

　　

Eddy Cue

在AI方面，蘋果并沒有詳細解釋自己的努力，但是我還是搞清了機器學習技術在蘋果內部的分配情況。在整個蘋果公司，機器學術人才是共享的，產品團隊可以借用機器學術人才解決問題，也可以為單個產品開發功能。克雷格·費德里吉說：“在蘋果內部并沒有一個單一的核心機器學習組織。有些團隊需要用機器學習技術來提供更好的用戶體驗，我們努力確保機器學習人才與這些團隊緊密聯系在一起。”

在蘋果，到底有多人從事機器學習工作？費德里吉表示：“很多。”有趣的是，蘋果機器學習團隊的員工在加入蘋果之前并沒有受過專門的訓練。費德里吉稱：“我們招募的員工在基礎領域相當厲害，比如數學、統計學、程序設計語言、密碼學等。事實證明，這些人才可以完全轉化為機器學習專家。今天，我們雖然也會招募大量的機器學習人才，但是同時還會尋找擁有核心資質、才華橫溢的人。”

雖然費德里吉沒有說，但是這一選擇似乎不可避免。蘋果偏愛保密，而與之競爭的企業恰恰相反，它們鼓勵計算機科學家共享研究成果，在競爭之時蘋果處在不利位置。費德里吉解釋稱：“我們的實踐偏向于‘自然選擇’，一種人喜歡參與到團隊中去，一起開發好產品，還有一種人的主要動機則是發表研究成果。”如果科學家既能改進蘋果產品又能在某些領域取得突破，那當然是再好不過的事，但是埃迪·庫表示：“我們對最終結果充滿期待，這種期待推動我們前進。”

收購人才

在機器學習方面，蘋果的一些人才是收購而來的。埃迪·庫說：“一年之內我們收購了20-30家公司，它們的規模相對較小，收購的真正目的是為了人才。”費德里吉稱：“當蘋果收購AI公司，它肯定會有大量的機器學習研究員，我們并非純粹為了擴充數量。我們真正需要的是專注于提供絕佳體驗的人才。”

最近，蘋果收購了Turi，這是一家位于西雅圖的企業，蘋果花了2億美元買下它。Turi開發了一套機器學習工具，人們將它與谷歌TensorFlow類比，有人于是猜測，蘋果的目的可能和谷歌是一樣的，它會將工具用于企業內部，也會給開發者使用。蘋果高管既沒有肯定，也沒有否定。埃迪·庫只是說：“可以肯定的是從技術角度和個人角度看Turi與蘋果很匹配。”再過1年或者2年我們就許就能看見成果了。

不管人才來自何處，蘋果的AI技術都可以幫助公司開發以前開發不了的產品和功能。AI還改變了公司的產品藍圖。席勒說：“目前的蘋果超酷創意層出不窮，有些創意放在幾年前我們只能駁回，現在有了機器學習就可以通過了。當我們決定接下來應該做什么產品時，機器學習會成為決策的依據。”

搭配 iPad Pro銷售的Apple Pencil就是一個好例子。蘋果希望打造一支高科技手寫筆，要達成目標必須解決一個難題：當用戶在設備上書寫時，手掌底部難免會碰到屏幕，導致一些數字功能失常。蘋果開發了一個“防手掌誤觸”機器學習模型，讓它自動識別滑動、觸摸、手寫筆輸入的差異，從而提高精準度。費德里吉說：“如果手寫筆不夠完美，我們就不能將iPad當成可以流暢書寫的紙，Pencil也不會成為一款好產品。”如果你喜歡Pencil，應該感謝機器學習。

最開始時，Siri只是DARPA的一個智能助手項目，后來獨立成一家小公司，它用相同的技術開發了一款應用。2010年，喬布斯親自出馬，說服企業創始人賣身蘋果，然后將Siri與操作系統整合。2011年10月，蘋果發布iPhone 4S，Siri成為主打技術。最開始時，用戶可以長按Home鍵喚醒Siri，也可以對著手機說“Hey Siri”激活功能。現在Siri已經進化，它已經融入到Apple Brain，即使沒有說話時也在收集信息。

作為一款核心產品，埃迪·庫認為Siri有四大組成部分：語音識別，理解用戶何時與產品對話；理解自然語言，抓住說話的意思；執行，滿足一系列的查詢；回應，用語音回復。埃迪·庫稱：“機器學習對四大方面造成了重要影響。”

　　

Siri向神經網絡進化

蘋果收購Siri之后，湯姆·格魯伯（Tom Gruber）也隨同原公司一起加入了蘋果，他現在擔任Siri高級研發部門主管。格魯伯認為，在蘋果將神經網絡應用于Siri之前，大量用戶已經生成了海量數據，這些數據對于后來訓練神經網絡作用巨大。格魯伯表示：“喬布斯認為，不需要測試，一夜之間應用就可以從試點項目發展到擁有數百萬用戶的服務。突然之間就會有這么多的用戶，這些人會告訴你人們是如何與應用互動的。這是第一輪變革，接下來就輪到神經網絡了。”

Siri向前進化，用神經網絡處理語音識別，在演進的過程中一些新的AI專家參與進來，包括語音組主管亞歷克斯·阿塞羅（Alex Acero）。90年代初，阿塞羅曾在蘋果開發語音識別技術，后來又在微軟研究院工作多年。阿塞羅說：“我喜歡這項工作，發表了許多論文。看到Siri，我意識到它可以讓深度學習變成現實，可以讓幾百萬人使用它，不是幾百人。”換句話說，阿塞羅正是蘋果要尋找的科學家：他認為產品比發表論文更重要。

3年前，阿塞羅加入了蘋果，當時Siri使用的語音技術基本來自第三方授權，蘋果希望能改變這一現狀。費德里吉意識到蘋果在一種模式中不斷重復。他說：“隨著時間的推移，我們發現某項技術對核心產品的開發越來越重要，于是我們就會在內部自己開發，以求提升體驗。要開發偉大的產品，我們希望能在內部創新。語音識別是一個好例子。”

隨后，蘋果團隊開始訓練神經網絡，用它替代Siri舊技術。阿塞羅說：“我們擁有龐大的GPU集群，它們不停運轉。我們輸入了大量數據。”2014年蘋果發布了產品，努力沒有白費。

阿塞羅說：“在所有的語言類別中，錯誤率降低了一倍或者兩倍，在許多情況下更高。之所以會有如此大的進步，主要歸功于深度學習以及我們優化技術的方式，不只是算法，還包括開發產品的整個過程。”

在識音識別應用中，蘋果不是第一家采用深度神經網絡技術的企業，但是蘋果告訴我們：控制整個傳輸系統可以形成優勢。阿塞羅稱，因為芯片是蘋果自己設計的，他可以與芯片設計團隊、與編寫固件（為設備編寫）的工程師攜手合作，將神經網絡的性能提升到最大水平。Siri團隊的需求甚至還影響了iPhone的設計。

費德里吉說：“不僅僅與芯片有關，還與設備中安裝的麥克風數量有關，與安裝的位置有關。調整硬件、處理音頻的軟件棧，這些全都有關。有的企業開發完軟件，對接下來的事情無法控制，我們的模式相比而言優勢巨大。”

　　

這樣做還有另一個優勢：當蘋果神經網絡在一款產品上可以運行，它就可以變成核心技術為另一個目的服務。例如，幫助Siri提高理解能力的機器學習算法可以成為“引擎”，用來處理口述信息，避開手寫輸入。

埃迪·庫還說到，Siri的第二個重要部分就是“理解自然語言”。2014年11月，Siri開始用機器學習理解用戶意圖。

在蘋果看來，如果沒有Siri技術就不會開發出新版Apple TV，后者也支持語音控制功能。早期的Siri要求用戶說話時表述必須清楚，后來推出的強化版Siri聰明多了。IOS 10將于今年秋天發布，Siri的語音成為第四個需要被機器學習轉變的組成部分。這一次，深度神經網絡上位，原來的授權技術退位。Siri的聲音來自一個語音中心收集的數據庫，每一句話都是語音段拼接的。機器學習技術讓語音平滑流暢，讓聽覺效果更接近真人。

雖然只是小細節，但更真實的聲音能讓Siri變得大不相同。格魯伯認為：“聲音質量提高了，用戶會更加信任Siri。更好的語音更加吸引人，用戶使用頻率也會提高。”

有些人評論說，蘋果Siri的合作伙伴只有兩位數，外部開發者幫助亞馬遜Alexa開發了1000多項技術。蘋果認為將兩者對比并沒有意義，亞馬遜用戶要用特定指令獲得各種功能，蘋果Siri與服務結合時更加自然。

保護用戶隱私

事實上，蘋果采用機器學習最大的阻力在于，如何讓公司成功守住保護用戶隱私的原則。不論是員工，還是蘋果的律師，任何人都不能獲取用戶的私人信息，就是拿了搜查令的FBI都不行。這可以說是蘋果的一大賣點，他們為了諂媚廣告公司，搜集和出售用戶的私人信息。

雖然，尊重隱私這個原則非常令人敬佩，由于在這一問題上的嚴謹性，蘋果似乎很難吸引到AI人才幫助公司發展。一位蘋果的前雇員表示：“機器學習專家需要的是數據，但由于蘋果尊重隱私的立場，蘋果在這場競爭中，可以說是把一只手綁在后背戰斗。你可能覺得這么做不合理，但這也為蘋果贏得了鐵桿粉的贊譽。”而這位大約喜歡看功夫片的蘋果前雇員，現在在一家主攻AI的公司供職。

事實上，這一觀點遭到了蘋果公司高層的強烈質疑。他們認為，完全可以不采用用戶云端存儲的內容，或實時監測用戶信息，就可以獲得足夠的數據來實現可靠的機器學習。費德里吉表示：“這事兒不對，不應該進行這樣的取舍。我們尊重用戶隱私，這樣的行為是偉大的。此外，為了讓我們的用戶遍布各地，我們很愿意為行業競爭者們展示一條新的通往機器學習的航線。”

機器學習涉及兩件很重要的事情：首先，就是基于機器學習的系統中的個人信息的問題，在了解到用戶行為之后，神經網絡會自發的決定如何對這些信息進行處理；其次，這也關乎相關信息的搜集對神經網絡識別行為的訓練方式。現在問題來了，你要怎么在不收集用戶個人信息的前提下完成這兩件事？

蘋果稱，它已經有了答案。埃迪·庫表示：“很多人堅信沒有數據，我們就不能做AI，但是我們已經找到了辦法，技能保持隱私保護原則，又能進行數據獲取。這是底線。”

針對第一個問題，也就是保護個人喜好和信息的神經網絡識別，蘋果采用了軟、硬件分別獨立控制的方法。簡單的說，幾乎所有的個人信息都將存儲在私人配備的蘋果之腦（Apple Brain）。費德里吉表示：“對于最敏感的內容，我們會把這部分涉及的機器學習算法嵌入到本地設備。”費德里吉舉了個案例，一個針對app的建議：當你向右滑狀態欄是出現的圖標。理想的狀態下，他們是想讓你打開想要打開的一個app，但這需要基于一系列的因素，涉及大量用戶行為，無關別人，是很個性化的。費德里吉表示，有90%的情況系統能為人們推薦他們想要的app，這都是在個人的手機端完成的。

蘋果在設備存儲的其他信息，還包括蘋果認為可能最為私人的一些數據：使用標準的iPhone QuickType鍵盤鍵入的文字。神經網路訓練體系將在你打字的時候檢測相關事件和項目，比如航班信息、聯系人、約會等，但這些內容都將只保留在你的手機上。即便是蘋果云端保存的備份文件，都不會顯示詳細內容。。費德里吉表示：“我們不想讓蘋果服務器存儲這些信息，這只是一個公司，不需要知道你有什么習慣，或者你要到什么地方去。”

此外，蘋果還打算盡量減少信息存儲量。費德里吉提到一個例子，當你正在聊天，或者正在進行潛在的關鍵詞搜索，別的公司可能需要所有的相關內容和項目，來進行標識，但蘋果公司只需要檢測個人設備端的數據就可以了（而這只需要依賴于那個200兆字節的“大腦”）。

費德里吉表示：“這是一個緊湊，但是全面的信息庫，包括數以萬計的定位和內容。我們對它進行本地化，因為我們知道你在哪里。這個信息庫將被用于所有的蘋果app，包括Spotlight search、Maps和Safari等。它幫助我們進行自我修正，并在后臺持續運行。”

　　

Craig Federighi和Alex Acero

用網上信息訓練神經網絡

現在來談第二個問題。蘋果想進機器學習的圈子，還面臨著另一阻礙：由于隱私保護原則，無法獲取足夠龐大的數據庫，來進行訓練，提高機器學習算法的準確性。如果蘋果不抽取它所有的用戶群信息，它應該如何建立龐大的數據庫？辦法跟別的公司一樣：利用網上公開的信息，比如利用公開相片進行圖像識別訓練。真正的問題在于，當蘋果需要更有針對性的算法訓練時，它需要獲取最近的，更具體的用戶信息，這只能來自于它的用戶群。蘋果目前的做法是，匿名獲取信息，隨機標定數字ID。

從iOS 10開始，蘋果還將聘請相對新的技術，Differential Privacy，針對用戶信息來源不明確的情況，用于更新流行語，進行相關答案檢索，推薦熱門表情等。費德里吉表示：“現在行業里普遍采用的方式是，當你鍵入字符，數據就會被傳送到服務器上，然后通過網絡檢索相關或有趣的內容，再傳回個人設備；而我們打算做的是，將這個功能做成一個大規模應用的東西，擴展到10億用戶群。”

費德里吉稱：“我們是幾年前開始這項工作的，即實際規模化。這很瘋狂，而且還很私人。蘋果做了很重要的工作，對整個世界都很有價值。它正讓科學家們的論文變成現實。”費德里吉還描述了一個系統，涉及虛擬拋硬幣和加密協議。大體上，它是對一些數據加入數學噪聲，因此，蘋果公司可以檢測使用模式，而不識別個人用戶。

顯然，機器學習正在改變著蘋果的產品，雖然我們還不知道它會不會改變蘋果的“本心”。從某種意義上來說，機器學習似乎本來就跟蘋果是一條路子的。蘋果一直很小心的關注用戶體驗，擅長各種傳感，預先設計，精確編碼。而工程師設計機器學習的時候，想做的是讓它自己進行修正，發現解決方案。這樣看來，不停吸收反饋，進行產品調整的蘋果公司似乎就是一個機器學習體系。

費德里吉稱：“這也涉及一個主要的內部爭議。我們習慣于想的多，想周到這樣的經驗，我們控制系統與用戶交流的維度。然而當你訓練一個面向人類行為，基于大型數據庫的系統，你不知道它最終會走向什么。我們無法控制結果，一切來源于數據。”

　　

Tom Gruber和Alex Acero

席勒表示，蘋果不會回頭。“雖然這些技術會影響到你的設計過程，但終有一天，我們都將使用它們，因為它們能夠提供高質量的產品。”

關鍵的是，蘋果可能并不會聲明自己把全部身家押在機器學習上，但公司將盡可能用其來改善自己產品。手機里面那個“腦子”就是最好的證明。

席勒還說：“典型客戶正在體驗日常級別的深度學習，這表達了他們對蘋果產品的熱愛。令人激動的是，一開始你沒什么感覺，當你第三次看到它運行的時候，你會訝異于，這是怎么辦到的。”

＊＊＊＊＊＊

智東西－智能行業新銳媒體，只報道VR/AR；AI/機器人/無人機；智能汽車/智能出行；智能家具/物聯網；智能穿戴/智能醫療這5個領域的事。

關注智東西公眾號（zhidxcom），即時了解五大前沿科技行業最新消息。