本文轉(zhuǎn)載自? ResysChina ，作者? @clickstone ，極客公園已獲得轉(zhuǎn)載授權(quán)。

---

亞馬遜在業(yè)內(nèi)有「推薦系統(tǒng)之王」之稱(chēng)，亞馬遜有 35% 的銷(xiāo)售額是與推薦系統(tǒng)相關(guān)的 [1]。但是最近，微軟的研究員 Amit Sharma 發(fā)表了一篇 paper《Estimating the causal impact of recommendation systems from observational data》[2]，對(duì)這個(gè)事情提出了質(zhì)疑。這篇論文分析了 Amazon 上 4000 種不同商品的相關(guān)數(shù)據(jù)，認(rèn)為與我們通常歸因于推薦系統(tǒng)的點(diǎn)擊次數(shù)相比，實(shí)際上僅有四分之一真正是由推薦系統(tǒng)引起的，其他四分之三和推薦并沒(méi)有關(guān)系。

論文里舉了一個(gè)例子，如下圖左圖，大家主要看一下紅圈標(biāo)明的地方，這是 Amazon 的單品頁(yè)上非常重要的一個(gè)推薦位「Frequently Bought Together / 經(jīng)常一起購(gòu)買(mǎi)的商品」。冬天來(lái)了，小明想買(mǎi)一頂帽子御寒，他在 Amazon 上看中了圖中的這頂帽子，這個(gè)時(shí)候 Amazon 向小明推薦說(shuō)，買(mǎi)這頂帽子的人通常還會(huì)買(mǎi)紅圈里的那副手套，而恰好小明也需要一副手套，所以就一起下單了。例子中手套的銷(xiāo)售通常被認(rèn)為是推薦系統(tǒng)的作用。

而論文作者的觀點(diǎn)是，即使沒(méi)有推薦，如上圖右圖，小明因?yàn)橛男枰粯訒?huì)尋找并購(gòu)買(mǎi)一副手套，因此這種購(gòu)買(mǎi)不應(yīng)該計(jì)入推薦系統(tǒng)。作者把沒(méi)有推薦系統(tǒng)就不會(huì)發(fā)生的點(diǎn)擊稱(chēng)為「因果性點(diǎn)擊」，而把上例中小明購(gòu)買(mǎi)手套的點(diǎn)擊成為「便利性點(diǎn)擊」——有沒(méi)有推薦系統(tǒng)手套的購(gòu)買(mǎi)都會(huì)發(fā)生，推薦系統(tǒng)僅僅是帶來(lái)了「便利性」。論文試圖用實(shí)驗(yàn)的方法來(lái)證明，推薦系統(tǒng)帶來(lái)的絕大部分點(diǎn)擊都是這種「便利性點(diǎn)擊」，因此推薦系統(tǒng)的價(jià)值很大程度上被高估了。

為了干這個(gè)事情，論文作者發(fā)明了一種稱(chēng)為「Shock-IV」的測(cè)量方法。論文的實(shí)驗(yàn)數(shù)據(jù)來(lái)自于 Bing 工具條用戶的真實(shí)訪問(wèn)日志，包括了 210 萬(wàn)匿名用戶在 2013-14 年間的 9 個(gè)月時(shí)間內(nèi)對(duì) Amazon 上 140 萬(wàn)商品的訪問(wèn)記錄，并以推薦系統(tǒng)中最最常見(jiàn)的推薦形態(tài)「Customers who bought this also bought / 買(mǎi)了還買(mǎi)」作為評(píng)價(jià)目標(biāo)。具體的細(xì)節(jié)我這里略去不表了，有興趣的同學(xué)可以自己去讀一下 paper。論文的結(jié)果如下圖。

圖中顯示了使用 Shock-IV 方法得到的因果性點(diǎn)擊率（CTR）的估計(jì)值（綠色曲線），同時(shí)為了對(duì)比，還給出了把便利性點(diǎn)擊計(jì)算在內(nèi)的推薦系統(tǒng)點(diǎn)擊率（紅色虛線）。可以看到，例如書(shū)這個(gè)品類(lèi)，因果性點(diǎn)擊率只有 5%，而我們通常認(rèn)為 10% 以上點(diǎn)擊是來(lái)自于推薦系統(tǒng)。對(duì)于不同的商品類(lèi)別，相比于推薦系統(tǒng)真實(shí)有效的點(diǎn)擊，即因果性點(diǎn)擊，我們通常會(huì)高估了 200％ 的推薦效果。接下來(lái)是論文的常見(jiàn)套路之列舉不足，然后給出了結(jié)論，他們使用的 Shock-IV 這套實(shí)驗(yàn)方法是相當(dāng) data-driven 的，有很大的應(yīng)用價(jià)值應(yīng)該推而廣之。

有人把這個(gè)實(shí)驗(yàn)結(jié)果 po 到了 Quora 上 [3]，結(jié)果推薦領(lǐng)域的大神 Xavier Amatriain 怒了。

熟悉推薦領(lǐng)域的人想必都知道 Xavier 的大名，他上一份工作是 Netflix 推薦團(tuán)隊(duì)的負(fù)責(zé)人，現(xiàn)在是 Quora 的工程 VP。Xavier 之所以對(duì)這篇論文很不滿，一個(gè)重要的原因是他認(rèn)為原論文的作者是在他們領(lǐng)域里受到尊重的研究人員，而這篇論文本身卻既不嚴(yán)謹(jǐn)又缺乏行業(yè)認(rèn)知，大牌研究人員發(fā)布不靠譜的結(jié)論，誤導(dǎo)性非常大，因此他有必要站出來(lái)?yè)軄y反正。

針對(duì)前文中「帽子-手套」的例子，Xavier 認(rèn)為原論文提出的問(wèn)題——如果沒(méi)有推薦用戶會(huì)怎么做——是毫無(wú)意義的。在沒(méi)有推薦的時(shí)候，用戶會(huì)有兩個(gè)選擇：1）自主選擇其他一副手套；2）拋棄你的服務(wù)，去別的地方。實(shí)際上，第二個(gè)選擇是非常值得關(guān)注的，且與原論文的另一大缺陷相關(guān)：僅是簡(jiǎn)單地使用 CTR 來(lái)評(píng)估推薦系統(tǒng)。一個(gè)推薦系統(tǒng)的好壞不僅僅取決于有一個(gè)更好或更壞的 CTR，非常重要的一點(diǎn)是，它有助于減輕用戶尋找到「正確選擇」的負(fù)擔(dān)。假設(shè)兩個(gè)網(wǎng)站 A 和 B，在網(wǎng)站 A 里用戶 3 秒內(nèi)就找到了他想要的東西，而在網(wǎng)站 B 需要 3 分鐘，那么顯而易見(jiàn)地用戶會(huì)更經(jīng)常使用 A 網(wǎng)站。換句話說(shuō)，推薦系統(tǒng)帶來(lái)的不僅僅是簡(jiǎn)單的點(diǎn)擊，更重要的是讓用戶「重復(fù)使用」。

原論文中對(duì)「推薦」的定義太過(guò)狹隘，暫且不說(shuō)現(xiàn)如今很多搜索結(jié)果都是個(gè)性化過(guò)的，像 Amazon 這樣的網(wǎng)站，推薦幾乎已經(jīng)無(wú)所不在了。而「便利性點(diǎn)擊」恰恰正是推薦系統(tǒng)所追求的目標(biāo)之一。推薦系統(tǒng)讓用戶生活更容易、更便利，從長(zhǎng)期上看，用戶因此會(huì)購(gòu)買(mǎi)更多商品，或者對(duì)服務(wù)的滿意度更高。所以從實(shí)踐意義上看，原論文定義的問(wèn)題根本就是個(gè)杯具。當(dāng)我們使用 A/B 測(cè)試衡量一個(gè)推薦系統(tǒng)的效果時(shí)，我們更加看中的是推薦是否讓用戶「爽」了，用戶使用服務(wù)爽了，就會(huì)帶來(lái)更多的活躍與營(yíng)收。「便利性」不是給推薦系統(tǒng)添亂，它是使用推薦系統(tǒng)應(yīng)該具備的固有益處。

另外，原論文中說(shuō)因?yàn)閿?shù)據(jù)層面的限制他們做不了在線的 A/B 測(cè)試，很多人很多場(chǎng)景也都做不了，因此它們提出的 Shock-IV 可以作為推薦系統(tǒng) A/B 測(cè)試的一種替代方案。Xavier 的意思是，你們別鬧了，并給出了他之前在前東家 Netflix 的一個(gè)案例，在「 Netflix 推薦系統(tǒng)的最新解讀：算法、商業(yè)價(jià)值與創(chuàng)新 」一文中，Netflix 發(fā)現(xiàn)個(gè)性化技術(shù)可以顯著提高推薦影片的被接受度（Take-Rate），即推薦給用戶的影片真正被播放的比率。Netflix 做了一個(gè)對(duì)比分析，見(jiàn)下圖，黑色線是基于熱門(mén)度的曲線，紅色線是基于個(gè)性化 PVR（Personalized Video Ranker）指標(biāo)的曲線，個(gè)性化推薦使得接受度有了巨大的提升。而且除此之外，比接受度提高更有意義的是，優(yōu)秀的推薦技術(shù)使得用戶的參與度（觀看時(shí)長(zhǎng)）與退訂率都受益匪淺。Netflix 的月退訂率很低（很小的個(gè)位數(shù)百分比），大部分是因?yàn)橹Ц兜膯?wèn)題，真正主動(dòng)選擇退訂的非常少。通過(guò)在個(gè)性化推薦領(lǐng)域的多年耕耘，月退訂率得以降低了可觀的百分比。月退訂率的降低，一來(lái)有效延長(zhǎng)了會(huì)員的付費(fèi)存續(xù)期，二來(lái)也降低了為彌補(bǔ)流失用戶所要付出的成本。

Xavier 列舉了他認(rèn)為原論文中的不妥之處，包括：

• 實(shí)驗(yàn)的設(shè)定根本就是錯(cuò)的；
• 對(duì)于推薦系統(tǒng)工作方式的假設(shè)也是錯(cuò)的；
• 核心概念的定義過(guò)于苛刻，與應(yīng)用的現(xiàn)實(shí)場(chǎng)景脫節(jié)；
• 實(shí)驗(yàn)受到了這么多的假設(shè)和約束，但沒(méi)有發(fā)現(xiàn)這些限制有任何好處；
• 由于實(shí)驗(yàn)方法的這些限制，需要仔細(xì)考慮實(shí)驗(yàn)結(jié)果的局限性；
• 最后得到的實(shí)驗(yàn)結(jié)果，并沒(méi)有與任何公認(rèn)的結(jié)果進(jìn)行對(duì)比。

在 Quora 的回答里，Xavier 圍繞這些問(wèn)題一一進(jìn)行了反駁，內(nèi)容很長(zhǎng)，建議大家去仔細(xì)讀一讀原答案，對(duì)大家學(xué)習(xí)理解推薦系統(tǒng)會(huì)非常有幫助。

其實(shí)關(guān)于如何評(píng)價(jià)推薦系統(tǒng)的作用，很早以前在 ResysChina 論壇里同學(xué)們也有過(guò)很多的討論。比如，如果以 CTR 為考核指標(biāo)，把豆瓣電影單品頁(yè)中「喜歡這部電影的人也喜歡」這部分換成推薦熱門(mén)電影，這樣這部分的點(diǎn)擊率會(huì)提高很多。但如果考察用戶點(diǎn)擊的深度，即點(diǎn)擊了推薦項(xiàng)之后又繼續(xù)沿此路徑發(fā)生了多少次點(diǎn)擊，推薦系統(tǒng)給出的結(jié)果就要遠(yuǎn)超熱門(mén)結(jié)果了。所以推薦系統(tǒng)從長(zhǎng)期用戶價(jià)值來(lái)看更有用處。

Amazon 對(duì)待推薦系統(tǒng)價(jià)值的認(rèn)知，《一鍵下單》書(shū)中有一段 Amazon 創(chuàng)始人貝索斯自己對(duì)它的評(píng)價(jià)：

我想我們能做的就是利用先進(jìn)技術(shù)，例如聯(lián)合過(guò)濾（推薦系統(tǒng)最經(jīng)典的算法）以及其他技術(shù)來(lái)加快找書(shū)速度。打個(gè)比方，如果你今天走進(jìn)一家書(shū)店，發(fā)現(xiàn)一本讓你靈魂出竅的書(shū)的可能性是 1/1000，我們想利用技術(shù)來(lái)了解你本人，并使這種機(jī)會(huì)增加到 1/300，然后是 1/100。經(jīng)過(guò)幾年的努力以后，使這個(gè)概率變成 1/50，等等。這將為人們創(chuàng)造巨大的價(jià)值。再偉大的商人也沒(méi)有機(jī)會(huì)逐個(gè)地了解他們的顧客，而電子商務(wù)要使這成為可能。

而且貝索斯還曾拿推薦系統(tǒng)作為武器來(lái)制衡供應(yīng)商，《一網(wǎng)打盡》中提到過(guò)這個(gè)事情：

亞馬遜在和大型出版商談判的時(shí)候，就會(huì)使用他們的「推薦系統(tǒng)」作為殺手锏。如果出版商沒(méi)有達(dá)到他們的要求，亞馬遜就威脅將他們的書(shū)從人機(jī)自動(dòng)化推薦系統(tǒng)中撤下，這也就意味著他們將不會(huì)向客戶推薦這本書(shū)。最開(kāi)始出版商根本不知道亞馬遜這樣做會(huì)有什么效果，他們大多數(shù)人不知道他們銷(xiāo)售額增長(zhǎng)的原因正是因?yàn)樗麄兲幱陲@眼的推薦位置。亞馬遜通過(guò)這種方法來(lái)展示其強(qiáng)大的市場(chǎng)力量。如果一家出版商不妥協(xié)，亞馬遜就會(huì)關(guān)閉推薦其書(shū)目的算法，出版商的銷(xiāo)售額一般會(huì)下降 40%。然后，通常 30 天左右出版商就會(huì)回過(guò)頭來(lái)說(shuō)，「哎喲，我們?cè)趺醋鲞@項(xiàng)工作？」

這個(gè)故事也從側(cè)面印證了原論文的假設(shè)是多么不靠譜。簡(jiǎn)單講，這篇被批判的 paper 最大的問(wèn)題之一，就是把推薦僅當(dāng)做「買(mǎi)了還買(mǎi)」這么一項(xiàng)功能來(lái)看，推薦系統(tǒng)現(xiàn)在絕不僅僅是一個(gè)算法或者一項(xiàng)功能了，它承載著傳遞用戶價(jià)值的重大作用。

最后，關(guān)于「買(mǎi)了還買(mǎi)」這個(gè)推薦領(lǐng)域的經(jīng)典應(yīng)用，在 Greg Linden 的《Early Amazon》[4] 也里有過(guò)相關(guān)的內(nèi)容，推薦給大家：

亞馬遜有一個(gè)廣為人知的功能，「買(mǎi)過(guò)某本書(shū)的顧客還買(mǎi)過(guò)」。這是發(fā)現(xiàn)相關(guān)書(shū)籍的絕佳途徑。

在內(nèi)部，我們管這個(gè)功能叫做「相似推薦」。通過(guò)使用這個(gè)功能，不斷地從一本書(shū)跳轉(zhuǎn)到另一本書(shū)，叫做「相似推薦漫游」。

這個(gè)功能的第一版是一位叫做 Eric 的攻城獅開(kāi)發(fā)的，他很聰明，開(kāi)發(fā)經(jīng)驗(yàn)也很豐富。和 Eric 一起工作的感覺(jué)很棒，從他身上我學(xué)到了很多。

第一版的相似推薦功能非常受歡迎。但是它有一個(gè)問(wèn)題，即所謂的「哈利波特問(wèn)題」。

嗯，是的，就是那個(gè)哈利波特。哈利波特是那種老少通殺的暢銷(xiāo)書(shū)，孩子會(huì)買(mǎi)它，大人也會(huì)買(mǎi)它，所有人都會(huì)買(mǎi)它。

然后你可以任選一本書(shū)。當(dāng)你關(guān)注買(mǎi)了這本書(shū)的顧客還買(mǎi)過(guò)其他哪些書(shū)的時(shí)候，放心吧，其中的大多數(shù)顧客都買(mǎi)過(guò)哈利波特。

這種相似推薦是沒(méi)有太大用處的。你感受一下，當(dāng)你在瀏覽《The Psychology of Computer Programming》這本書(shū)的時(shí)候，給你推薦哈利波特是不是挺沒(méi)用的。如果能夠推薦《Peopleware》和《The Mythical Man Month》，就有用多了。

要解決這個(gè)問(wèn)題并不像乍看起來(lái)那么簡(jiǎn)單。有一些顯而易見(jiàn)的解決方案會(huì)帶來(lái)另外的問(wèn)題，其中一些甚至比哈利波特問(wèn)題本身還要嚴(yán)重。

通過(guò)大量的實(shí)驗(yàn)，我發(fā)明了一種新的相似推薦方法，工作得相當(dāng)不錯(cuò)。新方法給出的相似推薦，更新穎也更有幫助。而且與此同時(shí)，我還對(duì)程序性能做出了一些提升。整個(gè)過(guò)程非常有趣。

當(dāng)這個(gè)新版本的相似推薦功能上線之后，貝索斯沖入我的辦公室，跪倒在我面前，向我高呼，「你丫的酷斃了！你丫的酷斃了！」

我和我的小伙伴們都驚呆了，不知道該作何反應(yīng)，即使到現(xiàn)在回想起來(lái)，仍然會(huì)覺(jué)得手足無(wú)措。那一刻，永遠(yuǎn)地停留在了我的記憶中。

對(duì)《Early Amazon》全系列感興趣的，請(qǐng)關(guān)注 ResysChina 微信公眾號(hào)，回復(fù)「amazon」即可。

參考資料：

[1] https://www.quora.com/Was-Amazon-s-recommendation-engine-crucial-to-the-company-s-success

[2] https://medium.com/ @amit_sharma/how-much-traffic-do-recommender-systems-actually-cause-2e0c6708801f

[3] https://www.quora.com/What-do-Recommender-Systems-experts-think-of-the-Estimating-the-causal-impact-of-recommendation-systems-from-observational-data-paper

[4] http://glinden.blogspot.com/2006/03/early-amazon-similarities.html

頭圖來(lái)自? mashable