A/B 分類測試

A/B分類測試使得網(wǎng)站可以通過比較同一網(wǎng)頁的不同設(shè)計，來決定其中哪些設(shè)計將產(chǎn)生最好的結(jié)果。在A/B測試中用到的指標(biāo)是微觀和宏觀的轉(zhuǎn)化率。隨著那些不需要太多開發(fā)協(xié)助和技術(shù)資源就能運作A/B測試的工具的出現(xiàn)，A/B測試已經(jīng)變得愈加常見。這個方法本在市場營銷從業(yè)者中有著很穩(wěn)的立腳點，而因為成本相對較低，它也正在越來越廣泛地被用戶體驗設(shè)計師們所運用。許多大型電子商務(wù)網(wǎng)站如谷歌及亞馬遜都以“總在測試中”而著稱－－他們在任何適合都同時進行著多組A/B測試。

（來自Netflix分享ppt）

無用輸入，無用輸出（GIGO）

使用得恰當(dāng)時，A/B測試是一個非常強大的工具。然而以下三種情形下的A/B測試還是會有潛在的問題：

1）當(dāng)所要測試的設(shè)計元素并沒有很好地提現(xiàn)設(shè)計意圖。

糟糕的設(shè)計會導(dǎo)致糟糕的轉(zhuǎn)換率 - 這很顯而易見。但是，每個設(shè)計都是一個產(chǎn)品概念的后續(xù)執(zhí)行，因而通過設(shè)計的實施來評判一個產(chǎn)品概念本身的優(yōu)劣是很可笑的。通常要經(jīng)過許多次設(shè)計嘗試才能充分地體現(xiàn)出真正的設(shè)計意圖。

比如說，你可以認(rèn)為理論來說，增加對某一選項的說明會增加其被選擇的可能性，然而如果這條描述表達得像一則廣告，用戶就可能會無視。這個增加選項的說明的設(shè)計意圖是對的，但其表達形式卻是錯的。因此設(shè)計意圖和設(shè)計結(jié)果的偏差可能會是致命的。

當(dāng)設(shè)計元素本身并不能告訴你問題的源頭在哪。對問題起因的錯誤推測，也會讓你在錯誤的設(shè)計元素上浪費時間，因為該元素卻并非是該問題背后真正的原因。即便修改這個設(shè)計元素也不能真正解決問題，因為你的切入點一開始就錯了。比如，你可能猜測一個貸款申請?zhí)峤晦D(zhuǎn)化率低是因為流程的頁面太多了，所以你把它濃縮到一個頁面里，但是你仍看不到任何轉(zhuǎn)化率的提升。你忽略的是，用戶真正的問題是找不到貸款利率，而他們點進申請頁面其實是為了找貸款利率。

2）當(dāng)設(shè)計只是設(shè)計者的主觀猜想。

使用A/B測試時你只能從已提供的設(shè)計選項中找到最佳的那個。如果這些選項是基于主觀經(jīng)驗和意見的話，誰又能說這個測試包含了最優(yōu)的設(shè)計呢？

3）這些A/B測試實驗過程當(dāng)中的瑕疵可以通過用戶研究來減少。

即使只實施了些許的用戶研究，我們?nèi)阅塬@取一些極其寶貴的有關(guān)于轉(zhuǎn)化率問題的潛在原因的線索。

發(fā)現(xiàn)真正原因，定義更好的設(shè)計

發(fā)現(xiàn)（造成轉(zhuǎn)化率低的）真正原因，定義更好的（用于測試的）設(shè)計。

“實驗可以證實一個理論，但實驗永遠無法創(chuàng)造出一個理論。 ? ” － 愛因斯坦

要保證A/B測試執(zhí)行得好，需要定義以下這幾步：

你可以先集中全部精力建立一套致因體系，并羅列設(shè)計元素的可能性，然后用A/B方法把他們?nèi)繙y試一遍：這是最直接了當(dāng)卻不免有一些魯莽的方法。不經(jīng)深思熟慮的 A/B測試等同于把想法往墻上扔然后看哪個能黏住。不幸的是，你做不起這樣的測試：這樣大規(guī)模地測試會增大用戶放棄操作的幾率，并且使總體驗變糟糕。當(dāng)你等著從大量A/B測試像抽中彩票一樣找到最好的方案，用戶可能已經(jīng)轉(zhuǎn)而使用了他們第二選擇的產(chǎn)品。他們可能最終認(rèn)定你的網(wǎng)站是失敗的，以后再也不來了。你需要縮小假設(shè)的數(shù)量范圍，并且小心謹(jǐn)慎、高效地部署你的A/B測試；為達到此目的，我們推薦使用用戶研究的方法。

提升最優(yōu)化測試的用戶體驗研究方法

1）定義用戶意圖和可能反對的理由

理解人們?yōu)楹卧L問、是否能成功訪問、和他們?yōu)楹螘x開，是相當(dāng)重要的。如果你錯誤地假設(shè)了人們訪問網(wǎng)站的原因，那么你的起因理論和設(shè)計假設(shè)將不能夠反應(yīng)用戶感知該環(huán)境的真實情況。沒有做過調(diào)查就對用戶離開的原因做假設(shè)是很危險的。舉個例子，假定你假設(shè)訪問者沒有做意想中的操作（買單）是因為價格太高，你于是將價格降低，邊際利潤就受到了打擊。如果人們真正不買賬的原因不是價格，而是他們不理解你提供的服務(wù)所解決的需求是什么，那么你就大錯特錯了。

讓我們來看看Netflix是怎么做的：

Netflix就做了一個很有趣的A/B測試來了解影響轉(zhuǎn)化率的因素。Netflix的主頁上展示了大量的影視作品，然而不同用戶所看到的是不一樣的。作為其A/B測試的一部分，這是該公司對用戶提供的個性化推薦。然而，不僅如此，Netflix更對看到同一個影視產(chǎn)品推薦的用戶進行了分批測試。他們讓視覺設(shè)計師重新設(shè)計了不同版本的影視劇海報，并將這一變量用于A/B測試。得到的結(jié)果是，即便是同一個作品，不同的海報仍會造成不同的轉(zhuǎn)化率。這就印證了造成用戶離開或點擊的理由是多樣化的。因此不要局限于那些明顯的理由，而要深掘用戶可能關(guān)注的點。有時候用戶說的不一定是他們所做的，所以往往觀察比問卷調(diào)查能提供更為真實的用戶使用傾向。

（圖片來自Netflix博客）

（圖片來自Netflix博客；右上的兩張標(biāo)注的圖片顯著地提高了轉(zhuǎn)化率）

2）發(fā)現(xiàn)界面的缺陷

如果你忽視了重大的可用性問題，比如讓人難以理解的交互流程，或容易造成誤解的微交互，那么你可能不會從不斷的A/B測試中獲得轉(zhuǎn)化率的提升，因為你的設(shè)計并沒有應(yīng)對問題的根源。舉個例子：如果你提供的填空題中有幾項要求的信息是用戶不方便或不愿意提供的，那么僅僅靠更改提交按鍵的顏色來做A/B測試是不會有效提升轉(zhuǎn)化率的，反而是浪費力氣。理解低轉(zhuǎn)化率的真正原因才是執(zhí)行智慧、成功的測試的關(guān)鍵。

如何發(fā)掘界面的缺陷：可用性測試（遠程主持或免主持，或當(dāng)面）可以快速進行并可在五個左右用戶的幫助下就揭露網(wǎng)站近85%的重大缺陷。

3）衡量網(wǎng)站的可尋性

測試導(dǎo)航標(biāo)簽和菜單設(shè)計能披露可尋性的問題。但是，糟糕的可尋性可以并且應(yīng)該在實施A/B測試之前就確認(rèn)，這直接影響了信息架構(gòu)和站內(nèi)導(dǎo)航。

如何衡量可尋性：樹圖測試可以在不影響任何界面設(shè)計的情況下測量一個已有的或設(shè)定的信息架構(gòu)。樹圖測試會告訴你標(biāo)簽、鏈接分組、頁面層級及命名系統(tǒng)是否直觀。如果你在糾結(jié)如何命名網(wǎng)站中的區(qū)塊、頁面、鏈接以及標(biāo)簽，樹形測試能幫你找出最有問題的命名，并幫你設(shè)計出能改善可尋性的新標(biāo)簽。樹圖測試可以用Optimal Workshop開發(fā)的Treejack這樣的工具進行，它生成可用于測試信息架構(gòu)的任務(wù)。

3）測試前先”鋪好路”

最簡單的方法，就是開始在A/B測試前，先把那些可能會影響用戶操作的絆腳石解決掉。一般幾個小時的測試即能揭露幾乎所有你網(wǎng)站上特別糟糕的設(shè)計。更為復(fù)雜和完善的用戶研究當(dāng)然益處更多，但不要忽視了最基本的審查清理工作。對A/B測試而言，你當(dāng)然希望所要測試的目標(biāo)元素不會受到其它可用性問題的干擾，而是能被用戶更好的體驗到。所以開始測試前先做一次“路障清理”吧。

結(jié)語

結(jié)合不同方法最大化轉(zhuǎn)化率。

A/B測試是一個絕妙的工具，卻時常不幸被誤用。如果用A/B測試替代用戶研究，那么測試中的設(shè)計選項本質(zhì)上只是主觀猜測。你可以通過結(jié)合用戶研究來更精準(zhǔn)的找到問題起因、提出更符合現(xiàn)實的假設(shè)，從而為更好的測試結(jié)果提供更大的可能。

英文原文：Jennifer Cardello, Define Stronger A/B Test Variations Through UX Research.

原文地址：https://www.nngroup.com/articles/ab-testing-and-ux-research/

本文由@點融黑幫（ID：DianrongMafia）原創(chuàng)發(fā)布于產(chǎn)品壹佰，未經(jīng)許可，禁止轉(zhuǎn)載。