對於平台化產品，產品和運營一直在解決的核心價值問題就是——如何讓用戶用最快的速度找到並消費自己感興趣的、急切需要的、超越期待的好內容、好服務。每一次的產品優化都應該經過數據精確的衡量，A/B測試是一個提供決策數據的好方法。
A/B測試，簡單來說，就是為同一個目標制定兩個方案（比如兩個頁面），讓一部分用戶使用A方案，另一部分用戶使用B方案，記錄下用戶的使用情況，看哪個方案更符合設計。當前，A/B測試已經逐漸成為產品與運營檢測產品如何一步步提升留存和收入的重要方法。有效利用A/B測試，也可以快速告訴你多個方案中哪個方案更有效，省去你構築方案中遇到的種種麻煩。
不過，A/B測試根本不是互聯網行業的新發明。在流水線生產、快消領域，A/B測試早就證明了自己的價值，遠比大多數萬眾創業者“重新發明商業模式”的性價比要高。如果你還不相信，我們就來看一下，硅谷的產品是如何用A/B測試優化了業務的。
一、提高轉化率
我們以Frank&Oak為例，這是一家男裝電商，他們根據用戶個人興趣和操作行為，為用戶打造定制化推薦的購物體驗，這是他和其他電商網站相比的亮點。但是和國內的美麗說類似，只有注冊賬號、登錄app，才能夠獲得這種個性化體驗。
因為是否注冊登錄是用戶轉化的第一個關鍵步驟，Frank&Oak首先針對注冊流程優化進行了A/B測試。他們先嘗試改變了登錄模塊的位置、表單交互，之前他們的第三方登錄只支持facebook賬號。在這個版本他們想測試增加一個google賬號登錄，看看是否會提高注冊率，最終的測試改動如下圖：
通過A/B測試結果顯示，增加了google登陸按鈕之后，移動注冊量提高了150%。
雖然Frank&Oak只嘗試了幾次就獲得了巨大的成功，你可能需要調整很多次才能夠找到奏效的方法。下面是一些你可以用來測試登錄頁的着眼點，幫助你引導用戶從搜索商品到完成注冊。
- 對登錄行為進行漏斗模型分析
- 信息表單的填寫
- 文本和圖像的引導
- 更多的登錄方式
二、激活
當你的用戶完成注冊環節時，你需要去激活他們。商業上來說，這意味着促使用戶盡可能快去買東西。為了完成這個目標，研究顯示你需要在最開始的兩個流程內讓他們完成購買，不然很可能他們就再也不會回來了。
例如，Karmaloop在分析用戶激活數據的時候發現：先將物品放到了心願單的用戶比那些將物品放入購物車的用戶的完成購買率低。Karmaloop分析了這個情況以后做了一個嘗試：在設計上弱化“心願單”按鈕的存在感。
降低用戶與心願單之間的交互使得Karmaloop更好的抓住了用戶的購物意圖。這個簡單的測試提高了用戶活躍度，提升了35%的銷售額。有時候你不需要完全刪除一個功能，一些小小的改變就足以達到目標。
三、提高內容利用率
對於內容類網站和APP，推薦內容的壓力每天都在增加。尤其是花了大價錢在自制劇、購買版權、限時分成、保底買斷方面的視頻網站，他們最應該擔心的就是內容利用率過低——比如首頁和分類頁點擊率不足、比如用戶只能通過搜索才能找到好內容、比如內容訂閱率太低或者回訪率太低。一向自稱“我們是一家技術公司而不是電影公司”的NETFLIX在這方面稱得上業界良心，尤其是對首頁的有效利用堪稱一絕。
新用戶登錄時看到的NETFLIX首頁，推薦的內容是NETFLIX的常青王牌劇《紙牌屋》。
筆者第二次訪問時看到的NETFLIX首頁，首頁從常青劇換成了新劇《怪奇物語》，可以看到根據一些用戶習慣，下面的NETFLIX獨家內容開始出現了一些傾向。
別人的賬號里在同一天看到的首頁完全不同，看到的是脫力喜劇《福是全家福的福》。
切換為兒童賬號后：
未登錄之前的首頁，強調的是海量內容：
在成為以個性推薦知名的產品之前，NETFLIX深知，獲取用戶的信任不是一件簡單的事。
Netflix的工程師Gopla Krishnan在自己的博客上記錄道：一個產品功能或內容，如果無法在90秒之內獲取一個用戶的注意，用戶很可能就會失去興趣，並且轉向其他行為。這些問題如果反復發生，可能是因為我們沒有為用戶呈現正確的內容。如果回溯原因，則是因為我們沒有足夠的根據，證明用戶為何喜歡某一個內容，因此沒有用正確的思路去呈現內容。
於是Netflix在2013年做了一次大規模的A/B測試（實際上是A/B/N測試），看看圍繞同一部電影，他們是否能夠在海報上做些個性化文章，提高轉化率。
圖1是默認海報，圖2提高了14%的點擊率、圖3提高了6%。
NETLIX隨后開發了一個系統級方案，可以自動將節目圖片根據不同的寬高比、裁切效果、修飾程度、本土化元素等維度進行分組。他們把這套方案逐漸應用到越來越多的節目上，跟蹤相應的用戶點擊轉化率，以下是一些例子，綠色箭頭是用戶轉化率較高的內容：
四、經驗總結
1、為何要使用A/B testing
如果你給產品設計了一個新功能或新的運營手段，使用A/B測試可以幫你扭轉兩個關鍵指標：留存和收入。使用A/B測試，徹底改變產品，跟蹤用戶行為，你可以看到你的產品如何一步步提升留存和收入的。如果測試有效，就盡快放進基線版，做成標配。這種手段可以幫你持續優化產品和運營。
2、你的用戶是否按照你的設定在操作
我的經驗是，用戶在絕大多數時候都不會按你期望的方式操作，有時候他們連你精心推敲、放得好好的按鈕都找不到。個中原因很多：可能因為你的設計不夠直觀、顏色不夠突出、不理解某種操作、可交互的選擇太多無法決定從何下手……等等。
3、你的直覺准確嗎？
很遺憾，對於用戶行為來說，多數時候我們的直覺都是錯的。唯一能證明對錯的方式就是A/B測試。在用戶體驗領域，這是最好的鑒別指針。以一個房產網站的經驗舉例，他們想提高Google廣告的注冊轉化率。於是做了幾版設計，他們認為只要隱藏房產圖片的效果會更好，結果同時隱藏房產圖片和價格的設計轉化率反而更好。
4、一起探索邊界
一個人的邊界太有限，因此最好的主意不是憋出來的，是一起探索出來的。好的產品團隊應該擅長通過各種不同的新項目，推動跨團隊的協調和交流。經常把設計師、工程師、產品經理、運營聚在一起，圍繞產品大開腦洞。很多好的產品點子就是在測試了原型產品后，通過這樣的跨團隊討論迸發出來的。
5、關注用戶做什么，而不是他們說什么
當你和用戶直接對話時，請務必記住這個原則：用戶總是說一套做一套。這周我親自做過的一次用戶測試，可以完美地證實這一點。我問用戶，平時用通訊錄時會不會使用篩選功能，用戶表示並不用，因為靠滾動就可以搞定，沒必要使用。但在用戶看到這個新的篩選下拉菜單時，這個功能的便利性馬上吸引了他，用戶迅速地學會了使用多種維度進行篩選，然后馬上問我們：“這個功能什么時候能在產品里用到？”
6、用戶數據的多少決定了你的成功幾率有多少
有數據，才能分析用戶行為的背后原因。數據能助你構築方案，A/B測試可以告訴你哪個方案更有效。
在產品迭代或運營優化策略上，聰明的團隊總是會為同一個增長目標提供多個解決方案，如何擇其一還能保證最終效果是最優的，A/B測試無疑是最好的選擇之一，用數據來輔助你選擇正確的方案吧！