「嘿!優化工具剛剛顯示,我們網站的新版本比原始版本帶來了更高的轉換率,置信度高達 95%!這個數字證明我的新設計是正確的!你們公司的 A/B 測試負責人帶著 200% 的興奮感說。當然,在投入了所有時間和精力來設定和運行測試之後,看到星星最終對齊,誰會不興奮呢?或者,A/B測試的負責人是否應該抑制住自己的熱情,徹底檢查測試的設置,然後再下結論?
驚訝-1184889_1280
你的地基打對嗎?
A/B 測試不僅僅是“測試”,還有很多內容,如果沒有通過 舊電話號碼 充分的準備奠定適當的基礎,您從測試中獲得的見解將是有限的,甚至是不正確的。為了避免將業務資源浪費在可能導致錯誤決策的無效測試上,請務必執行以下操作來做好功課:
1. 做好研究
第一步是收集定量資料(即透過分析 Google Analytics 上的指標)和/或定性資料(即透過與客戶交談)來確定可以改進哪些設計元素。研究結果將使您充分了解特定設計元素如何與使用者行為相關,幫助您集思廣益設計變體,並確定設計變體將對客戶購買旅程的哪個階段產生影響。
會議-1184892_1280
鉛捕獲區塊影像
免費指南
CRM 的基本知識
了解並使用 CRM的初學者指南
立即下載
2. 確定你的目標
你想優化什麼?轉換率?點擊率?透過一長串您可能追蹤的可能指標,您需要確定與您的目標相符的關鍵指標。例如,如果您想增加部落格訂閱者的數量,您可以將目標設定為導致「註冊」按鈕不同變化的轉換率(即登陸的部落格訂閱者數量/訪客數量)。此外,您可能希望與其他團隊成員合作,確定需要對相關指標進行多少改進才能宣布測試版本為「獲勝者」。例如,轉換率提高 10% 是否足以讓您全力投入測試版本?最後但並非最不重要的一點是,永遠不要忽視你的底線,特別是當你的網站正在銷售產品或服務時。例如,如果測試版本增加了使用者的平均網站停留時間,但透過登陸測試頁面的客戶獲得的收入明顯低於透過登陸原始控制頁面的客戶所獲得的收入,明智的選擇是保留原始版本。
商人-1039900_1280
3. 形成你的假設
在完成研究並確定要最佳化的內容之後,是時候形成一個合理的假設,使測試能夠有效運作。從本質上講,假設是「在有限證據的基礎上提出的假設或提出的解釋,作為進一步調查的起點」。在這種情況下,您的「有限證據」是您在定量/定性研究期間收集的見解,而您想要「進一步調查」的是您網站上的變化對您在步驟 2 中確定的目標的影響這是原假設和備擇假設的例子:
• 原假設: 版本A 和版本B 之間觀察到的轉換率差異是由於隨機機會造成的。換句話說,原假設指出測試版本與控製版本產生的結果本質上是相同的。
• 備擇假設:登陸版本 A 的訪客比登陸版本 B 的訪客有更高的轉換率。
• 關於原假設和備擇假設的註解:上面的例子非常簡單。理想情況下,您希望將針對測試版本所做的不同操作作為假設的一部分,以確保您從研究中產生的見解能夠得到正確的測試。例如,您可以透過聲明「版本 A 有一個使用害怕錯過作為激勵因素的號召性用語」來擴展「版本 A」。在測試階段,您收集版本 A 和 B 產生的結果的數據,這將導致兩個結果:a) 您拒絕原假設並接受備擇假設(這將推動我們在網站上實施版本 A) ,或b)未能拒絕原假設(這將促使我們保留版本B 並探索其他變異的可能性)。正如您所看到的,形成原假設和備擇假設是創意生成迭代過程中不可或缺的一部分。此外,重要的是要將零假設視為“在被證明有罪之前是無辜的”,其中只有當我們能夠相對確信我們從版本A 與版本B 獲得的效果差異的概率時,我們才會接受備擇假設。另請注意,您永遠無法根據統計顯著性證明或反駁假設。因為我們僅在樣本而不是整個人群(即所有潛在網站訪客)上測試我們的假設,所以我們永遠無法 100% 確定 A 優於B。和統計顯著性帶來的許多細微差別。
• 在收集資料/執行測試之前不形成假設的危險:由於您可以測試的可能變化的數量,您可能會忽略要測試的內容。形成假設可以讓您一次專注於一個假設,並且可以幫助您完善研究過程以獲得更好的見解。更重要的是,如果沒有徹底了解為什麼一個版本比另一個版本更好,您很容易受到最終測試結果的影響,並且無法獲得可複製到網站和/或產品其他部分的見解。
底線是什麼?當您執行網站和/或產品優化測試時,不要跳過基礎工作並戴上「行銷科學家」的帽子。使用科學方法進行測試:a.)根據您的研究進行研究並集思廣益,b.)確定可衡量和實際的目標,c.)形成可測試的假設。初始投資可能會更高,但有了堅實的基礎,您將能夠獲得有關用戶行為的寶貴見解,充滿信心地進行迭代,以一致且明確的目標優化您的網站,這最終將有利於您公司的盈利。