Netflix如何透過「準實驗」讓它超出A / B測試的限制?

當行銷遇到了困難,卻不適用傳統的測試方法時該怎麼辦?來看看Netflix所採取的方法。

即使你試圖使你的各方行銷數據驅動化(Data Driven),仍可能遇到傳統測試無法解決的情況;也許你正在使用不可尋址(non-addressable)的媒體,但也因此你將無法隔離和隨機化你的受眾;又或者,你大動作的重新設計了你網站,但卻有一半是不切實際的。

這些就是Netflix會採用的「準實驗」的狀況—而這些測試並不容易實施,然而產生了可操作的商業智能。

資深產品經理Mike Pow分享公司如何進行「準實驗」以及如何更廣泛地推廣它們;通常情況下,尋求前進方向指導的行銷人員將採用A / B測試—將變數歸類到一個組,同時保持第二個定數;但要取得成功,測試中的A和B組必須是相似的和隨機的,有時候這是不可能或不實際的。

「有幾種類型的問題需要使用準實驗!」Pow提及:「一個是當你無法控制用戶層時。」舉個例子,如果你購買無線電或其他媒體時,你無法精確控制你的消息。

「另一類是當你不想控制用戶層時,」他繼續說道:「假設你試圖衡量口耳相傳的效果,那麼你必須試著看一群人如何接收你的策略,然後互動並談論你的產品;因此,你必須在場域面提供媒體,然後你可以看到購買模式如何因為你的策略而改變。」

Pow解釋說,無論如何,準實驗通常是隨機的,但仍然會依據兩個總體受眾相似的地理區域,然後使用一個作為對照組而另一個作為實驗組。

Pow說:「這只是公司學習的另一種技術,這是Netflix所做的核心。」Netflix以擁有非常實驗性的公司文化而著稱,它使用數據來推動推薦以及創建原始內容。

「Netflix告訴了我們一件事,幾乎任何事情都可以以令人難以置信的準確度預測 — 即使是那些以前認為不可能的事情!」 《Big Data and Big Data in Practice》的作者Bernard Marr在書中寫道。Netflix的準實驗開始於幾年前;當時,這些項目是通過臨時的獨立電子表格進行管理的,Pow說:「這使得媒體購買通信,以及隨後的分析,但超級混亂,而且很難重複執行。」

這就是為什麼Netflix開始設計軟體,以便在設計、運作和分析準實驗結果時獲得的學習能夠得到保存和建立。Pow說:「隨著我們的準實驗量的增加,我們決定構建一個具有特定功能的平台。」該平台允許團隊在規劃、設計、執行和分析整個測試生命週期。

原文網址

推薦閱讀:

發佈留言

發佈留言必須填寫的電子郵件地址不會公開。 必填欄位標示為 *

%d 位部落客按了讚: