機會與挑戰：數據豐裕時代的量化研究（下）——大數據
上期的【期刊速覽】我們與大家分享了在研究中如何更好地運用調查和實驗的方法，本期我們將和大家一同關注大數據在研究中的運用。數字技術的發展，使得消費者的種種行為均被「記錄在案」，這些豐富的行為數據構成了所謂的「大數據」。在研究中如何使用大數據也成為一個炙手可熱的話題，本期，我們從Journal of Advertising挑選了兩篇與此相關的文章，希望能為大家帶來些許啟發。
(圖片來源：百度圖片)
如何在廣告研究中使用行為數據
進行理論檢驗
原文標題： A primer on using behavioral data for testing theories in advertising research
作者：Liuthompkins, Y., & Malthouse, E. C.
來源： Journal of Advertising, 46(1)
在數字、社交和移動環境中消費者的各種互動活動都被記錄了下來，於是產生了大量的行為數據。如何使用這些行為數據進行理論研究呢？
文中作者首先提出了一個分析和解讀行為數據的流程，然後依循這個流程，對使用行為數據進行因果分析時所遇到的方法論問題和統計問題進行了討論。
一、行為數據的含義
處在數字環境中的消費者與廣告主和其他消費者的互動越來越多，這些互動行為均被一一記錄。社交媒體的發展使得消費者的互動行為可以被直接觀察到，而移動設備的發展又為這些可觀察到的互動增加了位置數據。這些被記錄的互動構成了非常豐富的消費者行為信息，可在廣告研究中用於理論的發展、修正及檢驗。
二、行為數據處理流程
(圖片來源：Liuthompkins, Y., & Malthouse, E. C.)
本文作者建議研究者們遵循上述流程使用行為數據。文中從四個方面介紹了該流程的主要構成內容：
1.數據獲取、搜索以及準備
數據獲取(Data Acquisition)：該部分主要介紹了數據的獲取路徑，列舉了較為重要的數據源，例如:交易或營銷傳播數據、網站點擊數據、消費者搜索數據、在線社交網路數據（網路結構、社交內容、信息擴散等） 、在線口碑（定性和定量的）、其他的網站可擦除數據（如產品銷售排名）、來自移動和可穿戴設備的數據（如地理位置和健康數據）。
數據理解(Data Understanding)：針對行為數據的本質特徵，提出了研究者理解數據時需要格外關注的幾個問題，如數據時間參考點、數據的時間跨度、經過計算的數據、缺失的數據等，總之行為數據往往需要花費大量精力清洗才能用於研究。
數據合併(Data Merging)：與以往的單一數據來源不同，新媒體和多樣化的數據跟蹤技術，使得我們可以獲得更為豐富的行為數據，它們可能是曝光和點擊、網站訪問行為、移動行為、社交對話、在線交易等等。這些數據給研究者提供了理解更為複雜的數字、社交、移動廣告的跨平台效果的機會。從數據處理的具體策略上看，這些數據可能會表現為鑲嵌於關係型資料庫結構(Relational Database Structure)中的多個表格，需要使用SQL、Python、SPSS aggregate/merge、 SAS proc summary/data、step, 以及R plyr.等工具加以處理才能使用。
數據匯總(Data Aggregation)：在使用行為數據之前需要對其進行匯總，即計算某個消費者或某個時間段內記錄的總和，作者推薦使用RFM(Recency-frequency-monetary)模型作為匯總工具。
2.數據分布和轉換
經過上述處理後，研究者仍要考慮在正式的分析開始之前是否需要對現有的數據進行轉換。有三個問題值得思考：是否需要正態分布(Normal Distribution)、如何處理異常值(Outlier)、如何處理缺失值(Missing Value)。
3.模型設定
模型設定會涉及到模型中選擇預測變數及其函數形式等問題，例如線性回歸還是邏輯回歸，抑或是結構方程模型。文章具體介紹了如何處理行為數據中常常遇到的遺漏變數偏差(Omitted Variable Bias)、多重共線性(Multicollinearity)和內生性問題(Endogeneity Issues)，給出了處理分組數據或嵌套數據(Grouped or Nested Data)、計數數據(Count Data)以及大量的零值數據的建議。
4.說明和展示結論
行為數據在驗證結論的普遍性方面具有獨特的優勢，研究者可以在劃分出保留樣本(Holdout Sample)，這些樣本不參與模型的計算，而是事後用於檢驗模型的可靠性。
利用行為數據進行的研究在成果的數據可視化上有得天獨厚的優勢。
在文章的最後，作者呼籲將真實市場實驗作為實驗室實驗和調查的必要補充，充分利用可獲得的行為數據探索廣告研究的未知領域，特別是可定址廣告、移動廣告、搜索引擎廣告等。
(圖片來源：百度圖片)
在廣告研究中使用大數據所面臨機遇和挑戰
原文標題： Opportunities for and Pitfalls of Using Big Data in Advertising Research
作者：Malthouse, E. C., & Li, H.
來源： Journal of Advertising, 46(2)
本文首先提出了一個概念框架用於解釋大數據是如何在不同類型的數字廣告接觸點(Digital Advertising Touch Points)中被創造出來的。藉助此框架，作者指出了使用大數據進行廣告研究的機會和可能存在的問題。最後，作者列舉了使用大數據進行研究時所採用的研究方法，並針對如何看待和獲取大數據提出了建議。
一、大數據在廣告中發揮的作用
(圖片來源：Malthouse, E. C., & Li, H)
大數據的出現建立在數字品牌接觸點的基礎之上。傳統的線下接觸點，例如閱讀雜誌上的某則印刷廣告，難以監測和記錄。數字環境中的接觸點則不然，數以百萬計的消費者使用互聯網、社交媒體或是移動設備的情況可以被實時記錄下來，由此形成了所謂的「大數據(Big Data)」。
數字品牌接觸點和大數據存在著一種共生關係：數字互動創造大數據，進而可以用來預測接下來的接觸點決策。因此，大數據的範圍可以通過數字環境中的品牌接觸點來界定。上圖解釋了數字品牌接觸點生成大數據的過程：
1.品牌行動：
品牌所創造和傳播的訊息，包括廣告訊息、促銷、自有媒體生成的內容、品牌對消費者的回復。品牌方還可以檢測消費者對品牌行動的反應，諸如，品牌方將會知道消費者是否接收、打開了電子郵件，是否點擊了其中的鏈接等。
2.對話行為：
這類接觸點指的是品牌和消費者、消費者和消費者之間的對話。對話行為包含了消費者關於一個品牌的所有非購買行為，如在社交網站上點贊、分享、評論、發布與品牌有關的用戶生成內容。消費者和品牌的對話行為由來已久，但如今最大的進步在於，大數據中的對話行為可以以文本、圖像或視頻的方式被記錄下來。
3.購買行為：
主要指消費者在購物環境中體驗的接觸點。購買行為囊括了所有指向購買的消費者行為，例如互聯網中，消費者搜索、瀏覽某個商品，將其添加進購物車和心愿單的行為。藉助可穿戴設備，消費者的地理位置也被大數據實時記錄，通過計算可以揭示消費者的出行模式，在其靠近商店時發出提示信號。此外，電子標籤和監控視頻也是購買行為的重要數據來源。
4.使用行為：
主要指消費者在使用/消費產品或服務時體驗的接觸點。大數據將諸多使用行為記錄下來，例如在Netflix上聆聽和觀看媒介產品，使用聯網的車輛或家電等。隨著越來越多的設備與互聯網鏈接，使用行為這類數據在未來必然會不斷增加。
5.品牌績效：
許多品牌績效，例如潛在客戶開發和購買，都可以利用大數據進行追蹤。品牌表現是公司財務考核的關鍵業績指標(KPIs)，同時也是評價廣告效果的重要方式之一。
二、大數據在廣告研究中發揮的作用
大數據記錄了大量的各種各樣的數字行為，既有品牌的行動，也有消費者討論、選擇、購買和使用該品牌的行動。在廣告研究中，大數據的貢獻主要有三種方式：一是使用新的數據源檢測現存的廣告理論和框架；二是利用大數據優化廣告訊息的傳遞；三則是用於提出探索性的新見解，可以創造更好的訊息，也可以驅動新的理論出現。
三、廣告研究者在使用大數據時需採用的方法
大數據通常被存儲在某種資料庫中，因此，了解關係資料庫(Relational Database)和結構式查詢語言(Structured Query Language, 即SQL)是使用大數據進行研究的前提。
儘管有些大數據可以在應用程序介面(Application Program Interfaces，即APIs)直接獲取，例如Twitter，但作者認為最好的大數據來源應該是品牌方自身。 品牌維持和控制著數字環境，還掌握著財務數據。廣告研究者們應該嘗試與品牌方建立研究夥伴關係。
使用大數據進行研究就像是拼圖，每個數據集都是其中的一塊碎片，將所有的碎片拼到一起將會呈現出一幅完整的消費者關係圖。但不幸的是，總是存在遺失的碎片，彌補大數據集的不足可能需要求助於傳統的研究設計，例如調查或是質化方法。
四、大數據帶來的具體機會
數據或技術的變革帶來新的研究機會。大數據帶來的新的研究機會主要包含以下幾個方面：
1.移動設備(Mobile Devices)
智能手機使得廣告渠道可以無時無刻的跟隨消費者，可以根據消費者當前的狀態發布個人化的信息，且具備可定址性，這創造了一種新的廣告環境。
2.品牌傾聽(Brand Listening)
傳統廣告專註於創作和傳遞品牌訊息，大數據為品牌提供了一個機會，可以監測消費者的言行、及其如何藉助物聯網使用產品或服務的。通過「傾聽」，品牌方能夠學習予以消費者恰當的回應。
3.廣告迴避(Ad Avoidance)
數字技術在促進廣告訊息有效傳遞的同時，也使用戶獲得了主動迴避廣告的機會。這種迴避行為會被大數據記錄下來，也為學者們提供了研究廣告迴避的新機會。
4.情境數據(Contextual Data)
廣告效果受情境制約。大數據能夠提供潛在消費者所處情境的時間和位置的確切信息，能夠提供比以往更為豐富的消費者需求信息。這類情境數據，有助於廣告主增強廣告訊息的相關性，最終提升廣告效果。
5.廣告是一個動態、迭代的過程
品牌訊息能夠影響消費者，但消費者的反饋也可能影響品牌接下來的回應，二者之間是相互影響的。數字環境的發展使得二者之間的互動處在不斷迭代發展的動態過程中，甚至有時最為有效的品牌訊息都是來自消費者，而不是品牌自身。
6.可定址電視和流視頻是新的研究領域
流視頻和可定址電視的發展將會逐漸改變媒體資源的購買方式，廣告主將會越來越以「戶」或「設備」為單位來進行購買，這更有利於增強廣告的精準性和針對性。
7.關注財務結果
大數據能夠將品牌接觸點和財務結果，例如購買行為，聯繫起來。廣告主將逐漸能使用財務成效來評價品牌行動，而不是諸如「品牌態度」或「購買意圖」等簡介指標。
五、使用大數據存在的問題
1.效度(Validity)
由於大數據的規模巨大，人們往往忽視了數據質量中的傳統話題，例如可信性、內在效度與外在效度，以及樣本設計等。大數據通常是大量的便利樣本，它可能全面覆蓋某類人群，但這類人群可能並不是研究的目的所在。這些通常可觀察獲得的數據，在一定程度上增加了內部效度的風險。
2.遺漏變數偏差(Omitted Variable Biases)
大數據可能無法測量到所有有關的因果要素(Casual Factors)，這將導致模型的估計不可避免的出現偏差。研究者切不可假設大數據測量了所有的有關因果要素，需要在研究開始之間建立一個概念框架，找到相關建構，並詳細說明它們之間是如何相互關聯的。
3.數據欺詐(Fraud)
數字環境給數據造假提供了生存空間，「點擊欺詐」層出不窮。這給大數據分析造成了一個難題，即難以去除非人為或其他虛假流量；但這同時也創造了一個新的研究機會，即創造更好的方法來監測點擊行為是否虛假。
4.隱私、安全和信任(Privacy, Security, and Trust)
大數據為廣告主提供了敏感的、個人化的信息，在給予消費者高度相關的產品和讓他們產生品牌正在侵犯我的隱私之間的恐懼感之間有一條微妙的紅線，更多研究應該針對如何避免這樣的問題展開。
小
別
感
言
不知不覺，【營銷傳播研究】在大家的陪伴下又走過了一個春夏秋冬。2017年，在發起人康瑾老師帶領下，三個年級的碩士研究生在磨練中成長，這個過程非常感謝各位讀者一直以來的陪伴與包容。
各位讀者，本學期的公眾號更新到此就結束了。寒假將至，【營銷傳播研究】也將要和大家暫時告別。各位小編也要奔向天南海北，趕赴回家之約了。祝願朋友們新年快樂，期盼在新的一年能夠繼續與大家共同進步！
參考文獻：
1.Liu-Thompkins, Y., & Malthouse, E. C. (2017). A Primer on Using Behavioral Data for Testing Theories in Advertising Research. Journal of Advertising, 46(1), 213-225.
2.Malthouse, E. C., & Li, H. (2017). Opportunities for and Pitfalls of Using Big Data in Advertising Research. Journal of Advertising, 46(2), 227-235.
編輯：丁佳
指導老師：康瑾
TAG:營銷傳播研究 |