目錄
一. 背景
二. 概念
三. 程序化投放
四. 一次手動投放過程
五. 程序化投放--OA提升
六. 程序化投放--oCPX
七. 程序化投放--RTA
八. 程序化投放--聯邦學習
九. 總結
一. 背景
互聯網廣告是1993年在美國誕生的，那時候與傳統媒體類似,僅僅算是一個廣告傳播渠道。2000年，谷歌推出了針對搜素關鍵字進行廣告售賣的AdWords系統，拉開了近二十年互聯網廣告發展的序幕。隨着技術的不斷發展，可以將互聯網廣告分為了四個階段：
第一階段是興起階段，主要是售賣方式的發展。第二階段是程序化投放，主要出現了程序化廣告售賣與購買的方式。第三階段是數據化應用，流量紅利的爆發，大數據技術的發展，使得媒體和廣告主更加注重數據的積累和應用，開始走向數字化運營的階段。第四階段是精細化發展，整個技術市場出現細分，投放技術日趨成熟，廣告形式不斷創新，比如小程序，短視頻等新的廣告媒體。
國內互聯網廣告市場規模這些年來持續提升，2017年規模就已達到3750億元，但近年增速將放緩。有三個趨勢值得關注：一是信息流廣告的份額持續增長，2017年份額18%,預計2019年將占到27.6%。二是頭部營收占比，阿里廣告營收超1000億，TOP4營收占比已超過60%。三是移動廣告占比，隨着移動端的發展，移動廣告市場規模占比也已經超過68%，並且有繼續增加的趨勢。
未來5-10年，網絡廣告將繼續跟隨互聯產業發展進入以互聯網作為連接點，以技術為驅動，打通多種渠道和資源進行精細化管理，以內容創意和基於數據分析的優化能力作為核心競爭階段。如果沒有新的技術升級，互聯網流量紅利衰減會造成“收入減少—>廣告費用減少—>收入進一步降低—>廣告費用進一步降低”的負向循環，造成互聯網廣告行業整體增長降速。
說點現實的拿頭條系為例，2020年的廣告營收在1800億左右，21年的目標是2600億，在頭條系（例如抖音）月活、流量規模不大變的情況下，要達成這個目標除了流量主自身精細化流量運營，剩下的就得廣告主自己買單了。所以作為廣告主的一方如何進行精細化程序投放就成了關鍵。
二. 概念
一張圖看下近年中國廣告技術生態
講正題之前一些廣告生態的核心名詞概念必須了解
Super Platforms，超級平台。目前只有百度、騰訊、阿里、頭條等幾家頭部流量主擁有，是一套綜合性的多功能平台，包含DSP、SSP、TD、DMP等各種核心功能。具體分類解釋參考下文。
DSP(Demand-Side Platform 需求方平台)，在互聯網廣告產業中，DSP是一個系統，也是一種在線廣告平台。它服務於廣告主，幫助廣告主在互聯網或者移動互聯網上進行廣告投放，DSP可以使廣告主更簡單便捷地遵循統一的競價和反饋方式，對位於多家廣告交易平台的在線廣告,以合理的價格實時購買高質量的廣告庫存。
SSP(Sell-Side Platform 供應方平台)，供應方平台能夠讓廣告主也介入廣告交易，從而使它們的庫存廣告可用。通過這一平台，廣告主希望他們的庫存廣告可以獲得最高的有效每千次展示費用，而不必以低價銷售出去。
DMP (Data Management Platform 數據管理平台)，是把分散的數據進行整合納入統一的技術平台。數據管理平台能夠幫助所有涉及廣告庫存購買和出售的各方管理其數據、更方便地使用第三方數據、增強他們對所有這些數據的理解、傳回數據或將定制數據傳入某一平台，以進行更好地定位。
Ad Exchange，廣告交易平台。是一個開放的、能夠將廣告主和廣告商聯系在一起的在線廣告市場(類似於證券交易所)。交易平台里的廣告存貨並不一定都是溢價庫存，只要廣告主想要提供的，都可以在里面找到。Ad Exchange在互聯網展示廣告的高速發展創新中扮演了極其重要角色，它可以使互聯網展示廣告市場更加透明，高效，和可控。
Ad Network，廣告網絡。是一個封閉的網絡廣告市場，網絡業主作為中間環節先向廣告主采購廣告庫存，然后再轉售給買家，雖然有時候廣告主也可以創建自己的廣告網絡。在廣告業內，這是一個較為廣泛的概念。是一種介於想出售廣告空間的網站與想在網站上刊登廣告的廣告主之間的平台. 比較知名的大型廣告網絡公司如Google的AdSense。
RTB(Real-Time Bidding)即實時競價。是一種利用第三方技術在數以百萬計的網站上針對每一個用戶展示行為進行評估以及出價的競價技術。實時競價允許廣告買家根據活動目標、目標人群以及費用門檻等因素對每一個廣告及每次廣告展示的費用進行競價。一旦競價成功，廣告就會立刻出現在廣告主的網站中。這種允許進行動態交易的技術被業內稱為 “投標人”，而且可以嵌入相關平台中。
TD(Trading Desk 程序化廣告交易平台)，需求方可以在TD上統一管理多個DSP平台的投放，包括分配投放預算、制定和調整投放策略，查看數據報告。比如你有一個店鋪，在天貓、京東、拼多多都有開，這幾個店鋪都有各自的店鋪管理后台，管理起來非常麻煩，此時有一個后台能讓你登錄后直接管理各個渠道的店鋪。這個后台的性質即類似於TD。
三. 程序化投放
重點在於我們之前介紹的Trading Desk以及DMP。部分能力如圖
核心功能及能力很多，總結來說分為2類。
1.提升OA效率的能力，包括一站式投放，批量操作，創意中心，報表/儀表盤，權限管理等等，這部分不是重點我們一概而過。
2.提高投放轉化效果的能力，包括DMP數據中心，數據轉化回傳，RTA，聯邦建模等。
先說投放本身
程序化投放分為以下幾個元素，以騰訊為例：推廣帳號、推廣計划、廣告組、廣告以及廣告創意。歸納來說，創建一條完整的廣告由創建推廣計划、設置廣告、設置創意組成。
詳細可以參考 https://developers.e.qq.com/docs/api/adsmanagement
推廣計划管理：介紹推廣計划屬性，以及與之關聯的標的物屬性；
廣告組管理：介紹廣告組屬性，以及與之關聯的廣告版位、出價、定向屬性；
廣告管理：介紹廣告屬性，以及第三方監控的使用；
廣告創意管理：介紹廣告創意屬性，以及應用直達的使用；
投放一條廣告的所需的流程如下：
以手動投放的方式簡介下整個流程，這些過程全部可以用程序化的方式來管理
四. 一次手動投放過程
Step1 創建推廣計划 圖片看不清可以點擊放大來看。推廣計划分為展示廣告計划和搜索廣告計划。展示廣告計划：常規展示類廣告.搜索廣告計划：QQ瀏覽器關鍵詞搜索廣告。
step2 選擇廣告形式,分為常規展示廣告、商品廣告.常規展示廣告：常規投放場景,商品廣告：適合擁有海量商品投放需求的場景，圍繞商品進行批量投放和動態創意生成。
其中轉化歸因承載了客戶接收數據（點擊監測）、客戶上報數據（上報行為、上報方式等）、平台歸因（歸因方式）以及投放對應的標的物、優化目標等概念，是打通數據和投放的重要模塊。全網歸因表示所有數據源回傳的數據都有可能匹配到你的廣告；
精准匹配歸因表示只有通過你綁定的數據源回傳的數據才能匹配到你的廣告。
step3 選擇廣告想要投放的目標人群，提供人口學屬性、用戶行為、自定義人群、設備定向等多種維度的人群標簽。這一塊也是程序化投放的重點優化目標
step4 廣告僅在投放的日期和時間段范圍內向用戶展示。出價和預算會影響廣告獲得曝光的次數，系統會根據你的廣告設置提供建議出價范圍，你也可自行設置一個出價。不同版位和創意形式支持的出價方式不同。
step5 選擇廣告在流量上的呈現樣式，填寫對應樣式所需的內容。不同廣告版位下相同創意形式需填寫的信息有所差異。
其他抖音、百度、阿里的結構也是大同小異。這些手動的過程大部分都可以用程序化投放來替代，並且進行功能增強。這里先引出程序化投放第一個能力點
五. 程序化投放--OA提升
一站式整合投放（以Marketin TD為例）
傳統方式平台間獨立、反復對接。營銷人員需要維護多個平台，各自賬戶在各個平台中反復登錄操作並人工完成報告匯整。在程序化投放中一次性接入實現跨平台協作，營銷人員可以在一個系統中實現統一賬戶管理多平台並且實現跨平台統一分析報告。
技術面這一塊內容的復雜度不高但是需要建立每個媒體平台對應的適配層來應對不同媒體平台周期性的API更新。為了保障程序化投放平台的穩定性，這一塊的架構設計非常切合微服務架構。
另外就是不同媒體除了API不同，各自的定向策略也不一樣。我們需要搭建一個投放中間層來收口處理不同渠道上的策略配置，例如騰訊的性別有男、女、其他，抖音的性別有男、女、未知等。
智能創意
創意降維：將完整圖像或視頻拆解為雲端元素，智能重組實現多樣化，通過實時數據進行創意精細運營。
其實這種技術可以歸為圖片處理范圍，早在很多年前阿里媽媽出的廣告牌功能就能做到圖片元素化自由裁剪組合。在廣告領域賦予更多的含義在以后面的數據整合，在相同的背景圖上結合我們的投放定向策略給予不同的分類客群展示出不同的產品內容。甚至在某些更高級的超級平台可以自動形成千人千面的廣告圖片。
其他的oa效率類的功能顧名思義，如果大家有興趣再單獨開篇幅來說，后來我們重點來講解下程序化投放對於ROI的提升方法。
ROI的提升大概分為三類，1.廣告主主導優化，2.流量主主導優化，3.以流量主為中心，多方廣告主共同參與優化。這三類方式分別對應程序化投放的三項核心技術。
六. 程序化投放--oCPX
先看廣告主優化的方法 我們稱之為成本及效果可控的智能出價模式
站在流量主的角度：
上傳發生在移動應用或網站中的用戶行為，這些行為數據會被存儲在廣告主專屬的第一方數據倉庫中，成為廣告主在數據資產的一部分。隨着這些行為數據的累積，廣告主可以基於這些行為數據靈活地進行人群提取，並在流量主提供的大盤中尋找相似用戶。廣告主可以對這些人群進行洞察分析、或者將它們實時關聯廣告進行投放。廣告主還可以創建轉化，利用這些行為數據統計廣告的轉化指標。 行為數據還可以用於動態創意廣告投放。
ps：流量主的心態是，我也知道現在流量人口紅利在下降，但是我的財報每年也得漲啊，我也只能做到精細化運營，不浪費流量資源，將用戶推送給更適合他們的產品，這樣我也能多收錢。
站在廣告主的角度：
提升廣告投放效果是廣告主始終追求的目標，而更精准的尋找目標客群是提升廣告投放效果最有效的手段。
這里涉及到一個概念就是oCP(A,C,M...),拿oCPM為例，表示以展示計費的智能出價廣告。你可以選擇特定優化目標（例如：激活），並提供期望平均轉化成本，系統會根據你上報的轉化數據，預估每一次展示的轉化價值，自動出價，按照展示扣費。相對於傳統的CPm，這里的O代表優化Optimized。o系列表示成本及效果可控的智能出價模式。我們常用的oCPA,是一種針對效果廣告的智能自動出價策略，廣告主可選擇特定優化目標（例如激活、下單、表單預約），並提供期望的平均轉化成本。系統會根據廣告主上報的轉化數據，通過機器學習來預估每一次展示的轉化價值，自動出價，按點擊扣費。
ps：廣告主的心態是，現在流量這么貴，廣撒網的手段不適合現在的時代了，我也得控制下成本，把廣告頭給願意買我產品的那些人。
站在程序員的角度：
說了這些概念，對於程序員而言要干的事實際上特別簡單，我們在投放廣告鏈接后，采取o系列的出價模式，流量主每次曝光都可以在我們的鏈接后面帶上他們的唯一標示。作為程序員捕捉到這些標示，然后按照業務策略將轉化后的數據對應的標示上傳給流量主，相當於告訴他這些用戶就是我的目標用戶，你們自己優化一下，后面就按照類似的用戶推送給我就好。至於優化怎么做，做的效果如何都是流量主要做的事情。
ps：廣告的實時競價遠比目前介紹的程度要復雜的多。針對oCPA，競價成功后流量主的扣費策略實際上還是按照CPA來扣，如果實際轉化比oCPA的成本來的高，他們會持續優化數據模型。以達到接近oCPA的目標。如果持續優化幾輪還是達不到，流量主會補償廣告主部分廣告費用，並下架該廣告內容。
以騰訊為例 對應的數據轉化反饋接口 https://developers.e.qq.com/docs/api/apilist 用戶行為上傳 user_actions/add
百度的 http://ocpc.baidu.com/developer/d/guide/?iurl=api%2Fapi-doc%2Fapi-interface%2F
淘寶關於oCPX的論文 https://arxiv.org/abs/1703.02091
七. 程序化投放--RTA
再看流量主優化的方法 我們稱之為RTA，廣告主實時API響應。
背景及定位
為不進行敏感信息回傳的廣告主，提升精准投放的能力。
換個角度來說：
RTA解決的是個性化定向的問題，擁有實時化以及數據安全這些特點。解決的是以下幾個個場景的問題：
一、 廣告主具備一方數據，但是投放的目標人群實時變動，通過平台的定向標簽能力無法實現精准定向又或者通過用戶包無法實現實時定向更新的這樣的一種情況，需要結合雙方的數據能力共同提升廣告主投放效果的廣告主。所以這里必須要求廣告主有一定的用戶甄別和篩選能力。
二、 出於數據安全或者價值的考慮，不願意將轉化數據回傳給廣告平台的廣告主。比如金融公司投放金融廣告的時候，需要將無效征信的用戶去除，但是由於無效征信的屬於高度敏感的數據，廣告平台其實是沒有這個數據的，金融廣告公司出於數據安全的考慮，無法將數據傳到廣告平台上。所以金融公司投放廣告的時候需要經過RTA進行用戶的進一步的篩選。（當然，其實廣告平台在RTA對接過程中是可以獲取到這些數據的）
三、 個性化買量需求的廣告主。針對不同的用戶選擇不同的投放策略和方案的廣告主。比如，不同的公司的增長團隊，對於純新增用戶，安裝卸載，安裝不活躍用戶有不同的投放策略。很多精細化的數據邏輯只有廣告主有，這個時候可以通過RTA進行廣告的投放。
定義
基於本地投放的程序化升級，根據廣告主不同的數據和技術能力，支持其逐步深入參與投放決策，最終共同優化提升廣告投放效率/效果；
進場門檻 (還以騰訊為例)
消耗門檻：客戶RTA日均消耗不低於5W元； 技術門檻：QPS建議支持4W；60ms內返回處理結果（包含網絡傳輸）；
退場機制
退出條件（完成RTA接入超30天 或 重啟放量15天），以下任一條件符合，即進行退出。 超過15天，RTA日均消耗低於5W 超過15天，RTA流量接受率（code=0占比）低於10% 超時率大於5%，且警告后7天內仍未解決的；
站在程序員的角度
我需要做這么一件事，在支持極高性能的前提下提供一個api給流量主調用，這個api會告訴給流量主當前訪問的用戶投放的廣告是否對其曝光。對應整體流程圖如下
整個生態確實很復雜，對於程序員來說，重點是要解決性能的問題避免被清退。那么針對這種海量並發場景，有什么好的解決方案呢
這里推薦布隆過濾器
本質上布隆過濾器是一種數據結構，比較巧妙的概率型數據結構（probabilistic data structure），特點是高效地插入和查詢，可以用來告訴你 “某樣東西一定不存在或者可能存在”。相比於傳統的 List、Set、Map 等數據結構，它更高效、占用空間更少，但是缺點是其返回的結果是概率性的，而不是確切的。對於其詳細的解釋 參考百科 https://baike.baidu.com/item/%E5%B8%83%E9%9A%86%E8%BF%87%E6%BB%A4%E5%99%A8
總結來說：
布隆過濾器其中重要的實現就是位圖的實現，也就是位數組，並且在這個數組中每一個位置只占有1個bit，而每個bit只有0和1兩種狀態。如上圖bitarray所示！bitarray也叫bitmap，大小也就是布隆過濾器的大小。
假設一種有k個哈希函數，且每個哈希函數的輸出范圍都大於m，接着將輸出值對k取余（%m）,就會得到k個[0, m-1]的值，由於每個哈希函數之間相互獨立，因此這k個數也相互獨立，最后將這k個數對應到bitarray上並標記為1（塗黑）。
等判斷時，將輸入對象經過這k個哈希函數計算得到k個值，然后判斷對應bitarray的k個位置是否都為1（是否標黑），如果有一個不為黑，那么這個輸入對象則不在這個集合中，也就不是黑名單了！如果都是黑，那說明在集合中，但有可能會誤，由於當輸入對象過多，而集合也就是bitarray過小，則會出現大部分為黑的情況，那樣就容易發生誤判！因此使用布隆過濾器是需要容忍錯誤率的，即使很低很低！
在下面聯邦學習中，我們還會持續介紹布隆過濾器所涉及到的位圖算法。
八. 程序化投放--聯邦學習
最后再看下廣告主和流量主一起優化的方法 我們稱之為聯邦學習。
背景及定位
在當前海量大數據時代，以及隨着計算機，人工智能和深度學習的飛速發展，算法模型的准確率越來越來依靠於大數據的支持。比如各種用戶的個性化推薦，以及廣告的定向投放的用戶群確定等等方面，剝離開數據，不可能建立出貼近實際情況的優秀模型。但是隨之逐漸浮出了兩個尖銳的難題——數據孤島難題和隱私安全難題。更嚴重的是兩者之間存在一定程度的制衡。尤其在銀行，金融行業，對用戶的信息的安全要求更是高上加高。
數據孤島問題即：由於在某些專業的領域對機器學習模型學習和訓練的時候，缺乏標注數據的支持，同時存在在不同行業的之間的數據源之間存在着難以打破的壁壘。由於行業競爭，用戶隱私，行政手續復雜等問題，甚至在一個企業的不同部門之間的實現數據共享和整合都存在重重阻力，導致當前的海量數據變成了一個個的“數據孤島”，數據之間的交互和通信變得困難。在項目實施過程中對不同機構的數據進行整合的成本無疑是居高的。
隱私保護問題：歐盟在2018年5月出台了《通用數據保護條列》，對於數據的收集，傳輸，保留或者處理過程進行了約束。重視數據隱私和安全已經成為一種世界性共識和趨勢。特別是像銀行金融對隱私比較敏感的行業。在隱藏安全保護要求變高的同時，數據孤島問題似乎變得更突出。
如何在如何平衡隱私保護與技術，如何在避免用戶信息泄露的前提下，建立出優秀貼近實際的算法模型，愈發重要。
核心思路
在人工智能取得長足進展的背景下，樹立並且堅持嚴格的數據保障要求，利用消耗更多的計算機資源，來實現人工智能時代的“保護隱私前提下的數據挖掘”。多方共贏的機器學習方式，有助於打破數據孤島、提升AI 的應用效率，在市場監管、跨部門合作、數據隱私保護等領域，有着非常廣闊的應用前景。
騰訊側的資料 https://cloud.tencent.com/developer/article/1729569
聯邦學習的底層原理和實現非常復雜，這里盡量會以非學術的表達以及應用層的角度來闡述整個內容。
聯邦學習的分為主要范圍縱向、橫向、以及遷移學習。常用的為縱向和橫向學習。
縱向聯邦學習主要針對擁有異構數據的機構，如銀行、電商等，通過融合多個機構對相同樣本的不同觀察進行AI聯合建模。也可以理解為兩個數據集的用戶 ( U1, U2, … ) 重疊部分較大，而用戶特征 ( X1, X2, … ) 重疊部分較小；
橫向聯邦學習主要針對擁有同構數據的大量終端用戶，如互聯網APP 用戶，通過融合終端用戶對相同設備或應用的不同體驗進行AI 聯合建模。在經用戶授權后，聯合建模過程中，用戶的個人隱私均不出個人終端設備（如：手機、平板），從而保證了個人隱私安全。也可以理解為兩個數據集的用戶特征 ( X1, X2, … ) 重疊部分較大，而用戶 ( U1, U2, … ) 重疊部分較小；
整體架構，以騰訊側為例
重點概念
模型角色：因為是兩個公司之間共同訓練同一個模型，因此在訓練時需要雙方各司其職，避免訓練紊亂，模型訓練角色分為 leader 和 follow 兩個角色，leader 角色負責模型的調度，包括模型啟動、數據調度等。還有一個需要提前約定的，就是模型訓練中誰更新主梯度（誰擁有label 去更新模型頂層的 loss）。雖然 leader、follow 角色和 label 擁有者可以解耦，但是一般約定為 label 擁有者承擔 leader 角色。
數據求交：因為涉及到雙方聯合訓練同一個模型，因此在訓練時需要保證雙方能夠識別到同一條樣本，樣本又不能交換，可能存在一些訓練數據的 diff，因此需要有一個數據求交的邏輯，得到雙方共同的訓練數據，並以相同的順序存儲。
站在程序員的角度
這概念看起來有點復雜啊，那么作為客戶側的程序員需要做什么呢，首先要理解下面幾個問題
1. 怎么保障各自數據的安全
聯邦機器學習避免用戶信息泄密的本質為:訓練時將訓練數據留在終端本地，不需要再收集、存儲上傳到雲端，用戶的本地數據，只有用戶本地知曉，最終同步更新全局模型。在避免用戶信息泄露的前提下，得到最終的模型。
還記得上文中提到的布隆過濾器嗎，本質上實現的原理是相同的，都是位圖算法。
位圖算法的模型具體原理為：通過將數據加密之后，通過k次hash函數的散列到位圖模型中。位圖模型其實為長度為m的數組，數組為01數值 。
位圖算法具體原理：
- 確定客戶端私鑰和Host側加密的最大數。
- 確定分析數據總數n，當分析數據小於100000默認n=100000。使用默認長度。
- 錯誤概率定義，由於位圖是存儲的進過hash散列的數值，可以理解為是壓縮完之后的信息，因此可能會出現位圖中數據一致，但是實際的原始數據不一致的現象。
- 通過相關加密用戶信息，之后客戶端私鑰和Host側加密的最大數使用相關函數進行用戶信息加密操作。
- 通過k個哈希函數具體模型計算得到上述經過加密的用戶信息的哈希散列的序號，將位圖數據中對應序號的值置為1，將n個數據計算完畢之后得到對應的位圖模型。
匹配算法具體原理：
首先通過聯邦技術訓練得到經過加密的用戶信息之后，經過計算得到的離線位圖模型。之后通過客戶端私鑰和Host側加密的最大數對用戶信息進行加密，之后和離線的位圖模型進行匹配，得到匹配結果。
總結：
拋開企業級方案所涉及的更深層次的內容，從應用層來看，基於聯邦技術的位圖匹配模型，通過使用聯邦技術完成對用戶信息的保護，通過位圖模型，建立了不超過一定錯誤概率的位圖模型，並且通過該位圖模型，實現對在對用戶信息匹配，確定該在線的用戶信息的類型。該模型目前在廣告獲客平台的應用為;投放廣告側向獲客平台提供某條用戶信息，獲客平台通過位圖模型匹配，將用戶二分類為到：1.有投放價值2.無投放價值，輸出是否向該用戶投放廣告。
九. 總結
近年來到處都可以聽到數字化轉型、數字化經營/營銷等等。所謂數字化營銷不是簡單的將人工作業更新為系統流轉，而是應該以客戶為中心、以產品為基礎從源頭跟蹤用戶訴求、行為、畫像，不停迭代自己產品內容的過程。程序化廣告投放即是數字化營銷的最典型場景。越細分的人群，流量價值越高，對技術的要求也越高。