1、何為用戶畫像
用戶畫像是指根據用戶的屬性、偏好、行為、生活習慣、等信息而抽象出來的標簽化用戶模型。
通俗講就是給用戶打標簽，而標簽是通過對用戶信息分析而來的高度提煉的特征標識
通過打標簽可以利用一些高度概括、容易理解的特征來描述用戶，可以讓人更容易理解用戶，並且可以方便計算機處理
用戶畫像是對現實世界中用戶的建模，用戶畫像應該包含目標、方式、組織】標准、驗證這些方面
目標：指定是描述人，認識人，了解人，理解人
方式：分為非形式化手段，如使用文字、語言、圖像、視頻等方式描述人；形式化，即使用數據的方式來刻畫人物的畫像
組織：結構化、非結構化的組織形式
標准：指的是使用常識、共識、知識體系的漸進過程來刻畫人物，認識了解用戶
驗證：依據側重說明了用戶畫像應該來源事實、經得起推理和校驗
2、用戶畫像的作用
在互聯網、電商領域用戶畫像常用來作為精准營銷、推薦系統的基礎性工作，其作用總體包括：
（1）精准營銷：根據歷史用戶特征，分析產品的潛在用戶和用戶的潛在需求，針對特定群體，利用短信、郵件等方式進行營銷
（2）用戶統計：根據用戶的屬性、行為特征對用戶進行分類后，統計不同特征下的用戶數量、分布；分析不同用戶畫像群體的分布特征
（3）數據挖掘：以用戶畫像為基礎構建推薦系統、搜索引擎、廣告投放系統，提升服務精准度
（4）服務產品：對產品進行用戶畫像，對產品進行受眾分析，更透徹地理解用戶使用產品的心理動機和行為習慣，完善產品運營，提升服務質量
（5）行業報告&用戶研究：通過用戶畫像分析可以了解行業動態，如人群消費習慣、消費偏好分析、不同地域品類消費差異分析
根據用戶畫像的作用可以看出，用戶畫像的使用場景較多，用戶畫像可以用來挖掘用戶興趣、偏好、人口統計學特征，主要目的是提升營銷精准度、推薦匹配度，終極目的是提升產品服務，起到提升企業利潤。用戶畫像適合於各個產品周期：從新用戶的引流到潛在用戶的挖掘、從老用戶的培養到流失用戶的回流等。
總結來說，用戶畫像必須從實際業務場景出發，解決實際的業務問題，之所以進行用戶畫像，要么是獲取新用戶，要么是提升用戶體驗、或者挽回流失用戶等具有明確的業務目標。
3、用戶畫像分類
從畫像方法來說，可以分為：定性畫像、定性+定量畫像、定量畫像
從應用角度來說，可以分為：行為畫像、健康畫像、企業信用畫像、個人信用畫像、靜態產品畫像、旋轉設備畫像、社會畫像和經濟畫像等
4、用戶畫像需要用到哪些數據
根據具體的業務內容，會有不同的數據，不同的業務目標，也會使用不同的數據。
在互聯網領域，用戶畫像數據可以包括以下內容：
- 人口屬性：包括性別、年齡等人的基本信息
- 興趣特征：瀏覽內容、收藏內容、閱讀資訊、購買物品偏好等
- 消費特征：與消費相關的特征
- 位置特征：用戶所處城市、所處居住區域、用戶移動軌跡等
- 設備屬性：使用的終端特征等
- 行為數據：訪問時間、瀏覽路徑等用戶在網站的行為日志數據
- 社交數據：用戶社交相關數據
用戶畫像數據來源廣泛，這些數據是全方位了解用戶的基礎，這里以Qunar的畫像為例，其畫像數據主要維度如下：包括用戶RFM信息、航線信息等。
Qunar的畫像數據倉庫構建都是基於Qunar基礎數據倉庫構建，然后按照維度進行划分
hive基礎數據：機票信息庫、用戶標簽庫、售后信息庫、車票信息數據、酒店信息庫、用戶行為日志數據
5、用戶畫像主要應用場景
- 用戶屬性
- 用戶標簽畫像
- 用戶偏好畫像
- 用戶流失
- 用戶行為
- 產品設計
- 個性化推薦、廣告系統、活動營銷、內容推薦、興趣偏好
6、用戶畫像使用的技術方法
靜態和動態的划分，其實是根據某個維度來定的，或者是在某個時間窗口內的。
靜態畫像一般是實時性弱更新慢
動態畫像變化相對更快，可以在實時性、空間上有差異
不同的行業、不同的業務，也會有不一樣的構建目標和方法。
在這個過程中，通過業務應用的要素分析，去驅動標簽維度的擴展，然后通過標簽維度的擴展。然后驅動業務。
7、用戶畫像標簽體系的建立
7.1 什么是標簽體系
用戶畫像是對現實用戶做的一個數學模型，在整個數學模型中，核心是怎么描述業務知識體系，而這個業務知識體系就是本體論。
本體論比較復雜，一個特別的實現，就是標簽
標簽是某一種用戶特征的符號表示。是一種內容組織方式，是一種關聯性很強的關鍵字，能方便的幫助我們找到合適的內容及內容分類（簡單說，就是把用戶分到多少類別里面去，這些類是什么，彼此之間有什么關系，就構成了標簽體系）
標簽解決的是描述（或命名）問題，但在實際應用中，還需要解決數據之間的關聯，所以通常將標簽作為一個體系來設計，以解決數據之間的關聯問題
一般來說，將能關聯到具體用戶數據的標簽，成為葉子標簽。
對葉子標簽進行分類匯總的標簽，稱為父標簽。
父標簽和葉子標簽共同構成標簽體系，但是兩者是相對的概念。如：下表中，地市，型號在標簽體系中相對於省份、品牌，是葉子標簽
用戶畫像標簽體系創建后一般要包含以下幾個方面的內容
（1）標簽分類
用戶畫像標簽可以分為基礎屬性標簽和行為屬性標簽
由於基於一個目標的畫像，其標簽是在動態擴展的，所以其標簽體系也沒有統一的模板，在大分類上，與自身的業務特征有很大的關聯，在整體思路上可以從橫縱兩個維度展開思考：橫向是產品內數據和產品外數據，縱向是線上數據和線下數據。而正中間則是永恆不變的“人物基礎屬性”。
如果說其他的分類因企業特征而定，那么只有人物特征屬性（至於名字叫什么不重要，關鍵是內涵）是各家企業不能缺失的板塊。
所謂人物基礎屬性指的是：用戶客觀的屬性而非用戶自我表達的屬性，也就是描述用戶真實人口屬性的標簽。所謂非“自我表達”，舉例來說，某產品內個人信息有性別一項，用戶填寫為“女”，而通過用戶上傳的身份證號，以及用戶照片，用戶購買的產品，甚至用戶打來的客服電話，都發現該用戶性別是“男性”。那么在人物基礎屬性中的性別，應該標識的是“男性”，但是用戶信息標簽部分，自我描述的性別則可能標注為女性。
（2）標簽級別（標簽的體系結構）
分級有兩層含義，一是：指標到最底層級的涵蓋的層級；二是：指標的運算層級。
標簽從運算層級角度可以分為三層：事實標簽、模型標簽、預測標簽
事實標簽：是通過對於原始數據庫的數據進行統計分析而來的，如用戶投訴次數，是基於用戶一段時間內實際投訴的行為做的統計
模型標簽：是以事實標簽為基礎，通過構建事實標簽與業務問題之間的模型，進行模型分析得到的。如，結合用戶實際投訴次數、用戶購買品類、用戶支付的金額等，進行用戶投訴傾向類型的識別，方便客服進行分類處理
預測標簽：是在模型的基礎上做預測，如，針對投訴傾向類型結構的變化，預測平台輿情風險指數
（3）標簽命名&賦值
（4）標簽屬性
標簽屬性可以理解為針對標簽進行的再標注，這一環節的工作主要目的是幫助內部理解標簽賦值的來源，進而理解指標的含義。如圖所示，可以總結為5種來源：
固有屬性：是指這些指標的賦值體現的是用戶生而有之或者事實存在的，不以外界條件或者自身認知的改變而改變的屬性。比如：性別、年齡、是否生育等。
推導屬性：由其他屬性推導而來的屬性，比如星座，我們可以通過用戶的生日推導，比如用戶的品類偏好，則可以通過日常購買來推導。
行為屬性：產品內外實際發生的行為被記錄后形成的賦值，比如用戶的登陸時間，頁面停留時長等。
態度屬性：用戶自我表達的態度和意願。比如說我們通過一份問卷向用戶詢問一些問題，並形成標簽，如詢問用戶：是否願意結婚，是否喜歡某個品牌等。當然在大數據的需求背景下，利用問卷收集用戶標簽的方法效率顯得過低，更多的是利用產品中相關的模塊做了用戶態度信息收集。
測試屬性：測試屬性是指來自用戶的態度表達，但並不是用戶直接表達的內容，而是通過分析用戶的表達，結構化處理后，得出的測試結論。比如，用戶填答了一系列的態度問卷，推導出用戶的價值觀類型等。
值得注意的是，一種標簽的屬性可以是多重的，比如：個人星座這個標簽，既是固有屬性，也是推導屬性，它首先不以個人的意志為轉移，同時可以通過身份證號推導而來。
即便你成功了建立用戶畫像的標簽體系，也不意味着你就開啟了用戶畫像的成功之路，因為有很大的可能是這些標簽根本無法獲得，或者說無法賦值。
標簽無法賦值的原因有：數據無法采集（沒有有效的渠道和方法采集到准確的數據，比如用戶身份證號）、數據庫不能打通、建模失敗（預測指標無法獲得賦值）等等。
7.2 標簽體系結構
1）原始輸入層
主要指用戶的歷史數據信息，如會員信息、消費信息、網絡行為信息。經過數據的清洗，從而達到用戶標簽體系的事實層。
（2）事實層
事實層是用戶信息的准確描述層，其最重要的特點是，可以從用戶身上得到確定與肯定的驗證。如用戶的人口屬性、性別、年齡、籍貫、會員信息等。
（3）模型預測層
通過利用統計建模，數據挖掘、機器學習的思想，對事實層的數據進行分析利用，從而得到描述用戶更為深刻的信息。如通過建模分析，可以對用戶的性別偏好進行預測，從而能對沒有收集到性別數據的新用戶進行預測。還可以通過建模與數據挖掘，使用聚類、關聯思想，發現人群的聚集特征。
（4）營銷模型預測
利用模型預測層結果，對不同用戶群體，相同需求的客戶，通過打標簽，建立營銷模型，從而分析用戶的活躍度、忠誠度、流失度、影響力等可以用來進行營銷的數據。
（5）業務層
業務層可以是展現層。它是業務邏輯的直接體現，如圖中所表示的，有車一族、有房一族等。
7.3 標簽體系結構分類
一般來說，設計一個標簽體系有3種思路，分別是：（1）結構化標簽體系；（2）半結構化標簽體系；（3）非結構化標簽體系。
- 結構化標簽體系
簡單地說，就是標簽組織成比較規整的樹或森林，有明確的層級划分和父子關系。結構化標簽體系看起來整潔，又比較好解釋，在面向品牌廣告井噴時比較好用。性別、年齡這類人口屬性標簽，最典型的結構化體系
- 半結構化標簽體系
在用於效果廣告時，標簽設計的靈活性大大提高了。標簽體系是不是規整，就不那么重要了，只要有效果就行。在這種思路下，用戶標簽往往是在行業上呈現出一定的並列體系，而各行業內的標簽設計則以“逮住老鼠就是好貓”為最高指導原則，切不可拘泥於形式。下圖是Bluekai聚合多家數據形成的半結構化標簽體系。
- 非結構化標簽體系
非結構化，就是各個標簽就事論事，各自反應各自的用戶興趣，彼此之間並無層級關系，也很難組織成規整的樹狀結構。非結構化標簽的典型例子，是搜索廣告里用的關鍵詞。
7.4 用戶畫像標簽層級的建模方法
用戶畫像的核心是標簽的建立，用戶畫像標簽建立的各個階段使用的模型和算法如下圖所示。
原始數據層：對原始數據，我們主要使用文本挖掘的算法進行分析如常見的TF-IDF、TopicModel主題模型、LDA 等算法，主要是對原始數據的預處理和清洗，對用戶數據的匹配和標識。
事實標簽層：通過文本挖掘的方法，我們從數據中盡可能多的提取事實數據信息，如人口屬性信息，用戶行為信息，消費信息等。其主要使用的算法是分類和聚類。分類主要用於預測新用戶，信息不全的用戶的信息，對用戶進行預測分類。聚類主要用於分析挖掘出具有相同特征的群體信息，進行受眾細分，市場細分。對於文本的特征數據，其主要使用相似度計算，如余弦夾角，歐式距離等。
模型標簽層：使用機器學習的方法，結合推薦算法。模型標簽層完成對用戶的標簽建模與用戶標識。其主要可以采用的算法有回歸，決策樹，支持向量機等。通過建模分析，我們可以進一步挖掘出用戶的群體特征和個性權重特征，從而完善用戶的價值衡量，服務滿意度衡量等。
預測層：也是標簽體系中的營銷模型預測層。這一層級利用預測算法，如機器學習中的監督學習，計量經濟學中的回歸預測，數學中的線性規划等方法。實習對用戶的流失預測，忠實度預測，興趣程度預測等等，從而實現精准營銷，個性化和定制化服務。
不同的標簽層級會考慮使用對其適用的建模方法，對一些具體的問題，有專門的文章對其進行研究。
8、 用戶畫像基本步驟
根據具體業務規則確定用戶畫像方向后，開展用戶畫像分析，總體來說，一個用戶畫像流程包括以下三步：
- （1）用戶畫像的基本方向；
- （2）用戶數據收集；
- （3）用戶標簽建模。另外，需要注意的是用戶畫像的時效性，構建畫像的數據多為歷史數據，但用戶的行為、偏好等特征多會隨着時間的推移而發生變化。
9、用戶畫像驗證
10、用戶畫像平台&架構
用戶畫像系統
（1） 數據處理
a、數據指標的梳理來源於各個系統日常積累的日志記錄系統，通過sqoop導入hdfs,也可以用代碼來實現，比如spark的jdbc連接傳統數據庫進行數據的cache。還有一種方式，可以通過將數據寫入本地文件，然后通過sparksql的load或者hive的export等方式導入HDFS。
b、通過hive編寫UDF 或者hiveql根據業務邏輯拼接ETL，使用戶對應上不同的用戶標簽數據（這里的指標可以理解為每個用戶打上了相應的標簽），生成相應的源表數據,以便於后續用戶畫像系統，通過不同的規則進行標簽寬表的生成。
（2） 數據平台
a、數據平台應用的分布式文件系統為Hadoop的HDFS，因為Hadoop2.0以后,任何的大數據應用都可以通過ResoureManager申請資源，注冊服務。比如(sparksubmit、hive）等等。而基於內存的計算框架的出現，就並不選用Hadoop的MapReduce了。當然很多離線處理的業務，很多人還是傾向於使用Hadoop,但是Hadoop封裝的函數只有map和Reduce太過單一，而不像spark一類的計算框架有更多封裝的函數（可參考博客spark專欄）。可以大大提升開發效率。
b、計算的框架選用Spark以及RHadoop,這里Spark的主要用途有兩種，一種是對於數據處理與上層應用所指定的規則的數據篩選過濾，(通過Scala編寫spark代碼提交至sparksubmit)。一種是服務於上層應用的SparkSQL（通過啟動spark thriftserver與前台應用進行連接）。RHadoop的應用主要在於對於標簽數據的打分，比如利用協同過濾算法等各種推薦算法對數據進行各方面評分。
c、MongoDB內存數據的應用主要在於對於單個用戶的實時的查詢，也是通過對spark數據梳理后的標簽寬表進行數據格式轉換(json格式）導入mongodb,前台應用可通過連接mongodb進行數據轉換，從而進行單個標簽的展現。（當然也可將數據轉換為Redis中的key value形式，導入Redis集群)
d、mysql的作用在於針對上層應用標簽規則的存儲，以及頁面信息的展現。后台的數據寬表是與spark相關聯，通過連接mysql隨后cache元數據進行filter、select、map、reduce等對元數據信息的整理,再與真實存在於Hdfs的數據進行處理。
（3） 面向應用
從剛才的數據整理、數據平台的計算，都已經將服務於上層應用的標簽大寬表生成。（用戶所對應的各類標簽信息）。那么前台根據業務邏輯，勾選不同的標簽進行求和、剔除等操作，比如本月流量大於200M用戶（標簽）+本月消費超過100元用戶（標簽）進行和的操作，通過前台代碼實現sql的拼接，進行客戶數目的探索。這里就是通過jdbc的方式連接spark的thriftserver，通過集群進行HDFS上的大寬表的運算求count。（這里要注意一點，很多sql聚合函數以及多表關聯join 相當於hadoop的mapreduce的shuffle,很容易造成內存溢出，相關參數調整可參考本博客spark欄目中的配置信息）這樣便可以定位相應的客戶數量，從而進行客戶群、標簽的分析，產品的策略匹配從而精准營銷。
11、用戶畫像瓶頸
資料搜集和數據挖掘
在畫像之前需要知道產品的用戶特征和用戶使用產品的行為等因素，從而從總體上掌握對用戶需求創建用戶畫像不是抽離出典型進行單獨標簽化的過程，而是要融合邊緣環境的相關信息來進行討論
定量調研分析
我們的用戶標簽包含基本特征、社會身份、顧客用戶生命周期、類目偏好等等。比如說你怎么判斷一個人是不是對女裝感興趣，假設我們有一個類目就是女裝，那很好辦，如果你購買都是女裝，那會認為你這個人對女裝比較感興趣。
挑戰
我們期間遇到了兩方面的挑戰：億級畫像系統實踐和應用記錄和存儲億級用戶的畫像，支持和擴展不斷增加的維度和偏好，毫秒級的更新，支撐公司個性化推薦、廣告投放和精細化營銷等產品。
來源：https://blog.csdn.net/zzhhoubin/article/details/79727130