數據分析常用方法

數據分析常用方法 篇1

一、數據分析很普及

以往的數據分析在今天的各類型企業中，數據分析非常的普及，並且得到認可，數據分析的核心任務往往是支撐運營和營銷，將企業內部的數據，客户的數據進行分析和總結，形成以往工作情況的量化表現，以及客户的行為趨勢或特徵等。

如果從更宏觀的角度來認識數據要達到的目標就是希望通過數據來發現潛在的規律，進而幫助預測未來，這一點同數據挖掘的目標一致。今天我們還是在反覆提到數據挖掘這個概念，我們就需要來看看數據分析都有哪些是沒有做到的內容。

1) 數據分散

多數數據分析崗位在公司中的崗位設置是隸屬在單一業務部門中作為一個支撐崗，只有少數的公司是將數據分析作為一個獨立的部門。其差異性在於，前者的數據分析所能分析的內容僅限於自身部門所輸出的指標，比如投訴部門只看投訴處理過程中的數據，銷售部門只看銷售過程中的數據，一旦涉及到需要將各類指標彙總分析的情況，這種組織架構就會帶來極大的負面影響，由於不同部門具備自己部門指標導出的權限，且與其他部門的配合並不影響績效任務，所以這種跨部門採集數據的過程往往效率奇低。而數據分析最關鍵的就在於彙集更多的數據和更多的維度來發現規律，所以以往的數據分析多是做最基礎的對比分析以及帕累託分析，少有使用算法來對數據進行挖掘的動作，因為越少的指標以及越少的維度將會使得算法發揮的效果越差。

2) 指標維度少

在以往的企業中，數字化管理更多的體現在日常運維工作中，對於客户端的數據採集雖然從很早以前就已經開展，CRM系統的誕生已經有很久的時間了，但是一直以來客户端的數據維度卻十分缺失，其原因在於上述這些途徑所獲得的數據多為客户與企業產生交互之後到交互結束之間的數據，但是這段時間只是這個客户日常生活中很少的一部分內容，客户在微博，微信上的行為特點，關注的領域或是品牌，自身的性格特點等，可以説一個客户真正的特點、習慣，僅通過與企業的交互是無從知曉的，因此難以挖掘出有效的結論。

3) 少使用算法

在上述制約條件下，可想而知數據分析人員對於算法的使用必然是較少的，因為數據分析依賴於大量的指標、維度以及數據量，沒有這三個條件是難以發揮算法的價值的，而在排除掉算法後，數據分析人員更多的只能是針對有限的數據做最為簡單的分析方法，得出淺顯易懂的分析結論，為企業帶來的價值則可以想象。

4) 數據分析系統較弱

目前的數據分析多采用excel，部分數據分析人員能夠使用到R或SPSS等軟件，但當數據量達到TB或PB單位級別時，這些軟件在運算時將會消耗大量時間，同時原始的數據庫系統在導出數據時所花費的時間也是相當長的，因此對大數據量的分析工作，常規的系統支撐難以到達要求。（目前市面上較好的有紐帶線CRM系統的數據分析工具）

二、技術革命與數據挖掘

得益於互聯網對於人們生活的影響逐漸增大，我們發現數據正在瘋狂的增長。今天一個人一天的時間中有將近一半是在互聯網中度過的，一方面這些使用互聯網的交互都是能夠被捕捉記錄的，一方面由於碎片化時間的使用，客户與企業交互的機會也變的越來越頻繁，進一步保障了客户數據的豐富。同時在大數據技術的支撐下，今天的系統能夠允許對這些大規模的數據量進行高效的分析。

因此數據分析人員也能夠開始使用一些較為抽象的算法來對數據做更為豐富的分析。所以數據分析正式進入到了數據分析2.0的`時代，也就是數據挖掘的時代了。

三、數據處理流程

數據分析也即是數據處理的過程，這個過程是由三個關鍵環節所組成：數據採集，數據分析方法選取，數據分析主題選擇。這三個關鍵環節呈現金字塔形，其中數據採集是最底層，而數據分析主題選擇是最上層。

四、數據採集

數據採集即是如何將數據記錄下來的環節。在這個環節中需要着重説明的是兩個原則，即全量而非抽樣，以及多維而非單維。今天的技術革命和數據分析2.0主要就是體現在這個兩個層面上。

1. 全量而非抽樣

由於系統分析速度以及數據導出速度的制約，在非大數據系統支撐的公司中，做數據分析的人員也是很少能夠做到完全全量的對數據進行收集和分析。在未來這將不再成為問題。

2. 多維而非單維

另一方面則在於數據的維度上，這在前邊同樣提及。總之針對客户行為實現5W1H的全面細化，將交互過程的什麼時間、什麼地點、什麼人、因為什麼原因、做了什麼事情全面記錄下來，並將每一個板塊進行細化，時間可以從起始時間、結束時間、中斷時間、週期間隔時間等細分；地點可以從地市、小區、氣候等地理特徵、渠道等細分；人可以從多渠道註冊賬號、家庭成員、薪資、個人成長階段等細分；原因可以從愛好、人生大事、需求層級等細分；事情可以從主題、步驟、質量、效率等細分。通過這些細分維度，增加分析的多樣性，從而挖掘規律。

五、數據分析方法選取

數據分析方法是通過什麼方法去組合數據從而展現規律的環節。從根本目的上來説，數據分析的任務在於抽象數據形成有業務意義的結論。因為單純的數據是毫無意義的，直接看數據是沒有辦法發現其中的規律的，只有通過使用分析方法將數據抽象處理後，人們才能看出隱藏在數據背後的規律。

數據分析方法選取是整個數據處理過程的核心，一般從分析的方法複雜度上來講，我將其分為三個層級，即常規分析方法，統計學分析方法跟自建模型。我之所以這樣區分有兩個層面上的考慮，分別是抽象程度以及定製程度。

其中抽象程度是説，有些數據不需要加工，直接轉成圖形的方式呈現出來，就能夠表現出業務人員所需要的業務意義，但有些業務需求，直接把數據轉化成圖形是難以看出來的，需要建立數據模型，將多個指標或一個指標的多個維度進行重組，最終產生出新的數據來，那麼形成的這個抽象的結果就是業務人員所需要的業務結論了。基於這個原則，可以劃分出常規分析方法和非常規分析方法。

那麼另一個層面是定製程度，到今天數學的發展已經有很長的時間了，其中一些經典的分析方法已經沉澱，他們可以通用在多用分析目的中，適用於多種業務結論中，這些分析方法就屬於通用分析方法，但有些業務需求確實少見，它所需要的分析方法就不可能完全基於通用方法，因此就會形成獨立的分析方法，也就是專門的數學建模，這種情況下所形成的數學模型都是專門為這個業務主題定製的，因此無法適用於多個主題，這類分析方法就屬於高度定製的，因此基於這一原則，將非常規分析方法細分為統計學分析方法和自建模型類。

1) 常規分析方法

常規分析方法不對數據做抽象的處理，主要是直接呈現原始數據，多用於針對固定的指標、且週期性的分析主題。直接通過原始數據來呈現業務意義，主要是通過趨勢分析和佔比分析來呈現，其分析方法對應同環比及帕累託分析這兩類。同環比分析，其核心目的在於呈現本期與往期之間的差異，如銷售量增長趨勢；而帕累託分析則是呈現單一維度中的各個要素佔比的排名，比如各個地市中本期的銷售量增長趨勢的排名，以及前百分之八十的增長量都由哪幾個地市貢獻這樣的結論。常規分析方法已經成為最為基礎的分析方法，在此也不詳細介紹了。

2) 統計學分析方法

統計學分析方法能夠基於以往數據的規律來推導未來的趨勢，其中可以分為多種規律總結的方式。根據原理多分為以下幾大類，包括有目標結論的有指導學習算法，和沒有目標結論的無指導學習算法，以及迴歸分析。

其中有指導的學習算法簡單説就是有歷史數據裏邊已經給出一個目標結論，然後分析當各個變量達到什麼情況時，就會產生目標結論。比如我們想判斷各項指標需要達到什麼水平時我們才認定這個人患有心臟病的話，就可以把大量的心臟病人的各項指標數據和沒有心臟病的正常人的各項指標數據都輸入到系統中，目標結論就是是否有心臟病，變量就是各項指標數據，系統根據這些數據算出一個函數，這個函數能夠恰當的描述各個指標的數據與最終這個是否是心臟病人之間的關係，也就是當各個指標達到什麼臨界值時，這個人就有心臟病的判斷，這樣以後再來病人，我們就可以根據各項指標的臨界值。這個案例中的函數就是算法本身了， 這其中的算法邏輯有很多種，包括常見的貝葉斯分類、決策樹、隨機森林樹以及支持向量機等，有興趣的朋友可以在網上看看各種算法的邏輯是怎麼樣的。

另外無指導的學習算法因為沒有一個給定的目標結論，因此是將指標之中所有有類似屬性的數據分別合併在一起，形成聚類的結果。比如最經典的啤酒與尿布分析，業務人員希望瞭解啤酒跟什麼搭配在一起賣會更容易讓大家接受，因此需要把所有的購買數據都放進來，然後計算後，得出其他各個商品與啤酒的關聯程度或者是距離遠近，也就是同時購買了啤酒的人羣中，都有購買哪些其他的商品，然後會輸出多種結果，比如尿布或者牛肉或者酸奶或者花生米等等，這每個商品都可以成為一個聚類結果，由於沒有目標結論，因此這些聚類結果都可以參考，之後就是貨品擺放人員嘗試各種聚類結果來看效果提升程度。在這個案例中各個商品與 啤酒的關聯程度或者是距離遠近就是算法本身了，這其中的邏輯也有很多中，包括Apriori等關聯規則、聚類算法等。

另外還有一大類是迴歸分析，簡單説就是幾個自變量加減乘除後就能得出因變量來，這樣就可以推算未來因變量會是多少了。比如我們想知道活動覆蓋率、產品價格、客户薪資水平、客户活躍度等指標與購買量是否有關係，以及如果有關係，那麼能不能給出一個等式來，把這幾個指標的數據輸入進去後，就能夠得到購買量，這個時候就需要回歸分析了，通過把這些指標以及購買量輸入系統，運算後即可分別得出，這些指標對購買量有沒有作用，以及如果有作用，那麼各個指標應該如何計算才能得出購買量來。迴歸分析包括線性及非線性迴歸分析等算法。

統計學分析方法還有很多，不過在今天多用上述幾大類分析方法，另外在各個分析方法中，又有很多的不同算法，這部分也是需要分析人員去多多掌握的。

3) 自建模型

自建模型是在分析方法中最為高階也是最具有挖掘價值的，在今天多用於金融領域，甚至業界專門為這個人羣起了一個名字叫做寬客，這羣人就是靠數學模型來分析金融市場。由於統計學分析方法所使用的算法也是具有侷限性的，雖然統計學分析方法能夠通用在各種場景中，但是它存在不精準的問題，在有指導和沒有指導的學習算法中，得出的結論多為含有多體現在結論不精準上，而在金融這種錙銖必較的領域中，這種算法顯然不能達到需求的精準度，因此數學家在這個領域中專門自建模型，來輸入可以獲得數據，得出投資建議來。在統計學分析方法中，迴歸分析最接近於數學模型的，但公式的複雜程度有限，而數學模型是 完全自由的，能夠將指標進行任意的組合，確保最終結論的有效性。

六、數據分析主題選取

在數據分析方法的基礎上，進一步是將分析方法應用在業務需求中，基於業務主題的分析可以涉及太多的領域，從客户的參與活動的轉化率，到客户的留 存時長分析，再到內部的各環節銜接的及時率和準確度等等，每一種都有獨特的指標和維度的要求，以及分析方法的要求，以我個人的經驗來看，主要分析主題都是圍繞着營銷、運營、客户這三大角度來開展的。

1. 營銷/運營分析

營銷運營分析多從過程及最終的成效上來進行分析，包括營銷活動從發佈到客户產生購買的過程的分析，運營從客户開始使用到停止使用為止的過程中的分析，前者更傾向於分析客户行為的變動趨勢，以及不同類型的客户之間的行為差異，後者更傾向於分析在過程中服務的及時率和有效率，以及不同類型的客户之間對於服務需求的差異。

在針對這部分分析主題時，多采用常規分析方法，通過同環比以及帕累託來呈現簡單的變動規律以及主要類型的客户，但通過統計學分析方法，營銷分析可以根據有指導的學習算法，得出營銷成功與營銷失敗之間的客户特徵的差異，而運營分析則可以根據無指導的學習算法，得出哪些特徵的客户對哪些服務是有突出的需求的，另外營銷和運營分析都可以通過迴歸分析來判斷，各項績效指標中，哪些指標是對購買以及滿意度有直接影響的。通過這些深入的挖掘，可以幫助指導營 銷及運營人員更好的完成任務。

2. 客户分析

客户分析除了與營銷和運營數據關聯分析時候使用，另外單獨對於客户特徵的分析也是有很大價值的。這一部分分析更多需要通過統計學分析方法中的有指導和無指導的學習算法，一方面針對高價值客户，通過有指導的學習算法，能夠看到哪些特徵能夠影響到客户的價值高低，從而為企業鎖定目標客户提供指導；另一方面針對全體客户，通過無指導的學習算法，能夠看到客户可以大概分為哪幾種羣落，針對每個羣落的客户展開焦點討論和情景觀察，從而挖掘不同羣落客户之間的需求差異，進而為各個羣落的客户提供精準營銷服務。通過以上這些的操作，一個企業的數據分析或者説數據挖掘工作的完整流程就呈現了出來。可以看到，無論是數據採集，還是分析方法，亦或是分析主題，在大數據和互聯網的支撐基礎上，在未來都將有大幅度的增加，數據分析人員將成為下一個階段的關鍵企業支撐人員，也即是在未來，在各個領域中，都將產生大量的寬客，或者增長黑客這樣的數據分析人員，來帶動企業的發展。

今天的企業數據分析的架構和方法就到這裏了，我們只有不斷的理論聯繫實際，在實踐中掌握方法和技巧，在不斷的實踐中得到啟發，做好企業數據分析，推動企業高速發展，順應市場和時代發展。

數據分析常用方法 篇2

1、未被滿足的需求分析

商業可以簡單的理解為滿足客户需求的全部。未被滿足的需求分析指的是揭示你的產品、服務、客户滿意度以及收入方面是否還有未被滿足的需求。對於未被滿足的需求分析，有效的工具包括產品評價，定性調查，小組討論和訪談。你也可以使用類似於Google Trends這樣的工具來幫助識別客户都在搜索什麼。

提示：現在向你的客户提問是一個非常經濟實惠而又快速的辦法。例如創建一個論壇，在線小組討論，亦或是邀請客户關注你的Facebook頁面並加入到一個反饋小組裏面。

2、市場規模分析

如果對自己的市場規模和潛力不夠了解，我們很容易對商業決策的可行性妄下結論。市場規模分析指的是評估你的產品以及服務市場規模有多大，是否有足夠的增長潛力。衡量指標包括產量（售出多少）、產值、頻率（一個產品或服務的出售頻率）。有效數據包括政府公佈的數據，行業協會數據，競爭對手財務數據以及客户調查。

提示：僅因為某個市場大並不意味着它是有利可圖的——特別地，如果大多數客户想要的某個產品或者服務市場上已經有了，那麼他們不太可能會接受另一個產品或服務了。

3、需求預測

瞭解需求對於保持企業的競爭力是至關重要的。需求預測屬於預測分析領域，旨在預估消費者可能會購買的產品數量或服務。不同於簡單猜測，它是基於過去市場上的歷史數據或當前數據作出的估計。此時，分析技術（如時間序列分析）就顯得非常有用了。

提示：用於需求預測的數據必須是乾淨並且準確的。如果不是這樣的話，得到的結果將不準確，並且有可能導致你誤入歧途。

4、市場趨勢分析

每個企業都需要知道它自己的一個市場前進方向。市場趨勢分析指的是確定市場是否在增長，停滯還是衰落，以及市場變化的快慢。瞭解市場的規模大小很重要，但瞭解的市場正趨勢上漲還是下跌同樣也很重要。為了監測市場動向，你可以做一些商業推演或情景分析以此判斷市場未來的一個大概樣子。客户調查或小組討論有一定的幫助作用。

提示：始終警惕外部環境，如立法的修改，社會期望。

5、非客户分析

傳統地，我們被告知我們需要了解我們的客户，以便於我們知道他們是怎樣的一些人並找出更多跟他們相似的人。道理雖這樣，但另一方面可能更重要——非客户分析。非客户分析指的是瞭解那些目前還不是你的客户對你的產品，服務或品牌的看法。通過識別出那些不買你產品的人，以此來擴大市場。訪談，問卷調查，焦點小組可以提供幫助。

提示：通過社交媒體的力量，我們可以輕鬆的獲取那些不是你的客户的意見反饋。

6、競爭對手分析

任何業務都是在競爭環境中成長的。競爭對手分析對市場營銷和戰略規劃非常重要，它指的是識別你的競爭者是誰，他們的市場定位是怎樣的，他們的業務跟自己的業務有什麼關係。通過了解自己的優勢和劣勢，你利用對方的弱點來尋找機會。收集競爭對手數據的方法有很多種，例如商業期刊和報紙，年度報告，產品説明書和營銷活動。你甚至可以讓你的一個員工、朋友或者家庭成員從你的競爭對手那裏購買他們的產品或者服務進行比較。

提示：競爭對手分析的最有用的技巧是去做這件事情！可悲的是，大多數企業沒有這樣做。

7、定價分析

定價分析指的是在產品發佈之前找出你的客户願意為你的產品支付多少錢。它涉及細分市場價格靈敏度分析，尤其在高度競爭的市場非常有用。定價分析需要數據挖掘，預測模型和算法的開發。同時，它還涉及多個並行的商業實驗，以此來測量價格變動所帶來的變化。

提示：如果你希望通過定價分析來提升收入，請確保給那些為你的產品支付了更多錢的客户提供了更高的價值。

8、銷售渠道分析

有數以百計的渠道和市場可以用來推廣你的產品和服務。銷售渠道分析可以幫助你評估現有銷售渠道的有效性。你可能會通過不同的渠道來達到您的不同細分市場，但我們有必要知道哪些渠道是有效的，哪些渠道可以到達事半功倍的效果。對於每個現有的市場營銷渠道以及那些潛在的尚未使用的渠道，你最好設置一些轉化率目標，以便於瞭解各個渠道的推廣效果。

提示：銷售渠道分析顯然是線上比線下更適合。在線渠道具有數字化的特徵，並且經常是構建在市場和銷售平台之上的。

9、品牌分析

品牌分析旨在確定你跟競爭對手相比你的品牌實力如何。品牌不是簡單的商品標識和包裝，它還包含了客户對你的產品的感受以及它們對客户的寓意。真正的瞭解客户如何看待自己的品牌很重要，因為這會影響到你的決策和戰略方向。你需要從各種渠道來獲取客户以及那些潛在客户的數據來進行數據分析，如客服服務記錄，銷售記錄，網絡論壇，博客，評論網站和社交媒體等。

提示：互聯網為人們如何看待你的品牌以及你的業務提供了是一個豐富的信息源。人們樂於去分享他們的想法和感受，所以我們應該努力挖掘這樣一個豐富的信息金礦。

數據分析對市場營銷的益處

為什麼要在市場營銷中使用數據分析？ 因為它可以給你的市場營銷工作帶來很多的幫助。

假設你發起了一個電子郵件營銷活動，你怎麼知道你的郵件列表上有多少人打開了郵件？ 在電子郵件營銷活動中，有些人可能已經決定不再和你做生意了———你如何追蹤這些取消訂閲的用户？數據分析為電子郵件營銷平台提供瞭解決這些問題的答案。

數據分析也可以幫助營銷人員做出更好的決策。你知道哪種廣告方法的投資回報率最高嗎？ 通過對不同渠道的數據監測分析，你可以辨別出更有效的推廣方式和渠道。你可能會發現，把錢投到CPC廣告（點擊付費廣告）中並不能產生你所希望的投資回報。然而，也許電子郵件營銷活動比你意識到的要成功得多。

如何在市場營銷中成功地使用數據分析

雖然數據分析可以改善營銷活動的效果，但前提是你必須遵循一些最佳實踐方法。

首先，你應該設定明確的目標。數據是海量的，你不可能分析所有的數據，你也不應該分析所有的數據，畢竟不是每個數據都會對你產生益處。你需要且應該分析的是那些對你有益的數據。而這些都要求你明確自己想要完成的事情（如接觸不活躍的客户，提高客户的參與度，決定銷售到成交的比率等等），並找到合適的數據。

另一個最佳實踐方法是保持數據“乾淨”。有時，信息可能有誤。例如，如果一個電話號碼的兩位數被調換，你就不會找到合適的人。確保你的數據是無誤的，這將幫助你更好地進行用户行為分析，從而更好地指導產品運營。

最後，使用合適的工具進行工作。市場上有許多數據分析解決方案，例如，開源私有化部署的Cobub Razor，它可以幫助你採集用户行為數據，並且提供可視化的報表，許多市場營銷人員都認為它是有用的。儘管市場上的數據分析產品這麼多，但最終你的團隊需要找到適合其需求的數據分析工具，從而產生最佳的結果。

數據分析常用方法 篇3

一、面板數據

面板數據：其有時間序列和截面兩個維度，當這類數據按兩個維度排列時，是排在一個平面上，與只有一個維度的數據排在一條線上有着明顯的不同，整個表格像是一個面板,所以把panel data譯作“面板數據”。但是,如果從其內在含義上講,把panel data譯為“時間序列—截面數據” 更能揭示這類數據的本質上的特點。也有譯作“平行數據”或“TS-CS數據（Time Series - Cross Section）”。

線性面板線性面板數據裏面各種估計量的關係，每個箭頭都是可以證明的，感興趣的可以自己證明：

二、離散選擇模型和受限因變量模型

在實證微觀計量經濟學分析當中，我們常常會碰到這樣一類計量經濟模型，其中的因變量或者是定性的，或者是取值範圍受到限制。在這兩種情形下，必須要使用特殊的方法才能對這類計量經濟模型進行有效分析，才能獲得其中參數的一致估計。

當因變量是定性的時候，某些場合我們可以給它賦予諸如LL,,,2,1,0n等數值。但是，前提必須是有意義的。在實證微觀計量經濟學分析當中，我們常常會碰到這樣一類計量經濟模型，其中的因變量或者是定性的，或者是取值範圍受到限制。在這兩種情形下，必須要使用特殊的方法才能對這類計量經濟模型進行有效分析，才能獲得其中參數的一致估計。當因變量是定性的時候，某些場合我們可以給它賦予諸如0,1，...,n...等數值。但是，前提必須是有意義的。二元選擇模型的特點就是其因變量僅有二個結果。

三、靜態面板數據

我們一般所説的靜態面板數據模型，是指解釋變量中不包含被解釋變量的滯後項（通常為一階滯後項）的情形。但嚴格地講，隨機干擾項服從某種序列相關的模型，如AR(1)，AR(2)，MA(1)等，也不是靜態模型。動態和靜態模型在處理方法上往往有較大的差異。用靜態面板數據建立的模型通常有三種，即混合模型、固定效應模型和隨機效應模型。

四、動態面板數據

動態面板數據是研究現象動態行為的一種重要方式，在一個模型中添加動態因素，是對方程理解上的一個變化。在方程中添加滯後變量即右邊變量的整個歷史，所以所觀測的任何影響都以這個歷史為條件。假如在面板數據模型右端加入滯後因變量的話，則模型變為動態面板數據模型。