編輯導語:作為多元統計分析里的降維辦法之一,因子分析可以應用于多個場景、如調研、數據建模等場景之中。本篇文章里,作者就對因子分析做了具體介紹,對其原理邏輯、用途及代碼完成過程進行了相關展現,讓我們來看一下。
數據分析中,主成分分析(PCA)是被大家熟知的數據降維辦法。而因子分析和主成分分析是十分相似的兩種辦法,他們都屬于多元統計分析里的降維辦法。但因子分析最大的長處就是:對新的因子能夠進行命名和解釋,使因子具有可解釋性。
因此,因子分析可以作為「需要滿意可解釋性數據建模」的前期數據降維的辦法。下文會介紹因子分析的原理邏輯、用途以及Python代碼的完成過程。
一、什么是因子分析?
因子分析的起源是這樣的,1904年英國的一個心理學家發現學生的英語、法語和古典語成績十分有相關性,他認為這三門課程背后有一個共同的因素驅動,最后將這個因素定義為“語言能力”。基于這個主意,發現許多相關性很高的因素背后有共同的因子驅動,從而定義了因子分析。
因子分析在經濟學、心理學、語言學和社會學等領域常常被用到,一般會試探出背后的影響因素如:語言能力、智力、理解力等。這些因素都是無法直接計算,而是基于背后的調研數據所推算出的公共因子。
因此概括下,因子分析就是將存在某些相關性的變量提煉為較少的幾個因子,用這幾個因子去示意原本的變量,也可以根據因子對變量進行分類。
舉個例子。學生有語文、英語、歷史、數學、物理、化學六門成績,通過因子分析會發現這六門課由兩個公共因子驅動,前三門是由“文科”因子,后三門是“理科”因子;從而可以計算每個學生的文科得分和理科得分來評估他在兩個方面的表現。
二、因子分析可以解決什么問題?1. 在多變量場景下,挖掘背后影響因子
比如在企業和品牌調研中,生產者會調查許多問題來評估企業品牌。對這些問題通過因子分析可以刻畫出背后少量的潛在影響因素,比如服務質量、商品質量等等。
2. 用于數學建模前的降維
因子分析和主成分分析都可用于降維。但因子分析的長處是,因子作為新的解釋變量去建模,有更好的解釋性。
因此對于有些需要業務解釋的數據建模,可以在建模前通過因子分析提取要害因子,再用因子得分為解釋變量,通過回歸或者決策樹等分類模型去建模。
三、算法完成步驟
首先需要注重的是,和主成分分析一樣,兩種辦法的目的都是降維,所以兩種辦法的前提假設都是:特征之間不是完全互相交互。
因子分析是尋覓不線性相關的“變量”的線性搭配來示意原始變量,這些“變量”稱為因子,如下圖中的F就是因子,X是原始變量,eps是原始變量不可被公共因子示意的部分。
以上的公式還需要滿意:
要求因子的數據小于原始變量的數量,即m≤p;
因子F之間是相互獨立且方差為1;
因子F和eps之間的相關性為0,eps之間相關性為0。
因此,因子分析的過程就是完成以下幾個目的的過程:
求解方程中的因子F的系數;
給予因子F實際的解釋;
展現原始特征和公共因子之間的關系,從而完成降維和特征分類等目的。
求解方程的過程,就是分析變量的相關系數矩陣,從而找到少數幾個隨機變量去描述所有變量。又因為求解的不唯一性,最后通常會對因子的載荷矩陣做一次正交旋轉,目的是為了方便理解每個因子的意義。
匯總一下:對于因子分析的實操可以提煉為以下幾個步驟。
1)充分性檢驗
目的:檢驗變量之間是否存在相關性,從而判定是否合適做因子分析;
辦法:抽樣合適性檢驗(KMO檢驗)或者 巴特利特檢驗(Bartlett’s Test)。
2)挑選因子個數
目的:通過數據定義最適合的潛在公共因子個數,這個決定后面的因子分析效果;
辦法:Kaiser”s準則 或者 累積貢獻率原則。
3)提取公共因子并做因子旋轉
提取公共因子就是上面提到的求解函數的過程,一般求解辦法有:主成分法、最大似然法、殘差最小法等等。
因子旋轉的原因是提取公共因子的解有許多,而因子旋轉后因子載荷矩陣將得到重新分配,可以使得旋轉后的因子更輕易解釋。常用的辦法是方差最大法。
4)對因子做解釋和命名
目的:解釋和命名其實是對潛在因子理解的過程;這一步十分要害,需要十分了解業務才可。這也是我們運用因子分析的主要原因。
辦法:根據因子載荷矩陣發現因子的特點。
5)計算因子得分
對每一樣本數據,得到它們在不同因子上的詳細數據值,這些數值就是因子得分。
四、案例講解

數據集介紹:美國洛杉磯2000年街區普查數據,共有110個街區,15個變量,變量詳細情景見下表。
想分析影響不同街區下人口分布的潛在因子。
1. 第一步:數據預處理和分析
新增“人口密度”特征,刪除特征人口量、面積、經度和維度。
import pandas as pd
import numpy as np
LA_data = pd.read_csv(‘LA.Neighborhoods.csv’)
#新增人口密度,去掉人口量、面積、經度和維度
LA_data[‘density’] = LA_data[‘Population’]/LA_data[‘Area’]
LA_data_final = LA_data.drop([‘Population’,’Area’,’Longitude’,’Latitude’],axis=1)
LA_data_final_feat = LA_data_final.drop([‘LA_Nbhd’],axis=1)
2. 第二步:因子分析——充分性檢驗
巴特利特P值小于0.01,KMO值大于0.6;說明此數據合適做因子分析。
3. 第三步:因子個數確定
特征值大于1的因子數有2個,且兩個因子的累計方差有68%;因此確定因子個數為2個。
from factor_analyzer import FactorAnalyzer
fa = FactorAnalyzer(LA_data_final_feat.shape[1]+1, rotation=None)
fa.fit(LA_data_final_feat)
ev, v = fa.get_eigenvalues # 計算特征值和特征向量
var=fa.get_factor_variance#給出方差貢獻率
4. 第四步:做因子分析
調用因子分析函數,并得到因子載荷矩陣;從載荷矩陣可以看到,第一個因子和收入、有房家庭比例、復員軍人比例及歐裔比例成正相關;第二個因子和非裔比例成正相關,反而和收入及有房比例等成負相關。
fa = FactorAnalyzer(2, rotation=”varimax”)fa.fit(LA_data_final_feat)# 輸出載荷矩陣df_loading=pd.DataFrame(fa.loadings_,index=LA_data_final_feat.columns.tolist)df_loading
5. 第五步:計算因子得分
其中因子1得分越大示意:收入、有房家庭比例、復員軍人比例及歐裔比例更高;因子2得分高示意:非裔人群比例更高。
綜上,以上就是本文要介紹的全部內容。
因子分析在互聯網數據分析場景下用到的比較少,主要原因就是許多人不明白怎么用?不明白用到哪里?希望看完文章的你能初步了解因子分析,能明白下面幾個問題的答案(不記得就回頭看上面的介紹分享哦)。
什么是因子分析?
因子分析可以解決什么問題?
因子分析的算法邏輯和分析流程是什么?
Python代碼如何完成?
評論前必須登錄!
立即登錄 注冊