基本步驟:從左到右順序畫一個決策樹,這是一個決策問題的重新分析過程。從右到左計算每個方案的期望值,并將結果寫在對應的方案節點上方。的期望值是沿著決策樹的相反方向從右到左計算的。比較各方案的期望值,砍掉期望值低的方案(即次優方案),留下最后一個方案作為最佳方案。
特征選擇:特征選擇決定了使用哪些特征進行判斷。在訓練數據集中,每個樣本可能有很多屬性,不同的屬性有不同的作用。因此,特征選擇的作用就是篩選出與分類結果相關性高的特征,即分類能力強的特征。特征選擇常用的準則是:信息增益。
決策樹的生成:選擇一個特征后,從根節點觸發,為每個節點計算所有特征的信息增益,選擇信息增益最大的特征作為節點特征,根據該特征的不同值建立子節點;對每個子節點使用相同的方法來生成新的子節點,直到信息增益很小或者沒有特征可供選擇。
決策樹的剪枝:剪枝的主要目的是通過主動去除部分分支來對抗“過擬合”,降低過擬合的風險。
決策樹方法的優點:
1.決策樹列出了決策問題的所有可行解和各種可能的自然狀態,以及各種狀態下每個可行方法的期望值。
2.可以直觀地展示整個決策問題在不同階段的時間和決策順序的決策過程。
3.應用于復雜的多階段決策時,階段明顯,層次清晰,便于決策主體集體研究,能夠慎重考慮各種因素,有利于做出正確決策。


評論前必須登錄!
立即登錄 注冊