艾鍗學院學員AI專題 - Kaggle貸款風險預測模型開發
- 1. Kaggle_ 貸款風險 預測模型開發 成員：謝 O 戎、吳 O 頡、劉 O 言、林 O 譯、陳 O 彣、熊 O 凱
- 3. 動機 傳統的信用評估方法通常依賴於有限的資料，且缺乏對客戶行為的深入理解。 隨著金融科技迅速發展以及數據量的增加，利用先進的機器學習技術來預測 信貸風險變得越來越重要。 1 機器學習 從龐大資料學習複雜的 模式，更精確地評估信 用風險。 2 巨量資料 豐富客戶資料，包括信 用歷史、交易紀錄和個 人等資訊 3 穩定的模型 確保模型在歷經時間週期、資料變動時仍能保持適當準 確性。
- 4. 目標 1. 參與 Kaggle 競賽，建立一個正確、穩定可靠的 信用風險模型，可以預測判別客戶是否會違約貸款 2. AI 應用開發系統
- 5. 預測模型開發
- 6. 模型建立流程 1 資料讀取 載入資料 2 資料預處理及探索 (EDA) 深入理解資料特性，包括變數類型、資料分佈、缺失值 處理等 3 特徵工程 將原始資料轉換為模型可理解的格式，包括特徵提取、 特徵選擇和特徵轉換 4 模型訓練 使用訓練資料訓練模型，並使用驗證資料評估模型效能 5 模型優化 透過 Optuna 優化器，尋找最佳化超參數的設定，進一 步選擇最適模型 6 模型評估及選擇 使用測試資料評估模型效能，並與其他模型進行比較、 選擇最適模型
- 7. 挑戰 資料挑戰 面對豐富、複雜資料結構，但品質参差不齊，需要 進行大量資料處理和特徵工程，將不同類型的數據 統一並轉化為可供模型使用的形式。 Kaggle 競賽 Top 10% 力爭在 3800 名參賽隊伍的排行榜上取得前 10% 的 排名。
- 9. EDA ( 違約人數及比率 )
- 10. EDA ( 性別 vs 貸款收入比 ) 1. 依性別分，女性貸款比例較高 62.41% ，違約率較低 3% 2. 依平均貸款金額對比性別，女性貸款金額比男性高 USD 3800 3. 依貸款收入比對比貸款種類及性別，女性的貸款需求比例較高
- 11. EDA ( 年齡 vs 貸款收入比 ) 1. 依年齡分， 30~50, 65+ 歲族群貸款需求較高； 35 歲以下違約率較高 2. 依平均貸款金額對比年齡族群， 40 歲以上族群貸款金額需求較高 3. 依貸款收入比對比貸款種類及年齡， 40 歲以上族群貸款收入比較高
- 12. EDA ( 家庭狀況 vs 貸款收入比 ) 1. 依申請者家庭狀況分，已婚族群貸款需求較高，佔申請者 50.6% ；同居者申請比率低，但違約率較高 2. 依平均貸款金額對比申請者家庭狀況，同居者族群貸款金額需求較低，其餘族群偏高 3. 依貸款收入比對比貸款種類及申請者家庭狀況，離婚者的貸款收入比比例較高
- 13. EDA ( 聯絡人 vs 貸款收入比 ) 1. 依申請者所填聯絡人分，若擔保人為朋友或同事者，違約率相對較高 2. 依平均貸款金額對比設定聯絡人，若擔保人為小孩或同事者，貸款金額較高 3. 依貸款收入比對比貸款種類及聯絡人，擔保人為小孩、配偶的貸款收入比較高
- 14. EDA ( 收入類型 vs 貸款收入比 ) 1. 依申請者收入類型分，若為 private_sector 者，案件較多，且違約率相對較高 2. 依平均貸款金額對比收入類型，除了 HANDICAPPED 之外，貸款金額較高 3. 依貸款收入比對比收入類型，整體大致類似
- 15. EDA ( 收入穩定性 vs 貸款收入比 ) 1. 依申請者收入穩定性分，若為長期有收入者，相對違約率較低 2. 依平均貸款金額對比收入穩定性，穩定收入者，貸款需求較高，但相對違約貸款金額也較高 3. 依貸款收入比對比收入穩定性，除無收入之外，其餘大致類似
- 16. EDA ( 職業別 vs 貸款收入比 ) 1. 依申請者職業別，普遍都有違約情況
- 17. EDA ( 工作年資 vs 貸款收入比 ) 1. 依申請者年資，少於一年者的違約率較高，但貸款需求較少
- 18. EDA ( 時間序 vs 貸款收入比 ) Exploratory data analyisis 1. 從時間序來看，因經濟及疫情影響， wk65~wk69 申貸核准人數變少，且相對違約率較低 2. 整體來看，周五 ~ 周日的申貸核准人數較多，但違約率相對較低
- 19. 資料清理 確保每一列（特徵）都有正確的數據類型，並根據不同的條件將其轉換為以下幾種數據類型： 整數（例如： case_id, WEEK_NUM ） 浮點數（針對特徵欄位名稱以 "P" 或 "A" 結尾的列） 字串（針對特徵欄位名稱以 "M" 結尾的列） 日期（針對特徵欄位名稱以 "D" 結尾的列）
- 20. 特徵工程 處理結果： (1526659, 1062) → (1526659, 877) → (1526659, 610) 處理日期 計算每個日期與決策日期的差距 過濾不必要的列 1. 刪除缺失值超過 98% 2. 字串類型且不同值超過 10000 個的列 3. 字串類型出現頻率低於 70% 的列 特徵聚合 1. 數字特徵： 計算每個數字欄位的最大值、最後一個值、平均值、和等特徵，讓模型更了解數據 趨勢。 2. 日期特徵： 日期類型欄位會計算最大值、最後日期、平均日期等，幫助模型學習事件發生的時 間規律。 3. 文字特徵： 對於文字型的欄位，取出一些最大值、最後一個值等特徵，整理出常見的模式。 根據相關性分組 計算每一對特徵之間的相關性是否大於 0.8
- 22. 模型選擇 模型 特點 優勢 缺點 效能 XGBoost 基於梯度提升 適合多數情況 , 良好的通用性使 其在競賽中被廣泛使用 1. 類別型特徵占比太高時表現稍遜色 2. 訓練速度較慢，對於大數據集內存消 耗較高 通常略好於 LightGBM 及 CatBoost LightGBM 基於梯度提升 1. 擅長處理大規模與高維度資料 集 , 亦對數值型特徵表現出色 2. 在提升效率和縮短訓練時間上 表現非常優異 1. 類別型特徵占比太高或缺失值過多時 表現較遜色 2. 超參數設置不當容易導致過擬合 3. 對於小數據集可能不如其他模型準確。 1. 與 XGBoost 相近 2. 在大規模資料上表現突出 , 有時甚至能 超越 XGBoost CatBoost 專為類別特徵設計的梯度 提升決策樹，內部處理類 別特徵 1. 針對類別型特徵進行了優化 2. 在處理大量類別型特徵的資料 集上表現最為穩定 1. 訓練時間較長 2. 對於高維特徵可能表現不佳 3. 複雜的缺失值處理與類別特徵編碼演 算法 , 耗費較大的運算資源 4. 對數值型特徵不具備優勢 在大量類別型特徵的資料集上往往優於 XGBoost 和 LightGBM
- 24. 模型正確性評估補充 (by LightGBM) Optimal threshold, 0.041 ( 當預測機率小於門檻值時，可分類為非違約情況 (0) ，反之則歸類為 1)
- 25. 評分標準 指標 描述 AUC 衡量模型正確性區分 違約客戶和非違約客 戶的能力。 Stability metric 衡量模型穩定性區分 違約客戶和非違約客 戶的能力。
- 26. 模型穩定性評估說明
- 27. 模型穩定性評估 Stability metric ： 0.7 ( 模型穩定表現，符合要求 )
- 29. 結果
- 30. AI 應用開發
- 31. 前後端架構圖
- 32. AI 應用開發系統
- 33. AI 應用開發系統
- 34. End 謝謝聆聽