資料 | 1800頁33章數學方法精要筆記 —深入數學建模， 機器學習和深度學習的數學基礎

本文轉載自：https://zhuanlan.zhihu.com/p/154059915

書籍免費下載地址：https://www.yanxishe.com/resourceDetail/1919?from=leiphonecolumn_res0709

1 書籍介紹  · · · · · ·

在信息爆炸的當今，大到企業巨頭的經營方向， 小到和日常生活相關的人工駕駛等領域，數學建模和人工智能都對信息數據的收集、處理、解釋以及做出決策將起到至關重要的作用。負責開發模型和算法的一線科學家和工程師， 都需要有堅實的數學基礎。相信有許多所有對數學建模，機器學習和深度學習深感興趣的小伙伴，有一定的基礎卻常常被繁雜的定理和錯綜的模型所困 —— 那么這本書就是一部可供隨時查閱，幫助大家融會貫通的寶典。

本書有以下幾大亮點：

a. 全書干貨多覆蓋范圍廣， 包含～100 個核心算法， 約 300 個示意圖。例子豐富，且絕大部分定理都有證明。

b. 本書凝聚了作者多年數學建模和機器學習研究和實戰經驗。根據應用領域， 本書總結并深入講述傳統方法到前沿的深度學習和強化學習算法，幫助讀者迅速抓住重點，減少彎路。

a. 本書的算法和定理證明中常常引用相關的其他章節，循序漸進，有助于讀者建立樹狀知識脈絡，一網打盡相關知識點。

b. 本書例子詳實并多伴有示意圖，清晰易懂。作者基于多年實踐，總結并對易混淆的概念進行比對，幫助讀者更加扎實掌握相關內容。

全書 GitHub 地址：https://github.com/yangyutu/EssentialMath

全書總共 33 章分成六個部分：

作者對一些熱門章節進行章節歸類打包下載

整體目錄如下：

I Mathematical Foundations

II Mathematical Optimization Methods

III Classical Statistical Methods

IV Dynamics Modeling Methods

V Statistical Learning Methods

VI Optimal Control and Reinforcement Learning Methods

2 內容展示  · · · · · ·

2.1 線性代數篇

SVD (矩陣奇異值分解) 是線性代數中最重要工具之一， 經常在各類統計以及重要機器學習方法中出現。作者用如下圖示和定理對 SVD 的性質進行總結和證明。該證明簡潔扼要，且所用到的其它輔助定理與證明都在本書中 。作者使用一個圖示來分別指出 complete form SVD 和 compact form SVD 的結果和原矩陣的關系。

作者同時指出新手常混淆的一個知識點：

2.2 統計篇

多元高斯隨機變量 (multivariate random variable) 的 affine transformation 經常被用于證明高斯隨機變量的一系列重要性質（比如加和， 條件等）。本書首先給出用矩函數對此定理的證明。

然后本書給出此定理在多元高斯隨機變量加和中的應用。值得一提的是， 作者用腳注強調 jointly normal 這一重要條件。

2.3 機器學習篇

在機器學習的線性分類模型中，三種常見模型 SVM, logistic regression 和 Perceptron learning 可以統一在同一個數學優化框架下，每種方法對應不同的 loss function。作者對如何把這三種模型轉化成同一個框架進行了詳細的闡述和證明。

2.4 強化學習篇

Value iteration 值迭代是強化學習的基石型定理之一，然而目前很多教材資料中并沒有給出證明。

本書通過 contraction mapping 和 fixed point theorem 得出簡明的證明。contraction mapping 和 fixed point theorem 的知識點則在在本書 Part I 有詳細介紹。

之后作者給出基于 value iteration 的算法。

3 作者心得體會  · · · · · ·

這本書來源于我在美國攻讀博士期間上的上課筆記。當時為了解決科研中 一些難題， 上了大量計算機和數學課。筆記由一開始的零零散散，到后來漸成規模。我真正開始系統性地整理成書是受到如下一句話的啟發：

If you want to learn something, read about it. If you want to understand something, write about it. If you want to master something, teach it.

我逐漸搭建本書的框架，將學習筆記的內容在框架下進行整合，把最核心的知識點提煉出來。隨著我的科研領域從最初的計算物理建模到現在的微型機器人系統的多智體強化學習，本書的內容也從傳統應用數學和統計擴展到前沿的深度學習和人工智能方法 。在寫書的過程中，我能感受到自己的知識體系越發完備，且系統性的學習和研究對于理論難點的掌握，以及跨領域的應用都有著至關重要的作用。

我希望將自己的書和心得體會分享給大家。無論是能夠為志同道合的小伙伴們解答一些疑惑，還是幫助希望入門的朋友” 打通任督二脈 “，或者是給同在科研戰線上奮斗的同志一些靈感，我都會非常開心。

開源項目地址：https://github.com/yangyutu/EssentialMath

開源項目作者：Yuguang Yang