狠狠撸

狠狠撸Share a Scribd company logo
李群在機器學習上的應用(超基礎篇)
Applied Lie theory to machine learning
王睿麒 Ruei-Ci Wang [ rcwang.tw@gmail.com ]
※若要順利閱讀本文,需要具有基礎機器學習理論的基本數學能力
先來認識「群」(Group)
數學中的群,簡單來說是一個集合搭配一個運算子
例如一個高中數學教過得旋轉矩陣:
搭配「矩陣乘法」就成了在平面上的「旋轉群」。
先來認識「群」(Group)
搭配「矩陣乘法」是什麼呢?也就是說,我們首先從旋轉矩
陣集合取出一個元素,例如我取出轉 90 度的旋轉矩陣:
先來認識「群」(Group)
在平面上,旋轉矩陣可以和平面向量進行「矩陣乘法」
先來認識「群」(Group)
當然你也可以自己定義各種 莫名其妙的乘法...
但是!只有搭配標準的矩陣乘法,旋轉矩陣才能在平面上進
行「旋轉作用」,因此我們把
旋轉群 =(旋轉矩陣集合,矩陣乘法)
叫做「旋轉群」,而旋轉作用就是旋轉群的「群作用」
上圖就是一個把平面上「箭頭集合」旋轉 90 度的群作用。
潛藏的群作用-向量場
既然旋轉群在平面上可以產生「旋轉作用」
那麼我們就可以假想這個旋轉作用在平面上創造出漩渦...
潛藏的群作用-向量場
而這個「漩渦」也就是潛藏的群作用
就是所謂的「向量場」你可以理解成像「磁場」一樣
潛藏的群作用-向量場
當然除了旋轉,也有各式各樣的向量場。
例如搭配「向量加法」的「右平移」向量場,X分量相加。
潛藏的群作用-向量場
當然除了旋轉,也有各式各樣的向量場。
例如搭配簡單「數乘」的「放大」向量場,乘上一個倍數。
這些和機器學習的關係...?
聽到目前為止,你可能對於
這個奇怪的理論要如何應用到機器學習感到懷疑
在等我們介紹一個觀念就好!
不动如山-群不变量(滨苍惫补谤颈补苍迟)
不知你是否想到,在某些向量場底下,
有些集合不會被群作用所影響?!
在旋轉作用下,平面中什麼集合不會受影響?
答案就是..... 圓形集合!
不动如山-群不变量(滨苍惫补谤颈补苍迟)
不动如山-群不变量(滨苍惫补谤颈补苍迟)
因此,我們會稱圓形集合為旋轉群的「群不變量」
由於群不變量在經過群作用之後,不會改變。
現在我們可以來開始思考,這個理論
如何應用在機器學習領域呢?
應用(一)隨機梯度下降法
在機器學習理論中,最怕遇到參數優化過程緩慢無效。
梯度下降法優化如果沒什麼用,代表梯度沒辦法有效下降,
梯度沒辦法有效下降,意味著梯度容易卡住不變!
如果我能事先求得「梯度下降作用」的群不變量的話...
我就能提前知道優化過程會碰到什麼困難了!....(留到基礎篇)
應用(二)優化範數 (Norm)
如果對支援向量機 (SVM) 有一些基礎了解,你會理解到
SVM 和傳統回歸分析,最大的差別在於目標函數的計算方
法,SVM 的目標函數比傳統回歸分析多了一個範數項:
應用(二)優化範數 (Norm)
當然不只有 SVM ,只要你自行建構的機器學習模型中,有
使用到損失函數進行模型參數的優化,通常一定會需要計算
範數,通俗一點講就是計算參數空間的距離。
一般來說,大家對於 L0, L1, L2 範數計算在機器學習中的
應用已經有廣泛探討 ……… BUT!!!
應用(一)優化範數 (Norm)
如果你能為你特別設計的機器學習模型,挑選出最好的客製
化範數(L-XXX Norm)不是更好嗎?
這就回到前面的應用(一)隨機梯度下降法,因為你客製化
的範數一定是要讓你的損失函數在梯度下降過程中,不會掉
入梯度不下降的情況!
結論
前面簡單介紹了什麼是群不變量,而在後頭簡單帶過幾個在
機器學習理論中,能使用李群方法來解決隨機梯度下降法和
範數選擇的原因,正是因為損失函數的關係。
未來的基礎篇和進階篇,將會一步步帶大家學數學和應用!

More Related Content

李群在机器学习中的应用(超基础篇)