稀疏編碼
0000-00-00 00:00:00
deep learning稀疏編碼與稀疏自編碼最本質的區別是什么?被 @Silvia 邀請.首先,有許多種正則化方法都可以獲得稀疏解,其中一種是ell_1 正則化.這個資料比較多,比如說可以看 Elements of Statistical Learning 第三章的相關部分.還有一種是用KL散度做正則化項,具體可以看 Differentiable Sparse Coding,大意就是我們知...有沒有非線性版本的 矩陣分解,壓縮感知,稀疏編碼?關于降維,除了線性降維和deep nn之外還有很多算法.有理論好的,也有實際效果好的.但是任何時候總有一個trade-off,很難有全局意義上最優的算法.而且理論和應用算法的發展也不是完全同步的.非線性的降維算法有一大類被稱為流形學習(manifold learning).感覺像是題...deeplearning中的稀疏自編碼的表達與傅里葉變換的區別?傅里葉變換在傅里葉基函數上投影,自編碼的第一層是投影+非線性激活.傅里葉變換的基函數是一組正交基,用這個正交基做濾波,并且可以用這個正交基重構信號在空域的表達.自編碼的第一個權值矩陣也有濾波的含義,只是這個權值矩陣不一定是正交的,第二個權值矩陣...稀疏編碼(Sparse Coding ) 需要用到些什么知識?可以看看element of statistical learning相關章節,講得挺好的稀疏編碼中,為什么使用對數代價函數作為目標函數的懲罰項可以獲得稀疏解?如果直接求導比較困難,先取對數再求導 ,對數懲罰函數是可微的.應用在圖像圖形上的空間金字塔匹配模型(SPM),如果聚類過程換成稀疏編碼,具體是如何實現的?稀疏編碼及其應用研究有什么研究結果?稀疏編碼在圖像、視頻壓縮領域近年來有什么進展?