学习笔记

PRML 第三章 · 线性回归模型

这一章主要讲了线性回归的贝叶斯视角。最大似然和最大后验的区别终于有点明白了：

• 最大似然（MLE）：假设参数固定，给出使观测数据概率最大的参数值
• 最大后验（MAP）：在 MLE 基础上加了先验，相当于做了正则化
• 贝叶斯推理：不给出点估计，而是给出参数的完整分布

岭回归其实就是高斯先验下的 MAP，Lasso 对应拉普拉斯先验。

论文阅读 · Transformer 变体综述

周五组会要讲这篇综述。整理了一下主要改进方向：稀疏注意力、线性注意力、递归 Transformer、状态空间模型。

Mamba 和 RWKV 最近很火，下周单独开一篇笔记细讲。

凸优化第四讲复习

共轭函数的性质很漂亮，特别是 Fenchel 不等式。下周作业题要用到。