第二节（思考+学长经验）
- 非线性的方法（如神经网络），很难用到矩阵分解的技巧，矩阵分解更多用在线性方法如主成分分析上
- 逆矩阵等可以当做先验知识加在神经网络的输出层上，会起作用
- 深度学习（机器学习）本身没有什么智能，其实本身就是一种映射，一种复杂的函数
- 深度学习做逻辑推理
- 可解释性从原理上基本解决不了。。
- 深度学习算法的优化也很多年没有进展了
- 怎么样做才算真正的智能
- 室内室外，泛化性
- 容量可以用学习器能拟合训练样本的数目来度量, 不管如何改变样本的值
第三节 前馈神经网络
- 已经商业落地的技术对技术人员是降维打击：chatGPT
- 两层的神经网络可以模拟任意布尔函数
每个神经节点相当于一个分类超平面，可解释性困境在激活函数！
- 只有一个隐藏层的MLP就可以模拟任何函数
