5.2　非负矩阵分解

在许多应用之中，样本的描述特征是非负值，如图像的颜色值特征、文本的词频特征等。但是这些特征同样数目巨大，需要数据降维。为了保持样本特性，降维后的特征也需要保持非负特性。这时候用到的学习算法常常是非负矩阵分解。

在非负矩阵分解（non negative matrix factorization，NMF）中，输入类表示为原点为0的原输入p维坐标第一象限的d（d<p）斜角坐标系。对第一象限的限制体现了“非负”的特点。斜角坐标系强调了NMF并不要求学到的低维空间的基向量正交。在NMF中输入类表示与输出类表示相同，即，当输入数据为X=［xrk］p×N，输出数据为Y=［hrk］d×N=H时，NMF限定xrk，hrk，wrk均大于等于0。

与之前针对PCA分析类似，可以定义类相异性映射为。由于类唯一表示公理成立，类紧致性准则要求我们在寻找最佳的类表示时，应最小化如下的目标函数

由此我们引出了NMF的目标函数

对于问题（5.7）仍然采用拉格朗日乘子法求解，给定拉格朗日方程

其中A，B为乘子项，〈·，·〉为内积操作。针对H求偏导得

根据KKT条件，且BijHij=0，可得

由此可得关于H的更新公式为

同理，可以得到关于W的更新公式为

在文献中给出按照此迭代形式下非负分解的收敛性证明。