2015年12月7日 · 深度学习论文中经常看到"sparse"，所以应该是重要的概念，但一直不理解很困惑； 刚才在quora上的回答感觉很有帮助，尝试总结以下： sparse 代表数据为0，sparse数据的存在让不为0的dense数据聚集在一起； 因为存在数据聚集效应，所以才能学到特征和规律；

如果你想知道为什么sparse feature在某些应用里面表现很好，可以参考： 为什么sparse representation比起其它成分分析方法（DFT，Wavelet）能得到更好的效果？ - Bihan Wen 的回答. 如果你想知道sparse的意义何在，可以参考： 稀疏表达的意义在于？

2017年10月19日 · 在Sparse双塔模型中，稀疏特征通常通过one-hot编码或者稀疏表示（如TF-IDF）来处理。这种表示方式会为每个可能的值创建一个维度，即使某些值在实际数据中从未出现过。 Sparse双塔模型在处理稀疏特征时，可能会面临维度灾难，因为特征空间可能会非常大。

Sparse representation 不见得比wavelet效果好，redundant system会比wavelet效果好，通俗点讲就是因为当某些分量丢失时，这些分量所载负的信息， 能在没有损失的其它分量里存在，你只要有足够精巧的办法把这些信息恢复出来，就可以取得让人惊叹的结果。

2019年12月24日 · sparse_categorical_crossentropy:与多类交叉熵相同,适用于稀疏情况。如上，但接受稀疏标签。注意，使用该函数时仍然需要你的标签与输出值的维度相同，你可能需要在标签数据上增加一个维度：np.expand_dims(y,-1) binary_crossentropy:计算预测值与真值的交叉熵，亦称作对数损失

2015年12月7日 · sparse 代表数据为0，sparse数据的存在让不为0的dense数据聚集在一起； 因为存在数据聚集效应，所以才能学到特征和规律； 如果数据维度很高，噪音很多，原本为0的位置，占比会越来越少，稀疏区域在消失； 对应的dense数据的聚集效应减弱，因为看上去全是数据 ...

稀疏主成分分析简介. 变量经过PCA后得到的主成分通常在多个原始变量上都不为 0 ，这导致进行PCA后的主成分的含义较为模糊，给数据分析带来了一定难度，因此Zou等（2006）提出的一种新的主成分分析方法，稀疏主成分分析（Sparse Principal Component Analysis ，SPCA）。

其中，“Sparse Bayesian Learning and the Relevance Vector Machine“一文从第二类ML算法角度推导了SBL的迭代公式。"Fast Marginal likelihood maximisation for sparse Bayesian models"从快速边缘似然最大化的角度推导了SBL的快速更新算法。

2020年5月1日 · 可以看出来作者为了让log-sparse类型的连接能work打了不少的补丁：local+logsparse，restart+logsparse，qk和v使用不同大小的卷积核（这是本文比较值得注意的一个创新点，匹配时使用k-gram的相似度）等等。

torch.sparse_coo_tensor可以构造稀疏矩阵，torch.sparse.mm可以做运算。 先构造： 其中indices表示不为0的位置的坐标，这里是二维的，所以[0,0,1,2]是行标、[2,3,0,3]]是列标。values是不为0的位置的值。size是要构造的稀疏矩阵的尺寸。