摘要：
背景 如上图所示，结点6和7是相邻结点，他们应该是相似结点，结点5和6虽然不是相邻结点，但是它们有共同的相邻的结点，因此它们也应该是相似结点。 基于词观察，LINE算法提出了一阶相似性算法和二阶相似性算法 First-order a56爆大奖在线娱乐们首先如如下公式来计算结点i和j的联合概率分布： 其中ui，uj?分 阅读全文
摘要：
DeepWalk Deep Walk，它是 2014 年由美国石溪大学的研究者提出的。它的主要思想是在由物品组成的图结构上进行随机游走，产生大量物品序列，然后将这些物品序列作为训练样本输入 Word2vec 进行训练，最终得到物品的 Embedding Node2vec 2016 年，斯坦福大学的研 阅读全文
摘要：
背景 这是一篇利用多头attention机制来做特征交叉的论文 模型结构 AutoInt的模型结构如上图所示，搞模型包含 Embedding Layer、Interacting Layer、Output Layer三个部分，其中Embedding Layer和Output Layer和普通模型没什么 阅读全文
摘要：
背景 ListNet和ListMLE都是listwise的排序方法 ListNet ListNet用如下公式a56爆大奖在线娱乐a56爆大奖在线娱乐排列的概率： 举个例子： 假设有3个doc <doc1, doc2, doc3>，对应的score为 <s1, s2, s3>，那么对于这样a56爆大奖在线娱乐排列 <s2, s3, s1>，其概率为 阅读全文
摘要：
背景 SoftRank是a56爆大奖在线娱乐listwise的建模方法，listwise建模的难点在于损失函数的选取。在排序中常用NDCG作为评价指标，最直接的想法是NDCG作为损失函数，这样优化目标和评价指标是一致的，没有gap，但是NDCG是不可以微的（需要排序的IR评价指标都是不可微），没法用梯度下降法来优化 阅读全文
摘要：
1. label为 1 和 0 2. label为 1 和 -1 因为： a56爆大奖在线娱乐： 最后可以得到损失函数为： 参考资料 https://zhuanlan.zhihu.com/p/362317339 阅读全文
摘要：
背景 在广告系统中存在大量冷启动广告，冷启动广告由于数据比较少模型很估准，下面总结冷启动广告建模的常用思路 建模方法 1. 采用泛化特征 冷启动的广告由于样本比较少，id类的特征得不到充分学习，一般都是一个随机值或0，会导致模型预估不准确。因此可以下掉id类特征，只用泛化特征训练。 这方法的缺点非常 阅读全文
摘要：
背景 在广告模型中，广告id特征是一个非常重要的特征，但是广告id的学习需要充分的样本，而在广告系统中每天都有大量新投的广告，对于从未见过的广告，通常会给这个广告id对应的embedding一个随机值或者是0 这篇论文借鉴了元学习的思想，用泛化特征来学习新广告id对应的dembedding 模型结构 阅读全文
摘要：
背景 在LR模型时代，特征交叉一般依赖人工经验，存在以下几个缺点： 1. 依赖人工经验很难构建高阶交叉特征，一般只能构建二阶交叉特征 2. LR中构建的二阶交叉特征必须是这两个特征值一起在样本中出现过模型才能学的到，而在推荐系统中特征是非常稀疏，很多特征其实是没有共现过的 到了深度学习时代，DNN可 阅读全文