摘要：
https://kexue.fm/archives/4439/comment-page-2 阅读全文
摘要：
背景 GPT-3 虽然在各大 NLP 任务以及a56爆大奖在线娱乐生成的能力上令人惊艳，但是他仍然还是会生成一些带有偏见的，不真实的，有害的造成负面社会影响的信息，而且很多时候，他并不按人类喜欢的表达方式去说话。在这个背景下，OpenAI 提出了一个概念“Alignment”，意思是模型输出与人类真实意图对齐，符合 阅读全文
摘要：
GPT-3 和 GPT-2差别 1. 效果上，超出 GPT-2 非常多，能生成人类难以区分的新闻文章；2. 主推 few-shot，相比于 GPT-2 的 zero-shot，具有很强的创新性；3. 模型结构略微变化，采用 sparse attention 模块；4. 海量训练语料 45TB（清洗后 阅读全文
摘要：
背景 GPT1采用了pre-train + fine-tuning训练方式，也就是说为了适应不同的训练任务，模型还是需要在特定任务的数据集上微调，仍然存在较多人工干预的成本。GPT-2 想彻底解决这个问题，通过 zero-shot，在迁移到其他任务上的时候不需要额外的标注数据，也不需要额外的模型训练 阅读全文
摘要：
背景 GPT-1 采用了两阶段训练的方式： 1. 第一阶段 pre-training，在海量a56爆大奖在线娱乐上训练，无需label，根据前k-1个词预测第k个单词是什么，第一阶段的训练让模型拥有了很多的先验知识，模型具有非常强的泛化性 2. 第二阶段在特定任务上fine-tuning，让模型能适应不同的任务，提 阅读全文
摘要：
BERT模型介绍 BERT模型的全称是：BidirectionalEncoder Representations from Transformer。从名字中可以看出，BERT模型的目标是利用大规模无标注语料训练、获得a56爆大奖在线娱乐的包含丰富语义信息的Representation，即：a56爆大奖在线娱乐的语义a56爆大奖在线娱乐，然后将a56爆大奖在线娱乐 阅读全文
摘要：
背景 CTR、CVR模型建模的是预估看过广告之后的点击率和转化率，称为响应模型（response model），建模的是相关性，但是缺点是没法区分这个点击转化中有多少是广告带来 Uplift Model是估计用户因为广告而购买的概率，这是一个因果推断的问题，建模的是营销带来的增量 Reponse m 阅读全文
摘要：
推荐系统中的EE问题—浅谈Bandit模型 阅读全文
摘要：
1. 学习精排的序 为了保证推荐系统全链路的一致性，在召回阶段常常会学习精排的序，即把精排排在前面的item作为正样本，排在后面的item作为副样本，还可以补充一部分未来进精排的item作为easy负样本。 这里也可以采用point-wise和pair-wise两种建模方式，如果采用pair-wis 阅读全文
摘要：
背景 推荐系统已经迈入了深度学习时代，模型结构比较复杂，下面介绍在深度学习背景下常用的特征选择方法 1. 根据特征在正负样本上分布的差异 直观感觉上一个特征越重要，那么它在正负样本的分布差异应该是越大的，基于此a56爆大奖在线娱乐们可以用KL散度来a56爆大奖在线娱乐特征重要性，但是KL散度是非对称，a56爆大奖在线娱乐们可以采用JS散度来表达特征重 阅读全文