风雨中的小七 - 博客园_a56爆大奖在线娱乐

2020年11月20日

无所不能的Embedding4 - skip-thought & tf-Seq2Seq源码解析

摘要：

前一章Doc2Vec里提到，其实Doc2Vec只是通过加入Doc_id捕捉了a56爆大奖在线娱乐的主题信息，并没有真正考虑语序以及上下文语义，n-gram只能在局部解决这一问题，那么还有别的解决方案么？依旧是通用a56爆大奖在线娱乐向量，skip-thought尝试应用encoder-decoder来学习包含上下文信息和语序的句子阅读全文

posted @ 2020-11-20 21:46 风雨中的小七阅读(941) 评论(0) 推荐(0) 编辑

2020年10月6日

无所不能的Embedding3 - word2vec->Doc2vec[PV-DM/PV-DBOW]

摘要：

这一节a56爆大奖在线娱乐们来聊聊不定长的a56爆大奖在线娱乐向量，这里a56爆大奖在线娱乐们暂不考虑有监督模型，也就是任务相关的句子表征，只看通用a56爆大奖在线娱乐向量，根据a56爆大奖在线娱乐长短有叫sentence2vec, paragraph2vec也有叫doc2vec的。这类通用a56爆大奖在线娱乐embedding的应用场景有很多，比如计算a56爆大奖在线娱乐相似度用于内容召回, 用于聚类给文章打标阅读全文

posted @ 2020-10-06 14:25 风雨中的小七阅读(1733) 评论(2) 推荐(1) 编辑

2020年9月5日

无所不能的Embedding2 - 词向量三巨头之FastText详解

摘要：

Fasttext其实包括两个模型，一个是a56爆大奖在线娱乐分类模型，效果不算顶尖但胜在轻量高效，另一个词向量模型，主要创新在于把单词分解成字符，可以infer训练集外的单词。这里拿quora的词分类数据集尝试了下Fasttext在a56爆大奖在线娱乐分类的效果, 代码详见 https://github.com/DSXiangLi/Embedding 阅读全文

posted @ 2020-09-05 14:22 风雨中的小七阅读(2790) 评论(0) 推荐(0) 编辑

2020年8月2日

无所不能的Embedding1 - 词向量三巨头之Word2vec模型详解&代码实现

摘要：

word2vec是google 2013年提出的，从大规模语料中训练词向量的模型，在许多场景中都有应用，信息提取相似度计算等等。也是从word2vec开始，embedding在各个领域的应用开始流行，a56爆大奖在线娱乐拿word2vec来作为开篇再合适不过了。a56爆大奖在线娱乐希望可以较全面的给出Word2vec从模型结构概述，推导，训练，和基于tf.estimator实现的具体细节。阅读全文

posted @ 2020-08-02 11:41 风雨中的小七阅读(2805) 评论(0) 推荐(0) 编辑

2020年6月14日

XAI/MLI 可解释机器学习系列1- 开源&paper汇总

摘要：

一直在关注可解释机器学习领域，因为确实在工作中有许多应用模型检查，特征重要性是否符合预期和AUC一样重要模型解释，比起虚无缥缈的模型指标，解释模型学到的规律更能说服业务方样本解释，为什么这些用户会违约，是否有指标能提前预警？决策归因，有时模型只是提取pattern的方式，最终需要给到归因/决策，例如HTE模型和XAI结合是否也是a56爆大奖在线娱乐落地方式阅读全文

posted @ 2020-06-14 22:03 风雨中的小七阅读(1103) 评论(0) 推荐(0) 编辑

2020年6月1日

CTR学习笔记&代码实现6-深度ctr模型后浪 xDeepFM/FiBiNET

摘要：

xDeepFM用改良的DCN替代了DeepFM的FM部分来学习组合特征信息，而FiBiNET则是应用SENET加入了特征权重比NFM，AFM更进了一步。在看两个model前建议对DeepFM, Deep&Cross, AFM，NFM都有简单了解，不熟悉的可以看下文章最后其他model的博客链接。以阅读全文

posted @ 2020-06-01 08:46 风雨中的小七阅读(2467) 评论(0) 推荐(0) 编辑

2020年5月15日

CTR学习笔记&代码实现5-深度ctr模型 DeepCrossing -> Deep&Cross

摘要：

之前总结了PNN,NFM,AFM这类两两向量乘积的方式，这一节a56爆大奖在线娱乐们换新的思路来看特征交互。DeepCrossing是最早在CTR模型中使用ResNet的前辈，DCN在ResNet上进一步创新，为高阶特征交互提供了新的方法并支持�a56爆大奖在线娱乐饨资奶卣鹘徊妗� 以下代码针对Dense输入更容易理解模型结构，针对s 阅读全文

posted @ 2020-05-15 09:25 风雨中的小七阅读(2178) 评论(0) 推荐(0) 编辑

2020年5月1日

CTR学习笔记&代码实现4-深度ctr模型 NFM/AFM

摘要：

这一节a56爆大奖在线娱乐们总结FM另外两个远亲NFM，AFM。NFM和AFM都是针对Wide&Deep 中Deep部分的改造。上一章PNN用到了向量内积外积来提取特征交互信息，总共向量乘积就这几种，这不NFM就带着element-wise(hadamard) product来了。AFM则是引入了注意力机制把NFM的阅读全文

posted @ 2020-05-01 21:00 风雨中的小七阅读(1902) 评论(0) 推荐(0) 编辑

2020年4月21日

CTR学习笔记&代码实现3-深度ctr模型 FNN->PNN->DeepFM

摘要：

这一节a56爆大奖在线娱乐们总结FM三兄弟FNN/PNN/DeepFM，由远及近，从最初把FM得到的隐向量和权重作为神经网络输入的FNN，到把向量内/外积从预训练直接迁移到神经网络中的PNN，再到参考wide&Deep框架把人工特征交互替换成FM的DeepFM，a56爆大奖在线娱乐们终于来到了2017年。。。以下代码针对Dense输阅读全文

posted @ 2020-04-21 09:31 风雨中的小七阅读(2590) 评论(0) 推荐(1) 编辑

2020年4月8日

CTR学习笔记&代码实现2-深度ctr模型 MLP->Wide&Deep

摘要：

## 背景这一篇a56爆大奖在线娱乐们从基础的深度ctr模型谈起。a56爆大奖在线娱乐很喜欢Wide&Deep的框架感觉之后很多改进都可以纳入这个框架中。Wide负责样本中出现的频繁项挖掘，Deep负责样本中未出现的特征泛化。而后续的改进要么用不同的IFC让Deep更有效的提取特征交互信息，要么是让Wide更好的记忆样本信息以下代阅读全文

posted @ 2020-04-08 09:47 风雨中的小七阅读(2156) 评论(0) 推荐(0) 编辑