2018年1月4日
新版seqseq接口说明
摘要： attention_mechanism = tf.contrib.seq2seq.BahdanauAttention(num_units=FLAGS.rnn_hidden_size, memory = encoder_outputs, memory_sequence_length = encoder 阅读全文
posted @ 2018-01-04 20:08 dmesg 阅读(3169) 评论(0) 推荐(0) 编辑
multi lstm attention 坑一个
摘要： multi lstm attention时序之间，inputs维度是1024，加上attention之后维度是2018，输出1024，时序之间下次再转成2048的inputs 但是如果使用multi lstm的话inputs维度是1024，加上attention之后维度是2018，输出1024，这个 阅读全文
posted @ 2018-01-04 17:11 dmesg 阅读(633) 评论(0) 推荐(0) 编辑
2017年11月29日
实验记录
摘要： 1，固定leanring rate batch size设成256，512，1024，训练结果eval结果差不多 2，固定batch_size， learning rate设成0.1，0.01，0.001，0.0001 紫色是0.1，基本不收敛。绿色是0.01，trainloss好奇怪，不过eval 阅读全文
posted @ 2017-11-29 20:24 dmesg 阅读(170) 评论(0) 推荐(0) 编辑
2017年11月24日
从ranknet到lamdarank，再到lamdamart
摘要： learn2rank目前基本两个分支，1是神经网络学派ranknet，lamdarank，另一个是决策树学派如gbrank,lamdamart 05年提出ranknet，算分模块是简单的全连接网络，loss函数是预测概率之家的pair-wise关系和真实lablel的pair-wise关系的逻辑回归 阅读全文
posted @ 2017-11-24 15:56 dmesg 阅读(1394) 评论(0) 推荐(0) 编辑
2017年10月17日
restore not found的错误(问题2)
摘要： 最近在写gan，那么就牵扯到在一个session中加载两个图，restore的时候会有问题。如这篇文章写的（http://blog.csdn.net/u014659656/article/details/53954793），见文末 a56爆大奖在线娱乐关键就是构造的Saver 最好带Variable参数，这样加载第 阅读全文
posted @ 2017-10-17 11:10 dmesg 阅读(1023) 评论(0) 推荐(0) 编辑
2017年9月8日
Attempting to use uninitialized value
摘要： ckpt = tf.train.get_checkpoint_state(FLAGS.model) if ckpt: saver.restore(sess, tf.train.latest_checkpoint(FLAGS.model)) else: sess.run(init) a56爆大奖在线娱乐原来的代码是这样 阅读全文
posted @ 2017-09-08 13:47 dmesg 阅读(1620) 评论(0) 推荐(0) 编辑
2017年9月6日
restore not found的错误
摘要： tensorflow保存模型后，restore的时候报参数not found是什么原因呢 一般预测的流程是：建图然后restore参数，很有可能你的变量作用域和train的时候不一样，那么在现在的变量域很可能找不到变量。 总而言之就是，保证和建图的变量域是一致的，再restore 如何查看原来的变量 阅读全文
posted @ 2017-09-06 16:07 dmesg 阅读(315) 评论(0) 推荐(0) 编辑
2017年8月7日
读扣随感
摘要： 最近读code的一个感想，记录一下 ptb只有decode的过程，a56爆大奖在线娱乐所有的状态的初始化都是0，同样img2txt也是只有decode的过程 textsum是个标准的encode和decode模型，同样imgtxt2txt也是encode和decode的结合 dynamic rnn的可以使a56爆大奖在线娱乐bat 阅读全文
posted @ 2017-08-07 11:40 dmesg 阅读(185) 评论(0) 推荐(0) 编辑
2017年5月22日
简单说说crf
摘要： 如题 阅读全文
posted @ 2017-05-22 15:30 dmesg 阅读(138) 评论(0) 推荐(0) 编辑
2017年5月21日
从rnn到lstm，再到seq2seq（二）
摘要： 从图上可以看出来，decode的过程其实都是从encode的最后一个隐层开始的，如果encode输入过长的话，会丢失很多信息，a56爆大奖在线娱乐设计了attation机制。 attation机制的decode的过程和原来的最大的区别就是，它输出的不只是基于本时刻的h，而是基于本时刻的h和C的concat矩阵。 那 阅读全文
posted @ 2017-05-21 13:16 dmesg 阅读(5365) 评论(0) 推荐(1) 编辑