offline RL | TD3+BC:在最大化 Q advantage 时添加 BC loss 的极简算法

① 在 actor 最大化 Q advantage 时,纳入一个 behavior cloning loss; ② observation 归一化;③ 让 Q advantage 跟 behavior cloning 的 loss 可比。
posted @ 2023-11-19 17:02  MoonOut  阅读(330)  评论(0编辑  收藏  举报