Paper 研习社本周论文推荐精选 | 第六期

paper研习社

作者：AI研习社

2019/10/25 14:47

语音播放文章内容

由深声科技提供技术支持

Paper 研习社本周论文推荐精选 | 第六期

Paper 研习社新功能上线啦！

大家除了浏览或者参与论文推荐，还可以一键打包下载论文合集，针对长期更新的论文合集，你能通过系统消息第一时间收到更新的通知，让你的科研的道路上，绝不慢人一步！

Paper 研习社本周论文推荐精选 | 第六期

点击链接迅速跳转论文集下载界面：https://paper.yanxishe.com

「本周论文推荐精选」是 Paper 研习社推出的全新栏目，展现社友们在研习论文的过程中，推荐自己所阅读到的优秀论文，帮助大家一起学习、讨论每个领域最新、最精彩的学术论文。

①

#IndRNN# #卷积神经网络#

深度独立卷积神经网络（IndRNN）

推荐理由：本文要解决的是传统RNN所存在的梯度消失和梯度爆炸问题。

与传统RNN相比，这篇论文提出的IndRNN中，同一层的每个神经元各自独立，神经元之间的连接可以通过堆叠两层或更多层的 IndRNNs来实现。这样IndRNN解决了随时间累积的梯度爆炸和消失的问题，并且可以学习长期依赖关系。借助relu等非饱和激活函数，训练后的IndRNN非常鲁棒，并且可以堆叠多层IndRNN构建更深的网络。实验结果也验证了IndRNN能够在各种任务中取得比传统的RNN和LSTM更好的结果。

这篇论文提出了一种新型的循环神经网络结构，取得了比传统模型更好的结果，能够启发后续的研究研究更好的模型并且作为对照的基准。

论文链接：https://paper.yanxishe.com/review/2426

项目链接：https://github.com/Sunnydreamrain/IndRNN_pytorch

推荐人：琴•福克纳（清华大学信息与通信工程专业，Paper 研习社特约作者）

②

#神经网络#

基于神经网络的序列到序列学习

推荐理由：核心问题：序列到序列的任务类似于机器翻译任务，这样的任务如何处理？

创新点：本论文提出了一个端到端的模型，它能够完成序列到序列的映射，他们使用了2个不同的LSTM模型，泛化能力得到了提升，然后它们将机器翻译的原句子倒叙使用，模型效果提升了。

研究意义：seq2seq的框架，也为后续的序列映射任务奠定了基础。现在很多任务使用seq2seq的模型结构，比如图片标题生成，视频解说，文本摘要等等。

论文链接：https://paper.yanxishe.com/review/1384

推荐人：magic（燕山大学计算机技术专业，Paper 研习社特约作者）

③

#深度学习# #神经网络#

GCN可以像CNN一样深吗？

推荐理由：卷积神经网络（CNN）在各种领域取得了令人瞩目的成果。他们的成功得益于能够训练非常深的CNN模型。尽管取得了积极的成果，但CNN未能正确解决非欧几里德数据的问题。为了克服这一挑战，图卷积网络（GCN）构建图来表示非欧几里德数据，借用CNN的相关概念并应用它们来训练这些模型。GCN显示出不错的结果，但由于梯度消失问题，它们仅限于非常浅的模型。因此，大多数最先进的GCN算法都不过3或4层。

作者提出了成功训练深层GCN的新方法。他们借用CNN的概念，主要是Residual、Dense connections（残差、密集连接）和Dilated convolutions（膨胀卷积），使它们能够适应GCN架构。大量的实验表明这些深层GCN框架的积极作用。最后，作者成功将GCN从3/4层拓展到56层，训练超级深层的图卷积神经网络，并展示它如何在点云语义分割任务中显著地提升了性能（与最先进技术相比提高了3.7%mIoU）。

论文链接：https://paper.yanxishe.com/review/1358

推荐人：志浩（中国石油大学(华东) | 机械工程）

④

#RNN#

使用循环神经网络完成中文古诗生成

推荐理由：本文核心问题：这篇论文提出了一个基于RNN的中国古诗生成模型

创新点：古诗是有格式的，要么5个词作为一句，要么7个词作为一句，所以对于古诗的格式是很重要的，论文通过RNN模型把格式的约束和内容的选择一起做了，这样就解决了这个问题，当训练模型结束之后，在生成古诗阶段，考虑了所有前面已经生成的句子，因为古诗是一个整体，这样的话，古诗生成的效果会很好。

意义：基于RNN做生成是一个很常用的模型算法，本论文给出了几首使用该模型生成的古诗，看起来效果不错，这也证明了RNN的强大的能力

论文链接：https://paper.yanxishe.com/review/1010

推荐人：穆得•伯特

⑤

#图神经网络#