10.NN特殊结构(3)——Recursive Network

发布网友发布时间：2023-01-04 14:45

共1个回答

热心网友时间：2023-07-10 10:55

这里介绍三种特殊的结构：spatial transformer layer，highway network & grid LSTM，还有recursive network。
本节介绍：recursive network

刚接触RNN的时候根本分不清recursive network和recurrent network，一个是递归神经网络，一个是循环神经网络，傻傻分不清。但是实际上，recursive network是recurrent network的一般形式。

如下图，我们以情感分析为例子，我们输入一个句子，判断这个句子的情感，是正面负面中性等等。在Recurrent Structure里面，句子会被表示成word vector，假如说情感有五类，最后输出的是一个五维向量。

接下来我们将一个比较具体的例子：
假如我们现在要做情感分析，输入的句子是：not very good，machine要决定not very good是positive还是negative，首先先得到句子的文法结构，这不是我们这节课要讨论的；文法结构告诉我们very和good要先合并在一起，合起来的结果再跟not结合；然后我们要把输入向量（word embedding）输入到machine，接下来用函数，应用顺序和文法结构的结合顺序一致；假设word vector的维度是的话，输入就是2个 ,输出是。

因此我们改装成下半部分的样子：加号后面就是上半部分的内容，加号前面是两次运算，权重矩阵不一样，得到情感。
注意：后面还是传统的做法，但是前面加上了一个vector。这个vector的元素就是来学习这些词之间的interaction，然后将这些interaction变成bias，因为recursive network的function都是不变的，因此这些bias就这样被传递下去了。那么这里有一个需要注意的就是，我们这里有几个词，那我们就需要多少个bias，而且每个bias中间的这个矩阵W都是不一样的。

如下图是实验结果：

接下来，他有很多版本：比如下一个 Matrix-Vector Recursive Network
这个模型设计的想法就是：

还有Tree LSTM

这种recursive network模型还有很多应用：句子关联