包括RNN、LSTM、Self-attention、Transformer
一. 算法介绍
1. RNN & LSTM 1.1 原理简介 隐含层的输出 stored in mem,下一次的输入同时也会考虑mem中储存的信息(这里mem可以初 始化为0) if deeper, it can be like this: 1.2 Elam NetWork &a…
1、LSTM模型 其中 o o o表示元素相乘,遗忘门 f f f,输入们 i i i,输出门 o o o, σ g σ_g σg, σ c σ_c σc分别为sigmoid函数与tanh函数。 W W W和 b b b分别为权重和偏置。 c ~ \widetilde{c} c t为记忆单元的候选值, c t c_t ct 为记忆细胞的…