详解Transformer在时序预测中的Encoder和Decoder过程:以负荷预测为例...
发布网友
发布时间：2024-10-15 04:00
共1个回答
热心网友
时间：2024-10-30 12:20
在Transformer结构中，编码器（Encode）负责将时间序列数据进行编码，以提取上下文信息。假设我们处理的句子长度为s，即包含s个单词，编码器将每个单词编码为大小为(s, e)的向量。如果需要同时处理b个句子，编码器将生成一个大小为(b, s, e)的矩阵，与时间序列预测所需的输入维度(batch_size, seq_len, input_size)相匹配。
编码器实现时需考虑句子长度不一致的问题。通过填充PAD值，确保所有输入的句子长度一致。例如，对于长度不为4的句子，将其补全至4，以适应编码器的要求。
解码器（Decode）则负责根据编码器生成的上下文信息，预测未来的时间序列值。在语言翻译场景中，解码器遵循串行输入和输出的流程，但在训练阶段，允许并行化处理，通过mask技术，解码器仅与当前输入进行交互，避免依赖未来的预测结果。
在训练阶段，解码器通过“教师强制”策略，即输入真实的目标值，以加速学习过程并提高模型性能。具体操作包括构造掩码以避免依赖未来的输出，并将上一轮的真实值作为下一轮预测的输入。
测试阶段则采用与训练不同的方法，解码器仅依赖前一个时间步的预测结果，而不再强制输入真实值。这要求模型在每一时刻做出独立的预测决策，形成连续的预测序列。
实验结果显示，仅使用编码器的简单方法在负荷预测任务上取得了一定效果，这表明在处理简单的时间序列数据时，Transformer的复杂结构可能并不总是优于更简单的模型。这一结果强调了选择模型架构时，需要根据具体问题和数据特性进行权衡。
