推荐系统 embedding 技术实践总结
发布网友
发布时间：2024-10-06 15:52
共1个回答
热心网友
时间：2024-12-14 18:20
在移动推荐系统的实践中，embedding技术起着至关重要的作用，它几乎无所不在，是解决推荐难题的关键。本文将分享腾讯网推荐系统中embedding技术的应用总结，以期带来实用价值。
什么是embedding
embedding是一种将非连续数据转换为稠密向量的表示形式，相较于传统的one-hot编码，它提供了平滑性和抽象性。想象一下，embedding是对one-hot的平滑处理，而one-hot则是对embedding的聚合操作。例如，RGB颜色模型可以用向量表示，每个维度都有明确含义，但一般embedding则是神经网络的隐层权重，具有整体意义，通过优化学习得到，不具备局部含义。
embedding的发展历程
自1986年Hinton提出embedding概念以来，word2vec的出现使得embedding在工业界初露头角。从MF矩阵分解中，embedding的影子开始显现，但当时并未明确。word2vec的诞生，使一切可embedding化，随后的item2vec, wide and weep等算法广泛应用到特征工程、画像构建和排序等环节。faiss工具解决了大规模向量检索的工程问题。
embedding的应用实例
item embedding: 图文推荐中的item向量化，如文本embedding主要基于word2vec的衍生理论，包括静态词向量（word2vec、fastText、glove）和动态词向量（ELMo、BERT）。
img embedding: 图片通过ResNet和图像描述生成向量，用于识别明星、识别文字和改变图片风格，底层特征的学习体现了通用性和任务相关性。
user embedding: 通过用户画像和行为序列建模，早期从重要特征向量化，中期使用DSSM确保用户和item在同一向量空间，目前用BERT和LSTM处理用户行为序列。
基于embedding的召回方法
基于embedding的召回包括i2i和u2i两种方式，如tag2vec利用词向量，item2vec利用文章ID，通过faiss进行相似度计算和特征融合。u2i召回如uese2vec、user2vec和DSSM个性化，随着业务发展，从初级的存储策略到分群召回策略如簇召回、群画像召回等，不断优化。
embedding的挑战与优化
尽管embedding技术有其优点，但也面临增量更新的语义稳定性、多特征融合难题和长尾数据训练问题。为解决这些问题，阿里巴巴和谷歌分别尝试优化embedding的表示和编码结构。
