pCTR 预估建模
发布网友
发布时间：2024-09-30 16:11
我来回答
共1个回答
热心网友
时间：2024-10-18 07:32
揭秘pCTR预估建模：*性的技术与挑战
在广告行业的核心舞台上，pCTR预估建模扮演着关键角色，它不仅是机器学习技术在业界的里程碑，更是推动互联网广告业务飞速发展的催化剂。让我们深入探讨这个问题，理解它的核心定义和实际应用。
pCTR问题的实质：预测与概率
在形式化的表述中，pCTR问题寻求构建一个参数化模型M，参数为θ，其目标是：
这里的预测并非精确地预言二元结果（点击或不点击），而是基于上下文特征X，给出点击发生的概率，这个概率范围在0到1之间，实际结果可能受到未知因素或噪声的影响，预测并非易事。
非独立同分布挑战：在线学习的世界
在理想的学习环境中，机器学习假设数据服从独立同分布（IID）。但在pCTR预测这类广告/推荐系统中，这种假设往往失效，因为数据随时间变化，每天甚至每小时都在动态更新。例如，主动学习和图模型的学习/推理任务，其变量间存在复杂依赖关系，进一步突显了这个问题。
历史上的解决方案：逻辑回归与稀疏化
逻辑回归，尤其是其sigmoid激活函数，曾是工业级模型的首选。但面对数十亿特征的挑战，内存*成为关键。经典算法如截断梯度FOBOS、RDA和FTRL-Proximal，以及FM（因子分解机）等，都旨在通过稀疏化处理和高阶特征交叉来提升模型效率。
FM的生存之道：DNN与点积
在深度学习盛行的时代，SVM和逻辑回归看似退居二线，但FM却依然活跃。原因在于，尽管DNN擅长处理复杂结构，但点积表达式的简洁性和效率使得FM在处理高维特征交叉时更具优势。DNN与FM的结合，如DeepFM，展示了两者的优势互补。
深度学习的新篇章：嵌入与深度结构
不论网络架构如何变化，现代预估建模的核心框架始终围绕嵌入（捕捉特征的内在关系）和多层感知机（DNN）展开。这样的设计使得模型能够处理大量数据，同时保持了对未知特征组合的泛化能力。
总结来说，pCTR预估建模是一个动态且富有挑战性的领域，不断适应着互联网广告行业的实时需求，而在这个过程中，创新的技术和优化的模型设计起到了关键作用。
pCTR 预估建模
总结来说，pCTR预估建模是一个动态且富有挑战性的领域，不断适应着互联网广告行业的实时需求，而在这个过程中，创新的技术和优化的模型设计起到了关键作用。
CTR预估模型
特征的编码：直接用one-hot会有问题，就像上边提到的，高纬稀疏不利于后面的处理，所以大部分的CTR预估模型都会对one-hot特征进行embedding。压缩编码的方式有：神经网络模型（nnlm, word2vec）、矩阵分解（MF）、因子分解机（FM）等。CTR预估模型本质是个二分类的问题，因为主要是去建模预测用户是否会点击...
CTR校准(预估绝对值有意义时)
3、不修改训练过程，通过对预估pCtr与真实realCtr关系的建模来校准 这种方式在谷歌的论文中有所讨论[3]，其实思想也很简单，针对我们训练数据中分割多个partition，获取这部分数据的真实点击率，以及预估的点击率。这样作为训练样本，建模pCtr = f(realCtr)，比如pCtr= a * pCtr ^ b ，这个公式的...
推荐系统论文阅读(二十)-阿里妈妈基于用户长序列历史行为的推荐SIM_百度...
这种方法比较直观而且实施起来比较简单,就是我们从候选行为序列中按照给定规则筛选出与当前目标任务相关的候选集,举个例子,我在淘宝上历史浏览过很不同种类的商品(比如电子产品、口红、男鞋等等),当候选广告是iphone12时,hard-search方法会从我历史行为队列中筛选出电子产品相关的行为进行建模,用于PCTR预估,而口红、男鞋...
【笔记】机器如何“猜你喜欢”-阿里技术
RTP(Real Time Prediction),实时打分服务系统: 利用Swift增量传输模型,使用实时BUILD索引技术来实现特征和模型的秒级更新,RTP系统在收到TPP推荐系统的前端请求后,进行FG的实时特征产出,并对请求的item list中每个item计算出一个分值,是CTR、CVR各种机器学习模型预估的专用服务器; Porsche在线学习平台: Porsche是基于Blink...
校正值有正负吗
不涉及到计费，单纯按pctr排序，倒没有什么问题。但是在广告场景下，的序可能与采样前不同。另外，如果是多个模型预估的结果在一起进行pk排序的话，pctr偏差也会引起问题。样本分布(如某类型用户或某类型物料的训练样本过少)或模型建模不充分(如特征设计不合理)，也可能导致预估偏差过大。
阿里妈妈展示广告粗排:面向链路一致性优化的端到端序学习模型
粗排模块兼顾效果与效率，使用简单CTR预估模型与出价策略，按照ECPM对广告排序，快速挑选百级别广告送至精排。精排模块更重视效果，同样基于ECPM排序，运用更复杂模型和出价策略，精准挑选高商业价值及用户喜爱的商品广告。粗排作为系统中关键一环，面临RT与打分规模约束，以往工作侧重提升预估精度，现已转向最...
消除稀疏数据偏差,CTR平滑的方法与其参数估计过程
则其概率为P(click, view | ctr) = ctr^click * (1 - ctr) ^ (view - click) c、我们用所有文章的view和click的数据，我们可以写出似然函数：【包含theta】Likelihood_Pi(click ，view | ctr）= p(click, view | theta) * p(ctr)【将alpha，beta带入，对...
对于缺失值的处理
比如Google、 百度的CTR预估模型，预处理时会把所有变量都这样处理，达到几亿维。又或者可根据每个值的频数，将频数较小的值归为一类'other'，降低维度。此做法可最大化保留变量的信息。前推法 （LOCF，Last Observation Carried Forward，将每个缺失值替换为缺失之前的最后一次观测值）与 后推法 （NOCB...
怎样正确理解逻辑回归(logistic regression)?
engineering之后效果赞。因为结果是概率，可以做ranking model。逻辑回归有哪些应用 CTR预估/推荐系统的learning to rank/各种分类场景。某搜索引擎厂的广告CTR预估基线版是LR。某电商搜索排序/广告CTR预估基线版是LR。某电商的购物搭配推荐用了大量LR。某现在一天广告赚1000w+的新闻app排序基线是LR。
