年度关键词
工作内容: 打造工业界最 solid 的 ROAS 预估模型方案
今年核心工作目标很 plain & simple, 如何打造工业界最 solid 的精排 ROAS 预估模型? 4 个视角去牵引做功的方向
1.外循环兼容多行业业务差异的统一预估模型
外循环广告业务显著特点之一是”不同行业广告投放具备显著的业务差异性”, 差异性反映在 LTV 预估任务之上表现为: 不同行业回传辅助反馈事件及其影响程度的差异性/不同行业有效特征 (分布) 空间的差异性/不同行业深转样本稀疏程度差异性, 主要有以下 4 个迭代方向;
(i). 行业回传事件的高效辅助任务建模. 初期迭代中聚焦于基础 task relationship 建模的有效性, 目标识别并建模不同任务在用户行为动线之间的关系; 中后期迭代, 致力于构建更通用的knowledge transfer & specific task 兼备的模型结构
(ii). 行业自适应的特征筛选模型. 针对单次模型迭代对不同行业效果提升幅度存在差异问题, 建设面向行业自适应特征的特征筛选模型, 抽象出面向行业自适应特征筛选模块, 将行业特征和行业特点的表示学习直接反馈到模型结构之上; 从关键的用户行为序列特征的角度建模的方法论上, 面向行业自适应的 retrieve-modeling 长序列建模, 提升模型效果上限
(iii). 面向行业特性的长期特征工程专项. 梳理并集成不同行业的特征大图, 配合产运打造统一的特征工程模板 pipeline, 并集成高效特征选择工具, 构建一体化的的数据价值验证框架
(iv). 面向全行业的中台模型基座. 将建模视角从单一的样本组织转移到 industry-based task 任务组织, 采用 curriculum learning 等框架建模 task 之间的 difficulty ranking, 集成task 之后建立起 Training Scheduler, 能够更灵活地帮助不同的行业同学进行短平快的模型优化
2.序关系和预估准度兼容建模性质下的预估最优性保证
面向 ROAS 类广告出价产品, 不同于前链路预估相关出价产品（唤端/激活/表单）, 客户维度 ROAS 属于最末端链路面向效果的出价诉求; 聚焦投中表现看, 因竞价环境的高频变化以及突发性发生的付费行为, 后验 ROAS 以及成本达成存在更显著的波动性. 因此对 LTV 预估任务对预估准度具备更高的精度要求和稳定性要求; 前期大量工作聚焦于 LTV 预估的序关系建模, 后续会重点加强准度和序关系建模兼容的性质, 深入探索准度建模和序关系建模两个关键问题的兼容性质的最优性保证
(i). 针对预估分布/预估准度优化的 Muti-view LTV优化. 当前模型引入了回归损失作为优化目标, 但针对 LTV 的的预估值分布的特殊性缺少针对性的建模, 引入更多 view 下的回归目标, 例如通过核密度估计等方法, 有效利用分布信息做值准度建模; 充分采用 contrastive learning 等方法对 大R 和 小R 进行中间结果建模, 充分缓解深度转化中存在的稀疏性问题
(ii). Ord2Seq 连续值预估建模范式. 目标打破原有 hard layer transfer 建模带来效果天花板, 采用 ord2seq 框架统筹建模多阶段独立分类框架
3.带有噪声标签的 ROAS 模型学习
短视频外循环广告业务显著特点之一是 “广告主对深度转化行为存在显著的 mis-report”, 由于隐私原因等部分广告主存在一定的错误事件上报, 对于模型学习带来了显著的挑战, 使得深度网络模型可能会学到 corrupt representaion; 因此如何进行有效的 learning with noisy label, 是外循环 ROAS 模型优化的另一大关键挑战
针对上述问题主要梳理以下核心优化方向:
(i). 如何构建更优质纯净的数据集做模型训练. 针对 LTV 样本存在 label noise 问题,
a.探索如何移除 noise label 对模型训练的影响, 构建优质/纯净的训练集, 或者采用无监督预训练之后利用特征空间的相似性做样本 label 的 correction, 致力于提升更高质量表示学习过程;
b.探索如何弱化 noise label 对模型训练的影响, 采用置信度建模 & selective reweight 的方法, 弱化 noise 信息对模型学习的影响, 提升模型的鲁棒性;
(ii). 如何更充分地利用有限且稀疏的信号反馈提升效果. LTV 样本在无法避免的不置信的情况下, 如何提升模型的效果, 采用 contrastive learning/transfer learning 的方式, 充分利用场景内样本以及更宽泛的回传事件样本挖掘转化信息;
4.multi-view 多视角混合下的学习任务
ROAS 预估模型在模型结构上, 既不是单纯的回归任务, 也不是单纯的分类问题, 而是一个融合了多个视角下的混合建模任务, 这也是 ROAS 模型的魅力所在. 年终总结暂不铺开
工作方法论
1.算法工程师这份工作赋予了我什么关键能力与关键习惯. 自 2019.06 年, 从事广告算法工程师已经 4.7 年, 不妨在这个时间节点系统地回顾一下, [算法工程师] 这个工作或者这个 title, 赋予了我哪些比较本质的能力和思考问题的方式 ? 即使有一天不做算法工程师了, 哪些做事的方法会给下一个阶段职业生涯提供更强的项目推进的模式
(i). 可控试错成本下的快速迭代
快速迭代始终是任何产品, 或者任何算法, 在成长期间存在的唯一状态; 一定要在短时间内高度聚焦自己的注意力, 充分验证自己的固有的认知, 猜测的认知, 以及更宽范围内猜测/拿不准的认知; 迭代的更快, 才能更快地接近效率更高的本质的那一种方法论; 在这个过程中只需要满足试错的成本是可控的, 带来的风险不足以摧毁整个产品的生命, 那么就是要大胆的投入在更密集迭代里面; 在算法工程师的世界里面, 我们称之为 [实验]; 我们的实验如果能做的更快一点, 我们就能积累一点点更快的优势, done is better than perfect.
(ii). 认可对抗不确定性的价值: 长期与不确定性的近身肉搏成就了最终的产出价值.
任何有价值的工作, 看起来都是存在大量的不确定性的; 比如买一碗面, 为什么一碗放了辣椒和豌豆的面, 就有来自天南海北不同的顾客长期喜欢呢? 售卖一杯奶茶, 为什么只是放了几块新鲜的水果和大量的芝士就能把公司做到上市 ? 这些工作的共性都存在很强的不确定性, 只不过从有些人从这些不确定性里面找到了某些确定性的因素; 从第一天做算法工程师, 我们都在和一个又一个 [不确定性] 在近身肉搏, 只不过在一次一次不确定性中的抉择, 把我们分成了不同的样子; 不确定性会带来压力, 但是价值也确定性的存在在不确定性中; 这可能是我为什么认可或者喜欢算法工程师这个工作的原因, 过程中压力一直存在, 克服了一个又一个困难之后也确定性地存在一些短暂的成就感, 然后向着更大的不确定性去探索
(iii). 巧立名目
巧立名目这个词, 在中文的语境下是指 [指用欺骗的手段设立各种名目以达到不正当目的] , 但这里我要强行将这个词赋予一个新的褒义的, 正向的, 新时代的含义; 因为对任何事物的刷新认知的过程, 都是从某个不同于常态思维的, 创新的角度, 或者说一个偏门的角度进行开荒, 然后通过长期的迭代和修正, 最终变成一种长久的价值; 具备永久的价值在初期均是 [巧立名目]; 有些时候的离经叛道的开荒路径, 往往是通向事物更本质, 更具备高效生产力的, 打开天花板的, 探索更长久价值的入口所在; 如果一个目标在一开始就是什么条件都是成熟的, 可满足的, 理由明确的, 那么这个事情能带来收益空间是很值得怀疑的
(iv). convincing matters most
即使是长期专注于技术研究/迭代的工程师, 也需要相当高水准的 convincing 的能力, 面向不同受众的 convincing 是工作中非常关键的部分; 当我们在 convincing 的时候, 要注重给受众建立一些符合认知的 intuition, 这个 intuition 可能在受众在接受我们的 idea 之前可能是没有的, 缺失的, 或者模糊的, 甚至是有偏的; 在广告算法的工作范围内, 数据是很强的 impact 工具, 任何情况下要把来龙去脉, 前因后果 connect 起来, 并且拉到 bigger picture 下去 带着 context 讨论问题, 是持久要做的事情. 我在这里总结把 convincing 能力分成两个部分, 一部分取决于对事物的本质的认知水平, 另一部分是日常生活中的自我呈现, 且认为后者的占比在很多情况下影响更大
(vi). 训练场不带手机
近几年工作的广告核心算法团队里面, 不乏有一些优秀的同学. 这些 “优秀的同学”, 都具备一些比较 solid 的素质, 但抽丝剥茧一下, 我理解这些优秀同学最共性的, 最显著的核心竞争力, 仍然还是对于做事的高度专注状态, 能够较长地保持; 这一点我是 buy in 的, 仅从 2023 自我总结来看, 我和心目中很专注的同学相比, 能做到 neck and neck, 但也清楚自己在专注度上的提升空间, 还是能加大药劲, 进一步提升的.
2.more deeper ?
广告系统, 或者广告算法系统是一个非常复杂的动态系统, 相比一些职级更高, 影响力更大的老板或者同事, for some case 上他们更具备相对 deeper 的思考.
(i). 复杂系统下的耦合与解耦. 就以精排模型优化来说, 多任务建模/延迟转化/序关系建模/准度建模/序列建模/竞争环境建模可能是现在大家广泛讨论的几个问题, 长期来看结合生成模型/因果推断等开放性问题也有较大讨论空间, 因为思考角度的复杂性, 导致模型的损失函数还在以较大的密度去增加, 因此至少有一个可以回头思考的点是, 当前的思考的角度下, 对已有的其他几个优化的角度会产生怎样的影响 ? 是强冲突的影响, 还是弱冲突的影响
(ii). 找寻下一个关键的 motivation. 技术的迭代, 说穿了其实就是两件事, 1.认定某个 make sense 的 motivation 2.基于认定的 motivation 找对合适的方法/途径/手段; 时间迭代长了, 越来越来认为找到合理的 motivation 是最正确的线路, 有点类似于 “道 v.s. 术” 类似的概念, 训练自己的大脑能够 capture 下一个关键的 motivation 是未来训练自己成长的关键.
价值观升级
1.反着理解一切, 加速认知效率
(i). 今年建立了个比较关键的价值观, 就是很多事情最先反着理解的人往往是最早吃到螃蟹的, 反着理解很多事, 其实就是最快加强的认知的方法, 坚持某些 [奇奇怪怪] 的理念或者想法, 坚持到有收益, 或者验证出来有收益, 那就是正确的道路; 加速认知迭代的过程, 本质上就是更快的理解那些之前认为不可能的, 大家都不这么想的, 这时候一定要 “我就要这么想, 我没问题, 错的是大家”. 这里有个最基础的假设是, 如果所有的人都能看懂看明白的东西, 那就根本没价值; 如果所有人都认为是有前途的机会, 那就根本不是机会; 如果所有人都看好某个东西, 那就压根没办法从这个东西上获利; 有些话一定要可以告诉自己, 这个话一定得反着听; 嗯你说的没错, 反着来就对了.
(ii). 主动认知迭代: 多告诉自己迭代下认知. 另外有些事情, 其实很难一步到位反着理解到底, 往往会处于一种模糊的, 曲折的, 学不懂, 跟不上, 看不明白的状态. 想持有某些特例独行的想法, 也得一定程度上说服自己, 说服自己很难一步到位. 所以一个执行层面的方法是, 我一定要迭代下对 xx 的认知, 好像记录日记本一样, 今天观测到它的数据, 认知更新一下, 明天观测到它的数据, 认知再来一下, 后天观测到新的数据, 认知再来一下; 说服自己加大认知的频率, 可能是一种有效方法.
2.学习拼多多的执行力/组织能力
作为在阿里搞过 4 年电商业务的同学, 今年 pdd 市值首次超越阿里, 关于 pdd 一直有着比较多的思考, 就好比足球上我们想学巴西/学德国/学意大利/学日本一样, 其实很难学到什么东西. 但是有一个关键的输入 from 某个老板, 什么都不用学 (其实你也学不会), 就学一点就行了: 学习 pdd 的执行力; pdd 将一家公司分成了三类人:
(i). 想注意的人. 这批人对市场理解深刻, 我是十分佩服, 很少的几苗人. 但短期内我能成为这类人的可能性不大.
(ii). 做执行的人.
(iii). 做监工的人.
在这种机制下, 这三类人各自做各自的事情, 尤其是第 2 类人和第 3 类人, 他们主要的优势就是专注的执行力, 机制保证了他们不去考虑第 (i) 类人的问题, 然后把执行力拉满. 于此回想 2018 年在阿里实习时候, 似乎期望哪怕招聘一个实习生, 都想搞成第 (i) 类人的要求并培养成第 (i) 类人的思维模式.
3.人生的目标是做有趣的事情, 因为我们肯定是最无趣的一代
2023 年我突然意识到一件事情, 就是我们这一代人在后人眼里也是非常无趣的一代: 每天上班到很晚, 一年到头很努力地工作, 但是也没有发财; 做出来的事情/成果, 后代肯定觉得: 这东西还值得天天加班吗? 毫无创造力, 毫无影响力呀; 真是土到不行土到掉渣还活在自己的回忆里面的一代人. 所以, 既然是这样一个结局, 我考虑尽可能让自己过得更有趣一点, 不管是工作还是生活, 将趣味性还是拉到很高的优先级, 搞点有意思的事情 (就是写年终总结, 我也是尽可能当更趣的一个) 等到20年后再回头看, 某种程度上已经赢了.
4.我幻想 v.s. 我推测
[幻想] 这个词通常很少量地出现在特定的场景, 比如小孩子爱幻想 xx 之类的. 但事实上, 成人一般用 [我想] [我认为] [我觉得] 这些词来不经意之间表述事实意义上 [幻想] 含义; 所以在今后的表达中, 为了追求表达的准确性, 我把 [幻想] 这个词扩展到更多的场景里面, 与之相对的是 [推测], 比如有一些较强的事实依据或者相关数据支持的推断里面.
5.轻的打败重的, 除非重不可
2023 年写作的量越来越大, 有一个较多的体感就是 vscode 这工具真的太好用了, 忽然有一天打开其他的 ide 简直难受, 必须要夸赞一下这么强大的 ide. 给我的感触最深的是, 这种轻量级的产品, 可以把重的产品降维打击到没有任何还手之力. 越来越喜欢这种产品设计上的轻盈感或者说工具设计上的简约感带来的做事的丝滑感.
6.拿下捷豹, 才能拿下雪佛兰
上世纪 4A 广告公司打入汽车市场, 是这些公司发展的一个重要的里程碑. 这里有一个比较基础的规律, 一个重要的里程碑的获得, 一定有之前的一个重要的里程碑. 我不要聚焦追求幻想中的某一个/欲望中最后一个重要的里程碑, 而是追求之前的某一个必经到的里程碑. 然后让自己再尝试进入下一个 level.
7.The magic you are looking for is in the work you’re avoiding
这句话无需建立一种理解, 每次在脑子里多默读回荡几遍, 就一定能感受到它说什么.
8.找寻 “后劲很大” 的东西
2023 经历了几个 “后劲很大” 的东西: 最后的生还者2, 风骚律师, 一天深潜 2 次搞到流鼻血, 被海胆在手上扎了一堆恐怖的刺 (都没看清楚海胆藏在哪) , 关了灯还会突然倒着开的过山车, 口感巨细腻的鹅肝, 空调开到非常变态的候机室… 都 “后劲很大”, 获得的乐趣感和沉浸感是前所未有的. 与之相比, 大城市买房/投资这些事我是感觉没什么意思, 多做点 “后劲很大” 的事情.
高效学习方法论
1.把一个东西学明白, 首先得欣赏它
这一点其实在 2022 年终总结有初步提到, 但是还想再更深一层说明持续高效的学习是一个自然的认知加强过程; 我们通常说 [欣赏] 一个东西, 比如欣赏一幅画, 欣赏一个话剧, 欣赏一个音乐, 仿佛是要 [具备了不低的专业水平/基础认知] 之后, 才能 [欣赏]; 这里我要推翻一下这种理念, 之所以能学明白一个东西, 还是因为某个在模糊认知瞬间下的突然觉醒, 突然醒悟, 之后带来的满足感和回味感, 自然而然变成一种认同感; 然后基于这种 [默认的认同感], 开始密集的, 高强度的学习, 然后继续找到 [更多的乐趣] 或者 [更深层次的认同感] 或者 [更深层次的认同感]
2.Intuitively and Exhaustively Explained
[直觉上的认知] 和 [详尽的认知], 是一枚硬币的两面. 2023 通过又一年的直觉认知训练, 显著提高了学习的效率, 做的不错. 这俩一个是哥哥, 一个是弟弟, 哥哥主输出, 弟弟打辅助, 就没有学不会的东西.
3.问问自己没有跳过什么必经的阶段 ?
一种复杂的能力或者说不容易轻易模仿的能力, 比如 acm 金牌, 数学竞赛冠军. 除了这些人具备的天赋以外, 学习过程中往往是存在一种分阶梯的线性提升思维: 一层扎实, 一层扎实, 一层扎实地递进; 因此想锻炼一种独有的 solid 能力, 能应付各种不同的问题, 多问问自己没有跳过什么必经的阶段? 过程中有没有缺失某种更符合自然直觉的必经的阶段?
日常生活中的自我呈现
1.我想成为什么样的人和人们对我有何种期待矛盾
人的情绪都来自于上面这一个关键的矛盾, 有时候我们会说服自己, 做一个”我想成为的自己”, 有时候我们会说服自己 “成为xx期待中的自己”, 二者总会有存在某个矛盾的瞬间, 使人感到焦虑和迷茫. 对于这一点如何平衡, 暂时没有形成属于我自己的自洽的准则或者理解. 但是区分清楚人生中是存在这两者的不同的, 是走向更好的自己的基础一步.
2.Emotional Value is all I provide
情绪价值, 也是今年思考比较多的一个词, 例如像我这种爱写笔记爱总结的, 给我自己提供了大量的价值满足自己, 推进了 “我想成为什么样的人”; but sometimes, 一个人在群体中能向其他个体的提供的核心价值, 其实主要还是情绪价值, 或者说情绪价值 is all we need. 这又属于 “人们对我有何种期待” 的范畴; 最简单的, 美国人用 bro 或者 body 这两个词称呼别人, 中国人喊你叫 “x哥/大佬/x总”, 其实都存在情绪价值上的巨大的差别, 而且这种情绪价值是独立于种族和文化的. 所以, 我 (如果愿意) 能给别人提供的价值, 还是一种情绪价值. 既然是情绪价值, 那做产品, 做技术, 还是做公司, 其实从这个角度去思考就走到了某种正确的道路上.
3.精准营销是是我们这种人创造出来的概念
广告行业有个基础理解, 广告存在一种最基本的机制, 类似于创造 [幸福] [爱] [关怀] 这种 concept, 并主动地赋予它一定的意义, 最终的目的, 是把与之相关的想要的东西更高效地卖出去; 在现在人工智能全力推进的今天, 我们又在产品/服务上赋予了 [智能] 这样的标签. 这种标签唯一的意义, 也是让本来也都平庸的服务, 更高效的卖出去. 精准营销, 本来是有一部分人提出的理想的 concept, 但是通过我们一线工程师的手把它实现交付成可以执行的产品, 本质上变成了我们创造出来的概念.
转载请注明来源, from goldandrabbit.github.io
