IJCAI 2018 于 7 月份在瑞典举行。阿里巴巴作为国内优秀企业,也有三篇论文被收录为口头报告论文;此外,在 ACL 上有两篇论文被录用;在 SIGIR上有三篇论文被录用。
以上事件在雷锋网旗下学术频道 AI 科技评论数据库产品「AI 影响因子」中有相应加分。
以下为三篇 IJCAI oral 论文摘要:
基于改进注意力循环控制门的品牌排序系统
A Brand-level Ranking System with the Customized Attention-GRU
在淘宝网等电子商务网站中, 品牌在用户对商品做点击/购买选择时正起着越来越重要的作用, 部分原因是用户现在越来越关注商品的质量, 而品牌是商品质量的一个保证。但是, 现有的排序系统并不是针对用户对品牌的偏好设计的。某些处理方案一定程度上能减轻这个问题, 但仍然无法取得理想的效果或需要增加额外的交互成本。我们提出并设计了第一个品牌级排序系统来解决该问题, 该系统的核心挑战是如何有效利用电子商务网站中的大量信息来对品牌作个性化排序。在我们的解决方案中, 我们首先针对个性化品牌排序问题设计特征工程, 然后在 Attention-GRU 模型的基础上, 提出了 3 个重要改进, 以更好地对品牌排序。值得注意的是, 这些改进也能应用于很多其他机器学习模型。我们在阿里巴巴天猫商城上做了大量实验来验证这个排序模型的有效性, 并测试了真实应用场景中 用户对该排序系统的反馈。
JUMP: 一种点击和停留时长的协同预估器
在搜索和推荐场景中,基于会话的预测日益受到人们的兴趣和重视;大多这类算法都是基于递归神经网络 (RNNs) 技术或者它的变种。然而,已有的算法一方面会忽略「停留时长」在表达用户偏好程度上的重要性,另一方面在非常短或者有噪音的会话上会预估的不准。因此在该文章的的工作中,我们提出了一种联合预估算法 JUMP,基于会话去同时预测用户的点击和停留时长。JUMP 使用一种新奇的三层 RNN 结构去编码用户的一次会话,包括使用一个「快慢层」去缓解短会话的问题,使用一个「注意力层」去解决会话噪音的问题。大量的实验表明 JUMP 算法能在点击率预估和停留时长预估上,超越最新的其他算法。
电商搜索全局排序方法
搜索排序的传统方法是通过各种方法对商品进行打分,最后按照每个商品的分数进行排序。这样传统的搜索排序方法就无法考虑到展示出来的商品之间相互的影响。类似地,传统的针对单个商品估计 ctr、cvr 的方法也都基于这样一个假设:商品的 ctr、cvr不会受到同时展示出来的其他商品 (我们称为展示 context) 的影响。而实际上一个商品的展示 context 可以影响到用户的点击或者购买决策:假如一个商品周边的商品都和它比较类似,但是价格却比它便宜,那么用户买它的概率不会高;反之如果周边的商品都比它贵,那么用户买它的概率就会大增。如果打破传统排序模型展示 context 没有影响的假设,该如何进行排序呢?
为此,我们首次提出了一种考虑商品间相互影响的全局排序方法。我们将电商排序描述成一个全局优化问题,优化的目标是反应用户满意度的商品成交额:GMV(GrossMerchandise Volume)。准确地说,全局排序的优化目标是最大化 GMV 的数学期望。计算 GMV 的数学期望需要知道商品的成交概率,而商品的成交概率是彼此相互影响的,因此我们又提出了考虑商品间相互影响的成交概率估计模型。首先,我们提出了一种全局特征扩展的思路,在估计一个商品的成交概率时,将其他商品的影响以全局特征的形式加入到概率估计模型中,从而在估计时考虑到了其他商品的影响。然后,我们进一步提出了通过 RNN 模型来精确考虑商品的排序顺序对商品成交概率的影响。通过使用 RNN 模型,我们将电商排序变成了一个序列生成的问题,并通过 beam search 算法来寻找一个较好的排序。我们在淘宝无线主搜索平台上进行了大量的实验,相对于当时的淘宝无线主搜算法,取得了GMV 提升 5% 的效果。
三篇 SIGIR 文章:
一种端到端的模型:基于异构内容流的动态排序/ An End-to-end Model of Predicting Diverse Ranking On Heterogeneous Feeds
高子喆,高正,黄恒,蒋卓人,严玉良 / Zizhe Gao,Zheng Gao,Heng Huang,Zhuoren Jiang,Yuliang Yan
我们的目标是解决商品搜索引擎和内容搜索引擎中异构数据排序的问题,给用户推荐丰富的个性化的内容流。我们把算法分成了两部分:1)异构内容流类型排序,即决定每个坑位展示何种类型的内容流,文章、视频还是商品列表;2)同构的内容流内容排序,第二个步骤使用广为人知的DSSM模型,在这个内容流类型下,对内容流的内容进行排序,选择相似度最高的内容插入。本文主要聚焦在第一个步骤。
可视化理解深度神经网络CTR预估模型/ Visualizing and Understanding Deep Neural Networks in CTR Prediction
郭霖 叶卉 苏文博 刘贺欢 孙凯 向杭 侯俊/ Lin Guo, Hui Ye, Wenbo Su, Hehuan Liu, Kai Sun, Hang Xiang, Jun Hou
深度学习在研究和应用领域都已取得了重大的进展。但迄今为止,深度学习算法仍不够透明,多被做“黑盒”使用。近年来,人们开始致力于去更透彻地理解深度学习内部的复杂机理,从而确保算法安全可靠或达到进一步优化的目的。
尽管业界对于图像处理和自然语言处理领域,在算法可解释性方向上已经取得了一些进展,但对于电商与广告领域,目前还是空白。另一方面,深度学习技术已经开始被大规模应用到广告业务中。广告是很多互联网现金流的重要来源,是核心业务。深度神经网络模型是核心业务中的核心模块,有效理解和评估这一“黑盒”算法变得非常重要。
由于人类对于世界的认知和感受主要来自于视觉,良好的可视化可以有效的帮助人们理解深度神经网络,并进行有效的评估、优化和调节。而可视化的前提是对模型进行相关数据透出,从而进行可视化分析评估,最终使得神经网络从“黑盒”向“白盒”过渡。针对这些挑战,我们搭建了一个面向工业级大规模深度学习应用的可视化分析平台—DeepInsight。
我们将针对电商场景下的广告点击率(CTR)预估,以一个简单但具有代表性的深度神经网络模型为例,举例介绍在几个典型而重要的问题上模型可视化分析的应用:1.泛化效果评估;2.特征设计;3.模型结构设计。
大多数图像或自然语言处理的研究着眼于从样本粒度出发去可视化理解模型。区别于这些研究场景,工业界的CTR预估面对的是海量规模的数据与特征、有偏的带标签数据、稀疏而复杂多样的信号模式,而最终效果评估首要关注的是宏观的商业指标。从业务特点出发,我们以统计信号入手,探索理解模型在整个目标数据集上的宏观表现。相关实验工作的细节请参阅我们的英文版论文:https://arxiv.org/abs/1806.08541。
基于强化学习的电商环境下商品生命周期优化
在电商平台所制定的流量分配机制下,参与者竞争平台的流量资源,而现有的研究大多基于商品当前状态优化短期的收益。本文通过定义商品的启动、成长、成熟和衰退四个周期以及四个周期之间的转换关系建立起商品的生命周期模型。基于生命周期模型,本文进一步提出了基于强化学习的流量分配机制框架,并提出基于FPC排列的状态采样算法和改进的经验池技术以同时优化长期收益与短期收益。通过这种'试探-纠错'机制,可能可以优化流量分配机制并促进平台自身健康发展。我们基于淘宝平台进行了仿真验证,仿真表明该算法相比于基准算法有明显的提升。
论文地址:https://arxiv.org/abs/1807.00448