雷锋网按:本文作者谢德福(微信号:beancurd191),9年以上互联网从业经验,6年以上个性化推荐、大数据相关经验。毕业进入华为工作6年后,于2013年创业至今,专注于大数据技术在影视、文化、视频、娱乐等领域的应用。
前几天传言要被腾讯收购的今日头条很多人应该不陌生,我也是今日头条的忠实用户,为什么我觉得今日头条做得比其他新闻/资讯客户端要好,正是因为它展现给我的内容都是我想看的,随着我在上面的行为越来越多,它展现给我的内容越准确,今日头条使用的最核心的技术就是个性化推荐技术。
随着移动互联网的兴起,用户的很多行为逐渐从PC端转向移动端。人们花在手机上的时间越来越多。人们随时随地都在使用手机,在你坐车的时候、上厕所的时候、吃饭的时候,甚至在你走路的时候都在用手机。相对于PC端,移动端的特点是屏幕窄,用户使用的时间呈现碎片化。同时随着信息量越来越大,人们很难从大量的信息中快速找到自己想要的内容。这个体验是非常差的,如果你是产品经理,如果你面临同样的问题,希望接下来要讲的内容对你有所帮助。
如果你在亚马逊上买过书,你可能会碰到这种情况,当你选择一本书放入购物篮时,它会自动给你推荐其它的书。比如:购买过该书的人还买过XXXX,猜你可能还喜欢XXXX,组合推荐,购买该书还有另外几本书的组合可以享受一个优惠的组合价格。这些使用的都是推荐系统,简单来说推荐系统就是研究用户在平台上的所有行为,对用户进行人物画像,以及研究平台上的内容/产品。同时把用户和产品匹配起来的过程。
推荐系统在各个领域有广泛的应用,比如电商网站、视频网站、视频直播平台、新闻客户端、文学网站、音乐网站等等。下图是推荐系统在著名电商网站、视频网站的一些应用案例及应用效果。
1、通过目录或者搜索的方式查找想要的内容,在移动终端较小的屏幕上可能需要多次翻屏,查找感兴趣的内容的成本很高,用户体验较差。
2、通过推荐系统展现给用户的内容,都是用户感兴趣的,而且每个用户看到的都不一样,亚马逊的CEO贝佐斯说过,要让1000个访问亚马逊的用户看到1000个不同的亚马逊。
3、目前用户的选择非常多,可选择的多样性及时间的碎片化,用户打开手机,如没能快速找到感兴趣的内容,很快就会离开。
4、个性化推荐技术通过算法进行用户感兴趣的内容的精准推荐,帮助用户快捷发现感兴趣的内容,当你看完一个内容后,会立马给你推荐相关的东西,可以增加用户粘性。
5、帮助用户发现更多优质的长尾内容,一般平台用户访问的只局限在热门的10%左右的内容,很多内容永远沉在数据库中没有人发现。
6、帮助平衡平台的生态,避免马太效应,热门的内容总是得到更多的爆光,冷门的内容从没机会被关注,使内容生产生态两极分化。
下面以我之前做过的一个产品为例来讲解,在架构上,可能每家在做的时候会有些不同,但用到的一些核心算法,大家应该是差不多的。具体怎么实现,产品经理不需要关注这么细,只需要大概了解其中的原理就可以了。
推荐系统中常用到的算法包括用户偏好算法、协同过滤算法(item_base,user_base)、关联规则算法、聚类算法、内容相似性算法(content_base)以及一些其它的补充算法。最终分析出来的结果是以下几种:
1、根据用户偏好算法算出来用户感兴趣的内容/产品,然后推荐给用户。
2、根据关联规则算法,算出物品间的支持度和置信度。最常见的应用是组合购买,啤酒和尿不湿是非常经典的例子了。
3、item_base是根据集体用户行为算出物品间的相似度,然后把与用户看过的或者购买过的最相似的物品推荐给该用户。
4、聚类算法可以根据用户进行聚类,也可以对产品进行聚类。聚类后可以针对大类进行推荐,或者继续计算用户类和产品类之间的关系。
5、content_base是根据物品本身的属性进行关联性运算,计算出物品间的相似性,最常见的应用是同类推荐。
6、user_base是根据集体行为计算用户之间的相似度,比如A跟B计算出来非常相似,则可以把B喜欢的内容,但A还没有看过,推荐给A。
由于移动端屏幕较小,一屏展现的内容较少,用户要找到自己感兴趣的内容需要一屏一屏往下翻,在这个地方展现个性化推荐的内容,可以快速抓住用户的眼球。
个性化推荐系统是一个非常复杂的系统,其中不光涉及数据处理算法和系统架构的灵活性问题,还涉及系统鲁棒性,数据稀疏性问题、冷启动问题、系统的精准性和多样性问题。
1、垃圾数据处理:对于系统产生的异常数据、垃圾数据需要业务特点制定一套清洗规则。
2、冷启动问题:由于新用户访问时没有数据沉淀,因此很难根据用户行为进行推荐,目前比较普遍的方法是新用户首次登录时提供兴趣标签引导页面,引导用户进行设置,同时结合其它推荐算法。另外一种比较理想的方法是使用用户在其它平台的社交数据。
3、数据稀疏性问题:可以使用聚类算法进行升维后运算,并结合其它算法进行组合推荐。
4、推荐结果精准性和多样性:通过多种算法进行组合推荐。确保推荐结果集的精准性和多样性。
以上是关于个性化推荐系统的一个基本知识,希望对大家有所帮助。
本文由人人都是产品经理授权雷锋网发布。未经许可,禁止转载!