中国互联网技术联盟正式成立 京东、美团、 58到家现场分享推荐系统核心技术

12月19日，中国技术开放日暨中国互联网技术联盟（ITA）启动仪式在北京国家会议中心举行。京东技术学院院长阿朱（原明源软件CTO）、美团技术学院院长刘江（原CSDN总编）及来自联盟企业的多位CTO共同见证了这一刻。

中国互联网技术联盟（ITA）正式启动



京东技术学院院长阿朱（原明源软件CTO）

京东技术学院院长阿朱，作为中国互联网技术联盟的发起人之一，在启动仪式上讲述了该联盟成立的背后故事。他表示中国互联网技术联盟致力于打造中国更具实效价值的技术研讨、技术推广、技术创新，帮助联盟成员提升在业内的核心技术竞争力和影响力。其主要特色在于免费，且聚焦精英企业。同时他还发布了该联盟未来众多的行动计划。



作为联盟的另一位发起人，美团技术学院院长刘江在发言中，通过回顾美团在千团大战中胜利突围的故事，表达了技术对企业成功的重要性。该联盟将十分重视行业技术交流，带来更高层次的技术分享。



中国互联网技术联盟运营秘书长谢工介绍了联盟成员的加入及退出机制，及联盟成员的义务。

接下来来自58到家、京东、美团的多位技术专家给参会技术人员分享了各自企业以数据为驱动的个性化推荐的最佳实践。

首先，58到家数据部数据挖掘组负责人王洪权带来了《58到家的推荐系统与推荐技术》主题演讲，分享了推荐系统的选型经验。他表示个性化推荐并不等同于协调过滤，在实际应用中往往可将多种推荐方式结合使用。它被广泛采用因为其有着不依赖产品属性的优势，但同时面临着数据稀疏性、冷启动带来的问题、挑战。同时他还提出了企业在做推荐时可能会遇到诸多问题，如数据量大且动态变化、推荐的精确性和多样性往往难以兼得等。






58到家数据部数据挖掘组负责人 王洪权

接着，京东推荐平台在线算法组负责人王志勇在演讲中介绍了京东个性化推荐整体框架。个性化推荐离不开在线数据的获取与存储，他详细介绍了京东存储架构所经历的1.0至3.0的演变过程，及每个阶段使用的主要技术。存储1.0，采用Hbase集群作为底层模型数据据存储；Redis集群作为Hot数据的高速缓存；部分关键业务数据pre-load至Redis集群。但因它存在一定的局限，京东自主研发了更好性能的存储系统，即存储2.0，它采用Jim（Jingdong In Memory DB）为内存中心，全管理服务化的数据库，推出故障检测和自动的Failover，支持re-sharding，同时利用RAM+SSD做混合的两级存储。现在京东的存储架构已发展至存储3.0，其Lucene
Index使用开源的Stratio Cassandra-Licene-index，将索引服务和特征存储服务融合在相同集群中，同时减少PRC调用次数据，提升召回性能，使服务器资源利用率提高。数据获取后需进行排序，接着他重点介绍了在线Rank架构。



京东推荐平台在线算法组负责人 王志勇

随后，美团高级技术专家曹浩在《O2O领域个性化精准推荐》主题演讲中展示了美团推荐系统的全景图，并从实时推荐，用户、场景建模，Learning to Rank，Interleaving小流量实验机制四个方面介绍了美图推荐核心技术。



美团高级技术专家 曹浩

他表示美团做实时推荐面临着多方面的挑战，如10亿级别推荐系统调用，要求实时计算等，为了解决这些难题，美团采用了负载均衡、并行计算、实时流数据处理等技术手段。接着他介绍了什么是排序学习方法（Learn to Rank）及美团排序模型。他表示美团排序模型经历了人工规则排序、线性模型排序、非线性模型排序三个阶段，非线性模型排序具有自动特征处理、拟合能力更强、适合于多个分数融合的优点，同时它的缺点是训练和预测要慢于线性模型。现在美团采用的是组合模型，利用Tree Model进行未来学习，通过LR进行实时更新。

最后一个演讲来自京东资深技术专家杨骥，他的演讲主要包括京东个性化推荐算法框架、基于矩阵分解的召回、基于图像引擎的召回、排序学习实践四个方面的内容。他表示基于矩阵分解的召回可分六步走，即（1）收集用户行为，包括点击、加购、关注、下单等；（2）对行为进行过滤，比如join（白名单），统计截断，多次加/删购等处理；（3）制定行为评分规则，生成评分矩阵；（4）训练矩阵分解模型；（5）场景过滤；（6）导入缓存。



京东资深技术专家 杨骥

针对基于图像引擎的召回模型，他表示它的数据来源为全站主图，可采用提取特征，图与图之间进行匹配的处理方式，其优点在于只考虑商品的“颜值”，降低了热销影响，同时增加了推荐结果的多样性。每讲一个技术方向，他都结合了具体案例进行现场分析。