海量数据时代与推荐系统的主要算法
2011-12-12 23:20
246 查看
据数据调查公司IDC预计2011年全球互联网数据总量将达到1.8万亿GB,海量数据时代已经来临。信息规模和覆盖面的迅速增长,信息过载的问题也随之而来。过量的信息同时呈现,用户无法从中获取自己所需的部分,信息使用效率反而降低。搜索引擎是整合资源的有力工具,然而传统的搜索引擎往往是根据用户的数据字符串对信息进行检索,难以满足用户的个性化需求。
推荐系统已经被广泛用于电子商务和社交网站中。目前,电子商务中主要向用户推荐商品,使用户更便捷的找到其所愿购买的商品,产生交易;而社交网站则主要向用户推荐其感兴趣的用户,使他们建立联系,增加整个关系网的节点和度。
推荐算法研究涵盖了认知科学、信息检索、管理科学、心理学、近似性理论等等,大体可以分为以下几类:基于规则的推荐系统、基于内容的推荐系统、协同过滤推荐系统等。
基于规则的推荐系统广泛用于电子商城,以电商为例,算法主体思想是:首先,统计得到挖掘出的规则前件,然后针对目标客户的历史购买行为,向该客户推荐规则后件。挖掘过程是一种离线的规则分析,分析每一个用户的历史历史购买。例如用户甲购买了A、B、C三种商品,用户乙购买了B、C、D,用户丙购买了A、C,则有关联规则A-C,B-C,用户丁历史购买有A,则首先推荐C,其次推荐B。实际的挖掘过程要相对复杂,找出所有满足最小支持度和最小置信度的关联规则,生成规则库,再向用户推荐。
基于内容的推荐系统在资源类网站使用较多,例如视频点播类网站、豆瓣、CSDN资源下载等。其主要方法为:首先,建立资源项目的关键词序列,也就是网站中常提到的标签(tag);根据资源项目的关键词重合度和用户的历史选择,给出推荐资源项。
协同过滤推荐系统,需要用户对目标项进行评分,处理流程如下:首先,基于系统巾的已有评分数据,计算给定用户(或项目)之间的相似性;然后根据计算得到的相似性,寻找与目标用户(或项目)的最近邻居集合:最后使用最近邻居集合中的用户(或项目)的评分情况来预测目标用户对目标项目的评分值,以此来产生对目标用户的推荐。这个方法比较精妙,在后续的博客中,会详细相关性算法。
推荐系统已经被广泛用于电子商务和社交网站中。目前,电子商务中主要向用户推荐商品,使用户更便捷的找到其所愿购买的商品,产生交易;而社交网站则主要向用户推荐其感兴趣的用户,使他们建立联系,增加整个关系网的节点和度。
推荐算法研究涵盖了认知科学、信息检索、管理科学、心理学、近似性理论等等,大体可以分为以下几类:基于规则的推荐系统、基于内容的推荐系统、协同过滤推荐系统等。
基于规则的推荐系统广泛用于电子商城,以电商为例,算法主体思想是:首先,统计得到挖掘出的规则前件,然后针对目标客户的历史购买行为,向该客户推荐规则后件。挖掘过程是一种离线的规则分析,分析每一个用户的历史历史购买。例如用户甲购买了A、B、C三种商品,用户乙购买了B、C、D,用户丙购买了A、C,则有关联规则A-C,B-C,用户丁历史购买有A,则首先推荐C,其次推荐B。实际的挖掘过程要相对复杂,找出所有满足最小支持度和最小置信度的关联规则,生成规则库,再向用户推荐。
基于内容的推荐系统在资源类网站使用较多,例如视频点播类网站、豆瓣、CSDN资源下载等。其主要方法为:首先,建立资源项目的关键词序列,也就是网站中常提到的标签(tag);根据资源项目的关键词重合度和用户的历史选择,给出推荐资源项。
协同过滤推荐系统,需要用户对目标项进行评分,处理流程如下:首先,基于系统巾的已有评分数据,计算给定用户(或项目)之间的相似性;然后根据计算得到的相似性,寻找与目标用户(或项目)的最近邻居集合:最后使用最近邻居集合中的用户(或项目)的评分情况来预测目标用户对目标项目的评分值,以此来产生对目标用户的推荐。这个方法比较精妙,在后续的博客中,会详细相关性算法。
相关文章推荐
- 自然语言处理技术(NLP)在推荐系统中的应用 原2017.06.29人工智能头条 作者: 张相於,58集团算法架构师,转转搜索推荐部负责人,负责搜索、推荐以及算法相关工作。多年来主要从事推荐系统以及机
- 主要推荐系统算法总结及Youtube深度学习推荐算法实例概括
- 推荐系统的主要算法
- 使用Neo4j和简单分词算法实现菜品推荐系统
- 推荐系统 | 信息过载的大数据时代,大数据推荐系统如何搭建,趋势何方
- 推荐系统:技术、评估及高效算法 第8章
- 推荐系统不同算法之间的比较
- 机器学习 数据挖掘 推荐系统 时间序列挖掘-预测算法-三次指数平滑法(Holt-Winters)
- [Recommendation System] 推荐系统之协同过滤(CF)算法详解和实现
- 5类系统推荐算法,告诉你用户需要什么
- SVD在推荐系统中的应用详解以及算法推导
- 推荐系统:主要推荐方法
- 推荐系统之协同过滤(CF)算法详解和实现
- 海量数据挖掘MMDS week4: 推荐系统之隐语义模型latent semantic analysis
- 推荐系统中SVD算法详解
- 推荐系统与算法
- 推荐系统算法(3)<InfoQ系列翻译文章,2016>
- Bandit算法与推荐系统
- 海量数据挖掘MMDS week4: 推荐系统之数据降维Dimensionality Reduction
- Python用户推荐系统曼哈顿算法实现