浅谈推荐系统中的公平性--fairness in recommender system
推荐系统中的公平性
何谓公平
公平,这个词大家经常听到,特别是在小朋友争吵的过程中,“这不公平!”,“明明是他不对!”…
日常生活中也存在各种不公平,例如找工作时,有时不看能力只看学历,有的单位也不愿招女员工等等。
而公平性之于推荐系统又是什么。在一部分人正焦头烂额地为了推荐性能那百分之零点零几的准确率通宵达旦时,另一部分人决定换个方向,类比已知的存在于机器学习算法中性别偏见、种族歧视等不公平问题,可以探索推荐系统中同样存在这样的不公平问题。这仍是一个比较新的话题,还有很多的坑需要填。
如同没有绝对的正义,也没有绝对的公平。所谓的公平,只是站在不同的角度罢了。事实上,读过几篇文章后,你会觉得大部分作者都在描述自己提出的公平,可能是定义推荐结果中的各类物品比例与用户历史记录中的一致,也可能是提升不流行物品的曝光率,等等。一句话概况就是,“言之有理即可”。他们都坚持着自己认定的公平,并为达到这个目标提出自己的算法,或者只是单纯地分析现存算法有多违背自己的公平。
研究方向
有几个大的研究方向:一是从用户角度;二是从物品角度;三是做组推荐。现在也有一部人在做多利益相关者(Multi-stakeholder)的公平性,如《Multisided Fairness for Recommendation》,《Multi-stakeholder Recommendation and its Connection to Multi-sided Fairness》。顾名思义,就是同时考虑用户方、物品方甚至平台方等多个从推荐中获利的角色。比如招聘网站上,求职者方的公平可能定义为:相同的学历、能力可以被推荐类似的工作,而不受国籍、种族等偏见;招聘方(在网站上投放招聘信息的公司等)的公平可能定义为:系统可以将他们的招聘信息推给优质的求职者,而不会因为公司的背景等因素,只将招聘信息推给不太合适的求职者;招聘网站(推荐系统)需要促成更多的交易,从中获利(广告费等),否则,求职者、招聘者就会去别的招聘网站。在电商场景下亦是如此,读者可自行分析。当然实际情况更加复杂,还要考虑很多因素,比如某些物品是收取过高昂的推广费的,在推荐的时候应该给这样的物品更多的曝光率,同时也要尽量降低给用户带来的不好体验。在之后的文章中会结合论文详细介绍。
更新计划
接下来的文章主要是结合论文阐述一些公平性的概念,鉴于大部分人对公式不敏感,我会尽量减少公式的出现,并在文章后面附上论文链接,感兴趣的读者可以进一步探究。
希望我的文章可以给你们的工作或者学习带来一丝灵感,共勉~
文献链接
1.《Multisided Fairness for Recommendation》
2.《Multi-stakeholder Recommendation and its Connection to Multi-sided Fairness》
- 推荐系统公平性之流行度偏差(fairness in recommender systems -- popularity bias)
- 基于内容的推荐系统(content-based recommender system)
- Multiple Objective Optimization in Recommender Systems 推荐系统多目标优化
- PySpark-推荐系统-RecommenderSystem
- 用Python构建你自己的推荐系统(Implementing your own recommender systems in Python)
- A Cost-Effective Recommender System for Taxi Drivers(一个针对出租车司机的有效花费的推荐系统)
- 推荐系统-论文阅读笔记(1)-A survey on CF based recommender system
- 挂载磁盘的问题(/dev/sdb1 is apparently in use by the system; will not make a 文件系统 here!)
- [CareerCup] 8.9 An In-memory File System 内存文件系统
- 【读书笔记】《推荐系统(recommender systems An introduction)》第六章 推荐系统的解释
- 推荐系统公平性之FairMatch--一种基于图的提升推荐系统整体多样性的方法
- FUSE(Filesystem in userspace)(用户空间文件系统),user-space框架简单介绍
- 【论文笔记】基于图机构的推荐系统:Billion-scale Commodity Embedding for E-commerce Recommendation in Alibaba
- 挂载磁盘的问题(/dev/sdb1 is apparently in use by the system; will not make a 文件系统 here!)
- 【读书笔记】《推荐系统(recommender systems An introduction)》第七章 评估推荐系统
- 推荐系统公平性之校准化推荐--calibrated recommendations
- Machine Learning - XVI. Recommender Systems 推荐系统(Week 9)
- redhat 使用dump命令备份文件系统时候 报错 /dev/sda1: Bad magic number in super-block while opening filesystem
- 【翻译】使用AIR构建的汽车诊断系统Car Diagnostic System built in Adobe AIR
- 推荐系统(Recommendation/Recommender Systems)小结 (一)