作者简介 黄美灵 现任一线互联网公司的高级工程师，拥有多年大型互联网公司推荐系 统和机器学习实战经验，现从事广告推荐、应用分发和资讯Feeds流推荐相 关工作。 源代码下载、交流答疑请关注公众号加入QQ群 读者交流微信公众号 读者交流QQ群 2 RECOMMENDATIONALGORITHM 推荐系统算法实践 黄美灵　著 电子工业出版社 Publishing House of Electronics Industry 北京·BEIJING 3 内容简介 本书主要讲解推荐系统中的召回算法和排序算法，以及各个算法在主 流工具 Sklearn、Spark、TensorFlow等中的实现和应用。 书中本着循序渐进的原则进行讲解。首先，介绍推荐系统中推荐算法 的数学基础，推荐算法的平台、工具基础，以及具体的推荐系统。其次， 讲解推荐系统中的召回算法，主要包括基于行为相似的协同过滤召回和基 于内容相似的 Word2vec 召回，并且介绍其在 Spark、TensorFlow 主流工具 中的实现与应用。再次，讲解推荐系统中的排序算法，包括线性模型、树 模型和深度学习模型，分别介绍逻辑回归、FM、决策树、随机森林、 GBDT、GBDT+LR、集成学习、深度森林、DNN、Wide ＆ Deep、 DeepFM、YouTube推荐等模型的原理，以及其在Sklearn、Spark、 TensorFlow主流工具中的实现与应用。最后，介绍推荐算法的4个实践案 例，帮助读者进行工程实践和应用，并且介绍如何在Notebook上进行代码开 发和算法调试，以帮助读者提升工作效率。 本书适合AI、数据挖掘、大数据等领域的从业人员阅读，书中为开发 者展现了推荐算法的原理、实现与应用案例。 未经许可，不得以任何方式复制或抄袭本书的部分或全部内容。 版权所有，侵权必究。 图书在版编目（CIP）数据 推荐系统算法实践/黄美灵著.—北京：电子工业出版社，2019.9 ISBN　978-7-121-37040-3 Ⅰ.①推…　Ⅱ.①黄…　Ⅲ.①计算机算法　Ⅳ.①TP301.6 中国版本图书馆CIP数据核字（2019）第138081号 责任编辑：付睿 文字编辑：李云静　王中英 印刷： 装订： 出版发行：电子工业出版社　北京市海淀区万寿路173信箱 邮编：100036 4 开本：787×980　1/16 印张：22.25 字数：481.7千字 版次：2019年9月第1版 印次：2019年9月第1次印刷 定价：89.00元 凡所购买电子工业出版社图书有缺损问题，请向购买书店调换。若书 店售缺，请与本社发行部联系，联系及邮购电话：（010） 88254888,88258888。 质量投诉请发邮件至zlts@phei.com.cn，盗版侵权举报请发邮件至 dbqq@phei.com.cn。 本书咨询联系方式：010-51260888-819,faq@phei.com.cn。 5 前言 随着互联网行业的高速发展，人们获取信息的方式越来越多，从主动 获取信息逐渐变为被动接收信息，信息量也呈爆发式增长。因此，人们已 经从信息匮乏时代进入信息“过载”时代。人们对信息获取的有效性和针对性 的需求随之出现，推荐系统也应运而生。推荐系统就是互联网时代的一种 信息检索工具，推荐系统的任务就是连接用户和信息，创造价值。 推荐系统从20世纪90年代开始出现，逐渐成为一门独立的学科，并且 在学术界和工业界应用中都取得了诸多成果。本书主要讲解目前学术界和 工业界的一些主流、常用的推荐方法和工具。 首先从基础开始，介绍数学基础、具体的推荐系统，以及常用的推荐 算法工具，包括目前主流的工具Sklearn、Spark MLlib、TensorFlow，并且 介绍效率提升工具Zeppelin Notebook和Jupyter Notebook。 随后讲解推荐系统中的召回算法，包括常见的协同过滤和Word2vec两 个算法，并且介绍这两个算法在Spark、TensorFlow主流工具中的实现。 接着讲解推荐系统中的排序算法——线性模型，包括常见的逻辑回归 和 FM 两个算法，并且介绍这两个算法在Sklearn、Spark、TensorFlow主流 工具中的实现。 然后讲解推荐系统中的排序算法——树模型，包括常见的随机森林、 GBDT、GBDT+LR、集成学习算法以及最近出现的深度森林算法，并且介 绍各个算法在Sklearn、Spark、TensorFlow主流工具中的实现。 之后讲解推荐系统中的排序算法——深度学习模型，包括深度学习在 推荐算法中的应用、常见的DNN算法以及最近出现的DeepFM、Wide Deep、YouTube推荐模型等，并且介绍各个算法在TensorFlow工具中的实 现。 6 ＆ 最后讲解电商平台的商品召回、音乐的评分预测、Kaggle竞赛Outbrain 的点击率预估和电商商品点击率预估4个推荐算法的实践案例，并且讲解在 Notebook上进行代码开发的实践案例和算法调试的实践案例。 本书主要对推荐系统中的常见方法和工具进行全面讲解，并且配合讲 解算法原理、实现以及案例，通过本书可从基础到实践全面掌握推荐系统 中的推荐算法。 学习本书内容需要具备以下基础：Python 基础知识、Spark 基础知识、 TensorFlow 基础知识、Scala基础知识、线性代数基础知识等。 本书面向以下各类读者：机器学习工程师、数据挖掘工程师、大数据 工程师、各高校的研究生和高年级本科生等。 本书学习指南 7 续表 在本书的编写过程中，参考了一些国内外文献，主要如下。 【第1章】1.4节“优化方法”，参考了张志华审校的《深度学习》一书中 8 的第8章（英文版是由Ian Goodfellow、Yoshua Bengio和Aaron Courville编写 的Deep Learning）。 【第5 章】5.1 节“Word2vec 算法”，参考了 Xin Rong 在 2016年发表的 论文 Word2vec Parameter Learning Explained。 【第6章】6.1节“逻辑回归算法”，参考了李航编写的《统计学习方法》 的第6章。 【第7章】7.1节“FM算法”，参考了美团技术文章《深入FFM原理与实 践》、Steffen Rendle在 2010 发表的论文 Factorization Machines、Yu-Chin Juan 在 2016年发表的论文 Field-aware Factorization Machines for CTR Prediction。 【第9章】9.1节“GBDT+LR算法”，参考了He Xinran在2014年发表的论 文Practical Lessons from Predicting Clicks on Ads at Facebook。9.2节“深度森 林算法”，参考了周志华在2018年发表的论文Deep Forest:Towards an Alternative to Deep Neural Networks。 【第11章】11.2.2节“Attention机制”，参考了Colin Raffel在2016年发表 的论文Feedforward networks with attention can solve some long-term memory problems。 【第12 章】参考了 Heng-Tze Cheng 在 2016年发表的论文 Wide ＆ Deep Learning for Recommender Systems。 【第13章】参考了Huifeng Guo在2017年发表的论文DeepFM: A Factorization-Machine based Neural Network for CTR Prediction。 【第14章】参考了Paul Covington在2016年发表的论文Deep Neural Networks for YouTube Recommendations。 另外，书中参考的部分内容未能找到原始出处和作者，在此对相关作 者表示衷心感谢。 何娟、何丹、黄春林参与了全书的编写、整理及校对工作。邱泰生、 吴德龙对全书提出了宝贵意见。 由于笔者的水平有限，编写时间仓促，书中难免会出现一些错误或者 不准确的地方，恳请读者批评指正。读者也可以通过微信公众号“推荐系统 9 算法实践”、邮箱403122592@qq.com和QQ群715526135 联系到我，期待能 够得到读者朋友的真挚反馈，在技术之路上互勉共进。 本书在写作的过程中得到了很多朋友及同事的帮助和支持，在此表示 衷心感谢！ 在工作中笔者也得到了很多同事的指导、支持和帮助，尤其感谢王雪 晖、吴俊彦、邱泰生、KUN BAI、吴德龙、江伟森、李钊、吴春成、周远 远、林伟兵、黄韬、文双炳，米成锦、郭嘉杰、谢维邦、彭佑辉、钟俊 葳、郭鑫鹏、谢毅、陈庆麟、胡荣杰、何锦潮、戴智君、张燕、林也、邱 鑫、代锋、骆顺昌、李阳、熊先明、樊鹏等给予的支持与帮助。 感谢电子工业出版社的付睿编辑，她不仅积极策划和推动本书的出 版，而且在写作过程中提出了极为详细的改进意见。感谢电子工业出版社 的李云静、王中英编辑为本书做了非常辛苦和专业的编辑工作。 感谢我的父母和妻子，有了你们的帮助和支持，我才有时间和精力去 完成本书的写作。 最后，将此书献给热爱AI和大数据技术的朋友们！ 读者服务 轻松注册成为博文视点社区用户（www.broadview.com.cn），扫码直达 本书页面。 ● 提交勘误：您对书中内容的修改意见可在 提交勘误处提交，若被采 纳，将获赠博文视点社区积分（在您购买电子书时，积分可用来抵扣相应 金额）。 ● 交流互动：在页面下方 读者评论处留下您的疑问或观点，与我们和 其他读者一同学习交流。 页面入口：http://www.broadview.com.cn/37040 10 11 目 录 封面 作者简介 扉页 版权信息 前言 第1部分 推荐系统的算法基础 第1章 数学基础 1.1 线性代数 1.2 概率与统计 1.3 损失函数 1.4 优化方法 1.4.1 SGD 1.4.2 动量 1.4.3 Nesterov动量 1.4.4 AdaGrad 1.4.5 Adam 1.4.6 L-BFGS 1.4.7 梯度法和牛顿法的比较 1.5 评价方法 1.5.1 混淆矩阵 1.5.2 ROC曲线 第2章 推荐系统介绍 2.1 推荐系统背景 2.2 推荐系统的典型案例 2.2.1 Amazon推荐 2.2.2 Facebook推荐 2.2.3 YouTube推荐 2.3 推荐系统原理