58同城作为中国最大的分类信息网站,向用户提供找房子、找工作、二手车和黄页等多种生活信息。在这样的场景下,推荐系统能够帮助用户发现对自己有价值的信息,提升用户体验,本文将介绍58同城智能推荐系统的技术演进和实践。 58同城智能推荐系统大约诞生于2014年(C++实现),该套 ...
推荐系统 .缘起 糖豆作为国内最大的广场舞平台,全网的MAU已经超过 万,每月PGC和UCG生产的视频个数已经超过 万个,每月用户观看的视频也超过 万个。然而之前糖豆APP首页主要还是依赖内容编辑手工推荐来发现内容,每天的推荐量也是几十个而已。明显可见千人一面的内容分发效率比较低下,继而我们于 年 月初,启动了糖豆推荐系统的设计以及开发,目前截止到 年 月初,已经完成第一期推荐系统的开发与评估。推 ...
2017-01-21 20:55 0 2814 推荐指数:
58同城作为中国最大的分类信息网站,向用户提供找房子、找工作、二手车和黄页等多种生活信息。在这样的场景下,推荐系统能够帮助用户发现对自己有价值的信息,提升用户体验,本文将介绍58同城智能推荐系统的技术演进和实践。 58同城智能推荐系统大约诞生于2014年(C++实现),该套 ...
前面几章介绍了各种各样的数据和基于这些数据的推荐算法。在实际系统中,前面几章提到的数据大都存在,因此如何设计一个真实的推荐系统处理不同的数据,根据不同的数据设计算法,并将这些算法融合到一个系统当中是本章讨论的主要问题。本章将首先介绍推荐系统的外围架构,然后介绍推荐系统的架构,并对架构中每个模块 ...
前言: 上个月公司的同事提议组内做几次关于数据挖掘的技术串讲交流下学习和工作经验,本着提携新人的考虑,建议博主也讲点什么。开始时博主想简单讲一讲推荐算法的协同过滤算法。后来考虑到其实串讲不仅仅是和其他人交流分享,也是对自己已有知识的巩固。想一想还是加点挑战,谈谈推荐系统吧^_^。为什么选推荐系统 ...
1. 推荐系统的作用和意义 在这个时代,无论信息消费者还是信息生产者都面临巨大的挑战。 信息消费者:在大量信息中找到自己感兴趣的信息很困难。 信息生产者:将自己生产的信息让广大消费者关注很困难。 推荐系统将用户与信息联系起来。 1.1 用户 ...
等相似计算算法中的哈利波特问题,相似性计算在推荐系统的召回起到非常重要的作用,而热门物品和用户天然有优势 ...
第四部分-推荐系统-项目介绍 行业背景: 快速:Apache Spark以内存计算为核心 通用 :一站式解决各个问题,ADHOC SQL查询,流计算,数据挖掘,图计算 完整的生态圈 只要掌握Spark,就能够为大多数的企业的大数据应用场景提供明显的加速 项目背景介绍: 项目架构 ...
第四部分-推荐系统-模型训练 本模块基于第3节 数据加工得到的训练集和测试集数据 做模型训练,最后得到一系列的模型,进而做 预测。 训练多个模型,取其中最好,即取RMSE(均方根误差)值最小的模型 说明几点 1.ALS 算法不需要自己实现,Spark MLlib 已经实现好了 ...
一、前述 经过之前的训练数据的构建可以得到所有特征值为1的模型文件,本文将继续构建训练数据特征并构建模型。 二、详细流程 将处理完成后的训练数据导出用做线下训练的源数据(可以用Spark_S ...