爬虫去重策略
1） 使用scrapy自带的set集合去重，当程序结束的时候会被清空，缺点：再次运行会导致数据重复。 2） 使用mysql做去重，对url地址进行md5，base64加密，加密之后会得到一串字符，判断字符串 是否在mysql表中，如果在表示已经爬取过了，如果不在，表示没有爬取，执行 ...
原文：推荐算法之去重策略
一 背景 推荐系统中，有一个刚需就是去重，去重主要涉及两块： 内容源去重，即有些抓取的文章基本是讲的一件事。 给用户推荐的内容去重，即不能重复推荐。 对于第一种去重，可以采用Google公布的去重算法Simhash，该算法适合海量数据去重。对于常规的文本相似度计算，需要分词，组合成一个向量，不适合海里文本。 第二种去重可以采用BloomFilter算法，该算法与Bitmap位图算法有相似之处。 二 ...
2019-07-23 15:41 0 1255 推荐指数：
相关推荐
好书推荐-《策略思维》
最近用了近一个月的时间重新看了遍《策略思维》一书，重新理解了博弈论的艺术，以及对经济、社会等现象的超乎想象的解决能力。可谓受益匪浅，感触颇多。 本书以故事和实际案例取胜，用许多故事和案例，向没有经济学基础的读者展示了博弈论策略思维的道理，不用再为晦涩难懂的博弈论理论知识头痛烧脑了。简而言之 ...
推荐召回策略
1. 概述 召回是指从全量信息集合中触发尽可能多的正确结果，并将返回结果给“排序”；排序是对所有召回的内容进行打分排序，选出得分最高的几个结果推荐给用户。 2. 召回策略 常用的主要有协同过滤、向量化召回和深度树匹配模型。 2.1 协同过滤 协同过滤主要分为基于物品 ...
推荐算法-基于内容的推荐
根据推荐物品的元数据发现物品的相关性，再基于用户过去的喜好记录，为用户推荐相似的物品。 一、特征提取：抽取出来的对结果预测有用的信息 对物品的特征提取-打标签(tag) 用户自定义标签（UGC） 隐语义模型(LFG) 专家标签（PGC） 对文本信息的特征提取-关键词 ...
推荐算法之电影推荐
两种推荐算法的实现 1.基于邻域的方法(协同过滤)(collaborative filtering): user-based, item-based。 2.基于隐语义的方法(矩阵分解)：SVD。 使用python推荐系统库surprise。 surprise是scikit系列中的一个 ...
为什么我推荐《算法4》
咱们的公众号有很多硬核的算法文章，今天就聊点轻松的，就具体聊聊我非常“鼓吹”的《算法4》。这本书我在之前的文章多次推荐过，但是没有具体的介绍，今天就来正式介绍一下。。 我的推荐不会直接甩一大堆书目，而是会联系实际生活，讲一些书中有趣有用的知识，无论你最后会不会去看这本书，本文都会给你带来一些收获 ...
推荐算法之： LFM 推荐算法
LFM介绍 LFM(Funk SVD) 是利用 矩阵分解的推荐算法： 其中： P矩阵是User-LF矩阵，即用户和隐含特征矩阵 Q矩阵是LF-Item矩阵，即隐含特征和物品的矩阵 R：R矩阵是User-Item矩阵，由P*Q得来 见下图： R评分举证由于物品 ...
数组去重的7种算法
参考《javascript种难点实例精讲》 1. 遍历数组 算法1的主要思想是在函数内部新建一个数组，对传入的数组进行遍历。如果遍历的值不在新数组中就添加进去，如果已经存在就不做处理。 以上代码在运行后得到的结果为“[1, 4, 5, 7, 8, 10]”。 2. 利用对象 ...