[Search Engine] 搜索引擎技术之倒排索引
倒排索引是搜索引擎中最为核心的一项技术之一，可以说是搜索引擎的基石。可以说正是有了倒排索引技术，搜索引擎才能有效率的进行数据库查找、删除等操作。 1. 倒排索引的思想 倒排索引源于实际应用中需要根据属性的值来查找记录。这种索引表中的每一项都包括一个属性值和具有该属性值的各记录的地址 ...
原文：[Search Engine] 搜索引擎技术之网络爬虫
随着互联网的大力发展，互联网称为信息的主要载体，而如何在互联网中搜集信息是互联网领域面临的一大挑战。网络爬虫技术是什么 其实网络爬虫技术就是指的网络数据的抓取，因为在网络中抓取数据是具有关联性的抓取，它就像是一只蜘蛛一样在互联网中爬来爬去，所以我们很形象地将其称为是网络爬虫技术。其中网络爬虫也被称为是网络机器人或者是网络追逐者。 网络爬虫技术是搜索引擎架构中最为根本的数据技术，通过网络爬虫技术， ...
2015-09-04 00:33 1 5142 推荐指数：
相关推荐
开源搜索引擎 Iveely Search Engine 0.2.0 的发布
Iveely Search Engine 是一款纯C#实现的搜索引擎。Iveely的中文翻译：爱为您。英文全称：I void everything , enjoy loving you! 希望更多的搜索引擎爱好者加入进来，感受分享的快乐。Iveely目标是:不是给用户一堆 ...
开源搜索引擎 Iveely Search Engine 0.1.0 的发布
一直热爱搜索引擎事业，但是它现在并不是我工作。你也许会问，Iveely是什么？Iveely 是I void everything,enjoy loving you的首字母缩写，表达我对搜索引擎的热爱。目前发布的是0.1.0版本，是一个基本版本，包含了无数的Bugs，您可 ...
[Search Engine] 搜索引擎分类和基础架构概述
大家一定不会多搜索引擎感到陌生，搜索引擎是互联网发展的最直接的产物，它可以帮助我们从海量的互联网资料中找到我们查询的内容，也是我们日常学习、工作和娱乐不可或缺的查询工具。之前本人也是经常使用Google和Baidu搜索，而对搜索引擎的知识架构没有一个整体的概念。前一阵子的实习，使我有机 ...
搜索引擎-网络爬虫
网络爬虫 通用搜索引擎的处理对象是互联网网页，目前网页数量以百亿计，搜索引擎的网络爬虫能够高效地将海量的网页数据传下载到本地，在本地 形成互联网网页的镜像备份。它是搜索引擎系统中很关键也很基础的构件。 1. 网络爬虫本质就是浏览器http请求。 浏览器和网络爬虫是两种不同的网络客户端 ...
python 爬虫应用——校园网搜索引擎（crawler application——Campus web search engine part-one）（上）
看了《Python项目案例开发从入门到实战》（清华大学出版社 郑秋生 夏敏捷主编）中爬虫应用——校园网搜索引擎，这一章节涉及到的内容有： 数据库的基本使用 正则表达式 中文分词 我详细注释了其中关于校园网搜索引擎的代码，分享给大家： 这里需要 ...
网络爬虫与搜索引擎优化(SEO)
爬虫及爬行方式 爬虫有很多名字，比如web机器人、spider等，它是一种可以在无需人类干预的情况下自动进行一系列web事务处理的软件程序。web爬虫是一种机器人，它们会递归地对各种信息性的web站点进行遍历，获取第一个web页面，然后获取那个页面指向的所有的web页面，依次类推。因特网搜索引擎 ...
搜索引擎—网络爬虫抓取策略
爬虫的不同抓取策略，就是利用不同的方法确定待抓取URL队列中URL优先顺序的。 爬虫的抓取策略有很多种，但不论方法如何，基本目标一致：优先选择重要网页进行抓取。 网页的重要性，评判标准不同，大部分采用网页的流行性进行定义。 效果较好或有代表性的抓取策略： 1、宽度优先遍历策略 2、非完全 ...