搜索引擎的工作原理是什么?,搜索引擎的工作原理可分为哪三步

广告位招租
联系电话:13518188210

搜索引擎工作原理

搜索引擎工作原理

搜索引擎的工作原理总共有四步:

第一步:爬行,搜索引擎是通过一种特定规律的软件跟踪网页的链接,从一个链接爬到另外一个链

接,所以称为爬行。

第二步:抓取存储,搜索引擎是通过蜘蛛跟踪链接爬行到网页,并将爬行的数据存入原始页面数据库。

第三步:预处理,搜索引擎将蜘蛛抓取回来的页面,进行各种步骤的预处理。

第四步:排名,用户在搜索框输入关键词后,排名程序调用索引库数据,计算排名显示给用户,排名过程与用户直接互动的。

不同的搜索引擎查出来的结果是根据引擎内部资料所决定的。比如:某一种搜索引擎没有这种资料,您就查询不到结果。

扩展资料:

定义

一个搜索引擎由搜索器、索引器、检索器和用户接四个部分组成。搜索器的功能是在互联网中漫游,发现和搜集信息。索引器的功能是理解搜索器所搜索的信息,从中抽取出索引项,用于表示文档以及生成文档库的索引表。

检索器的功能是根据用户的查询在索引库中快速检出文档,进行文档与查询的相关度评价,对将要输出的结果进行排序,并实现某种用户相关性反馈机制。用户接口的作用是输入用户查询、显示查询结果、提供用户相关性反馈机制。

起源

所有搜索引擎的祖先,是1990年由Montreal的McGill University三名学生(Alan Emtage、Peter

Deutsch、Bill Wheelan)发明的Archie(Archie FAQ)。Alan Emtage等想到了开发一个可以用文件名查找文件的系统,于是便有了Archie。

Archie是第一个自动索引互联网上匿名FTP网站文件的程序,但它还不是真正的搜索引擎。Archie是一个可搜索的FTP文件名列表,用户必须输入精确的文件名搜索,然后Archie会告诉用户哪一个FTP地址可以下载该文件 。

由于Archie深受欢迎,受其启发,Nevada System Computing Services大学于1993年开发了一个Gopher(Gopher FAQ)搜索工具Veronica(Veronica FAQ)。Jughead是后来另一个Gopher搜索工具。

参考资料来源:百度百科-搜索引擎

搜索引擎的工作原理是什么?,搜索引擎的工作原理可分为哪三步

搜索引擎的工作原理是怎样的

搜索引擎的工作原理是怎样的

搜索引擎的原理,可以看做三步:从互联网上抓取网页——→建立索引数据库——→在索引数据库中搜索排序。
●从互联网上抓取网页
利用能够从互联网上自动收集网页的Spider系统程序,自动访问互联网,并沿着任何网页中的所有URL爬到其它网页,重复这过程,并把爬过的所有网页收集回来。
●建立索引数据库
搜索引擎的“网络机器人”或“网络蜘蛛”是一种网络上的软件,它遍历Web空间,能够扫描一定IP地址范围内的网站,并沿着网络上的链接从一个网页到另一个网页,从一个网站到另一个网站采集网页资料。它为保证采集的资料最新,还会回访已抓取过的网页。网络机器人或网络蜘蛛采集的网页,还要有其它程序进行分析,根据一定的相关度算法进行大量的计算建立网页索引,才能添加到索引数据库中。
●在索引数据库中搜索排序
真正意义上的搜索引擎,通常指的是收集了因特网上几千万到几十亿个网页并对网页中的每一个词(即关键词)进行索引,建立索引数据库的全文搜索引擎。当用户查找某个关键词的时候,所有在页面内容中包含了该关键词的网页都将作为搜索结果被搜出来。在经过复杂的算法进行排序后,这些结果将按照与搜索关键词的相关度高低,依次排列。

什么是搜索引擎及搜索引擎的工作原理

什么是搜索引擎及搜索引擎的工作原理

搜索引擎(Search Engine)是指根据一定的策略、运用特定的计算机程序从互联网上搜集信息,在对信息进行组织和处理后,为用户提供检索服务,将用户检索相关的信息展示给用户的系统。搜索引擎包括全文索引、目录索引、元搜索引擎、垂直搜索引擎、集合式搜索引擎、门户搜索引擎与免费链接列表等。
工作原理
第一步:爬行
搜索引擎是通过一种特定规律的软件跟踪网页的链接,从一个链接爬到另外一个链接,像蜘蛛在蜘蛛网上爬行一样,所以被称为“蜘蛛”也被称为“机器人”。搜索引擎蜘蛛的爬行是被输入了一定的规则的,它需要遵从一些命令或文件的内容。
第二步:抓取存储
搜索引擎是通过蜘蛛跟踪链接爬行到网页,并将爬行的数据存入原始页面数据库。其中的页面数据与用户浏览器得到的HTML是完全一样的。搜索引擎蜘蛛在抓取页面时,也做一定的重复内容检测,一旦遇到权重很低的网站上有大量抄袭、采集或者复制的内容,很可能就不再爬行。
第三步:预处理
搜索引擎将蜘蛛抓取回来的页面,进行各种步骤的预处理。
⒈提取文字
⒉中文分词
⒊去停止词
⒋消除噪音(搜索引擎需要识别并消除这些噪声,比如版权声明文字、导航条、广告等……)
5.正向索引
6.倒排索引
7.链接关系计算
8.特殊文件处理
除了HTML 文件外,搜索引擎通常还能抓取和索引以文字为基础的多种文件类型,如
PDF、Word、WPS、XLS、PPT、TXT 文件等。我们在搜索结果中也经常会看到这些文件类型。 但搜索引擎还不能处理图片、视频、Flash
这类非文字内容,也不能执行脚本和程序。
第四步:排名
用户在搜索框输入关键词后,排名程序调用索引库数据,计算排名显示给用户,排名过程与用户直接互动的。但是,由于搜索引擎的数据量庞大,虽然能达到每日都有小的更新,但是一般情况搜索引擎的排名规则都是根据日、周、月阶段性不同幅度的更新。
选择
与网站内容相关
搜索次数多,竞争小
主关键词,不可太宽泛
主关键词,不太特殊
商业价值
提取文字
中文分词
去停止词
消除噪声
去重
正向索引
倒排索引
链接关系计算
特殊文件处理

问一下搜索引擎的工作原理

问一下搜索引擎的工作原理

大家一开始对搜索引擎不了解时都有可能认为搜索引擎是在响应用户请求时才去“搜索”,如果那样,他也不是先知从而知道到哪里去找,另外,响应速度不知道会慢成什么样子。搜索引擎都是预先将网络内容抓取下来,并给这些内容建立索引,不像普通图书馆给书名列一个书目,搜索引擎是将网络内容的所有字或者词及其出现的位置都记录下来,所以,用户可以输入某个词查找出现的位置
网页抓取/数据抽取/信息提取软件工具包MetaSeeker是一套完整的数据提取集成和搜索解决方案。其中,
1,MetaStudio,用于定制目标网页内容抓取/抽取/提取规则,完全免除编程和调试的麻烦,全图形界面,定制一个新网站的抓取/抽取/提取规则只需要几分钟
2,DataScraper,用于连续且高效得从目标网站上抓取/抽取/提取内容,并滤除不需要的内容,存成XML文件
3,SliceSearch,将抓取/抽取/提取到的内容存储到搜索引擎中,提供强大的搜索功能和内容管理功能,用于快速部署垂直搜索和商业推荐引擎。
使用SliceSearch建立的搜索引擎跟当前流行的搜索引擎相比进行了改进,将抽取出来的数据按照语义结构进行索引,因此,提供更准确的搜索服务。另外,使用专利技术,采用语义导航的方式精炼搜索结果,很适合手机搜索等没有全尺寸键盘的场合。
MetaSeeker工具包历经垂直搜索、SNS、微博客多个浪潮的洗礼,已经发展到V3版本,为了促进下一代语义网络的建设,版本分成企业版和在线版,在线版免费下载使用,以便大家都能参与互联网数据集成活动中来。

原创文章,作者:聚禄鼎,如若转载,请注明出处:https://www.xxso.cn/125697.html

(0)
聚禄鼎的头像聚禄鼎
上一篇 2023年3月11日 上午8:34
下一篇 2023年3月11日 上午8:34

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注