如何判断来自搜索引擎，php判断网站是否来自搜索引擎
来源：整理 编辑：网络营销 2025-01-30 10:38:52
本文目录一览
1，php判断网站是否来自搜索引擎
判断网站是否被各大搜索引擎收录“参考资料”： tg61.com (复制到ie栏下打开)
2，什么是搜索引擎
搜索引擎的工作原理包括如下三个过程：首先在互联中发现、搜集网页信息；同时对信息进行提取和组织建立索引库；再由检索器根据用户输入的查询关键字，在索引库中快速检出文档，进行文档与查询的相关度评价，对将要输出的结果进行排序，并将查询结果返回给用户。1、抓取网页。每个独立的搜索引擎都有自己的网页抓取程序（spider）。Spider顺着网页中的超链接，连续地抓取网页。被抓取的网页被称之为网页快照。由于互联网中超链接的应用很普遍，理论上，从一定范围的网页出发，就能搜集到绝大多数的网页。发现、抓取网页信息需要有高性能的“网络蜘蛛”程序(Spider)去自动地在互联网中搜索信息。一个典型的网络蜘蛛工作的方式，是查看一个页面，并从中找到相关信息,然后它再从该页面的所有链接中出发，继续寻找相关的信息，以此类推，直至穷尽。网络蜘蛛要求能够快速、全面。网络蜘蛛为实现其快速地浏览整个互联网，通常在技术上采用抢先式多线程技术实现在网上聚集信息。通过抢先式多线程的使用，你能索引一个基于URL链接的Web页面，启动一个新的线程跟随每个新的URL链接，索引一个新的URL起点。当然在服务器上所开的线程也不能无限膨胀，需要在服务器的正常运转和快速收集网页之间找一个平衡点。在算法上各个搜索引擎技术公司可能不尽相同，但目的都是快速浏览Web页和后续过程相配合。目前国内的搜索引擎技术公司中，比如百度公司的网络蜘蛛采用了可定制、高扩展性的调度算法使得搜索器能在极短的时间内收集到最大数量的互联网信息，并把所获得的信息保存下来以备建立索引库和用户检索。 2、处理网页。搜索引擎抓到网页后，还要做大量的预处理工作，才能提供检索服务。其中，最重要的就是提取关键词，建立索引库和索引。其他还包括去除重复网页、分词（中文）、判断网页类型、分析超链接、计算网页的重要度/丰富度等。索引库的建立关系到用户能否最迅速地找到最准确、最广泛的信息，同时索引库的建立也必须迅速，对网络蜘蛛抓来的网页信息极快地建立索引，保证信息的及时性。对网页采用基于网页内容分析和基于超链分析相结合的方法进行相关度评价，能够客观地对网页进行排序，从而极大限度地保证搜索出的结果与用户的查询串相一致。新浪搜索引擎对网站数据建立索引的过程中采取了按照关键词在网站标题、网站描述、网站URL等不同位置的出现或网站的质量等级等建立索引库，从而保证搜索出的结果与用户的查询串相一致。新浪搜索引擎在索引库建立的过程中，对所有数据采用多进程并行的方式，对新的信息采取增量式的方法建立索引库，从而保证能够迅速建立索引，使数据能够得到及时的更新。3、提供检索服务。用户输入关键词进行检索，搜索引擎从索引数据库中找到匹配该关键词的网页；为了用户便于判断，除了网页标题和URL外，还会提供一段来自网页的摘要以及其他信息。用户检索的过程是对前两个过程的检验，检验该搜索引擎能否给出最准确、最广泛的信息，检验该搜索引擎能否迅速地给出用户最想得到的信息。对于网站数据的检索，新浪搜索引擎采用多进程的方式在索引库中检索，大大减少了用户的等待时间，并且在用户查询高峰时服务器的负担不会过高（平均的检索时间在0.3秒左右）。对于网页信息的检索，作为国内众多门户网站的网页检索技术提供商的百度公司其搜索引擎运用了先进的多线程技术，采用高效的搜索算法和稳定的UNIX平台，因此可大大缩短对用户搜索请求的响应时间。作为慧聪I系列应用软件产品之一的I-Search2000采用的超大规模动态缓存技术，使一级响应的覆盖率达到75%以上，独有的自学习能力可自动将二级响应的覆盖率扩充到20%以上。选自新华云科论搜索引擎
3，什么是来自于搜索引擎的直接访问
来自搜索引擎的直接访问实际上是说，浏览者通过在搜索引擎上搜索某个词，在结果中有您的网站，浏览者通过点击进入到你的网站之中，这样的访问就是通过搜索引擎直接产生的访问。
4，如何准确判断请求是搜索引擎爬虫蜘蛛发出的请求
网站经常会被各种爬虫光顾，有的是搜索引擎爬虫，有的不是，通常情况下这些爬虫都有UserAgent，而我们知道UserAgent是可以伪装的，UserAgent的本质是Http请求头中的一个选项设置，通过编程的方式可以给请求设置任意的UserAgent。所以通过UserAgent判断请求的发起者是否是搜索引擎爬虫（蜘蛛）的方式是不靠谱的，更靠谱的方法是通过请求者的ip对应的host主机名是否是搜索引擎自己家的host的方式来判断。要获得ip的host，在windows下可以通过nslookup命令，在linux下可以通过host命令来获得，例如：这里我在windows下执行了nslookup ip 的命令，从上图可以看到这个ip的主机名是crawl-66-249-64-119.googlebot.com。 这说明这个ip是一个google爬虫，google爬虫的域名都是 xxx.googlebot.com.我们也可以通过python程序的方式来获得ip的host信息，代码如下：import socketdef getHost(ip): try: result=socket.gethostbyaddr(ip) if result: return result[0], None except socket.herror,e: return None, e.message上述代码使用了socket模块的gethostbyaddr的方法获得ip地址的主机名。常用蜘蛛的域名都和搜索引擎官网的域名相关，例如：百度的蜘蛛通常是baidu.com或者baidu.jp的子域名google爬虫通常是googlebot.com的子域名微软bing搜索引擎爬虫是search.msn.com的子域名搜狗蜘蛛是crawl.sogou.com的子域名基于以上原理，我写了一个工具页面提供判断ip是否是真实搜索引擎的工具页面，该页面上提供了网页判断的工具和常见的google和bing的搜索引擎爬虫的ip地址。附带常见搜索引擎蜘蛛的IP段： 蜘蛛名称 IP地址 Baiduspider 202.108.11.* 220.181.32.* 58.51.95.* 60.28.22.* 61.135.162.* 61.135.163.* 61.135.168.* YodaoBot 202.108.7.215 202.108.7.220 202.108.7.221 Sogou web spider 219.234.81.* 220.181.61.* Googlebot 203.208.60.* Yahoo! Slurp 202.160.181.* 72.30.215.* 74.6.17.* 74.6.22.* Yahoo ContentMatch Crawler 119.42.226.* 119.42.230.* Sogou-Test-Spider 220.181.19.103 220.181.26.122 Twiceler 38.99.44.104 64.34.251.9 Yahoo! Slurp China 202.160.178.* Sosospider 124.115.0.* CollapsarWEB qihoobot 221.194.136.18 NaverBot 202.179.180.45 Sogou Orion spider 220.181.19.106 220.181.19.74 Sogou head spider 220.181.19.107 SurveyBot 216.145.5.42 64.246.165.160 Yanga WorldSearch Bot v 77.91.224.19 91.205.124.19 baiduspider-mobile-gate 220.181.5.34 61.135.166.31 discobot 208.96.54.70 ia_archiver 209.234.171.42 msnbot 65.55.104.209 65.55.209.86 65.55.209.96 sogou in spider 220.181.19.216 ps：https协议网页能够被搜索引擎收录吗百度现在只能收录少部分的https，大部分的https网页无法收录。不过我查询了google资料，Google能够比较好地收录https协议的网站。所以如果你的网站是中文的，而且比较关注搜索引擎自然排名流量这块，建议尽量不要将所有内容都放到https中去加密去。可考虑的方式是：1、对于需要加密传递的数据，使用https，比如用户登录以及用户登录后的信息；2、对于普通的新闻、图片，建议使用http协议来传输；3、网站首页建议使用http协议的形式。
5，怎么知道访客是由哪一个搜索引擎透过哪一个关键词您的网站的 搜
1给网站添加统计工具，比如百度统计、51la、cnzz2 有一些网站客服工具也可以看到的。如53KF
6，如何查看网站是否被搜索引擎收录
在搜索引擎的搜索框里输入 site:你的域名例如 site:www.sina.com输入完这个，被收录的页面就会显示出来了site:你的网域名例如:site:www.028wp.comsite:你的网址 比如 site:www.baidu.com这个很简单你直接在搜索引擎搜索你的页面的标题，看有没有相关网页就行了其实，被搜索引擎收录，并不是很难的事情，也没有很大的作用。这就好象你需要开一个商铺，但是 有的人是在商业繁华的地带，有的却是在偏僻的街道。这是两个完全不同的效果。所以如果想在网络上看到网站的效果，需要针对你所从事的行业、产品，在搜索 引擎中强占有利的位置，才是搜索引擎推广的关键。
文章TAG：
如何 判断 来自 搜索 如何判断来自搜索引擎
