什么是爬虫程序????
网络爬虫是一个自动提取网页的程序,它为搜索引擎从万维网上下载网页,是搜索引擎的重要组成.传统爬虫从一个或若干初始网页的URL开始,获得初始网页上的URL,在抓取网页的过程中,不断从当前页面上抽取新的URL放入队列,直到满足系统的一定停止条件.
计算机爬虫是什么意思
学计算机的不会爬虫吗….那使用软件吧,ForeSpider采集器可以试试,面向小白.
生意参谋的爬虫啥意思呀?
意思是非淘宝的软件工具获取生意参谋标准版和专业版里面的数据.
用通俗的语言解释什么叫“网络爬虫”
网络爬虫 大概指 老是在网上游历的人吧
什么是爬虫？什么是爬网？有什么区别？
多次被人问到这个问题，看来需要做一点说明，这里简单介绍一下搜索引擎的机器爬虫的制作和一些基本要注意的事项。nbsp;说的简单易懂一些，网络爬虫跟你使用的〖离线阅读〗工具差不多。说离线，其实还是要跟网络联结，否则怎么抓东西下来？nbsp;那么不同的地方在哪里？nbsp;1】nbsp;网络爬虫高度可配置性。nbsp;2】nbsp;网络爬虫可以解析抓到的网页里的链接nbsp;3】nbsp;网络爬虫有简单的存储配置nbsp;4】nbsp;网络爬虫拥有智能的根据网页更新分析功能nbsp;5】nbsp;网络爬虫的效率相当的高nbsp;那么依据特征，其实也就是要求了，如何设计爬虫呢？要注意哪些步骤呢？nbsp;1】nbsp;urlnbsp;的遍历和纪录nbsp;这点nbsp;larbinnbsp;做得非常的好，其实对于url的遍历是很简单的，例如：nbsp;catnbsp;[whatnbsp;younbsp;got]|nbsp;trnbsp;“nbsp;\nnbsp;|nbsp;gawknbsp;‘{printnbsp;$2}‘nbsp;|nbsp;pcregrepnbsp;^http://nbsp;就可以得到一个所由的nbsp;urlnbsp;列表nbsp;2】多进程nbsp;VSnbsp;多线程nbsp;各有优点了，现在一台普通的PCnbsp;例如nbsp;booso.comnbsp;一天可以轻松爬下5个G的数据。大约20万网页。nbsp;3】时间更新控制nbsp;最傻的做法是没有时间更新权重，一通的爬，回头再一通的爬。nbsp;通常在下一次爬的的数据要跟上一次进行比较，如果连续5次都没有变化，那么将爬这个网页的时间间隔扩大1倍。nbsp;如果一个网页在连续5次爬取的时候都有更新，那么将设置的爬取时间缩短为原来的1／2。nbsp;注意，效率是取胜的关键之一。nbsp;4】爬的深度是多少呢？nbsp;看情况了。如果你比较牛，有几万台服务器做网络爬虫，我劝您跳过这一点。nbsp;如果你同我一样只有一台服务器做网络爬虫，那么这样一个统计您应该知道：nbsp;网页深度：网页个数：网页重要程度nbsp;0nbsp;:nbsp;1nbsp;:nbsp;:nbsp;10nbsp;1nbsp;:20nbsp;:nbsp;:8nbsp;2:nbsp;:600:nbsp;:5nbsp;3:nbsp;:2000:nbsp;:2nbsp;4nbsp;above:nbsp;6000:nbsp;一般无法计算nbsp;好了，爬到三级就差不多了，再深入一是数据量扩大了3／4倍，二是重要度确下降了许多，这叫做“种下的是龙种，收获的是跳蚤。”nbsp;5】爬虫一般不之间爬对方的网页，一般是通过一个Proxy出去，这个proxy有缓解压力的功能，因为当对方的网页没有更新的时候，只要拿到nbsp;headernbsp;的nbsp;tag就可以了，没有必要全部传输一次了，可以大大节约网络带宽。nbsp;apachenbsp;webserver里面纪录的nbsp;304nbsp;一般就是被cache的了。nbsp;6】请有空的时候照看一下robots.txtnbsp;7】存储结构。nbsp;这个人人见智，googlenbsp;用nbsp;gfsnbsp;系统，如果你有7／8台服务器，我劝你用NFS系统，要是你有70／80个服务器的话我建议你用afsnbsp;系统，要是你只有一台服务器，那么随便。nbsp;给一个代码片断，是我写的新闻搜索引擎是如何进行数据存储的：nbsp;NAME=`echonbsp;$URLnbsp;|perlnbsp;-pnbsp;-enbsp;‘s/([^w-.@])/$1nbsp;eqnbsp;“
“nbsp;?nbsp;“
“:sprintf(“%%%2.2x“,ord($1))/eg‘`nbsp;mkdirnbsp;-pnbsp;$AUTHORnbsp;newscrawl.plnbsp;$URLnbsp;–user-agent=“news.booso.com+(+http://booso.com)“nbsp;-outfile=$AUTHOR/$NAMEnbsp;Postednbsp;atnbsp;Novembernbsp;10,nbsp;2004nbsp;01:04nbsp;PMnbsp;bynbsp;Liangnbsp;atnbsp;01:04nbsp;PMnbsp;|nbsp;Commentsnbsp;(2)nbsp;|nbsp;TrackBack(0)nbsp;|nbsp;Booso!|======================================爬网这个词你可以理解为“建立索引“,各大搜索引擎现在都用爬网这个词,都可以理解为建立索引这个意思
百度spider工作原理
1、抓取网页。每个独立的搜索引擎都有自己的网页抓取程序爬虫（spider）。爬虫Spider顺着网页中的超链接，从这个网站爬到另一个网站，通过超链接分析连续访问抓取更多网页。被抓取的网页被称之为网页快照。由于互联网中超链接的应用很普遍，理论上，从一定范围的网页出发，就能搜集到绝大多数的网页。
2、处理网页。搜索引擎抓到网页后，还要做大量的预处理工作，才能提供检索服务。其中，最重要的就是提取关键词，建立索引库和索引。其他还包括去除重复网页、分词（中文）、判断网页类型、分析超链接、计算网页的重要度/丰富度等。
3、提供检索服务。用户输入关键词进行检索，搜索引擎从索引数据库中找到匹配该关键词的网页；为了用户便于判断，除了网页标题和URL外，还会提供一段来自网页的摘要以及其他信息。
很多做SEO的人说的虫虫是什么意思,有什么作用,要怎么操作呢?
1、搜索引擎的蜘蛛,爬行你网站,抓取你网站内容的,收录你网站页面,提高权重等,2、一款虫虫SEO软件,包含采集、群发、外链、内链建设等 不知道你想知道的是哪个
开源爬虫框架各有什么优缺点？
首先爬虫框架有三种
1. 分布式爬虫：Nutch
2. JAVA单机爬虫：Crawler4j，WebMagic，WebCollector
3. 非JAVA单机爬虫：scrapy
第一类:分布式爬虫
优点：
1. 海量URL管理
2. 网速快
缺点：
1. Nutch是为搜索引擎设计的爬虫，大多数用户是需要一个做精准数据爬取（精抽取）的爬虫。Nutch运行的一套流程里，有三分之二是为了搜索引擎而设计的。对精抽取没有太大的意义。
2. 用Nutch做数据抽取，会浪费很多的时间在不必要的计算上。而且如果你试图通过对Nutch进行二次开发，来使得它适用于精抽取的业务，基本上就要破坏Nutch的框架，把Nutch改的面目全非。
3. Nutch依赖hadoop运行，hadoop本身会消耗很多的时间。如果集群机器数量较少，爬取速度反而不如单机爬虫。
4. Nutch虽然有一套插件机制，而且作为亮点宣传。可以看到一些开源的Nutch插件，提供精抽取的功能。但是开发过Nutch插件的人都知道，Nutch的插件系统有多蹩脚。利用反射的机制来加载和调用插件，使得程序的编写和调试都变得异常困难，更别说在上面开发一套复杂的精抽取系统了。
5. Nutch并没有为精抽取提供相应的插件挂载点。Nutch的插件有只有五六个挂载点，而这五六个挂载点都是为了搜索引擎服务的，并没有为精抽取提供挂载点。大多数Nutch的精抽取插件，都是挂载在“页面解析”(parser)这个挂载点的，这个挂载点其实是为了解析链接（为后续爬取提供URL），以及为搜索引擎提供一些易抽取的网页信息(网页的meta信息、text)
6. 用Nutch进行爬虫的二次开发，爬虫的编写和调试所需的时间，往往是单机爬虫所需的十倍时间不止。了解Nutch源码的学习成本很高，何况是要让一个团队的人都读懂Nutch源码。调试过程中会出现除程序本身之外的各种问题(hadoop的问题、hbase的问题)。
7. Nutch2的版本目前并不适合开发。官方现在稳定的Nutch版本是nutch2.2.1，但是这个版本绑定了gora-0.3。Nutch2.3之前、Nutch2.2.1之后的一个版本，这个版本在官方的SVN中不断更新。而且非常不稳定（一直在修改）。
第二类:JAVA单机爬虫
优点：
1. 支持多线程。
2. 支持代理。
3. 能过滤重复URL的。
4. 负责遍历网站和下载页面。爬js生成的信息和网页信息抽取模块有关，往往需要通过模拟浏览器(htmlunit,selenium)来完成。
缺点：
设计模式对软件开发没有指导性作用。用设计模式来设计爬虫，只会使得爬虫的设计更加臃肿。
第三类:非JAVA单机爬虫
优点：
1. 先说python爬虫，python可以用30行代码，完成JAVA
2. 50行代码干的任务。python写代码的确快，但是在调试代码的阶段，python代码的调试往往会耗费远远多于编码阶段省下的时间。
3. 使用python开发，要保证程序的正确性和稳定性，就需要写更多的测试模块。当然如果爬取规模不大、爬取业务不复杂，使用scrapy这种爬虫也是蛮不错的，可以轻松完成爬取任务。
缺点：
1. bug较多，不稳定。
1. 爬虫可以爬取ajax信息么？
网页上有一些异步加载的数据，爬取这些数据有两种方法：使用模拟浏览器（问题1中描述过了），或者分析ajax的http请求，自己生成ajax请求的url，获取返回的数据。如果是自己生成ajax请求，使用开源爬虫的意义在哪里？其实是要用开源爬虫的线程池和URL管理功能（比如断点爬取）。
2. 如果我已经可以生成我所需要的ajax请求（列表），如何用这些爬虫来对这些请求进行爬取？
爬虫往往都是设计成广度遍历或者深度遍历的模式，去遍历静态或者动态页面。爬取ajax信息属于deepweb（深网）的范畴，虽然大多数爬虫都不直接支持。但是也可以通过一些方法来完成。比如WebCollector使用广度遍历来遍历网站。爬虫的第一轮爬取就是爬取种子集合(seeds)中的所有url。简单来说，就是将生成的ajax请求作为种子，放入爬虫。用爬虫对这些种子，进行深度为1的广度遍历（默认就是广度遍历）。
3. 爬虫怎么爬取要登陆的网站？
这些开源爬虫都支持在爬取时指定cookies，模拟登陆主要是靠cookies。至于cookies怎么获取，不是爬虫管的事情。你可以手动获取、用http请求模拟登陆或者用模拟浏览器自动登陆获取cookie。
4. 爬虫怎么抽取网页的信息？
5. 开源爬虫一般都会集成网页抽取工具。主要支持两种规范：CSSSELECTOR和XPATH。
6. 网页可以调用爬虫么？
爬虫的调用是在Web的服务端调用的，平时怎么用就怎么用，这些爬虫都可以使用。
7. 爬虫速度怎么样？
单机开源爬虫的速度，基本都可以讲本机的网速用到极限。爬虫的速度慢，往往是因为用户把线程数开少了、网速慢，或者在数据持久化时，和数据库的交互速度慢。而这些东西，往往都是用户的机器和二次开发的代码决定的。这些开源爬虫的速度，都很可以。
nutch是什么意思
Nutch 是一个开源Java 实现的搜索引擎。它提供了我们运行自己的搜索引擎所需的全部工具。包括全文搜索和Web爬虫。尽管Web搜索是漫游Internet的基本要求, 但是现有web搜索引擎的数目却在下降. 并且这很有可能进一步演变成为一个公司垄断了几乎所有的web搜索为其谋取商业利益.这显然 不利于广大Internet用户.Nutch为我们提供了这样一个不同的选择. 相对于那些商用的搜索引擎, Nutch作为开放源代码 搜索引擎将会更加透明, 从而更值得大家信赖. 现在所有主要的搜索引擎都采用私有的排序算法, 而不会解释为什么一个网页会排在一个特定的位置. 除此之外, 有的搜索引擎依照网站所付的 费用, 而不是根据它们本身的价值进行排序. 与它们不同, Nucth没有什么需要隐瞒, 也没有 动机去扭曲搜索的结果. Nutch将尽自己最大的努力为用户提供最好的搜索结果.
Nutch目前最新的版本为version v2.2.1。【laiyuanbaidu】
python爬虫抓图程序中的’%s.jpg’ % x是什么意思
%s意思是字符串参数,就是将变量的值传入到字符串里面,字符串后的’%’后就是写要传入的参数. 在你给出的例子中,就是用x的值替代%s.比如说x=5,那么就是爬取url后面是’5.jpg’这个图片
