请输入或粘贴题目内容
搜题
拍照、语音搜题，请扫码下载APP
题目内容
（请给出正确答案）
关于网络爬虫协议文件robots.txt，说法正确的是：
Arobots.txt是搜索引擎中访问网站的时候要查看的第一个文件
Brobots.txt文件告诉蜘蛛程序在服务器上哪些文件不要被收录
Crobots文件不可以用xml格式命名
D一个网站可以放多个不同robots文件
答案
更多“关于网络爬虫协议文件robots.txt，说法正确的是：Arobots.txt是搜索引擎中访问网站的时候要查看”相关的问题
第1题
A.搜索引擎爬不爬取robots.txt文件不在协议范围内，只是道德约束
B.robots.txt可以让搜索引擎知道哪些可以爬取哪些不可以爬取
C.robots.txt文件放在根目录下
D.robots.txt文件屏蔽隐私文件，在网络上安全可靠
第5题
A、通过模式匹配方法，禁止掉具有某些特征的访问请求，可以通过 LocationMatch来配置
B、在cgi-bin目录，建立欺骗性脚本，当Whisker扫描到这些脚本时，这些脚本被执行。在这些脚本里通过定义一些功能，比如报警功能，可以发邮 件告知管理员发生了cgi扫描
C、robots.txt文件是帮助google、baidu等搜索引擎抓取网页用的用的， 扫描软件没有利用这种技术
D、以上说法均不正确
第7题
A.蜘蛛就是搜索引擎的网络爬虫
B.每个搜索引擎蜘蛛名称不同
C.网站被搜索引擎降权后蜘蛛永远不会光临此网站
D.站长可以通过技术等优化来吸引蜘蛛爬行抓取
第8题
A.NAS通过文件级的數据访问和共享提供存储资源
B.可通过FC网络对外提供共享
C.主要使用CIFS和NFS协议
D.NAS客户端和NAS存储设备间采用IP网络互连
第9题
A.Proxy是一个拦截HTTP/S的代理服务器，不允许拦截，查看。
B.Spider是一个应用智能感应的网络爬虫，它能完整的枚举应用程序的内容和功能。
C.Scanner是一个高级的工具，执行后，它能自动地发现web应用程序的安全漏洞。
D.Intruder是一个定制的高度可配置的工具，对web应用程序进行自动化攻击。
