依星源码资源网,依星资源网

 找回密码
 立即注册

QQ登录

只需一步,快速开始

【好消息,好消息,好消息】VIP会员可以发表文章赚积分啦 !
查看: 454|回复: 0

禁止抓取.php的写法哪个对:Disallow: /*.php$和Disallow: /.php$

[复制链接] 主动推送

1万

主题

1万

帖子

1万

积分

管理员

Rank: 9Rank: 9Rank: 9

积分
12858
发表于 2024-2-19 10:48:38 | 显示全部楼层 |阅读模式
禁止抓取.php的写法哪个对:Disallow: /*.php$和Disallow: /.php$

突然多出了很多以.php和.aspx为后缀的404,所以就想屏蔽掉这俩

看了百度百科上面robots.txt的写法,Disallow: /*.php$和Disallow: /.php$ 都有说明,没法上传图片给大家看

请问大神,哪样写法是正规的呢。。。
1、Disallow: /*.PHP应该是对的,按通配符的逻辑,*表示任意字符, $表示结尾,如果后面加了$; 那么 类似这样的应该是不会被阻止的;另外要找404动态页的原因,是程序本身哪里有问题产生了这么多死链,还是假蜘蛛或是漏洞扫描工具在扫你的站?
2、真没必要这样
3、日志出现这种情况是有人用工具批量扫漏洞,不用理会,也没必要写进 Robots.txt
4、你就不要祸害山东啦,你这水平
5、第二个对
6、干嘛禁止抓取数据裤。
7、这样吧,Disallow: /*.PHP
8、一、什么是Robots.txt?  robots.txt 是网站和搜索引擎的协议的纯文本文件。当一个搜索引擎蜘蛛来访问站点时,它首先爬行来检查该站点根目录下是否存在robots.txt,如果存在,根据文件内容来确定访问范围,如果没有,蜘蛛就沿着链接抓取。robots.txt 放在项目的根目录下。二、robots.txt语法   1、允许所有搜索引擎访问网站的所有部分      robots.txt写法如下:          User-agent:  *          Disallow:       或者         User-agent:  *         Allow:  /      注意: 1、第一个英文要大写,冒号是英文状态下,冒号后面有一个空格,这几点一定不能写错。   2、禁止所有搜索引擎访问网站的所有部分      robots.txt写法如下:           User-agent:  *            Disallow:  /   3、只需要禁止蜘蛛访问某个目录,比如禁止admin、css、images等目录被索引       robots.txt写法如下:             User-agent:  *             Disallow:  /css/             Disallow:  /admin/             Disallow:  /images/         注意:路径后面有斜杠和没有斜杠的区别:比如Disallow: /images/ 有斜杠是禁止抓取images整个文件夹,Disallow: /images 没有斜杠意思是凡是路径里面有/images关键词的都会被屏蔽        4、屏蔽一个文件夹/templets,但是又能抓取其中一个文件的写法:/templets/main            robots.txt写法如下:                 User-agent:   *                 Disallow:  /templets                 Allow:  /main       5、 禁止访问html/目录下的所有以”.PHP”为后缀的URL(包含子目录)              robots.txt写法如下:                    User-agent:  *                    Disallow: html/*.php        6、仅允许访问某目录下某个后缀的文件,则使用“$”             robots.txt写法如下:                   User-agent:  *                   Allow:  .html$                   Disallow:  /         7、禁止索引网站中所有的动态页面                比如这里限制的是有“?”的域名,例如                robots.txt写法如下:                        User-agent:  *                        Disallow:  /*?*               8、禁止搜索引擎抓取我们网站上的所有图片(如果你的网站使用其他后缀的图片名称,在这里也可以直接添加)          有些时候,我们为了节省服务器资源,需要禁止各类搜索引擎来索引我们网站上的图片,这里的办法除了使用“Disallow: /images/”这样的直接屏蔽文件夹的方式之外,还 可以采取直接屏蔽图片后缀名的方式。        robots.txt写法如下:             User-agent: *             Disallow:  .jpg$             Disallow:  .jpeg$             Disallow:  .gif$             Disallow:  .png$             Disallow:  .bmp$写robots.txt要注意的地方       1. 第一个英文要大写,冒号是英文状态下,冒号后面有一个空格,这几点一定不能写错。  2. 斜杠:/ 代表整个网站  3.如果“/”后面多了一个空格,则屏蔽整个网站  4.不要禁止正常的内容  5.生效时间是几天到两个月
9、PHP属于数据库的数据,为什么会展现这个。是不是文件配置错误,查下规则。
10、Disallow: /*.aspx$
Disallow:  /*.PHP$
11、这个有用吗
12、
Disallow: /*.php$Disallow: /*..aspx
13、Disallow: /*.PHP
小写的PHP
14、怎么多出来的???
15、Disallow: /*.PHP  这个是对的

扫码关注微信公众号,及时获取最新资源信息!下载附件优惠VIP会员5折;永久VIP免费
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

免责声明:
1、本站提供的所有资源仅供参考学习使用,版权归原著所有,禁止下载本站资源参与商业和非法行为,请在24小时之内自行删除!
2、本站所有内容均由互联网收集整理、网友上传,并且以计算机技术研究交流为目的,仅供大家参考、学习,请勿任何商业目的与商业用途。
3、若您需要商业运营或用于其他商业活动,请您购买正版授权并合法使用。
4、论坛的所有内容都不保证其准确性,完整性,有效性,由于源码具有复制性,一经售出,概不退换。阅读本站内容因误导等因素而造成的损失本站不承担连带责任。
5、用户使用本网站必须遵守适用的法律法规,对于用户违法使用本站非法运营而引起的一切责任,由用户自行承担
6、本站所有资源来自互联网转载,版权归原著所有,用户访问和使用本站的条件是必须接受本站“免责声明”,如果不遵守,请勿访问或使用本网站
7、本站使用者因为违反本声明的规定而触犯中华人民共和国法律的,一切后果自己负责,本站不承担任何责任。
8、凡以任何方式登陆本网站或直接、间接使用本网站资料者,视为自愿接受本网站声明的约束。
9、本站以《2013 中华人民共和国计算机软件保护条例》第二章 “软件著作权” 第十七条为原则:为了学习和研究软件内含的设计思想和原理,通过安装、显示、传输或者存储软件等方式使用软件的,可以不经软件著作权人许可,不向其支付报酬。若有学员需要商用本站资源,请务必联系版权方购买正版授权!
10、本网站如无意中侵犯了某个企业或个人的知识产权,请来信【站长信箱312337667@qq.com】告之,本站将立即删除。
郑重声明:
本站所有资源仅供用户本地电脑学习源代码的内含设计思想和原理,禁止任何其他用途!
本站所有资源、教程来自互联网转载,仅供学习交流,不得商业运营资源,不确保资源完整性,图片和资源仅供参考,不提供任何技术服务。
本站资源仅供本地编辑研究学习参考,禁止未经资源商正版授权参与任何商业行为,违法行为!如需商业请购买各资源商正版授权
本站仅收集资源,提供用户自学研究使用,本站不存在私自接受协助用户架设游戏或资源,非法运营资源行为。
 
在线客服
点击这里给我发消息 点击这里给我发消息 点击这里给我发消息
售前咨询热线
312337667

微信扫一扫,私享最新原创实用干货

QQ|免责声明|小黑屋|依星资源网 ( 鲁ICP备2021043233号-3 )|网站地图

GMT+8, 2024-12-22 09:05

Powered by Net188.com X3.4

邮箱:312337667@qq.com 客服QQ:312337667(工作时间:9:00~21:00)

快速回复 返回顶部 返回列表