关于禁止蜘蛛爬行的问题-使用交流-AppNode 社区

关于禁止蜘蛛爬行的问题

jiangtao 2019-3-29 898

我在网站设置的安全里面，开启了禁止爬虫，而且也在爬虫关键字里面填写了关键词，可是日志里面依然还是有禁止的爬虫出现，怎么会酱紫呢

最新回复 (5)

虚竹 2019-3-29

引用 2楼

日志长什么样？帖出来
jiangtao 2019-3-30

引用 3楼

截图以2019.03.30
虚竹 2019-3-30

引用 4楼

你是从哪看出日志里显示的是爬虫的访问？
jiangtao 2019-3-31

引用 5楼

难道下面这种链接不是蜘蛛么？
"Mozilla/5.0 (compatible; AhrefsBot/6.1; +http://ahrefs.com/robot/)"
"Mozilla/5.0 (compatible; SemrushBot/3~bl; +http://www.semrush.com/bot.html)"
虚竹 2019-3-31

引用 6楼

这些不在你的爬虫关键字列表中，你可以自己加进去，保存-部署-重载。

返回

发新帖

jiangtao

主题数
24

帖子数
50

注册排名
1381