链接检测工具(Screaming Frog SEO Spider)v3.3.0官方免费版
最新推荐
-
齐鲁银行网银助手3.0.0.5官方版 安全软件 / 3.0M
-
360安全卫士U盘病毒专杀(Autorun.inf专杀)13.0.0.213简体中文绿色免费版 安全软件 / 86.1M
-
360安全卫士U盘病毒专杀工具v13.0.0.213绿色免费版 安全软件 / 86.1M
-
360安全卫士修复工具v13.0.0.213免费版 安全软件 / 86.1M
-
360安全卫士超强查杀V13.0.0.213安装版 安全软件 / 86.1M
精品推荐
-
You123浏览器v5.10.12.116官方版 网络工具 / 57.9M
查看 -
LogViewPlus(日志分析工具)v2.5.51官方版 网络工具 / 31.3M
查看 -
RayLink(远程控制)v6.0.1.7官方版 网络工具 / 18.3M
查看 -
喜马拉雅v4.0.0官方免费版 网络工具 / 65.3M
查看 -
向日葵远程控制v13.2.0.55335官方版 网络工具 / 32.3M
查看
本类排行
详情介绍
ScreamingFrogSEOSpider工具是国外开发的知名链接检测工具。它可以快速分析网站的链接、图像、CSS、脚本等元素。免费版本可以分析500 个链接。
Screaming Frog SEO Spider工具是国外开发的知名链接检测工具,可适用于Windows、MAC、Ubuntu等系统。您可以快速分析网站的链接、图像、CSS、脚本和其他元素。可以免费下载安装,免费版可以分析500个链接。
特征
Spider的抓取方式可以分为Spider和URL两种。简单的理解就是可以放一个页面或者域名来开始爬取,另外一种就是放一个URL文件来爬取。
输入URL 或选择URL 文件后,您将开始抓取内容。那么问题来了,Spider能为我们爬取页面的哪些内容呢?
页面链接
文件类型和编码
HTTP 状态代码和状态
标题和长度
描述和长度
关键词和长度
H1标签文本和长度
H2标签文本和长度
规范网址
其他(文件大小、字数、层数、内部链接数、外部链接数等)
Spider还执行许多功能来限制链接抓取。首先是以下特殊限制:
检查图片
检查CSS文件
检查js文件
检查swf文件,即Flash等
检查外部链接
检查目录外的链接
使用Nofollow 标志跟踪站内链接
跟踪指示Nofollow 的外部链接
忽略robots.txt
抓取总数
爬取总层数
看到这里你可能还是不太明白,那么Adrian就给你举个简单的例子来解释一下。
案例一:D姐想截取所有UC页面,不包括CSS、JS、SWF(因为这些都是浪费时间和资源)。然后你可以取消选中四个选项;
案例2:如果民工想像蜘蛛一样爬取UC页面,只需勾选“忽略robots.txt”即可;
案例3:何源只想抓取dx首页的所有链接。选中所有链接,但取消选中“忽略”和“限制搜索总数”。当然,记得勾选Limit Search Depth并将级别设置为1;
如果你还是不明白,那我也无能为力了。只能请D姐给你一些SEO培训了。
其实Spider的功能还有很多,就不一一列举了。说一下我常用的几个功能吧!
第一个是常规抓取页面。
有的地方可以在配置中的include和exclusion里写正则规则,在这里可以专门设置你要爬取的链接。至于如何变得更糟,就需要你自己想象了。
第二,限速。
配置中的Speed中有速度限制。这里需要提到的是,限速不仅仅指线程,还限制爬取URL的速度。例如,您需要1 个URL/S,或2 个URL/S。该功能可以避免一些有反重复抓取限制的网站。
第三个是用户代理设置。
配置中有一个用户代理,您可以在其中设置您的身份。您可以将其设置为某个搜索引擎的蜘蛛或浏览器。
四、自定义字段检查功能。
这也是配置中的自定义。这个功能可以说是一个比较好用的功能了。主要是让Spider在爬行时根据你设置的自定义字段进行过滤。例如:如果我在自定义中设置了DVD这个词,那么所有出现DVD这个词的页面都会被专门过滤掉。
还有其他功能,比如代理爬取、站点地图创建、URL导出等,都比较实用。