软件名称：如何配置网站Robots.txt文件 |
| 软件类型：系统安全 |
 |
| 授权方式：破解注册 |
| 软件大小：
未知
|
| 运行环境：Win9x, WinNT, Win2000, WinXP |
软件评价：
|
| 相关链接：作者
/ 厂商主页 |
| 上传时间：2012-03-03 |
| 本日下载：1 次 所有下载：1126
次 |
软件简介：
在一个网站里，robots.txt是一个重要的文件，每个网站都应当有一个设置正确的robots.txt。
当搜索引擎来抓取你的网站文件之前，它们会先来看看你网站的robots.txt文件的设置，以了解你所允许它抓取的范围，包括哪些文件，哪些目录。那么如何配置您的robots.txt文件呢？
让我们看一个例子：
# robots.txt file start
# Exclude Files From All Robots:
User-agent: *
Disallow: /admin_login/
Disallow: /admin/
Disallow: /admin.htm
Disallow:/admin.aspx
# End robots.txt file
有#号的都是注释，方便阅读。
User-agent就是搜索引擎的蜘蛛，后面用了*号，表示对所有的蜘蛛有效。
Disallow就是表示不允许抓取，后面的目录或者文件，表示禁止抓取的范围。
编辑好这个文件，然后保存在你的网站的根目录下(一定是根目录下，当然你也可以调整)，那么搜索引擎就会来看的。
如果你没有robots.txt文件，在你的网站访问日志文件里，你会看到蜘蛛访问robots.txt文件不成功的纪录。
好了，现在就去设置你的robots.txt文件吧。
|
| 点击下载
下载站二
下载站三
|
推荐使用 网际快车 或 迅雷等工具
下载，使用 WinRAR v3.0以上 或 WinZip
8.1 解压缩！
如果链接本站本地软件，请务必注明软件来自
金博士电脑科技-下载精品软件-下载精品书籍！，谢谢您的理解与支持！
本站软件都是来自网络，一切破解 仅供学习研究，软件版权仍属原作者或厂商所有！
欢迎广大软件作者以及厂商在本站 发布软件，本站将为您予以能力范围以内的推广！
|
|
