学员作品 学员心得 技术园地 潮人地 Android(安卓)培训 杭州电脑(计算机)培训杭州网络营销培训 杭州JAVA培训
返回首页

网络营销培训课程之robots文件写法

时间:2017-08-01 11:18来源:未知 作者:杭州华育 点击:
botost文件是网站与收搜引擎的超文本协议,可以自定义一些文件不被收搜引擎抓取,对网站优化有一定帮助!

网络营销培训课程之robots文件写法

 

 

User-agentbaiduspider跟的是蜘蛛的名称

User-agent*  这个*是个通配符代表所有的蜘蛛

 

User-agentbaiduspider

Disallow: 跟的禁止抓取的文件目录名称

 

User-agentbaiduspider

Disallow: /a

Allow: /b   跟的允许被抓取的文件目录文件

 

后面都需要加一个空格

 

网络营销培训课程实际书写的时候都是Disallow记录比较多,因为除了禁止的,剩下的都表示允许抓取。

 

User-agentbaiduspider

Allow:  a/b

Disallow: /a

站内robots文件优化

User-agent: 蜘蛛名称 *

Disallow: 禁止抓取的文件路径

Allow: 允许抓取的路径名称

 

网络营销培训课程robots文件写法

Disallow: /admin 禁止抓取admin这个目录文件

Disallow: /a/*.htm

代表的是禁止抓取a目录里面所有以.htm结尾的文件

www.xxx.com/a/1.html

www.xxx.com/a/2.htm

Disallow: /*?* 禁止抓取所有动态链接

Disallow: /Show.asp?id=868

 

 

Disallow: /.jpg$ 

$是一个通配符  禁止抓取所有jpg格式的图片

Disallow: /*.html

 

<img src="http://www.xxx.com/1.jpg">

 

网络营销培训课程中关于具体站点的robots文件写法

不同的网站文件写法不一样,具体网站具体对待。

都一步、打开根目录找到robots.txt文件点击编辑

 

 

对于网站里面存在的死链接也可以使用robots文件屏蔽

www.xxx.com/a/silianjie.html

Disallow: / a/silianjie.html

Allow: /a/4.html

www.xxx.com/a/1.html

www.xxx.com/a/2.html

www.xxx.com/a/3.html

 

www.xxx.com/a/*.html

 

robots文件里面建议大家添加一条允许抓取的记录来强调重点页面

强调的是站点地图页面,这个页面上面包含我们站内的所有页面

Allow: /sitemap.html

Sitemap: /sitemap.html

强调允许站点地图被抓取。

 

user-agent: *

Disallow: /

相当于网站禁封了

网站在改版的过程中可以使用这个记录先屏蔽网站,等改版完成好了测试没问题了咱们再删掉这个记录。

meta  robots标签

这个标签写法比较麻烦需要写在具体页面的头部

 

使用三种方式来屏蔽蜘蛛跟踪抓取某个链接

1、使用robots.txt来写

 

2、使用meta robots标签设置

 

3、直接使用链接的nofollow属性

(责任编辑:杭州华育 ;杭州java培训,网络营销培训,杭州计算机培训,it培训,详询客服报名咨询
分享到:
顶一下
(0)
0%
踩一下
(0)
0%
------分隔线----------------------------
提交报名信息

2017年杭州将加大力度经济转型,吸纳更多的技术人才落户杭州,软件人才需求量更是大幅提升,针对目前杭州IT行业人才需求“井喷”现象,华育软件杭州实训基地与杭州155家IT名企合作,建立人才培养与输送关系,启动“Eduask国家高端IT紧缺人才培养工程”。7月针对杭州地区18-28岁大中专生待业青年发放68个技能实训名额(应届大中专毕业生优先),经短期专业岗前实训后推荐进入企业,起薪4500-8000元,五险一金。

姓名: * 性别:
学历: 电话: *
所在地: *
您目前状况:
留言:
*