禁止微软蜘蛛,爬的太疯狂了,还不带流量… 同时降低频率到60秒间隔. 在web根目录下编辑robots.txt
参考: http://www.bing.com/webmaster/help/which-crawlers-does-bing-use-8c184ec0 http://tool.chinaz.com/robots/
分类
- 其它 (83)
- 技术 (477)
- *bsd (1)
- AI (7)
- AIGC (1)
- Ajax (1)
- Apache (12)
- Cacti (6)
- cpan (2)
- dns/dnsmasq (1)
- Elasticsearch/Logstash/Kibana (1)
- haproxy/Atlas (1)
- HTML/XHTML/CSS (9)
- Imagemagick (3)
- JavaScript/DOM/XML (23)
- Lempelf一键包 (5)
- LINUX (42)
- Linux 命令 (22)
- linux 维护优化 (39)
- Linux游戏 (1)
- Lucene (2)
- Mail/Postfix (8)
- Memcached/redis (5)
- Mysql (57)
- Nagios (16)
- Nginx (32)
- Others (8)
- PHP (35)
- RHCE&RHCA (3)
- RRDtool (3)
- saltstack/ansible (1)
- shell (20)
- sphinx (3)
- Squid/varnish (4)
- Subversion (3)
- TinyMce (1)
- Tomcat (15)
- VPN (3)
- Wap (2)
- 备份 (6)
- 安全 (36)
- 安全通告 (51)
- 安装k8s/kubernetes (16)
- 容器 (2)
- 日志 (9)
- 测试 (1)
- 消息rabbitmq (1)
- 编辑器 (1)
- 网站架构 (8)
- 虚拟化/xen (5)
- 高可用/集群 (1)
- 未分类 (3)
归档
- 2025 年 7 月 (3)
- 2025 年 6 月 (9)
- 2025 年 5 月 (4)
- 2025 年 4 月 (1)
- 2025 年 3 月 (6)
- 2025 年 2 月 (1)
- 2024 年 8 月 (5)
- 2024 年 6 月 (1)
- 2024 年 5 月 (17)
- 2024 年 4 月 (4)
- 2023 年 8 月 (1)
- 2023 年 7 月 (4)
- 2023 年 3 月 (2)
- 2023 年 2 月 (5)
- 2022 年 8 月 (1)
- 2022 年 2 月 (3)
- 2021 年 12 月 (1)
- 2021 年 5 月 (1)
- 2021 年 1 月 (2)
- 2020 年 8 月 (1)
- 2020 年 4 月 (1)
- 2019 年 11 月 (1)
- 2019 年 10 月 (1)
- 2019 年 3 月 (2)
- 2017 年 3 月 (1)
- 2016 年 8 月 (1)
- 2016 年 6 月 (1)
- 2016 年 2 月 (2)
- 2015 年 10 月 (2)
- 2015 年 6 月 (1)
- 2015 年 5 月 (1)
- 2015 年 2 月 (2)
- 2015 年 1 月 (3)
- 2014 年 12 月 (1)
- 2014 年 11 月 (2)
- 2014 年 10 月 (5)
- 2014 年 9 月 (3)
- 2014 年 8 月 (1)
- 2014 年 7 月 (2)
- 2014 年 5 月 (1)
- 2014 年 4 月 (2)
- 2014 年 1 月 (1)
- 2013 年 12 月 (2)
- 2013 年 11 月 (2)
- 2013 年 9 月 (1)
- 2013 年 8 月 (2)
- 2013 年 5 月 (1)
- 2013 年 4 月 (4)
- 2013 年 2 月 (1)
- 2013 年 1 月 (1)
- 2012 年 12 月 (2)
- 2012 年 11 月 (3)
- 2012 年 10 月 (4)
- 2012 年 9 月 (2)
- 2012 年 8 月 (2)
- 2012 年 7 月 (7)
- 2012 年 6 月 (7)
- 2012 年 5 月 (6)
- 2012 年 4 月 (18)
- 2012 年 3 月 (6)
- 2012 年 2 月 (5)
- 2012 年 1 月 (1)
- 2011 年 12 月 (2)
- 2011 年 11 月 (3)
- 2011 年 10 月 (2)
- 2011 年 9 月 (3)
- 2011 年 8 月 (2)
- 2011 年 4 月 (5)
- 2011 年 3 月 (3)
- 2011 年 2 月 (4)
- 2011 年 1 月 (1)
- 2010 年 12 月 (2)
- 2010 年 11 月 (4)
- 2010 年 10 月 (2)
- 2010 年 9 月 (3)
- 2010 年 8 月 (8)
- 2010 年 7 月 (9)
- 2010 年 6 月 (6)
- 2010 年 5 月 (2)
- 2010 年 4 月 (2)
- 2010 年 3 月 (7)
- 2010 年 2 月 (4)
- 2010 年 1 月 (7)
- 2009 年 12 月 (4)
- 2009 年 11 月 (5)
- 2009 年 10 月 (5)
- 2009 年 9 月 (10)
- 2009 年 8 月 (8)
- 2009 年 7 月 (7)
- 2009 年 6 月 (22)
- 2009 年 5 月 (21)
- 2009 年 4 月 (5)
- 2009 年 3 月 (9)
- 2009 年 2 月 (3)
- 2009 年 1 月 (1)
- 2008 年 12 月 (3)
- 2008 年 11 月 (5)
- 2008 年 10 月 (16)
- 2008 年 9 月 (12)
- 2008 年 8 月 (6)
- 2008 年 7 月 (4)
- 2008 年 6 月 (5)
- 2008 年 3 月 (7)
- 2007 年 12 月 (1)
- 2007 年 11 月 (12)
- 2007 年 10 月 (6)
- 2007 年 9 月 (4)
- 2007 年 8 月 (4)
- 2007 年 7 月 (1)
- 2007 年 6 月 (1)
- 2007 年 5 月 (14)
- 2007 年 4 月 (6)
- 2007 年 3 月 (4)
- 2007 年 1 月 (9)
- 2006 年 12 月 (12)
- 2006 年 11 月 (4)
- 2006 年 10 月 (5)
- 2006 年 9 月 (4)
- 2006 年 7 月 (2)
- 2006 年 6 月 (2)
- 2006 年 5 月 (2)
- 2006 年 4 月 (3)
- 2006 年 2 月 (1)
- 2006 年 1 月 (2)
- 2005 年 10 月 (4)
- 2005 年 8 月 (2)
- 2005 年 7 月 (1)
- 2005 年 6 月 (1)
- 2005 年 5 月 (1)
- 2005 年 4 月 (1)
- 2005 年 2 月 (1)
- 2005 年 1 月 (10)
No Responses (yet)
Stay in touch with the conversation, subscribe to the RSS feed for comments on this post.