User-Agent配置

门户网站制作运维中屏蔽无用蜘蛛降低服务器压力

网站制作上线后，域名就像一个大门一样向全世界都敞开着，一些无用蜘蛛拼命的访问爬取就是浪费服务器的带宽和资源。我们来可以通过判断User-Agent来进行过滤筛选。