在爬取好租网页时,被封禁了ip,导致无法正常访问网站
利用上述方法,模拟成百度爬虫,并随机设置了IP
$ip=mt_rand(11, 191).".".mt_rand(0, 240).".".mt_rand(1, 240).".".mt_rand(1, 240);
$header = array(
'CLIENT-IP:'.$ip,
'X-FORWARDED-FOR:'.$ip,
); //构造ip
curl_setopt($ch, CURLOPT_USERAGENT, 'Baiduspider+(+http://www.baidu.com/search/spider.htm)');
然后登录路由器管理页面,修改了ip后,继续抓取