php curl爬虫遇到反爬虫被封ip解决方案

在爬取好租网页时,被封禁了ip,导致无法正常访问网站

相关问题解决方案

利用上述方法,模拟成百度爬虫,并随机设置了IP

$ip=mt_rand(11, 191).".".mt_rand(0, 240).".".mt_rand(1, 240).".".mt_rand(1, 240); 
        $header = array(
            'CLIENT-IP:'.$ip,
            'X-FORWARDED-FOR:'.$ip,
        );    //构造ip
        curl_setopt($ch, CURLOPT_USERAGENT, 'Baiduspider+(+http://www.baidu.com/search/spider.htm)');

然后登录路由器管理页面,修改了ip后,继续抓取

发表评论

电子邮件地址不会被公开。 必填项已用*标注