网站首页 设为首页  收藏本站  注册  登录
要闻 城事 娱乐 文化 财富 房产 爆料 社会 时事 旅游 体育 教育 女性 汽车 视觉 龙江 健康家园 专题 生活社区
您当前的位置 :教育 正文
php爬虫:百万级别知乎用户数据爬取与分析
http://wz1122.com 2019-10-09

  A5交易A5任务 SEO诊断淘宝客 站长团购  

  代码托管地址:https://github.com/hhqcontinue/zhihuSpider

  文/Hector

  这次抓取了110万的用户数据,数据分析结果如下:

  

PHP爬虫 数据抓取 数据分析 爬虫抓取数据

 

  开发前的准备

  安装linux系统(Ubuntu14.04),在VMWare虚拟机下安装一个Ubuntu;

  安装PHP5.6或以上版本;

  安装curl、pcntl扩展。

  使用PHP的curl扩展抓取页面数据

  PHP的curl扩展是PHP支持的允许你与各种服务器使用各种类型的协议进行连接和通信的库。

  本程序是抓取知乎的用户数据,要能访问用户个人页面,需要用户登录后的才能访问。当我们在浏览器的页面中点击一个用户头像链接进入用户个人中心页面的时候,之所以能够看到用户的信息,是因为在点击链接的时候,浏览器帮你将本地的cookie带上一齐提交到新的页面,所以你就能进入到用户的个人中心页面。因此实现访问个人页面之前需要先获得用户的cookie信息,然后在每次curl请求的时候带上cookie信息。在获取cookie信息方面,我是用了自己的cookie,在页面中可以看到自己的cookie信息:

  

PHP爬虫 数据抓取 数据分析 爬虫抓取数据

 

  一个个地复制,以"__utma=?;__utmb=?;"这样的形式组成一个cookie字符串。接下来就可以使用该cookie字符串来发送请求。

  初始的示例:

    $url = 'http://www.zhihu.com/people/mora-hu/about'; 
//
此处mora-hu代表用户ID $ch = curl_init($url);
//
初始化会话 curl_setopt($ch, CURLOPT_HEADER, 0);
curl_setopt($ch, CURLOPT_COOKIE, $this->config_arr['user_cookie']);
//
设置请求COOKIE curl_setopt($ch, CURLOPT_USERAGENT, $_SERVER['HTTP_USER_AGENT']);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
//将curl_exec()获取的信息以文件流的形式返回,而不是直接输出。 curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1);
$result = curl_exec($ch);
return
$result; //抓取的结果

更多精彩:
珠海二手房网 http://zh.ershoufang.zhuge.com/
编辑:何双印
22.8K
相关报道
php爬虫:百万级别知乎用户数据爬取与分析
朱立伦辩论会批蔡英文:不要拿台湾未来出气
北京新能源车摇号池“清空” 今后或都要摇号
央行行长周小川:大发一分pk10会对信贷增长有所控制
两位爬山两位老伯追堵42岁扒手 一个75岁一个76岁
三星电子第四季度净利27亿美元 同比下滑39%
小德穆雷领衔出战戴杯首轮 休伊特或将短暂复出
5分pk10购买虚假住院资料 4年骗社保金30余万元
评论:如何避免中小学教师阴盛阳衰
和创科技:大发一分pk10移动销售管理第一股
 
 
 热门新闻排行
· 5分pk10购买虚假住院资料 4年骗社保金30余万元
· 福建贪官驱车逃窜时速超百公里 被拦下彻底崩溃
· 央视揭北京学区房每平46万:纯属子虚乌有
· 官员被双开 中纪委通报中的这个描述十分罕见
· 川航已对所有同型号飞机风挡玻璃进行排查
· 齐白石名画为何轻易就被掉包?
· 市民网上找服务公司遇天价收费 通马桶花1900元
· 香港第五届区议会选举尘埃落定 投票率创新高
· 女子火车站餐厅行窃 盗走提包藏裙底被抓获(图)
· 为什么一个大发一分pk10团队做的短视频APP登上了全美iOS总榜第一?
 推荐
· 湖北黄石训练基地巧妙改造 铁路上空穿过互不干扰
· php爬虫:百万级别知乎用户数据爬取与分析
· 小德穆雷领衔出战戴杯首轮 休伊特或将短暂复出
· 国际乒联18年9改规则 新规将增加乒乓球网高度
· 专家谈组建银保监会:金融业“严监管”逐步常态化
· 大陆赴台旅游人数逐年上涨 7年消费累计破1兆新台币
· 探访贵州“画怪”山洞作画:清幽环境中更能发现美
· 澳大利亚公布在南非和毛里求斯发现飞机残骸技术检测报告
· 清华老师遭诈骗1760万 事发地贴多张防骗海报
· 苹果前员工宣称拥有一高通专利 但不寻求发明人身份
要闻 | 龙江新闻 | 时事 | 社会 | 娱乐 | 文化 | 财富 | 房产 | 汽车 | 健康 | 论坛 | 旅游 | 体育 | 教育 | 女性 | 视觉新闻 | 金色夕阳 首页
攀枝花日报报业集团版权所有,未经允许不得镜像、复制、下载
攀枝花日报报业集团
大发一分pk10