使用Scrapy爬虫框架爬取网页
一、实验目的
1. 理解Scrapy爬虫框架的架构和工作流程；
2. 掌握使用Scrapy爬虫框架进行爬虫项目开发。
二、实验内容
创建一个Scrapy项目SunHot，用于爬取阳光热线问政平台的部分信息，主要包括投诉帖子的编号、帖子的URL、帖子的标题及帖子的内容，其网址为：https://wz.sun0769.com/political/index/supervise，具体要求如下：
1. 在项目的/spiders目录下，新建用作爬虫的文件sun.py。
2. 在sun.py文件中，使用parse方法取出每个页面中帖子的链接列表，再从中迭代获取每个帖子，并交给回调函数parse_item处理。
3. 在parse_item方法中，提取上述提到的这些信息。
4. 将爬取到的数据以JSON文档的形式进行输出。
5. 将项目改为使用CrawlSpider类自动爬取。
三、作业提交要求
完成实验报告（见附件模板），将源代码和实验报告一起压缩打包提交至学习平台。
评论0