2019python爬虫爬取腾讯新闻[world板块][BeautifulSoup库利用
- 作为一个python小白,这是第一次发博客啦,现在入坑web开始学习python爬虫
- 今天发布的是一个爬取腾讯新闻world的爬虫编写。
- 废话不多说,直接上爬取过程吧
- [ ] 先登陆这个界面https://new.qq.com/ch/world/看一看:
- [ ] 我们将要爬取的就是这以下的新闻内容
- [ ] 先写上代码头吧
import requests
from bs4 import BeautifulSoup
import csv
- [ ] 首先我们先爬取一下每一篇文章的链接
- [ ] 先打开web开发者看一下:
- [ ] 可以发现每篇文章的url都是在div标签class属性值为”detail”下面的,先select(“.detail”)可以把所有的文章此处都选择,然后分别判断h3标签,选择a标签,得出的是字典,选出第一个的[0],其键’href’的值则是我们要选择的链接。贴代码:
urls = []
for new in soup.select(".detail"):
if len(new.select('h3'))>0:
href = new.select('a')[0]['href']
urls.append(href)
这样就可以把每篇文章的链接放入urls[]数组中
- [ ] 在有了每篇文章的链接我们就上爬取每篇文章标题和内容的代码吧,我们先点击第一篇文章的链接,用web开发者工具选择文章标题:可以发现我们的标题在h1标签内,所以可以直接选择h1标签下的文字,贴代码:
soup.select('h1')[0].string
- [ ] 剩下的就是爬取内文了,以本篇文章为例,web开发器选择:发现文字都保存在p标签class属性值为”content-article”下的,贴代码:
p.text.strip() for p in soup.select('.content-article p')
p是我们设置的局部变量,此代码为选择content-article下面所有的p标签,并返回p标签内的文本(strip()去掉文本两边括号)
- [ ] 我们的代码差不多完成了,现在就看一下总代码吧:
import requests
from bs4 import BeautifulSoup
import csv
def getNEWS(url):
news = {}
r = requests.get(url)
r.encoding = r.apparent_encoding
soup = BeautifulSoup(r.text, 'html.parser')
news['link:'] = url
news['title:'] = soup.select('h1')[0].string
news['content:'] = ','.join(p.text.strip() for p in soup.select('.content-article p'))
#with open('data.csv','a',encoding='utf-8') as csvfile:
#fieldnames = ['link','title','content']
#writer = csv.DictWriter(csvfile, fieldnames=fieldnames)
#writer.writerow({'link':news['link:'],'title':news['title:'],'content':news['content:']})
print(news)
print('\n')
url = 'https://new.qq.com/ch/world/'
r = requests.get(url)
r.encoding = r.apparent_encoding
soup = BeautifulSoup(r.text, 'html.parser')
#爬取链接
urls = []
for new in soup.select(".detail"):
if len(new.select('h3'))>0:
href = new.select('a')[0]['href']
urls.append(href)
for url in urls:
getNEWS(url)
- [ ] 得到的结果大致如下(太多了一下子放不出来):
- [ ] 中间的注释掉的是将结果保存进.csv后缀的文件,去掉注释,并把打印注释掉:
with open('data.csv','a',encoding='utf-8') as csvfile:
fieldnames = ['link','title','content']
writer = csv.DictWriter(csvfile, fieldnames=fieldnames)
writer.writerow({'link':news['link:'],'title':news['title:'],'content':news['content:']})
#print(news)
#print('\n')
可以得到结果大概如下:
- [ ] 差不多就这样啦!有问题的话请告诉博主,我会改的,大家一起进步呀!