本文以豆瓣电影（非TOP250）为例，从数据爬取、清洗与分析三个维度入手，详解和还原数据爬取到分析的全链路。
作者 | 周志鹏
责编 | 郭 芮
旁友，暑假，已经过了一大半了。
这个遥远而炙热的名词，虽然和笔者这个上班狗已经没有任何关系，但在房间穿着裤衩，吹着空调，吃着西瓜，看着电影，依然是假期最好的打开方式。现在裤衩、空调、西瓜都唾手可得，压力全在电影这边了。
关于电影推荐和排行，豆瓣是个好地方，只是电影TOP250排名实在是太经典，经典到有点老套了。笔者想来点新花样，于是按默认的“评分最高”来排序，Emmm，结果好像比较小众：
又按年代进行筛选，发现返回的结果和预期差的更远了。
怎么办捏？不如我们自己对豆瓣电影进行更全面的爬取和分析，再DIY评分规则，结合电影上映年代做一个各年代TOP100电影排行榜。
数据爬取
1、网址规律探究
听说看的人越多，评分越有说服力，所以我们进入导航页，选择“标记最多”。（虽然标记的多并不完全等于看的多，但也差不多了）
要找到网址变化规律，常规的套路就是先右键“审查元素”，然后通过不断的点击“加载更多”刷新页面的方式来找规律。
网址规律异常的简单，开头URL不变，每翻一页，start的数值增加20就OK了。
一页是20部电影，开头我们立下的FLAG是要爬取9000部电影，也就是爬取450页。
2、单页解析 循环爬取
豆瓣灰常贴心，每一页都是JSON格式存储的规整数据，爬取和清洗都省了不少事儿：
这里我们只需要伪装一下headers里面的user-agent就可以愉快的爬取了：
headers = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (Khtml, like Gecko) Chrome/63.0.3239.132 Safari/537.36'}直接上单页解析的代码：
def parse_base_info(url,headers):html = requests.get(url,headers = headers)bs = json.loads(html.text)df = pd.DataFramefor i in bs['data']:casts = i['casts'] #主演cover = i['cover'] #海报directors = i['directors'] #导演m_id = i['id'] #IDrate = i['rate'] #评分star = i['star'] #标记人数title = i['title'] #片名url = i['url'] #网址cache = pd.DataFrame({'主演':[casts],'海报':[cover],'导演':[directors],'ID':[m_id],'评分':[rate],'标记':[star],'片名':[title],'网址':[url]})df = pd.concat([df,cache])return df然后我们写一个循环，构造所需的450个基础网址：
#你想爬取多少页，其实这里对应着加载多少次def format_url(num):urls = base_url = 'https://movie.douban.com/j/new_search_subjects?sort=T&range=0,10&tags=电影&start={}'for i in range(0,20 * num,20):url = base_url.format(i)urls.append(url)return urlsurls = format_url(450)两个凑一起，跑起来：
result = pd.DataFrame#看爬取了多少页count = 1for url in urls:df = parse_base_info(url,headers = headers)result = pd.concat([result,df])time.sleep(random.random 2)print('I had crawled page of:%d' % count)count = 1一个大号的功夫，包含电影ID、电影名称、主演、导演、评分、标记人数和具体网址的数据已经爬好了：
下面，我们还想要批量访问每一部电影，拿到有关电影各星级评分占比等更丰富的信息，后续我们想结合评分分布来进行排序。
3、单部电影详情爬取：
我们打开单部电影的网址，取巧做法是直接右键，查看源代码，看看我们想要的字段在不在源代码中，毕竟，爬静态的源代码是最省力的。
电影名称？在的！导演信息？在的！豆瓣评分？还是在的！一通CTRL F搜索发现，我们所有需要的字段，全部在源代码中。那爬取起来就太简单了，这里我们用xpath来解析：
def parse_movie_info(url,headers = headers,ip = ''):if ip == '':html = requests.get(url,headers = headers)else:html = requests.get(url,headers = headers,proxies = ip)bs = etree.HTML(html.text)#片名title = bs.xpath('//div[@id = "wrapper"]/div/h1/span')[0].text#上映时间year = bs.xpath('//div[@id = "wrapper"]/div/h1/span')[1].text#电影类型m_type = for t in bs.xpath('//span[@property = "v:genre"]'):m_type.append(t.text)a = bs.xpath('//div[@id= "info"]')[0].xpath('string')#片长m_time =a[a.find('片长: ') 4:a.find('分钟n')] #时长#地区area = a[a.find('制片国家/地区:') 9:a.find('n 语言')] #地区#评分人数try:people = bs.xpath('//a[@class = "rating_people"]/span')[0].text#评分分布rating = {}rate_count = bs.xpath('//div[@class = "ratings-on-weight"]/div')for rate in rate_count:rating[rate.xpath('span/@title')[0]] = rate.xpath('span[@class = "rating_per"]')[0].textexcept:people = 'None'rating = {}#简介try:brief = bs.xpath('//span[@property = "v:summary"]')[0].text.strip('n u3000u3000')except:brief = 'None'try:hot_comment = bs.xpath('//div[@id = "hot-comments"]/div/div/p/span')[0].textexcept:hot_comment = 'None'cache = pd.DataFrame({'片名':[title],'上映时间':[year],'电影类型':[m_type],'片长':[m_time],'地区':[area],'评分人数':[people],'评分分布':[rating],'简介':[brief],'热评':[hot_comment],'网址':[url]})return cache第二步我们已经拿到了9000部电影所有的网址，只需写个循环，批量访问就可以了。然鹅，尽管设置了访问时间间隔，爬取上千个页面我们就会发现，豆娘还是会把我们给BAN（禁）掉。
回忆一下，我们没有登录，不需要cookies验证，只是因为频繁的访问骚扰到了豆娘。那这个问题还是比较好解决的，此处不留爷，换个IP就留爷。细心的朋友已经发现了，上面针对单部电影的页面解析，有一个默认IP参数，我们只需要在旧IP被禁后，传入新的IP就可以了。
PS：代理IP如果展开讲篇幅太长，网上有许多免费的IP代理（缺点是可用时间短，不稳定）和付费的IP代理（缺点是不免费）。另外，要强调一下这里我们传入的IP长这样：{'https':'https://115.219.79.103:0000'}
movie_result = pd.DataFrameip = '' #这里构建自己的IP池count2 = 1cw = 1for url,name in zip(result['网址'].values[6000:],result['片名'].values[6000:]):#for name,url in wrongs.items:try:cache = parse_movie_info(url,headers = headers,ip = ip)movie_result = pd.concat([movie_result,cache])#time.sleep(random.random)print('我们爬取了第:%d部电影-------%s' % (count2,name))count2 = 1except:print('滴滴滴滴滴，第{}次报错'.format(cw))print('ip is:{}'.format(ip))cw = 1time.sleep(2)continue电影页面数据爬取结果如下：
数据清洗
1、基本信息表和电影内容表合并
base_info表里面是我们批量抓取的电影基本信息，movie_info则是我们进入每一部电影，获取到的感兴趣字段汇总，后面的分析是需要依赖两张表进行的，所以我们合并之：
2、电影年份数据清洗：
我们发现之前爬取的上映时间数据不够规整，前面都带了一个“-”：
要把前面多余的符号去掉，但发现无论怎么用str.replace返回的都是Nan，原来这里pandas把所有数字默认成负的，所以只需要把这一列所有数字乘-1即可：
3、评分分布规整：
最终我们是希望能够把电影整体评分（如某电影8.9分）和不同评分等级（5星的占比70%）结合起来分析的。而刚才爬取评分数据的时候，为了偷懒，用的是一个字典把各评分等级和对应的占比给包起来了，然鹅，pandas默认把他当成了字符串，不能直接当做字典处理：
灵光一闪？这种字典形式的字符串，用JSON解析一下不就变字典了？HAVE A TRY：
结果，疯狂报错：
报错貌似在提示我们是最外围的引号错误导致了问题，目前我们用的是双引号（"{'a':1}"）难道只能用单引号('{'a':1}')？先试试吧：
报错解决了。接下来，我们把字典形式的评分拆成多列，例如每个星级对应一列，且百分比的格式变成数值型的，写个循环函数，用apply应用一下即可：
#把单列字典的评分分布转化成分开的5列，且每一列是数值型的def get_rate(x,types):try:return float(x[types].strip('%'))except:passmovie_combine['5星'] = movie_combine['format_评分'].apply(get_rate,types = '力荐')movie_combine['4星'] = movie_combine['format_评分'].apply(get_rate,types = '推荐')movie_combine['3星'] = movie_combine['format_评分'].apply(get_rate,types = '还行')movie_combine['2星'] = movie_combine['format_评分'].apply(get_rate,types = '较差')movie_combine['1星'] = movie_combine['format_评分'].apply(get_rate,types = '很差')现在我们的数据长这样的：
OK，清洗到此告一段落。
数据分析
大家还记得开头的FLAG吗？我们要制作各年代TOP100电影排行榜。所以直接按照年代划分电影，然后按照电影评分排个序不就完事了！
然鹅这听起来有点话糙理也糙。如果只按照电影的总的评分来排序，会忽视掉内部评分细节的差异性，举个例子，搏击俱乐部：
总评分9.0分，打出5星好评的占比60.9%，4星的有30.5%。
同为9分佳作，给美丽心灵打出5星好评的有56.0%，和搏击俱乐部相比少了4.9%，而4星的人数则高出了6%。可以不负责任的做一个概括：两部都是9分经典，但观众给搏击俱乐部的5星倾向要高于美丽心灵。
GET到这个点，我们就可以对电影评分排序制定一个简单的规则：先按照总评分排序，然后再对比5星人数占比，如果一样就对比4星，以此类推。这个评分排序逻辑用PYTHON做起来不要太简单，一行代码就搞定：
#按照总评分，5星评分人数占比，4星占比，3星..依次类推movie_combine.sort_values(['评分','5星','4星','3星','2星','1星'],ascending = False,inplace = True)但是仔细看排序结果，我们会发现这样排序的一些小瑕疵，一些高分电影其实是比较小众的，比如“剧院魅影：25周年纪念演出”和“悲惨世界：25周年纪念演唱会”等。
而我们想要找的，是人民群众所喜闻乐见的电影排名，这里只有通过评分人数来代表人民的数量，我们先看一看所有电影的评分人数分布：
评分人数跨度极大，为了减少极值对于平均的影响，就让中位数来衡量人民群众是否喜闻乐见，所以我们只留下大于中位数的评分。
接着，看看历年电影数量分布情况：
直到2000年初，筛选后的电影年上映数才逼近200，更早时期的电影好像20年加起来还不到100部。为了让结果更加直观，我们来按年代统计电影的上映时间。这里涉及到给每部电影上映时间进行归类，有点棘手啊...
绞尽脑细胞，终于找到了一个比较讨巧的办法，先构造年代标签，再借用cut函数按十年的间隔切分上映时间，最后把标签传入参数。
得勒！数据直观的反映出各年代上映量，20世纪80年代前真的是少得可怜。看到这里，不由想到我们最开始立的那个“制作年代TOP100榜单”的FLAG，因为早期电影量的贫乏，是完全站不住脚的了。
不慌，一个优秀的数据分析师，一定是本着具体问题具体分析的精神来调整FLAG的：
基于年代上映量数据，我们从20世纪30年代开始制作排名；
为了避免有些年代电影过少，优化成各年代TOP 10%的电影推荐；
同时，为了避免近年电影过多，每个年代推荐的上限数不超过100部。
看到这三个条件，连一向自傲的潘大师（pandas）都不禁长叹了口气。然鹅大师之所以是大师，就是因为在他眼里没有什么是不可能的。思考1分钟后，确定了灵活筛选的套路：
final_rank = pd.DataFramefor century,count in zip(century_f.index,century_f.values):f1 = movie_f2.loc[movie_f['年代'] == century,:]#1000部以下的，取TOP10%if count 根据上一步构造的century_f变量，结合每个年代上映电影量，不足1000部的筛选前10%，超过1000部的只筛选前100部，结果，就呼之而出了。在附上代码和榜单之前，我预感到大部分旁友是和我一样懒的（不会仔细看榜单），所以先整理出各年代TOP5电影（有些年代不足TOP5），做一个精华版的历史电影排行榜奉上：
从峰回路转、结尾让人大呼牛逼的《控方证人》，到为无罪真理而辩的《十二怒汉》，再到家庭为重不怒自威的《教父》系列、重新诠释希望和坚韧的《肖申克的救赎》以及将励志提升到新高度的《阿甘正传》。（笔者阅片尚浅，榜单上只看过这些）
每一部好的电影，都是一块从高空坠落的石头，它总能在人们的心湖上激起水花和涟漪，引起人们对生活、社会以及人性的思考。而烂片，就是从高空坠落的空矿泉水瓶，它坠势汹汹，但最终只会浮在水面，让看过的人心存芥蒂，感觉灵魂受到污染。
有了新的电影排名榜单，再也不用担心剧荒了。
爬取、清洗、分析每一步详解代码和完整的电影排序名单，详见：https://github.com/seizeeveryday/DA-cases/tree/master/DoubanMovies。
作者：周志鹏，2年数据分析，深切感受到数据分析的有趣和学习过程中缺少案例的无奈，遂新开公众号「数据不吹牛」，定期更新数据分析相关技巧和有趣案例（含实战数据集），欢迎大家关注交流。
声明：本文为作者投稿，版权归其所有。
【END】
Python抓取豆瓣电影排行榜
1.观察url首先观察一下网址的结构 http://movie.douban.com/top250?start=0&filter=&type= ：
可以看到，问号?后有三个参数 start、filter、type，其中start代表页码，每页展示25部电影，0代表第一页，以此类推25代表第二页，50代表第三页...
filter顾名思义，是过滤已经看过的电影，filter和type在这里不重要，可以不管。
2.查看网页源代码
打开上面的网址，查看源代码，可以看到信息的展示结构如下：
1 <ol class="grid_view"> 2 <li> 3 <div class="item"> 4 <div class="pic"> 5 <em class="">1</em> 6 <a href="http://movie.douban.com/subject/1292052/"> 7 <img alt="肖申克的救赎" src="http://img3.douban.com/view/movie_poster_cover/ipst/public/p480747492.jpg" class=""> 8 </a> 9 </div>10 <div class="info">11 <div class="hd">12 <a href="http://movie.douban.com/subject/1292052/" class="">13 <span class="title">肖申克的救赎</span>14 <span class="title"> / The Shawshank Redemption</span>15 <span class="other"> / 月黑高飞(港) / 刺激1995(台)</span>16 </a>17 18 19 <span class="playable">[可播放]</span>20 </div>21 <div class="bd">22 <p class="">23 导演: 弗兰克·德拉邦特 Frank Darabont 主演: 蒂姆·罗宾斯 Tim Robbins /...<br>24 1994 / 美国 / 犯罪 剧情25 </p>26 27 28 <div class="star">29 <span class="rating5-t"><em>9.6</em></span>30 <span>646374人评价</span>31 </div>32 33 <p class="quote">34 <span class="inq">希望让人自由。</span>35 </p>36 </div>37 </div>38 </div>39 </li>
其中<em class="">1</em>代表排名，<span class="title">肖申克的救赎</span>代表电影名，其他信息的含义也很容易能看出来。
于是接下来可以写正则表达式：
1 pattern = re.compile(u<div.*?class="item">.*?<div.*?class="pic">.*? 2 u<em.*?class="">(.*?)</em>.*? 3 u<div.*?class="info">.*?<span.*?class="title">(.*?) 4 u</span>.*?<span.*?class="title">(.*?)</span>.*? 5 u<span.*?class="other">(.*?)</span>.*?</a>.*? 6 u<div.*?class="bd">.*?<p.*?class="">.*? 7 u导演: (.*?) 8 u主演: (.*?)<br> 9 u(.*?) / (.*?) / 10 u(.*?)</p>11 u.*?<div.*?class="star">.*?<em>(.*?)</em>12 u.*?<span>(.*?)人评价</span>.*?<p.*?class="quote">.*?13 u<span.*?class="inq">(.*?)</span>.*?</p>, re.S)
在此处flag参数re.S代表多行匹配。
3.使用面向对象的设计模式编码
代码如下：
1 # -*- coding:utf-8 -*- 2 __author__ = Jz 3 import urllib2 4 import re 5 import sys 6 7 class MovieTop250: 8 def __init__(self): 9 #设置默认编码格式为utf-810 reload(sys)11 sys.setdefaultencoding(utf-8)12 self.start = 013 self.param = &filter=&type=14 self.headers = {User-Agent: Mozilla/5.0 (Windows NT 6.1; WOW64)}15 self.movieList = []16 self.filePath = D:/coding_file/python_file/File/DoubanTop250.txt17 18 def getPage(self):19 try:20 URL = http://movie.douban.com/top250?start= str(self.start)21 request = urllib2.Request(url = URL, headers = self.headers)22 response = urllib2.urlopen(request)23 page = response.read().decode(utf-8)24 pageNum = (self.start 25)/2525 print 正在抓取第 str(pageNum) 页数据... 26 self.start = 2527 return page28 except urllib2.URLError, e:29 if hasattr(e, reason):30 print 抓取失败，具体原因：, e.reason31 32 def getMovie(self):33 pattern = re.compile(u<div.*?class="item">.*?<div.*?class="pic">.*?34 u<em.*?class="">(.*?)</em>.*?35 u<div.*?class="info">.*?<span.*?class="title">(.*?)36 u</span>.*?<span.*?class="title">(.*?)</span>.*?37 u<span.*?class="other">(.*?)</span>.*?</a>.*?38 u<div.*?class="bd">.*?<p.*?class="">.*?39 u导演: (.*?) 40 u主演: (.*?)<br>41 u(.*?) / (.*?) / 42 u(.*?)</p>43 u.*?<div.*?class="star">.*?<em>(.*?)</em>44 u.*?<span>(.*?)人评价</span>.*?<p.*?class="quote">.*?45 u<span.*?class="inq">(.*?)</span>.*?</p>, re.S)46 while self.start <= 225:47 page = self.getPage()48 movies = re.findall(pattern, page)49 for movie in movies:50 self.movieList.append([movie[0], movie[1], movie[2].lstrip( / ),
51 movie[3].lstrip( / ), movie[4],
52 movie[5], movie[6].lstrip(), movie[7], movie[8].rstrip(),53 movie[9], movie[10], movie[11]])54 55 def writeTxt(self):56 fileTop250 = open(self.filePath, w)57 try:58 for movie in self.movieList:59 fileTop250.write(电影排名： movie[0] rn)60 fileTop250.write(电影名称： movie[1] rn)61 fileTop250.write(外文名称： movie[2] rn)62 fileTop250.write(电影别名： movie[3] rn)63 fileTop250.write(导演姓名： movie[4] rn)64 fileTop250.write(参与主演： movie[5] rn)65 fileTop250.write(上映年份： movie[6] rn)66 fileTop250.write(制作国家/地区： movie[7] rn)67 fileTop250.write(电影类别： movie[8] rn)68 fileTop250.write(电影评分： movie[9] rn)69 fileTop250.write(参评人数： movie[10] rn)70 fileTop250.write(简短影评： movie[11] rnrn)71 print 文件写入成功...72 finally:73 fileTop250.close()74 75 def main(self):76 print 正在从豆瓣电影Top250抓取数据...77 self.getMovie()78 self.writeTxt()79 print 抓取完毕...80 81 DouBanSpider = MovieTop250()82 DouBanSpider.main()
代码比较简单，最后将信息写入一个文件，没有什么需要解释的地方。
python爬虫抓取电影top20排名怎么写
初步接触python爬虫(其实python也是才起步)，发现一段代码研究了一下，觉得还比较有用处，Mark下。
上代码：
#!/usr/bin/python#coding=utf-8#Author: Andrew_liu#mender：cy"""
一个简单的Python爬虫, 用于抓取豆瓣电影Top前100的电影的名称
Anthor: Andrew_liu
mender：cy
Version: 0.0.2
Date: 2017-03-02
Language: Python2.7.12
Editor: JetBrains PyCharm 4.5.4
"""import stringimport reimport urllib2import timeclass DouBanSpider(object) :
"""类的简要说明
主要用于抓取豆瓣Top100的电影名称
Attributes:
page: 用于表示当前所处的抓取页面
cur_url: 用于表示当前争取抓取页面的url
datas: 存储处理好的抓取到的电影名称
_top_num: 用于记录当前的top号码
"""
def __init__(self):
self.page = 1
self.cur_url = "h0?start={page}&filter=&type="
self.datas = []
self._top_num = 1
print u"豆瓣电影爬虫准备就绪, 准备爬取数据..."
def get_page(self, cur_page):
"""
根据当前页码爬取网页HTML
Args:
cur_page: 表示当前所抓取的网站页码
Returns:
返回抓取到整个页面的HTML(unicode编码)
Raises:
URLError:url引发的异常
"""
url = self.cur_url try:
my_page = urllib2.urlopen(url.format(page=(cur_page - 1) * 25)).read().decode("utf-8") except urllib2.URLError, e: if hasattr(e, "code"): print "The server couldnt fulfill the request."
print "Error code: %s" % e.code elif hasattr(e, "reason"): print "We failed to reach a server. Please check your url and read the Reason"
print "Reason: %s" % e.reason return my_page def find_title(self, my_page):
"""
通过返回的整个网页HTML, 正则匹配前100的电影名称
Args:
my_page: 传入页面的HTML文本用于正则匹配
"""
temp_data = []
movie_items = re.findall(r<span.*?class="title">(.*?)</span>, my_page, re.S) for index, item in enumerate(movie_items): if item.find(" ") == -1:
temp_data.append("Top" str(self._top_num) " " item)
self._top_num = 1
self.datas.extend(temp_data) def start_spider(self):
"""
爬虫入口, 并控制爬虫抓取页面的范围
"""
while self.page <= 4:
my_page = self.get_page(self.page)
self.find_title(my_page)
self.page = 1def main():
print u"""
###############################
一个简单的豆瓣电影前100爬虫
Author: Andrew_liu
mender: cy
Version: 0.0.2
Date: 2017-03-02
###############################
"""
my_spider = DouBanSpider()
my_spider.start_spider()
fobj = open(/data/moxiaokai/HelloWorld/cyTest/blogcode/top_move.txt, w ) for item in my_spider.datas: print item
fobj.write(item.encode("utf-8") \n)
time.sleep(0.1) print u"豆瓣爬虫爬取完成"if __name__ == __main__:
main()123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081828384858687888990919293949596979899100101102
运行结果：