如何更新Mac自带Python?
如果是学习的话 建议使用2.7
用python下载电影比下载器快吗
是的。
Python版视频下载神器，支持80 网站，比迅雷还快，运行程序后会自动复制并输出该电影的下载链接或其他的反馈信息，达到快速下载电影的效果。
Python是一个高层次的结合了解释性、编译性、互动性和面向对象的脚本语言。
python爬虫看电影会有什么影响
闲着在家想看电影，但是猛地不知道要看啥电影，脑子想半天也想不出来一个好电影名字！干脆直接在豆瓣电影上获取最近热门的电影，然后一个一个挨着看打发时间！
获取豆瓣电影信息也是学爬虫的一个入门例子，不知道为啥好多人学爬虫都拿豆瓣电影来练手，一个应该是爬取比较简单，另一个应该是这个平台反爬措施比较low，接下来让我们来看看怎么去实现获取豆瓣电影前200个热门电影信息！
1.请求数据
第一步先打开豆瓣电影网页，分析请求看怎样才能请求到数据。
刷新豆瓣电影网页，从浏览器自带的开发工具network中XHR可以看到各种请求，其中标黄的search_subject?type_movie这个请求就是请求电影信息，下面的type_tv就是请求电视剧信息的。从右边标黄的request url中看到是请求的链接，但参数信息都被编码，用urllib.parse.unquote()方法来进行解码：
解码后的请求连接如图所示，猜想page_limt为每次请求到的数据量，page_start为从第几页开始请求，将这个链接在浏览器中打开来验证一下猜想。
看到返回的是一个json字符串，里面包含50条电影信息，其中有名字，评分，链接等，将page_start = 0 变为1，就请求到下一个50条信息。根据链接的这个规律，可以对page_start 不断赋值，从而实现多条信息的获取！（公众号 ly戏说编程）
第二步构造请求头，即看看浏览器通过这个链接向服务器发送了什么请求参数才拿到这些json数据，打开浏览器开发者工具。
按照图中1到4步可以看到这个请求的request headers，将请求头里面的信息全部拿出来，构造为爬虫的请求头。
坑：请求头构造的时候Accept-Encoding要将br去掉。原因：Accept-Encoding用来声明浏览器支持的编码类型，一般有gzip,deflate,br 等等。但在python3的requests包中：
response.content 字节方式的响应体，会自动为你解码 gzip 和 deflate 压缩 类型：bytes
reponse.text 字符串方式的响应体，会自动根据响应头部的字符编码进行解码。类型：str
但偏偏不支持br的解码，如果加上br可能造成你请求回来的是乱码！所以要去掉br!
这样通过模拟浏览器请求数据，就可以得到服务器返回的json字符串，再解析json字符串得到每一个电影的详情链接。
2.提取信息
在得到每一个电影的链接后，依次访问每一个电影的链接，然后根据关键信息所在标签用xpath进行提取。这里只对电影名字、年份、导演、类型、评分进行提取。
例如提取1917，在网页右击“1917”,然后选择检查，在Elements中1917所在位置右击，选择Copy，然后Copy XPath即可拿到1917的Xpath路径，其它信息的提取操作步骤一样。
但是不同电影网页里面相同类型的信息所在的XPath路径可能不同，这就需要找到他们的相同处，提取相同的XPath路径，从而进行大批量提取。
比如电影类型，用直接copy xpath的方法就不好使，不同电影网页里面电影类型所处的标签位置不同，用copy xpath拷贝出来的路径有差异，这就需要根据所在标签的property属性来获取。主要代码如下：
对每一网页链接里面的信息进行提取，这里每提取一个就停1s，为的是避免平台检测到异常访问，这样就拿到每一个电影的信息，然后再将这信息保存到excel中，效果如图所示
前几名都是奥斯卡得奖电影有木有！感兴趣的小伙伴快来试试！话不多说，挨着去看电影咯！去哪看？去公众号 ly戏说编程 首页vip影院看，里面还有各种学习资源免费分享！
如何使用Anaconda更新Python版本
Anaconda是一个和Canopy类似的科学计算环境，但用起来更加方便。自带的包管理器conda也很强大。
首先是下载安装。Anaconda提供了Python2.7和Python3.4两个版本，同时如果需要其他版本，还可以通过conda来创建。安装完成后可以看到，Anaconda提供了Spyder，IPython和一个命令行。下面来看一下conda。
输入 conda list 来看一下所有安装时自带的Python扩展。粗略看了一下，其中包括了常用的 Numpy , Scipy ， matplotlib 和 networkx 等，以及 beautiful-soup ， requests ， flask ， tornado 等网络相关的扩展。
奇怪的是，里边竟然没有 sklearn ，所以首先装一下它。
怎么更新python wheel
今天看了下系统环境，不少python库都有了更新，再用旧版本库可能已经不适合了，就想把所有的库都更新到最新版本。
查看系统里过期的python库，可以用pip命令
1
pip list #列出所有安装的库
1
pip list --outdated #列出所有过期的库
对于列出的过期库，pip也提供了更新的命令
1
pip install --upgrade 库名
但此命令不支持全局全部库升级。
在stackoverflow上有人提供了批量更新的办法，一个循环就搞定（注意--upgrade后面的空格）
1
2
3
4
5
import pip
from subprocess import call
for dist in pip.get_installed_distributions():
call("pip install --upgrade " dist.project_name, shell=True)
另外的也有人提到用 pip-review ，不想安装就没用
1
2
pip install pip-review
pip-review --local --interactive
先安装wheel，在windows的cmd窗口下输入：
pip install wheel
安装完wheel后就可以安装.whl文件了，具体操作是输入（比如安装d盘test文件夹下的hello.whl）：
pip install d:\test\hello.whl
然后等待安装完成就可以了。要注意下载的.whl文件不要重命名，否则会安装不了
Python爬虫实战，Python多线程抓取5千多部最新电影下载链接
Windows下如何更新python？
首先查看python当前版本，在此用win10 系统举例：
查看当前python版本
⌘ R ----> 输入 cmd（回车）----> 输入python 查看
2.卸载当前python
全部程序中，找到python当前版本（带有32/64bit的图标），右键卸载，点击uninstall，等待
3.安装最新版本的python
打开python官网 ：https://www.python.org/downloads/windows/
点击Downloads ---->windows ------>找到对应版本的Windows x86-64 executable installer文件下载。
运行下载的文件，选中 Add python to Path ------> install now
最后，重复步骤1，查看当前版本，即完成
如果是学习的话 建议使用2.7
用python下载电影比下载器快吗
是的。
Python版视频下载神器，支持80 网站，比迅雷还快，运行程序后会自动复制并输出该电影的下载链接或其他的反馈信息，达到快速下载电影的效果。
Python是一个高层次的结合了解释性、编译性、互动性和面向对象的脚本语言。
python爬虫看电影会有什么影响
闲着在家想看电影，但是猛地不知道要看啥电影，脑子想半天也想不出来一个好电影名字！干脆直接在豆瓣电影上获取最近热门的电影，然后一个一个挨着看打发时间！
获取豆瓣电影信息也是学爬虫的一个入门例子，不知道为啥好多人学爬虫都拿豆瓣电影来练手，一个应该是爬取比较简单，另一个应该是这个平台反爬措施比较low，接下来让我们来看看怎么去实现获取豆瓣电影前200个热门电影信息！
1.请求数据
第一步先打开豆瓣电影网页，分析请求看怎样才能请求到数据。
刷新豆瓣电影网页，从浏览器自带的开发工具network中XHR可以看到各种请求，其中标黄的search_subject?type_movie这个请求就是请求电影信息，下面的type_tv就是请求电视剧信息的。从右边标黄的request url中看到是请求的链接，但参数信息都被编码，用urllib.parse.unquote()方法来进行解码：
解码后的请求连接如图所示，猜想page_limt为每次请求到的数据量，page_start为从第几页开始请求，将这个链接在浏览器中打开来验证一下猜想。
看到返回的是一个json字符串，里面包含50条电影信息，其中有名字，评分，链接等，将page_start = 0 变为1，就请求到下一个50条信息。根据链接的这个规律，可以对page_start 不断赋值，从而实现多条信息的获取！（公众号 ly戏说编程）
第二步构造请求头，即看看浏览器通过这个链接向服务器发送了什么请求参数才拿到这些json数据，打开浏览器开发者工具。
按照图中1到4步可以看到这个请求的request headers，将请求头里面的信息全部拿出来，构造为爬虫的请求头。
坑：请求头构造的时候Accept-Encoding要将br去掉。原因：Accept-Encoding用来声明浏览器支持的编码类型，一般有gzip,deflate,br 等等。但在python3的requests包中：
response.content 字节方式的响应体，会自动为你解码 gzip 和 deflate 压缩 类型：bytes
reponse.text 字符串方式的响应体，会自动根据响应头部的字符编码进行解码。类型：str
但偏偏不支持br的解码，如果加上br可能造成你请求回来的是乱码！所以要去掉br!
这样通过模拟浏览器请求数据，就可以得到服务器返回的json字符串，再解析json字符串得到每一个电影的详情链接。
2.提取信息
在得到每一个电影的链接后，依次访问每一个电影的链接，然后根据关键信息所在标签用xpath进行提取。这里只对电影名字、年份、导演、类型、评分进行提取。
例如提取1917，在网页右击“1917”,然后选择检查，在Elements中1917所在位置右击，选择Copy，然后Copy XPath即可拿到1917的Xpath路径，其它信息的提取操作步骤一样。
但是不同电影网页里面相同类型的信息所在的XPath路径可能不同，这就需要找到他们的相同处，提取相同的XPath路径，从而进行大批量提取。
比如电影类型，用直接copy xpath的方法就不好使，不同电影网页里面电影类型所处的标签位置不同，用copy xpath拷贝出来的路径有差异，这就需要根据所在标签的property属性来获取。主要代码如下：
对每一网页链接里面的信息进行提取，这里每提取一个就停1s，为的是避免平台检测到异常访问，这样就拿到每一个电影的信息，然后再将这信息保存到excel中，效果如图所示
前几名都是奥斯卡得奖电影有木有！感兴趣的小伙伴快来试试！话不多说，挨着去看电影咯！去哪看？去公众号 ly戏说编程 首页vip影院看，里面还有各种学习资源免费分享！
如何使用Anaconda更新Python版本
Anaconda是一个和Canopy类似的科学计算环境，但用起来更加方便。自带的包管理器conda也很强大。
首先是下载安装。Anaconda提供了Python2.7和Python3.4两个版本，同时如果需要其他版本，还可以通过conda来创建。安装完成后可以看到，Anaconda提供了Spyder，IPython和一个命令行。下面来看一下conda。
输入 conda list 来看一下所有安装时自带的Python扩展。粗略看了一下，其中包括了常用的 Numpy , Scipy ， matplotlib 和 networkx 等，以及 beautiful-soup ， requests ， flask ， tornado 等网络相关的扩展。
奇怪的是，里边竟然没有 sklearn ，所以首先装一下它。
怎么更新python wheel
今天看了下系统环境，不少python库都有了更新，再用旧版本库可能已经不适合了，就想把所有的库都更新到最新版本。
查看系统里过期的python库，可以用pip命令
1
pip list #列出所有安装的库
1
pip list --outdated #列出所有过期的库
对于列出的过期库，pip也提供了更新的命令
1
pip install --upgrade 库名
但此命令不支持全局全部库升级。
在stackoverflow上有人提供了批量更新的办法，一个循环就搞定（注意--upgrade后面的空格）
1
2
3
4
5
import pip
from subprocess import call
for dist in pip.get_installed_distributions():
call("pip install --upgrade " dist.project_name, shell=True)
另外的也有人提到用 pip-review ，不想安装就没用
1
2
pip install pip-review
pip-review --local --interactive
先安装wheel，在windows的cmd窗口下输入：
pip install wheel
安装完wheel后就可以安装.whl文件了，具体操作是输入（比如安装d盘test文件夹下的hello.whl）：
pip install d:\test\hello.whl
然后等待安装完成就可以了。要注意下载的.whl文件不要重命名，否则会安装不了
Python爬虫实战，Python多线程抓取5千多部最新电影下载链接
利用Python多线程爬了5000多部最新电影下载链接，废话不多说~
让我们愉快地开始吧~
Python版本： 3.6.4
相关模块：
requests模块；
re模块；
csv模块；
以及一些Python自带的模块。
安装Python并添加到环境变量，pip安装需要的相关模块即可。
拿到链接之后，接下来就是继续访问这些链接，然后拿到电影的下载链接
但是这里还是有很多的小细节，例如我们需要拿到电影的总页数，其次这么多的页面，一个线程不知道要跑到什么时候，所以我们首先先拿到总页码，然后用多线程来进行任务的分配
我们首先先拿到总页码，然后用多线程来进行任务的分配
总页数其实我们用re正则来获取
爬取的内容存取到csv，也可以写个函数来存取
开启4个进程来下载链接
您学废了吗？最后祝大家天天进步！！学习Python最重要的就是心态。我们在学习过程中必然会遇到很多难题，可能自己想破脑袋都无法解决。这都是正常的，千万别急着否定自己，怀疑自己。如果大家在刚开始学习中遇到困难，想找一个python学习交流环境，可以加入我们，领取学习资料，一起讨论，会节约很多时间，减少很多遇到的难题。
Windows下如何更新python？
首先查看python当前版本，在此用win10 系统举例：
查看当前python版本
⌘ R ----> 输入 cmd（回车）----> 输入python 查看
2.卸载当前python
全部程序中，找到python当前版本（带有32/64bit的图标），右键卸载，点击uninstall，等待
3.安装最新版本的python
打开python官网 ：https://www.python.org/downloads/windows/
点击Downloads ---->windows ------>找到对应版本的Windows x86-64 executable installer文件下载。
运行下载的文件，选中 Add python to Path ------> install now
最后，重复步骤1，查看当前版本，即完成