- 烂笔头 - j_hao104的博客
- 现已开放源码下载
- 喜欢的可以在github follow我
在GitHub上维护了一个[代理池](https://github.com/jhao104/proxy_pool)的项目，代理来源是抓取一些免费的代理发布网站。上午有个小哥告诉我说有个代理抓取接口不能用了，返回状态521。抱着帮人解决问题的心态去跑了一遍代码。发现果真是这样。
在公司做分布式深网爬虫，搭建了一套稳定的代理池服务，为上千个爬虫提供有效的代理，保证各个爬虫拿到的都是对应网站有效的代理IP，从而保证爬虫快速稳定的运行，当然在公司做的东西不能开源出来
Python的版本众多,在加上适用不同版本的Python Package。这导致在同时进行几个项目时，对库的依赖存在很大的问题。这个时候就牵涉到对Python以及依赖库的版本管理，方便进行开发，virtualenv就是用来解决这个问题的。下面介绍使用PyCharm创建Virtual Environment的方法。
在做一个可视化配置爬虫项目时，需要配置爬虫的用户自己输入xpath和csspath路径以提取数据或做浏览器操作。考虑到用户的有时会输入错误的xpath或csspath路径，后台需要对其做合法性校验
Django的部署可以有很多方式，采用nginx+uwsgi的方式是其中比较常见的一种方式。今天在Ubuntu上使用Nginx部署Django服务，虽然不是第一次搞这个了，但是发现还是跳进了好多坑，google了好久才搞定。想想还是把这个过程记录下来，免得下次再来踩同样的坑。
在Python中，所有以“\_\_”双下划线包起来的方法，都统称为“Magic Method”,例如类的初始化方法 ```__init__``` ,Python中所有的魔术方法均在官方文档中有相应描述，但是对于官方的描述比较混乱而且组织比较松散。很难找到有一个例子