Pip升级: |
pip install --upgrade pip 或者: python -m pip install --upgrade pip 如果更新pip还提示更新,可以卸载pip重新安装: pip uninstall pip easy_install pip |
Pip国内镜像 |
在unix和macos,配置文件为:$HOME/.pip/pip.conf 在windows上,配置文件为:%HOME%\pip\pip.ini (1)windows用户目录下面新建pip文件夹,pip文件夹新建pip.ini文件 (2)写入: [global] trusted-host=mirrors.aliyun.com index-url=http://mirrors.aliyun.com/pypi/simple/ |
常用包:
cmdline |
CMD命令行工具 |
autopy |
按键精灵效果。easy_install autopy |
pyyaml |
yaml配置文件操作工具 |
pyexe |
python脚本转换成windows上的可独立执行的exe |
virtualenv |
新建一个隔离的python环境,和anaconda功能一样。 |
tqdm |
进度条 |
jupyter |
IDE |
Difflib |
Diff |
Fuzzywuzzy |
模糊字符匹配 |
Unidecode |
unicode转ASCII |
Xpinyin |
汉字转拼音 |
Wheel |
|
|
|
Threading |
多线程 |
Mutiprocessing |
多进程 |
Celery |
分布式消息异步任务 |
Concurrent-futures |
异步执行 |
Asyncio |
Python3异步I/O |
Twisted |
基于事件驱动网络框架 |
Pulsar |
事件驱动并发框架 |
Dieset |
绿色事件I/O框架 |
Enventlet |
WSGI支持的异步框架 |
Tomorrow |
异步代码修饰语法 |
Celery |
|
Huey |
多任务队列 |
Mrq |
使用redis分布式任务队列 |
RQ |
redis任务队列管理器 |
Simpleq |
sqs队列 |
Python-gearman |
|
Picloud |
云端执行 |
Dominoup.con |
云端执行R/python/matlab |
Flanker |
电子邮件解析 |
Talon |
|
Docopt |
使用docstring来构建优雅的、高可读性、复杂(如果你有这个需要)的命令行界面 |
sh |
Python子进程接口,允许你像调用函数一样调用任何程序 |
Structlog |
先进的日志处理器。他可以和任何现存的日志记录工具相集成,并包装了Python标准库。你可以构建定制的记录工具,根据你的需要增加上下文,保证你的日志一致、可读 |
Watchdog |
shell工具,可以监视文件系统事件 |
Delorean |
它处理日期和时间非常方便。设置时区,截取到秒、分、小时,甚至使用特定步骤从一个日期进到另一个日期。浏览下文档,里面有很多例子。 |
PEW |
PEW是一套管理多个虚拟环境的工具,在bash,zsh,fish和powershell上完美运行。 |
antigravity |
运行一个Python shell(>=2.7),然后输入import antigravity |
PyQt |
做用户界面的包,类似java中Swing |
autopep8 |
visual code软件使用的格式化代码插件 |
Tesseract |
开源OCR库 |
Pylint |
Pip install pylink Pylint 是一个 Python 代码分析工具,它分析 Python 代码中的错误 vscode需要安装这个插件 |
|
|
爬虫解决方案:
(1)Scrapy
(2)requests
(3)urllib+BeautifulSoup
Python Internet 模块
协议 |
功能用处 |
端口号 |
Python 模块 |
HTTP |
网页访问 |
80 |
httplib, urllib, xmlrpclib |
NNTP |
阅读和张贴新闻文章,俗称为"帖子" |
119 |
nntplib |
FTP |
文件传输 |
20 |
ftplib, urllib |
SMTP |
发送邮件 |
25 |
smtplib |
POP3 |
接收邮件 |
110 |
poplib |
IMAP4 |
获取邮件 |
143 |
imaplib |
Telnet |
命令行 |
23 |
telnetlib |
Gopher |
信息查找 |
70 |
gopherlib, urllib |
scrapy |
爬虫框架 |
scrapyd |
|
scrapydo |
|
requests |
http请求 |
Urlib |
网络包urllib, urllib2,urllib3 |
CookieJar |
cookie设置 |
Grab |
网络包 |
Pycurl |
libcurl库 |
Httplib2 |
网络包 |
Robotbrowser |
浏览器库 |
Mechanicalsoup |
自动交互包 |
Mechanize |
web库 |
Socket |
底层接口包 |
Hyper |
Http/2客户端 |
Pysocks |
|
Treq |
类似requests |
Aiohttp |
http客户端 |
Http-praser |
c语言实现的http解析器 |
|
|
Grab |
基于pycurl/multicur爬虫框架 |
Pyspider |
爬虫系统,带web任务 |
Cola |
分布式爬虫 |
Portia |
基于scrapy可视化爬虫 |
Restkit |
http包 |
Demiurge |
基于pyquery爬虫 |
|
|
|
|
BeautifulSoup |
beautifulsoup4,Html/xml解析库(依赖于lxml) |
lxml |
Html/xml解析(Xpath解析html) |
Cssselect |
dom和css选择器 |
Cssutis |
css库 |
Pyquery |
解析dom和jquery选择器 |
Html5lib |
生成html/dom文档 |
Xmltodict |
html类似json处理 |
simplejson |
|
Xhtml2pdf |
Html/css转换为pdf |
Bleach |
html清理 |
Sanitize |
html清理 |
|
|
Tablib |
数据导出xls/csv/json等 |
Textract |
doc/ppt/pdf提取文本 |
Messytables |
解析表格数据 |
Rows |
数据接口 |
Python-docs |
doc修改 |
Xlwt/xlrd/xlsxwriter |
xlsx去写 |
Xlwings |
Excel |
Openpyxl |
Excel |
Pdfminer |
pdf读取 pip install pdfminer3k python很多包确实很烂,pdfminder中文pdf等识别不了。转java |
Pypdf2 |
分割合并pdf |
Reportlab |
创建pdf |
Pdftables |
pdf读取表格 |
Pyexcel |
excel导入导出(QQ-Groups-Spider项目) |
|
|
Python-markdown |
Markdown |
Mistune |
|
Markdown2 |
|
Pyyaml |
yaml解析 |
Psd-tools |
psd读取 |
|
|
Spynner |
Webkit |
Ghost.py |
Webkit |
Splinter |
api浏览器模拟器(b=Browser(driver_name="chrome")) splinter在selenium之上又封装了一层,使得接口更为简单 splinter只有在使用浏览器的时候才需要安装selenium pip3 install splinter selenium xvfbwrapper |
|
|
|
|
|
|
Selenium |
自动化浏览器(chrome/firefox/Opera/IE) |
webbrowser |
系统自带,无需pip安装 |
|
|
Newspaper |
新闻提取 |
Html2text |
html转markdown |
Python-goose |
html文章提取 |
Lassie |
|
Micawber |
|
Sumy |
|
Haul |
|
Scrapely |
|
数据分析:
numpy |
提供了类似于matlab数值计算能力,代数计算/傅里叶变换/随机数/数学函数/读写数据 |
pandas |
基于numpy,提供了数据分析能力 |
keras |
深度学习框架,支持TensorFlow后端《Deep Learning with Keras》
|
Pillow |
图像处理包 |
Scipy |
|
sympy |
|
matplotlib |
绘制数据图表 |
xgboost |
boost算法 |
Nltk |
文本处理 |
Pattern |
文本处理 |
Textbolb |
|
Jieba |
中文分词(kesic比赛用到中文分词,计算词频) |
snowNLP |
中文处理 |
Loso |
中文分词 |
Genius |
基于条件随机中文分词 |
Langid.py |
独立语言识别 |
Korean |
韩文形态库 |
Pymorphy2 |
俄语分析库 |
PyPLN |
分布式语言处理 |
simpleCV |
图像处理/特征提取 |
Mahotas |
C++实现 |
Charts |
作图可视化 |
Opencv |
pip install opencv-python |
Dlib |
pip install dlib |
Pyspark |
spark包 |
Scikit-learn |
机器学习包 |
skflow
web开发:
mysql-python |
mysql操作包 |
mysql-connector |
|
pymysql |
|
PyMySQL |
|
Django |
Django==1.10.4 |
Python markdown |
|
html5lib |
|
Python OpenId |
|
South |
|
redis |
|
pyqrcode |
二维码操作包 |
pypng |
|
pymongo |
|
Dnsyo |
dns检测 |
Pycares |
Dns |
Crossbar |
开源消息传递路由器 |
Shadowsocks |
代理服务器(翻墙) |
Tproxy |
tcp代理 |
bottle |
web框架(QQ-Groups-Spider) |
pip包下载:
http://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml
pip包安装:
pip install -r requirements.txt
生成requirements.txt
pip freeze > requirements.txt
博客地址:http://blog.yoqi.me/?p=3681
这篇文章还没有评论