天问

python包管理

 
 

Pip升级:

pip install --upgrade pip

或者:

python -m pip install --upgrade pip

如果更新pip还提示更新,可以卸载pip重新安装:

pip uninstall pip

easy_install pip

Pip国内镜像

unixmacos,配置文件为:$HOME/.pip/pip.conf  

windows上,配置文件为:%HOME%\pip\pip.ini  

1windows用户目录下面新建pip文件夹,pip文件夹新建pip.ini文件

2)写入:

[global]

trusted-host=mirrors.aliyun.com

index-url=http://mirrors.aliyun.com/pypi/simple/

 
 

常用包:

cmdline

CMD命令行工具

autopy

按键精灵效果。easy_install autopy

pyyaml

yaml配置文件操作工具

pyexe

python脚本转换成windows上的可独立执行的exe

virtualenv

新建一个隔离的python环境,和anaconda功能一样。

tqdm

进度条

jupyter

IDE

Difflib

Diff

Fuzzywuzzy

模糊字符匹配

Unidecode

unicode转ASCII

Xpinyin

汉字转拼音

Wheel

  

  

  

Threading

多线程

Mutiprocessing

多进程

Celery

分布式消息异步任务

Concurrent-futures

异步执行

Asyncio

Python3异步I/O

Twisted

基于事件驱动网络框架

Pulsar

事件驱动并发框架

Dieset

绿色事件I/O框架

Enventlet

WSGI支持的异步框架

Tomorrow

异步代码修饰语法

Celery

  

Huey

多任务队列

Mrq

使用redis分布式任务队列

RQ

redis任务队列管理器

Simpleq

sqs队列

Python-gearman

  

Picloud

云端执行

Dominoup.con

云端执行R/python/matlab

Flanker

电子邮件解析

Talon

  

Docopt

使用docstring来构建优雅的、高可读性、复杂(如果你有这个需要)的命令行界面

sh

Python子进程接口,允许你像调用函数一样调用任何程序

Structlog

先进的日志处理器。他可以和任何现存的日志记录工具相集成,并包装了Python标准库。你可以构建定制的记录工具,根据你的需要增加上下文,保证你的日志一致、可读

Watchdog

shell工具,可以监视文件系统事件

Delorean

它处理日期和时间非常方便。设置时区,截取到秒、分、小时,甚至使用特定步骤从一个日期进到另一个日期。浏览下文档,里面有很多例子。

PEW

PEW是一套管理多个虚拟环境的工具,在bashzshfishpowershell上完美运行。

antigravity

运行一个Python shell(>=2.7),然后输入import antigravity

PyQt

做用户界面的包,类似java中Swing

autopep8

visual code软件使用的格式化代码插件

Tesseract

开源OCR

Pylint

Pip install pylink Pylint 是一个 Python 代码分析工具,它分析 Python 代码中的错误 vscode需要安装这个插件

  

  

 
 

 
 

爬虫解决方案:

 
 

(1)Scrapy

(2)requests

(3)urllib+BeautifulSoup

 
 

 
 

Python Internet 模块

 
 

协议

功能用处

端口号

Python 模块

HTTP

网页访问

80

httplib, urllib, xmlrpclib

NNTP

阅读和张贴新闻文章,俗称为"帖子"

119

nntplib

FTP

文件传输

20

ftplib, urllib

SMTP

发送邮件

25

smtplib

POP3

接收邮件

110

poplib

IMAP4

获取邮件

143

imaplib

Telnet

命令行

23

telnetlib

Gopher

信息查找

70

gopherlib, urllib

 
 

scrapy

爬虫框架

scrapyd

  

scrapydo

  

requests

http请求

Urlib

网络包urllib, urllib2,urllib3

CookieJar

cookie设置

Grab

网络包

Pycurl

libcurl库

Httplib2

网络包

Robotbrowser

浏览器库

Mechanicalsoup

自动交互包

Mechanize

web库

Socket

底层接口包

Hyper

Http/2客户端

Pysocks

  

Treq

类似requests

Aiohttp

http客户端

Http-praser

c语言实现的http解析器

  

  

Grab

基于pycurl/multicur爬虫框架

Pyspider

爬虫系统,带web任务

Cola

分布式爬虫

Portia

基于scrapy可视化爬虫

Restkit

http包

Demiurge

基于pyquery爬虫

  

  

  

  

BeautifulSoup

beautifulsoup4,Html/xml解析库(依赖于lxml)

lxml

Html/xml解析(Xpath解析html)

Cssselect

dom和css选择器

Cssutis

css库

Pyquery

解析dom和jquery选择器

Html5lib

生成html/dom文档

Xmltodict

html类似json处理

simplejson

  

Xhtml2pdf

Html/css转换为pdf

Bleach

html清理

Sanitize

html清理

  

  

Tablib

数据导出xls/csv/json等

Textract

doc/ppt/pdf提取文本

Messytables

解析表格数据

Rows

数据接口

Python-docs

doc修改

Xlwt/xlrd/xlsxwriter

xlsx去写

Xlwings

Excel

Openpyxl

Excel

Pdfminer

pdf读取 pip install pdfminer3k

python很多包确实很烂,pdfminder中文pdf等识别不了。转java

Pypdf2

分割合并pdf

Reportlab

创建pdf

Pdftables

pdf读取表格

Pyexcel

excel导入导出(QQ-Groups-Spider项目)

  

  

Python-markdown

Markdown

Mistune

  

Markdown2

  

Pyyaml

yaml解析

Psd-tools

psd读取

  

  

Spynner

Webkit

Ghost.py

Webkit

Splinter

api浏览器模拟器(b=Browser(driver_name="chrome")

splinterselenium之上又封装了一层,使得接口更为简单

splinter只有在使用浏览器的时候才需要安装selenium

pip3 install splinter selenium xvfbwrapper

  

  

  

  

  

  

Selenium

自动化浏览器(chrome/firefox/Opera/IE)

webbrowser

系统自带,无需pip安装

  

  

Newspaper

新闻提取

Html2text

html转markdown

Python-goose

html文章提取

Lassie

  

Micawber

  

Sumy

  

Haul

  

Scrapely

  

 
 

数据分析:

numpy

提供了类似于matlab数值计算能力,代数计算/傅里叶变换/随机数/数学函数/读写数据

pandas

基于numpy,提供了数据分析能力

keras

深度学习框架,支持TensorFlow后端《Deep Learning with Keras

  

Pillow

图像处理包

Scipy

  

sympy

  

matplotlib

绘制数据图表

xgboost

boost算法

Nltk

文本处理

Pattern

文本处理

Textbolb

  

Jieba

中文分词(kesic比赛用到中文分词,计算词频)

snowNLP

中文处理

Loso

中文分词

Genius

基于条件随机中文分词

Langid.py

独立语言识别

Korean

韩文形态库

Pymorphy2

俄语分析库

PyPLN

分布式语言处理

simpleCV

图像处理/特征提取

Mahotas

C++实现

Charts

作图可视化

Opencv

pip install opencv-python

Dlib

pip install dlib

Pyspark

spark包

Scikit-learn

机器学习包

skflow

 
 

 
 

 
 

web开发:

mysql-python

mysql操作包

mysql-connector

  

pymysql

  

PyMySQL

  

Django

Django==1.10.4

Python markdown

  

html5lib

  

Python OpenId

  

South

  

redis

  

pyqrcode

二维码操作包

pypng

  

pymongo

  

Dnsyo

dns检测

Pycares

Dns

Crossbar

开源消息传递路由器

Shadowsocks

代理服务器(翻墙)

Tproxy

tcp代理

bottle

web框架(QQ-Groups-Spider)

 
 

pip包下载:

 
 

http://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml

 
 

 
 

pip包安装:

pip install -r requirements.txt

 
 

生成requirements.txt

pip freeze > requirements.txt

博客地址:http://blog.yoqi.me/?p=3681
扫我捐助哦
喜欢 0

这篇文章还没有评论

发表评论