常用Python库整理( 二 )


3. Django4. 网络,HTTP,爬虫4.1 urllib, urllib2, urllib3Python 内置 。用来发送HTTP请求,包含了可以添加headers,认证等高级信息 。
urllib2给python2用的,python3中urllib2和并到了urllib 。
https://zhuanlan.zhihu.com/p/92847111
4.2 requestsPython内置 。发送HTTP请求 , 比urllib更简洁 。
python3/python-requests.html" rel="external nofollow noreferrer">https://www.runoob.com/python3/python-requests.html
4.3 lxml用来处理xml和HTML文件 。语法上利用xpath 。
4.4 BeautifulSoup处理HTML文件 。
4.5 Selenium自动化测试,可以用来完全模拟浏览器,不停发送爬虫请求 。
4.6 scrapy爬虫框架 。
4.7 Socket套接字通讯底层库,用于在服务器和客户端间建立TCP或UDP连接,通过连接发送请求与响应 。
5. 图形界面5.1 pythonpyqt.com/" rel="external nofollow noreferrer">PyQt6. 自然语言处理6.1 NTLK英文文本处理 。
6.2 jieba中文分词 。
6.3 HanLP完整中文自然语言处理工具链,分词,词性标注,命名实体识别 , 依存句法分析等 。
7. 图像处理7.1 OpenCVhttps://opencv.org/
7.2 python-pillow.org/" rel="external nofollow noreferrer">Pillow用来快速处理图像image 。
8. 机器学习8.1 Scikit-learnscikit-learn项目诞生于2010年,目前已成为Python编程者首选的机器学习工具包 。仅仅七年,scikit-learn就拥有了全世界1 500位代码贡献者 。其中包含以下子模块:

  • 分类:SVM、最近邻、随机森林、逻辑回归等
  • 回归:Lasso、岭回归等
  • 聚类:k-means、谱聚类等
  • 降维:PCA、特征选择、矩阵分解等
  • 模型选择:网格搜索、交叉验证、指标矩阵
  • 预处理:特征提取、正态化
scikit-learn与pandas、statsmodels、IPython一起使Python成了高效的数据科学编程语言 。
8.2 TensorFlow8.3 Keras8.4 PyTorch9. 数据库9.1 SQLAlchemypython database ORM framework
9.2 psycopg2Python-PostgreSQL 连接框架 。
10. 知识图谱11. 交互编程11.1 python.org/" rel="external nofollow noreferrer">IPython尽管它本身并不提供任何计算或数据分析工具 , 它的设计侧重于在交互计算和软件开发两方面将生产力最大化 。它使用了一种执行-探索工作流来替代其他语言中典型的编辑-编译-运行工作流 。它还提供针对操作系统命令行和文件系统的易用接口 。由于数据分析编码工作包含大量的探索、试验、试错和遍历 , IPython可以使你更快速地完成工作 。
11.2 Jupyter11.3 Jupyterlab12. 音频处理12.1 PyAudioAnalysis非常好用且强大的音频分析开源工具,能实现音频的特征提取、分类和回归模型的训练和执行,以及其他一些实用的功能 。
https://www.cnblogs.com/littlemujiang/p/pyAudioAnalysis-wen-dang.html
12.2 Pydubpydub 提供了简洁的高层接口,极大的扩展了python处理音频文件的能力 , pydub可能不是最强大的Python音频处理库,但绝对是Python最简洁易用的音频库只要 , 非要说有什么弊端,大概只有高度依赖ffmpeg,Linux安装起来不太方便吧 。其功能足以满足大多数情况下的音频处理需求 。
https://blog.csdn.net/baidu_29198395/article/details/86694365
12.3 librosa常见的时频处理、特征提取、绘制声音图形等功能应有尽有,功能十分强大 。
13. 文本处理,文档处理,词云13.1 openpyxl处理MS Excel的库 。
13.2 python-docx.readthedocs.io/en/latest/" rel="external nofollow noreferrer">python-docx处理MS Word的库 。
13.3 Wordcloud词云生成器
https://bbs.huaweicloud.com/blogs/382777
14. 打包、平台转换等14.1 Py2exe将python脚本转换为windows上可以独立运行的可执行程序 。
https://blog.csdn.net/bruce_6/article/details/82906444
14.2 Pyinstallerhttps://zhuanlan.zhihu.com/p/71081512
【常用Python库整理】

推荐阅读