常用Python库整理

记录工作和学习中遇到和使用过的Python库 。Target四个Level

  • 整理 Collect
  • 学习 Learn
  • 练习 Practice
  • 掌握 Master
1. Python原生和功能增强1.1 python-dateutilPython-dateutil 模块为标准的 datetime 模块提供了强大的功能扩展 。普通的 Python datetime 无法做到的事情都可以使用 python-dateutil 完成 。
https://juejin.cn/post/7028598668483641351
1.2 pytz类似于dateutils , 该库可以帮助你操作日期和时间 。处理时区很麻烦 。幸运的是,这个包可以让时区处理变得很容易 。
关于时间,我的经验是:在内部永远使用UTC,只有在需要产生供人阅读的输出时才转换成本地时间 。
https://cloud.tencent.com/developer/article/1619246
1.3 jsonpathjsonpath用来解析json数据,是一种简单的方法来提取给定JSON文档的部分内容 。它提供了类似正则表达式的语法,可以解析复杂的嵌套数据结构,可以非常方便的提取接口返回的数据信息 。
https://cloud.tencent.com/developer/article/1511637
Online Evaluator: https://jsonpath.com/
1.4 progress,tqdm创建进度条 。
python/article/details/118764070" rel="external nofollow noreferrer">https://blog.csdn.net/qianfengpython/article/details/118764070
2. 科学计算,统计学,数据分析和可视化2.1 NumpyNumPy是Numerical Python的简写 , 是Python数值计算的基石 。它提供多种数据结构、算法以及大部分涉及Python数值计算所需的接口 。NumPy还包括其他内容:
  • 快速、高效的多维数组对象ndarray
  • 基于元素的数组计算或数组间数学操作函数
  • 用于读写硬盘中基于数组的数据集的工具
  • 线性代数操作、傅里叶变换以及随机数生成
除了NumPy赋予Python的快速数组处理能力之外,NumPy的另一个主要用途是在算法和库之间作为数据传递的数据容器 。对于数值数据,NumPy数组能够比Python内建数据结构更为高效地存储和操作数据 。
2.2 Pandaspandas提供了高级数据结构和函数,这些数据结构和函数的设计使得利用结构化、表格化数据的工作快速、简单、有表现力 。
2.3 Matplotlib对于Python编程者来说也有其他可视化库,但matplotlib依然使用最为广泛,并且与生态系统的其他库良好整合 。我认为将它作为默认可视化工具是一个安全的选择 。
2.4 SciPySciPy是科学计算领域针对不同标准问题域的包集合 。以下是SciPy中包含的一些包:
  • scipy.integrate 数值积分例程和微分方程求解器
  • scipy.linalg 线性代数例程和基于numpy.linalg的矩阵分解
  • scipy.optimize 函数优化器(最小化器)和求根算法
  • scipy.signal 信号处理工具
  • scipy.sparse 稀疏矩阵与稀疏线性系统求解器
  • scipy.special SPECFUN的包装器 。SPECFUN是Fortran语言下实现通用数据函数的包 , 例如gamma函数 。
  • scipy.stats 标准的连续和离散概率分布(密度函数、采样器、连续分布函数)、各类统计测试、各类描述性统计 。
SciPy与NumPy一起为很多传统科学计算应用提供了一个合理、完整、成熟的计算基础 。
2.5 Statsmodelsstatsmodels是一个统计分析包 。
与scikit-learn相比,statsmodels包含经典的(高频词汇)统计学、经济学算法 。它所包含的模型如下 。
  • 回归模型:线性回归、通用线性模型、鲁棒线性模型、线性混合效应模型等
  • 方差分析(ANOVA )
  • 时间序列分析:AR、ARMA、ARIMA、VAR等模型
  • 非参数方法:核密度估计、核回归
  • 统计模型结果可视化
statsmodels更专注于统计推理 , 提供不确定性评价和p值参数 。相反 , scikit-learn更专注于预测 。
2.6 Seaborn2.7 PyEcharts2.8 python/" rel="external nofollow noreferrer">Plotly
  • 需要梯子
2.9 PastyPatsy是一个python库,用于描述统计模型(尤其是线性模型),方法是通过一个叫做公式语法(formula syntax)的字符串来描述 。这种公式语法的灵感来源于R和S语言中的公式语法 。
Patsy的公式是有特殊格式的字符串,像下面这样: y ~ x0 + x1 这种a + b的语法并不代表将a和b相加,而是代表为模型创建的设计矩阵的术语(terms in the design matrix) 。patsy.dmatrices函数,取一个公式字符串和一个数据集(可以使DataFrame或dict),然后为线性模型产生设计矩阵 。
https://developer.aliyun.com/article/798127
3. Web开发3.1 Flask3.2 Flask-restful基于Flask快速创建restful API接口 。

推荐阅读