再見pip & conda！管理Python依賴關(guān)系的更好的選擇：Poetry

黃爸爸好 2023-08-08 發(fā)布于上海

展開全文

在你的數(shù)據(jù)科學項目的開始階段，使用pip或conda等依賴性管理工具可能就足夠了。

然而，隨著項目的擴大，依賴關(guān)系的數(shù)量也在增加。這可能會使項目的環(huán)境難以重現(xiàn)，并且在僅僅依靠pip或conda進行依賴性管理時難以有效地維護它。

此時 Poetry 應運而生，它是一個開源庫，提供了一個強大的工具來創(chuàng)建和維護具有一致環(huán)境的Python項目。在這篇文章中，我們將深入探討Poetry的優(yōu)勢，并強調(diào)它與pip和conda的主要區(qū)別。

安裝的便利性

一鍵輕松安裝過程，能夠快速采用并將軟件包集成到我們的代碼庫中，從而節(jié)省時間和精力。

Conda

Conda的安裝格式對于不同的軟件包是不一致的。例如，要安裝polars，你需要運行：

conda install -c conda-forge polar

而要安裝pandas，命令是：

conda install -c anaconda pandas

Pip

Pip對每個軟件包都有一致的安裝格式：

pip install package-name

Poetry

Poetry也都遵循相同的安裝格式：

poetry add package-name

可用的packages

軟件包選擇空間大，使得找到最適合需求的特定軟件包和版本更容易。

Conda

有些軟件包，如 'snscrape'，不能通過conda安裝。此外，某些版本，如Pandas 2.0，可能無法通過Conda安裝。

雖然可以在conda的虛擬環(huán)境中使用pip來解決軟件包的限制，但conda不能跟蹤用pip安裝的依賴關(guān)系。

$ conda list
# packages in environment at /Users/khuyentran/miniconda3/envs/test-conda:
#
# Name                    Version                   Build  Channel

Pip

Pip可以安裝來自Python Package Index (PyPI)和其他存儲庫的任何軟件包。

Poetry

Poetry還可以安裝來自Python Package Index (PyPI)和其他存儲庫的軟件包。

依賴關(guān)系的數(shù)量

減少環(huán)境中的依賴性，可以簡化開發(fā)過程。

Conda

Conda提供完全的環(huán)境隔離，同時管理Python軟件包和系統(tǒng)級的依賴關(guān)系。與其他軟件包管理器相比，這可能會導致軟件包太大，在安裝和分發(fā)時可能會消耗更多的存儲空間。

$ conda install pandas

$ conda list          

# packages in environment at /Users/khuyentran/miniconda3/envs/test-conda:
#
# Name              Version         Build           Channel             
blas                1.0             openblas                          
bottleneck          1.3.5           py311ha0d4635_0                    
bzip2               1.0.8           h620ffc9_4                        
ca-certificates     2023.05.30      hca03da5_0                        
libcxx              14.0.6          h848a8c0_0                        
libffi              3.4.4           hca03da5_0                        
libgfortran         5.0.0           11_3_0_hca03da5_28                 
libgfortran5        11.3.0          h009349e_28                       
libopenblas         0.3.21          h269037a_0                        
llvm-openmp         14.0.6          hc6e5704_0                        
ncurses             6.4             h313beb8_0                        
numexpr             2.8.4           py311h6dc990b_1                    
numpy               1.24.3          py311hb57d4eb_0                    
numpy-base          1.24.3          py311h1d85a46_0                    
openssl             3.0.8           h1a28f6b_0                        
pandas              1.5.3           py311h6956b77_0                    
pip                 23.0.1          py311hca03da5_0                    
python              3.11.3          hb885b13_1                        
python-dateutil     2.8.2           pyhd3eb1b0_0                      
pytz                2022.7          py311hca03da5_0                    
readline            8.2             h1a28f6b_0                        
setuptools          67.8.0          py311hca03da5_0                    
six                 1.16.0          pyhd3eb1b0_1                      
sqlite              3.41.2          h80987f9_0                        
tk                  8.6.12          hb8d0fd4_0                        
tzdata              2023c           h04d1e81_0                        
wheel               0.38.4          py311hca03da5_0                    
xz                  5.4.2           h80987f9_0                        
zlib                1.2.13          h5a0b063_0

Pip

Pip只安裝軟件包所需的依賴性。

$ pip install pandas

$ pip list
Package         Version
--------------- -------
numpy           1.24.3
pandas          2.0.2
pip             22.3.1
python-dateutil 2.8.2
pytz            2023.3
setuptools      65.5.0
six             1.16.0
tzdata          2023.3

Poetry

Poetry也只安裝軟件包所需的依賴項。

$ poetry add pandas
$ poetry show

卸載Packages

卸載軟件包及其依賴關(guān)系可以釋放磁盤空間，防止不必要的雜亂，并優(yōu)化存儲資源的使用。

Pip

Pip只刪除指定的包，而不是它的依賴關(guān)系，可能會導致未使用的依賴關(guān)系長期積累。這可能導致增加存儲空間的使用和潛在的沖突。

$ pip install pandas
$ pip uninstall pandas
$ pip list

Package         Version
--------------- -------
numpy           1.24.3
pip             22.0.4
python-dateutil 2.8.2
pytz            2023.3
setuptools      56.0.0
six             1.16.0
tzdata          2023.3

Conda

Conda刪除了該軟件包及其依賴關(guān)系。

$ conda install -c conda pandas

$ conda uninstall -c conda pandas

Collecting package metadata (repodata.json): done
Solving environment: done

## Package Plan ##

environment location: /Users/khuyentran/miniconda3/envs/test-conda

removed specs:
- pandas


The following packages will be REMOVED:

blas-1.0-openblas
bottleneck-1.3.5-py311ha0d4635_0
libcxx-14.0.6-h848a8c0_0
libgfortran-5.0.0-11_3_0_hca03da5_28
libgfortran5-11.3.0-h009349e_28
libopenblas-0.3.21-h269037a_0
llvm-openmp-14.0.6-hc6e5704_0
numexpr-2.8.4-py311h6dc990b_1
numpy-1.24.3-py311hb57d4eb_0
numpy-base-1.24.3-py311h1d85a46_0
pandas-1.5.3-py311h6956b77_0
python-dateutil-2.8.2-pyhd3eb1b0_0
pytz-2022.7-py311hca03da5_0
six-1.16.0-pyhd3eb1b0_1


Proceed ([y]/n)? 

Preparing transaction: done
Verifying transaction: done
Executing transaction: done

Poetry

Poetry還刪除了該軟件包及其依賴關(guān)系。

$ poetry add pandas
$ poetry remove pandas

· Removing numpy (1.24.3)
· Removing pandas (2.0.2)
· Removing python-dateutil (2.8.2)
· Removing pytz (2023.3)
· Removing six (1.16.0)
· Removing tzdata (2023.3)

依賴性文件

依賴文件通過指定所需軟件包的確切版本或版本范圍來確保軟件項目環(huán)境的可重復性。

這有助于在不同的系統(tǒng)或不同的時間點上重新創(chuàng)建相同的環(huán)境，確保具有相同依賴關(guān)系的開發(fā)人員之間的協(xié)作。

Conda

為了在Conda環(huán)境中保存依賴關(guān)系，需要手動將它們寫入一個文件中。在environment.yml文件中指定的版本范圍可能會導致不同的版本被安裝，在復制環(huán)境時可能會引入兼容性問題。

我們假設已經(jīng)安裝了1.5.3版的pandas作為例子。下面是一個指定了依賴關(guān)系的environment.yml文件的例子：

# environment.yml
name: test-conda
channels:
- defaults
dependencies:
- python=3.8
- pandas>=1.5

如果一個新的用戶試圖在pandas的最新版本是2.0的時候重現(xiàn)環(huán)境，那么pandas 2.0將被替代安裝。

# 創(chuàng)建并激活一個虛擬環(huán)境
$ conda env create -n env
$ conda activate env

# 列出當前環(huán)境中的軟件包
$ conda list
...
pandas 2.0

如果代碼庫依賴于pandas 1.5.3版本特有的語法或行為，而語法在2.0版本中發(fā)生了變化，那么用pandas 2.0運行代碼可能會帶來錯誤。

Pip

同樣的問題也可能發(fā)生在管道上。

# Requirements.txt
pandas>=1.5
# 創(chuàng)建并激活一個虛擬環(huán)境
$ python3 -m venv venv
$ source venv/bin/activate

# 安裝依賴項
$ pip install -r requirements.txt

# 列出軟件包
$ pip list
Package    Version
---------- -------
pandas       2.0
...
...

可以通過把它們凍結(jié)在requirements.txt文件中來確定版本：

```bash
$ pip freeze > requirements.txt
# requirements.txt

numpy==1.24.3
pandas==1.5.3
python-dateutil==2.8.2
pytz==2023.3
six==1.16.0
```

然而，這樣的代碼環(huán)境并不那么靈活，從長遠來看，可能更難維護。對依賴關(guān)系的任何改變都需要手動修改requirements.txt文件，這可能很費時且容易出錯。

Poetry

Poetry在安裝軟件包時自動更新pyproject.toml文件。

在下面的例子中，'pandas '包被加入了版本約束'^1.5'。這種靈活的版本管理方法確保你的項目可以適應更新的版本，而不需要手動調(diào)整。

$ poetry add 'pandas=^1.5'
# pyproject.toml

[tool.poetry.dependencies]
python = '^3.8'
pandas = '^1.5'

poetry.lock文件存儲了每個軟件包及其依賴關(guān)系的精確版本號。

# poetry.lock
...
[[package]]
name = 'pandas'
version = '1.5.3'
description = 'Powerful data structures for data analysis, time series, and statistics'
category = 'main'
optional = false
python-versions = '>=3.8'

[package.dependencies]
numpy = [
{version = '>=1.20.3', markers = 'python_version < \'3.10\''},
{version = '>=1.21.0', markers = 'python_version >= \'3.10\''},
{version = '>=1.23.2', markers = 'python_version >= \'3.11\''},
]
python-dateutil = '>=2.8.2'
pytz = '>=2020.1'
tzdata = '>=2022.1'
...

這保證了所安裝軟件包的一致性，即使一個軟件包在 pyproject.toml 文件中指定了版本范圍。在這里，我們可以看到pandas 1.5.3被安裝，而不是pandas 2.0

$ poetry install

$ poetry show pandas

name         : pandas                                                                  
version      : 1.5.3                                                                   
description  : Powerful data structures for data analysis, time series, and statistics 

dependencies
- numpy >=1.20.3
- numpy >=1.21.0
- numpy >=1.23.2
- python-dateutil >=2.8.1
- pytz >=2020.1

為開發(fā)和生產(chǎn)環(huán)境提供單獨的依賴

通過分離依賴關(guān)系，可以明確區(qū)分開發(fā)目的所需的包，如測試框架和代碼質(zhì)量工具，和生產(chǎn)環(huán)境所需的包，通常包括核心依賴關(guān)系。

這確保生產(chǎn)環(huán)境只包含運行應用程序所需的軟件包，減少沖突或兼容性問題的風險。

Conda

Conda本質(zhì)上并不支持不同環(huán)境下的獨立依賴，但一個變通方法是創(chuàng)建兩個環(huán)境文件：一個用于開發(fā)環(huán)境，一個用于生產(chǎn)環(huán)境。開發(fā)文件包含了生產(chǎn)和開發(fā)的依賴關(guān)系。

# environment.yml
name: test-conda
channels:
- defaults
dependencies:
# Production packages
- numpy
- pandas
# environment-dev.yml
name: test-conda-dev
channels:
- defaults
dependencies:
# Production packages
- numpy
- pandas
# Development packages
- pytest
- pre-commit

Pip

Pip也不直接支持獨立的依賴關(guān)系，但類似的方法可以用獨立的需求文件。

# requirements.txt
numpy 
pandas
# requirements-dev.txt
-r requirements.txt
pytest
pre-commit
# Install prod
$ pip install -r requirements.txt

# Install both dev and prod
$ pip install -r requirements-dev.txt

Poetry

Poetry通過支持一個文件中的分組，簡化了對依賴關(guān)系的管理。這使你能夠在一個地方跟蹤所有的依賴關(guān)系。

$ poetry add numpy pandas
$ poetry add --group dev pytest pre-commit
# pyproject.toml
[tool.poetry.dependencies]
python = '^3.8'
pandas = '^2.0'
numpy = '^1.24.3'

[tool.poetry.group.dev.dependencies]
pytest = '^7.3.2'
pre-commit = '^3.3.2'

要只安裝生產(chǎn)依賴性：

$ poetry install --only main

要同時安裝開發(fā)和生產(chǎn)依賴：

$ poetry install

更新一個環(huán)境

更新依賴關(guān)系對于從較新的軟件包版本中引入的錯誤修復、性能改進和新功能中獲益至關(guān)重要。

Conda

Conda可以只更新一個指定的軟件包。

$ conda install -c conda pandas
$ conda install -c anaconda scikit-learn
# 新版本可用
$ conda update pandas
$ conda update scikit-learn

之后，需要手動更新environment.yaml文件，使其與更新的依賴關(guān)系保持同步。

$ conda env export > environment.yml

Pip

Pip也只允許更新一個指定的軟件包，并要求我們手動更新requirements.txt文件。

$ pip install -U pandas
$ pip freeze > requirements.txt

Poetry

使用Poetry，可以使用 update 命令來升級 pyproject.toml 文件中指定的所有軟件包。這個動作會自動更新poetry.lock文件，確保軟件包規(guī)格和鎖文件的一致性。

$ poetry add pandas scikit-learn

# 新版本可用
poetry update

Updating dependencies
Resolving dependencies... (0.3s)

Writing lock file

Package operations: 0 installs, 2 updates, 0 removals

· Updating pandas (2.0.0 -> 2.0.2)
· Updating scikit-learn (1.2.0 -> 1.2.2)

依賴關(guān)系的解決

當項目所需的包或庫有沖突的版本或不兼容的依賴性時，就會發(fā)生依賴性沖突。正確解決沖突對于避免錯誤、運行時問題或項目失敗至關(guān)重要。

Pip

pip是按順序安裝軟件包的，這意味著它按照指定的順序一個一個地安裝每個軟件包。當軟件包有不兼容的依賴關(guān)系或版本要求時，這種順序方法有時會導致沖突。

例如，假設你先安裝pandas==2.0.2，這需要numpy>=1.20.3。后來，你用pip安裝numpy==1.20.2。盡管這將產(chǎn)生依賴性沖突，但pip會繼續(xù)更新numpy的版本。

$ pip install pandas==2.0.2

$ pip install numpy==1.22.2
Collecting numpy=1.20.2
Attempting uninstall: numpy
Found existing installation: numpy 1.24.3
Uninstalling numpy-1.24.3:
Successfully uninstalled numpy-1.24.3
ERROR: pip's dependency resolver does not currently take into account all the packages that are installed. This behaviour is the source of the following dependency conflicts.
pandas 2.0.2 requires numpy>=1.20.3; python_version < '3.10', but you have numpy 1.20.2 which is incompatible.
Successfully installed numpy-1.20.2

Conda

Conda使用一個SAT求解器來探索軟件包版本和依賴關(guān)系的所有組合，以找到一個兼容的集合。

例如，如果一個現(xiàn)有的軟件包對其依賴關(guān)系有特定的約束（例如，statsmodels==0.13.2要求numpy>=1.21.2,<2.0a0），而你要安裝的軟件包不符合該要求（例如，numpy<1.21.2），conda不會立即引發(fā)錯誤。相反，它將勤奮地搜索所有需要的軟件包及其依賴的兼容版本，只有在沒有找到合適的解決方案時才會報告錯誤。

$ conda install 'statsmodels==0.13.2'

$ conda search 'statsmodels==0.13.2' --info
dependencies: 
- numpy >=1.21.2,<2.0a0
- packaging >=21.3
- pandas >=1.0
- patsy >=0.5.2
- python >=3.9,<3.10.0a0
- scipy >=1.3

$ conda install 'numpy<1.21.2'

...
Package ca-certificates conflicts for:
python=3.8 -> openssl[version='>=1.1.1t,<1.1.2a'] -> ca-certificates
openssl -> ca-certificates
ca-certificates
cryptography -> openssl[version='>1.1.0,<3.1.0'] -> ca-certificates

Package idna conflicts for:
requests -> urllib3[version='>=1.21.1,<1.27'] -> idna[version='>=2.0.0']
requests -> idna[version='>=2.5,<3|>=2.5,<4']
idna
pooch -> requests -> idna[version='>=2.5,<3|>=2.5,<4']
urllib3 -> idna[version='>=2.0.0']

Package numexpr conflicts for:
statsmodels==0.13.2 -> pandas[version='>=1.0'] -> numexpr[version='>=2.7.0|>=2.7.1|>=2.7.3']
numexpr
pandas==1.5.3 -> numexpr[version='>=2.7.3']

Package patsy conflicts for:
statsmodels==0.13.2 -> patsy[version='>=0.5.2']
patsy

Package chardet conflicts for:
requests -> chardet[version='>=3.0.2,<4|>=3.0.2,<5']
pooch -> requests -> chardet[version='>=3.0.2,<4|>=3.0.2,<5']

Package python-dateutil conflicts for:
statsmodels==0.13.2 -> pandas[version='>=1.0'] -> python-dateutil[version='>=2.7.3|>=2.8.1']
python-dateutil
pandas==1.5.3 -> python-dateutil[version='>=2.8.1']

Package setuptools conflicts for:
numexpr -> setuptools
pip -> setuptools
wheel -> setuptools
setuptools
python=3.8 -> pip -> setuptools
pandas==1.5.3 -> numexpr[version='>=2.7.3'] -> setuptools

Package brotlipy conflicts for:
urllib3 -> brotlipy[version='>=0.6.0']
brotlipy
requests -> urllib3[version='>=1.21.1,<1.27'] -> brotlipy[version='>=0.6.0']

Package pytz conflicts for:
pytz
pandas==1.5.3 -> pytz[version='>=2020.1']
statsmodels==0.13.2 -> pandas[version='>=1.0'] -> pytz[version='>=2017.3|>=2020.1']

雖然這種方法提高了找到解決方案的機會，但它可能是計算密集型的，特別是在處理繁雜的環(huán)境時。

Poetry

通過關(guān)注項目的直接依賴關(guān)系，Poetry的確定性解析器縮小了搜索空間，使解析過程更加高效。它評估指定的約束條件，如版本范圍或特定版本，并立即識別任何沖突。

$ poetry add 'seaborn==0.12.2'
$ poetry add 'matplotlib<3.1' 

Because poetry shell depends on seaborn (0.12.2) which depends on matplotlib (>=3.1,<3.6.1 || >3.6.1), matplotlib is required.
So, because poetry shell depends on matplotlib (<3.1), version solving failed.

這種即時反饋有助于防止?jié)撛诘膯栴}升級，并允許開發(fā)人員在開發(fā)過程中及早解決問題。例如，在下面的代碼中，我們可以放寬對seaborn的要求，以便能夠安裝特定版本的matplotlib：

poetry add 'seaborn<=0.12.2'  'matplotlib<3.1' 

Package operations: 1 install, 2 updates, 4 removals

· Removing contourpy (1.0.7)
· Removing fonttools (4.40.0)
· Removing packaging (23.1)
· Removing pillow (9.5.0)
· Updating matplotlib (3.7.1 -> 3.0.3)
· Installing scipy (1.9.3)
· Updating seaborn (0.12.2 -> 0.11.2)