俺的モダンなPythonのOSS開発環境

Apr 11, 2012 python

趣味プログラマです、こんにちわ。一応生きてます。

さて、Pythonista各位におかれましてはmoratoriumをエンジョイされていますでしょうか。そろそろライブラリも著名なものはPython3に対応してきましたし、そろそろ本格的にPython3、となっているころ合いですね。というか、Python3に対応してないとちょっと恥ずかしくなってきましたね。

とはいえ、Python2は根強く残るでしょう。というわけでPython2とPython3両方で動くコードを書きましょう。テストも書くのは当たり前ですし、せっかくなのでCIもしましょう。

と私も最近思ったので快適に開発を進めるための環境についてメモです。

github : 言わずもがなですね。
travis : githubと連携してCIできるサービス。P言語にも対応していて、最近アツいです。
tox : 複数のPython処理系でvirtualenvを作りテストを流せる。
distribute : 改良版setuptools。
pytest : toxと親和性の高いテストツール。noseでもよいですが私はpytestを押します。

Python2とPython3のインストール

あたりまえですが、Python2系とPython3系両方入れておきましょう。

toxのインストール

さて、早速toxを入れていくわけですがこれにはPython2系を使います。

1$ wget http://python-distribute.org/distribute_setup.py 
2$ python27 distribute_setup.py
3$ easy_install virtualenv tox

簡単ですね。

プロジェクトを始める - ファイル・ディレクトリ構成

次に、プロジェクトの基本形を作りましょう。私は以下のような構成にしています。

 1/
 2  + - .tox                        : toxにより生成されるディレクトリ。
 3  + - docs                        : ドキュメント系はココ。
 4           + - source             : ドキュメントのソース。
 5           + - build
 6                     + - html(link to gh-pages)
 7                                  : sphinxで生成されたHTMLドキュメント。
 8                                    gh-pagesブランチへのリンク。
 9  + - src                         : ソースファイル類。
10           + - プロジェクト名
11           + - tests
12  - tox.ini                       : tox設定ファイル。
13  - .travis.yml                   : travis設定ファイル。
14  - setup.py                      : セットアップスクリプト。
15  - MANIFEST.in                   : 配布パッケージ生成用定義ファイル。
16  - README.rst                    : 私を読んで。
17  - CHANGES.rst                   : 変更履歴。

普通です。ポイントは docs/build/html をgh-pagesへのリンクにすること。これでドキュメントの管理が非常に楽になります。

tox.iniの作成

tox.iniに依存関係と、どの処理系でテストするか、テストはなにを使ってやるかを書きましょう。だいたいの場合、それだけで十分です。

 1[tox]
 2envlist = py27,py32
 3
 4[testenv]
 5changedir=src/tests
 6deps=pytest
 7     pytest-cov
 8     その他依存パッケージ
 9commands=
10  py.test \
11    -rxs \
12    --cov-report term-missing \
13    --cov テスト対象パッケージ名\
14    --basetemp={envtmpdir}  \ 
15    []

見ての通りの内容です。Pytnon27とPython32でテストします、と。この時処理系のパス(python.exeやpython27などのパス)はOSごとに デフォルト の場所が使われます。 --configure でprefixを指定していたり、Windowsで別フォルダにインストールしている場合は以下のようにします。

 1[tox]
 2envlist = py27,py32
 3
 4[testenv:py27]
 5basepython=処理系へのパス
 6
 7[testenv:py32]
 8basepython=処理系へのパス
 9
10[testenv]
11changedir=src/tests
12deps=pytest
13     pytest-cov
14     その他依存パッケージ
15commands=
16  py.test \
17    -rxs \
18    --cov-report term-missing \
19    --cov テスト対象パッケージ名\
20    --basetemp={envtmpdir}  \ 
21    []

とりあえず開発

とりあえず何かコードを書いて、テストも書きましょう。

toxでテスト

ではtoxでテストしましょう。tox.iniがあるディレクトリに移動してから

1$ tox

これで

それぞれの処理系のvirtualenvの作成
依存ライブラリのインストール
テストの実行

が行われ、結果が表示されます。py27だけ流したい場合は tox -e py27 とするか環境変数 TOXENV=py27 を設定したうえで tox とすればOK.

拙作のwebフレームワーク rays ですと以下のような感じです(長いのでpy32の結果のみ)。pytest-covを入れているのでC0カバレッジも表示されます。

 1_________________________________________________________________________________________ [tox sdist] __________________________________________________________________________________________
 2[TOX] ***creating sdist package
 3[TOX] /home/yuin/github/rays$ /opt/python2.7.2/bin/python2.7 setup.py sdist --formats=zip --dist-dir .tox/dist >.tox/log/0.log
 4[TOX] ***copying new sdistfile to '/home/yuin/.tox/distshare/rays-0.4.0.zip'
 5______________________________________________________________________________________ [tox testenv:py32] ______________________________________________________________________________________
 6[TOX] ***creating virtualenv py32
 7[TOX] /home/yuin/github/rays/.tox$ /opt/python3.2.2/bin/python3.2 /opt/python2.7.2/lib/python2.7/site-packages/virtualenv-1.7.1.2-py2.7.egg/virtualenv.py --no-site-packages py32 >py32/log/0.log
 8[TOX] ***installing dependencies: pytest, pytest-cov, webtest, sphinx
 9[TOX] /home/yuin/github/rays/.tox/py32/log$ ../bin/pip install --download-cache=/home/yuin/github/rays/.tox/_download pytest pytest-cov webtest sphinx >1.log
10[TOX] ***installing sdist
11[TOX] /home/yuin/github/rays/.tox/py32/log$ ../bin/pip install --download-cache=/home/yuin/github/rays/.tox/_download /home/yuin/github/rays/.tox/dist/rays-0.4.0.zip >2.log
12[TOX] /home/yuin/github/rays/src/tests$ ../../.tox/py32/bin/py.test -rxs --cov-report term-missing --cov rays --basetemp=/home/yuin/github/rays/.tox/py32/tmp
13===================================================================================== test session starts ======================================================================================
14platform linux2 -- Python 3.2.2 -- pytest-2.2.3
15collected 120 items
16
17test_application.py ........................
18test_async_extension.py sss
19test_database.py .......
20test_defaultattrdict.py .....
21test_extension.py .
22test_functions.py .........
23test_hookable.py .....
24test_request.py .....................
25test_response.py ...............
26test_session.py ............
27test_staticfile_extension.py .....
28test_templating.py .............
29----------------------------------------------------------------------- coverage: platform linux2, python 3.2.2-final-0 ------------------------------------------------------------------------
30Name                                           Stmts   Miss  Cover   Missing
31----------------------------------------------------------------------------
32/home/yuin/github/rays/src/rays/__init__    1648    190    88%   82, 259, 807-808, 824-839, 842-888, 892-901, 909-917, 925-933, 946-954, 1408, 1509, 1595-1597, 1934-1943, 1973, 2033-2063, 2088-2089, 2547-2560, 2563-2571, 2574-2575, 2579-2585, 2589, 2593-2596, 2600, 2604-2615
33/home/yuin/github/rays/src/rays/compat        98     42    57%   11-13, 17, 19-20, 67-118
34----------------------------------------------------------------------------
35TOTAL                                           1746    232    87%
36=================================================================================== short test summary info ====================================================================================
37SKIP [3] /home/yuin/github/rays/.tox/py32/lib/python3.2/site-packages/_pytest/skipping.py:118: condition: SkipIf._no_gevent
38
39============================================================================ 117 passed, 3 skipped in 14.81 seconds ============================================================================
40________________________________________________________________________________________ [tox summary] _________________________________________________________________________________________

.travis.ymlの作成

無事、複数のインタプリタでテストできました。次はCIです。 Travis CI を使うと、githubにpushしたタイミングでビルド＆テストが自動でできます。

まずは、Travis CIにgithubのアカウントでログインして、対象のレポジトリでCIを有効にします。

次に、Travis CIでのビルド＆テスト設定を.travis.ymlに書きます。ここではtoxを使っていますから、以下のようになります。

1language: python
2env:
3  - TOXENV=py27
4  - TOXENV=py32
5install: 
6  - pip install --use-mirrors tox
7script: tox

TOXENV でテストする環境を指定します。今回の例ではpy27とpy32です。

これでgithubにpushするとTravis CIが動くようになりました。

Travis CI + tox快適です

ガンガンPython3対応をしましょう！

inforno

information + inferno ... inforno