趣味プログラマです、こんにちわ。一応生きてます。

さて、Pythonista各位におかれましてはmoratoriumをエンジョイされていますでしょうか。そろそろライブラリも著名なものはPython3に対応してきましたし、そろそろ本格的にPython3、となっているころ合いですね。というか、Python3に対応してないとちょっと恥ずかしくなってきましたね。

とはいえ、Python2は根強く残るでしょう。というわけでPython2とPython3両方で動くコードを書きましょう。テストも書くのは当たり前ですし、せっかくなのでCIもしましょう。

と私も最近思ったので快適に開発を進めるための環境についてメモです。

• github : 言わずもがなですね。
• travis : githubと連携してCIできるサービス。P言語にも対応していて、最近アツいです。
• tox : 複数のPython処理系でvirtualenvを作りテストを流せる。
• distribute : 改良版setuptools。
• pytest : toxと親和性の高いテストツール。noseでもよいですが私はpytestを押します。

Python2とPython3のインストール

あたりまえですが、Python2系とPython3系両方入れておきましょう。

toxのインストール

さて、早速toxを入れていくわけですがこれにはPython2系を使います。

1$ wget http://python-distribute.org/distribute_setup.py 
2$ python27 distribute_setup.py
3$ easy_install virtualenv tox

簡単ですね。

プロジェクトを始める - ファイル・ディレクトリ構成

次に、プロジェクトの基本形を作りましょう。私は以下のような構成にしています。

 1/
 2  + - .tox                        : toxにより生成されるディレクトリ。
 3  + - docs                        : ドキュメント系はココ。
 4           + - source             : ドキュメントのソース。
 5           + - build
 6                     + - html(link to gh-pages)
 7                                  : sphinxで生成されたHTMLドキュメント。
 8                                    gh-pagesブランチへのリンク。
 9  + - src                         : ソースファイル類。
10           + - プロジェクト名
11           + - tests
12  - tox.ini                       : tox設定ファイル。
13  - .travis.yml                   : travis設定ファイル。
14  - setup.py                      : セットアップスクリプト。
15  - MANIFEST.in                   : 配布パッケージ生成用定義ファイル。
16  - README.rst                    : 私を読んで。
17  - CHANGES.rst                   : 変更履歴。

普通です。ポイントは docs/build/html をgh-pagesへのリンクにすること。これでドキュメントの管理が非常に楽になります。

tox.iniの作成

tox.iniに依存関係と、どの処理系でテストするか、テストはなにを使ってやるかを書きましょう。だいたいの場合、それだけで十分です。

 1[tox]
 2envlist = py27,py32
 3
 4[testenv]
 5changedir=src/tests
 6deps=pytest
 7     pytest-cov
 8     その他依存パッケージ
 9commands=
10  py.test \
11    -rxs \
12    --cov-report term-missing \
13    --cov テスト対象パッケージ名\
14    --basetemp={envtmpdir}  \ 
15    []                        

見ての通りの内容です。Pytnon27とPython32でテストします、と。この時処理系のパス(python.exeやpython27などのパス)はOSごとに デフォルト の場所が使われます。 --configure でprefixを指定していたり、Windowsで別フォルダにインストールしている場合は以下のようにします。

 1[tox]
 2envlist = py27,py32
 3
 4[testenv:py27]
 5basepython=処理系へのパス
 6
 7[testenv:py32]
 8basepython=処理系へのパス
 9
10[testenv]
11changedir=src/tests
12deps=pytest
13     pytest-cov
14     その他依存パッケージ
15commands=
16  py.test \
17    -rxs \
18    --cov-report term-missing \
19    --cov テスト対象パッケージ名\
20    --basetemp={envtmpdir}  \ 
21    []                        

とりあえず開発

とりあえず何かコードを書いて、テストも書きましょう。

toxでテスト

ではtoxでテストしましょう。tox.iniがあるディレクトリに移動してから

1$ tox

これで

• それぞれの処理系のvirtualenvの作成
• 依存ライブラリのインストール
• テストの実行

が行われ、結果が表示されます。py27だけ流したい場合は tox -e py27 とするか環境変数 TOXENV=py27 を設定したうえで tox とすればOK.

拙作のwebフレームワーク rays ですと以下のような感じです(長いのでpy32の結果のみ)。pytest-covを入れているのでC0カバレッジも表示されます。

 1_________________________________________________________________________________________ [tox sdist] __________________________________________________________________________________________
 2[TOX] ***creating sdist package
 3[TOX] /home/yuin/github/rays$ /opt/python2.7.2/bin/python2.7 setup.py sdist --formats=zip --dist-dir .tox/dist >.tox/log/0.log
 4[TOX] ***copying new sdistfile to '/home/yuin/.tox/distshare/rays-0.4.0.zip'
 5______________________________________________________________________________________ [tox testenv:py32] ______________________________________________________________________________________
 6[TOX] ***creating virtualenv py32
 7[TOX] /home/yuin/github/rays/.tox$ /opt/python3.2.2/bin/python3.2 /opt/python2.7.2/lib/python2.7/site-packages/virtualenv-1.7.1.2-py2.7.egg/virtualenv.py --no-site-packages py32 >py32/log/0.log
 8[TOX] ***installing dependencies: pytest, pytest-cov, webtest, sphinx
 9[TOX] /home/yuin/github/rays/.tox/py32/log$ ../bin/pip install --download-cache=/home/yuin/github/rays/.tox/_download pytest pytest-cov webtest sphinx >1.log
10[TOX] ***installing sdist
11[TOX] /home/yuin/github/rays/.tox/py32/log$ ../bin/pip install --download-cache=/home/yuin/github/rays/.tox/_download /home/yuin/github/rays/.tox/dist/rays-0.4.0.zip >2.log
12[TOX] /home/yuin/github/rays/src/tests$ ../../.tox/py32/bin/py.test -rxs --cov-report term-missing --cov rays --basetemp=/home/yuin/github/rays/.tox/py32/tmp
13===================================================================================== test session starts ======================================================================================
14platform linux2 -- Python 3.2.2 -- pytest-2.2.3
15collected 120 items
16
17test_application.py ........................
18test_async_extension.py sss
19test_database.py .......
20test_defaultattrdict.py .....
21test_extension.py .
22test_functions.py .........
23test_hookable.py .....
24test_request.py .....................
25test_response.py ...............
26test_session.py ............
27test_staticfile_extension.py .....
28test_templating.py .............
29----------------------------------------------------------------------- coverage: platform linux2, python 3.2.2-final-0 ------------------------------------------------------------------------
30Name                                           Stmts   Miss  Cover   Missing
31----------------------------------------------------------------------------
32/home/yuin/github/rays/src/rays/__init__    1648    190    88%   82, 259, 807-808, 824-839, 842-888, 892-901, 909-917, 925-933, 946-954, 1408, 1509, 1595-1597, 1934-1943, 1973, 2033-2063, 2088-2089, 2547-2560, 2563-2571, 2574-2575, 2579-2585, 2589, 2593-2596, 2600, 2604-2615
33/home/yuin/github/rays/src/rays/compat        98     42    57%   11-13, 17, 19-20, 67-118
34----------------------------------------------------------------------------
35TOTAL                                           1746    232    87%
36=================================================================================== short test summary info ====================================================================================
37SKIP [3] /home/yuin/github/rays/.tox/py32/lib/python3.2/site-packages/_pytest/skipping.py:118: condition: SkipIf._no_gevent
38
39============================================================================ 117 passed, 3 skipped in 14.81 seconds ============================================================================
40________________________________________________________________________________________ [tox summary] _________________________________________________________________________________________

.travis.ymlの作成

無事、複数のインタプリタでテストできました。次はCIです。 Travis CI を使うと、githubにpushしたタイミングでビルド＆テストが自動でできます。

まずは、Travis CIにgithubのアカウントでログインして、対象のレポジトリでCIを有効にします。

次に、Travis CIでのビルド＆テスト設定を.travis.ymlに書きます。ここではtoxを使っていますから、以下のようになります。

1language: python
2env:
3  - TOXENV=py27
4  - TOXENV=py32
5install: 
6  - pip install --use-mirrors tox
7script: tox

TOXENV でテストする環境を指定します。今回の例ではpy27とpy32です。

これでgithubにpushするとTravis CIが動くようになりました。

Travis CI + tox快適です

ガンガンPython3対応をしましょう！

Googleが Goという新しいプログラミング言語 を出したようで。早速、インストールして軽くドキュメントを流し読みしてみました。

英語なんて読みたくないよ、という人もいるかもしれないし、誰かの役に立つかもしれないので自分用メモおいときます。完全に自分用なんである程度他の言語の知識がある人向けな上、ざっくり流し読みなんで間違ってるかも。

どんな言語？

• ネイティブコードを吐く、コンパイル型。

• 速度はCレベル。

• GC搭載。ポインタはあるけど、ポインタ演算はできません。

• 各種アーキに最適化された、それぞれのコンパイラセットを持ちます。例：

  • 6g, 6l : amd64
  • 8g, 8l : i386

• linux, mac, naclに対応。

• 動的型言語と静的型言語のおいしいとこどり。

• concurrent処理が組み込まれてます。

個人的雑感

• こんな言語設計思想かなあと感じたり

  • とにかく、シンプルな言語に。

    • C++の複雑な部分などはできるだけはずしているような。

      • いわゆるクラスベースのオブジェクト指向はない。

        • 継承はない。
        • あるのはフラットなインタフェース空間のみ。

      • 例外もない。

  • 低レイヤからは離れすぎたくない。

  • concurrentを言語的にサポートしたい。

• 以下の言語からの影響を感じたり

  • 言語コアはC。
  • C++はパッケージの書き方、記法に影響がみられる。
  • 命名規則や記法にPythonの影響がみられる。
  • concurrentな部分はErlangから影響をうけている。

言語仕様

自分なりに簡単にまとめて見ます。

変数への代入

下へ行くほど省略形。 var もあるから const もあるでよ。

1var s string = "";
2var s = "";
3s := "";

オブジェクト構造

値扱いの型と参照型があります。

• 値扱い : 代入、関数への私はコピーとなる。配列もまるごとコピーされる。

  • 各種数値 : int , float といったプラットフォームごとにサイズがきまる型と int32 のようにサイズ固定の型。
  • string : 不変、UTF8、ただのバイト配列
  • 配列
  • struct : ユーザ定義型
  • などなど

• 参照 : 3つのみ

  • map : 辞書
  • slice : 明示的なサイズを持たない、配列のようなもの
  • channel : concurrentで使う

値扱い型のアロケート方法 : new -> T* を返す

1var t *T = new(T);

参照型のアロケート方法 : make -> T を返す

1m := make(map[string]int);
2// これはダメ
3var m map[string]int;

配列とスライス

• 配列は「値」。でユーザがメモリ構造などを読める。スライスはコンパイラがよしなに確保する、参照型。

例えば int 型配列のポインタを受け取る場合。

標準配列(&がいる)

1s := sum(&[3]int{1,2,3});
2s := sum(&[...]int{1,2,3});

スライス

1s := sum([]int{1,2,3});

辞書型

 1timeZone := map[string]int{
 2  "UTC": 0*60*60,
 3  "EST": -5*60*60,
 4  "CST": -6*60*60,
 5  "MST": -7*60*60,
 6  "PST": -8*60*60,
 7}
 8
 9seconds, ok = timeZone[tz]
10//値がなければokはfalse
11if seconds, ok := timeZone[tz]; ok {
12    return seconds
13}
14//消す場合
15timeZone["UTC"] = 0, false;

パッケージ、制御構造、型定義、関数とメソッド、インタフェース

命名規則に特徴があります。 大文字始まり以外は外部から見えない が原則。単なる命名規則ではなく、そういう仕様。

パッケージ

パッケージ文でファイルの先頭に書きます。これが基本的な単位となります。

1package file

制御構造

特徴は

• ()がいらない。
• if や switch などの条件部に複数の文がかける
• ループは for のみ( while や do はない)
• switch が強力に(内容的にif-else if-elseチェイン)
• concurrent用に select がある

という点。かと。

ifの例

1if i % prime != 0 {
2    fmt.Printf("%d", i);
3}

switchの例

 1switch nr, er := f.Read(&buf); true {
 2           case nr < 0:
 3               fmt.Fprintf(os.Stderr, "cat: error reading from %s: %s\n", f.String(), er.String());
 4               os.Exit(1);
 5           case nr == 0: // EOF
 6               return;
 7           case nr > 0:
 8               if nw, ew := file.Stdout.Write(buf[0:nr]); nw != nr {
 9                   fmt.Fprintf(os.Stderr, "cat: error writing from %s: %s\n", f.String(), ew.String());
10               }
11}

caseに条件式がかける。breakは自動でされる。

型定義

type , struct キーワードを組み合わせる。 メンバにメソッドは含みません。

1type File struct {
2    fd int; // file descriptor number
3    name string; // file name at Open time
4}

メンバ名が小文字なので、パッケージ外からは見えません。

関数とメソッド

• 両方とも func キーワードで定義。
• 違いはレシーバを指定するか否か。 レシーバを明示的に書くところはPythonっぽい。
• 多値が返せる。

この多値がかえせる、というのがGoでは非常に重要な意味をもっています。

関数定義: 多値を返しています。大文字始まりなので、外部に公開されます。

1func Open(name string, mode int, perm int) (file *File, err os.Error) {
2     r, e := syscall.Open(name, mode, perm);
3     if e != 0 {
4         err = os.Errno(e);
5     }
6     return newFile(r, name), err
7}

返す型に (file *File, err os.Error) と変数名がついてますね。これをつけておけば return; ってかくだけでその名前の変数を返してくれます。

1func Open(name string, mode int, perm int) (file *File, err os.Error) {
2     r, e := syscall.Open(name, mode, perm);
3     if e != 0 {
4         err = os.Errno(e);
5     }
6     file = newFile(r, name)
7     return;
8}

こんな風にもかけるってことです。おそらく、エラー処理が絡む場合とかこっちのほうが書きやすかったりするんじゃないですかね。

クロージャにもなります。いわゆる関数ポインタをとるようなところで、関数がそのままかけて外部変数も見えます。

1startServer(func(a, b int) int { return a + b });

メソッド定義。 (file *File) がレシーバの指定。

 1func (file *File) Close() os.Error {
 2    if file == nil {
 3        return os.EINVAL
 4    }
 5    e := syscall.Close(file.fd);
 6    file.fd = -1; // so it can't be closed again
 7    if e != 0 {
 8        return os.Errno(e);
 9    }
10    return nil
11}

メソッド定義が struct での型定義時ではないことに注目。つまり 組み込み型などに対してもあとからメソッドを作成できるのです 。こんな感じ。

1type IntArray []int
2func (p IntArray) Len() int { return len(p); }

インタフェース

これ重要。Goはいわゆるクラスがないので、継承などもなく インタフェースによるダックタイピングでそれらを片付けます 。 interface キーワードで定義。

1type reader interface {
2     Read(b []byte) (ret int, err os.Error);
3     String() string;
4}

このように、 Read と String が定義されていればそれは reader なんだ、と考えます( ダックタイピング )。

実行時、動的にインタフェースが実装されているかも検査できます。

1s, ok := v.(Stringer);

v が Stringer インタフェースを満たしていれば

• s に Stringer オブジェクトとしてのv
• ok に true が

がかえってきます。

Concurrency

concurrentプログラミングはGoの大きな特徴。 CSP(Communicating Sequential Processes) に基づいてます。並行して動く「goroutines」という軽量プロセスが「channel」を介してやりとり。ガードと多重化のためにselect文があります。

channelは単体ではなくchan 受け渡しする型という感じで書きます。以下はチュートリアルのコードまんまです。

1func generate(ch chan int) {
2    for i := 2; ; i++ {
3        ch <- i // Send 'i' to channel 'ch'.
4    }
5}

int を扱う channel を受け取ってそれにiを送っていきます。

1func filter(in, out chan int, prime int) {
2    for {
3        i := <-in; // Receive value of new variable 'i' from 'in'.
4        if i % prime != 0 {
5            out <- i // Send 'i' to channel 'out'.
6        }
7    }
8}

送られた i が一定の条件を満たしていたら、 int を扱う out というchannelに送ります。

 1func main() {
 2    ch := make(chan int); // Create a new channel.
 3    go generate(ch); // Start generate() as a goroutine.
 4    for {
 5        prime := <-ch;
 6        fmt.Println(prime);
 7        ch1 := make(chan int);
 8        go filter(ch, ch1, prime);
 9        ch = ch1
10    }
11}

channelは参照型なので make で作ります。 go で実行します。これは丁寧に書いた感じ。クロージャを使えばもっとシンプル。

1func generate() chan int {
2    ch := make(chan int);
3    go func(){
4        for i := 2; ; i++ {
5            ch <- i
6        }
7    }();
8    return ch;
9}

多重化とガード

複数のチャンネルをとりあつかって、それらをガードにより振り分けられます。ErlangやScalaでおなじみの書き方です。

 1func server(op binOp, service chan *request, quit chan bool) {
 2    for {
 3        select {
 4        case req := <-service:
 5            go run(op, req); // don't wait for it
 6        case <-quit:
 7            return;
 8        }
 9    }
10}

request 型のポインタを扱うchannelと bool 型を扱うchannelを使って、多重化しています。 quit チャンネルに値が送られてくるまでは、送られてきたものから良しなに処理してくれる、という感じですね。

というわけで

なぐり書きしたメモでした。変なことかいてたらすみません。まぁこんな感じな言語かなあ、という程度で。

繰り替えしになりますが、C言語を元にシンプルに保ちながらconcurrentプログラミングしやすくしてます、って感じですね。完全にダックタイピングベースで多値を多様するスタイルはおもしろいですね。なんとなく見た目がキモく感じるのは私の気のせいでしょう。

というか数ヶ月もブログ放置してたのかー。コード書いてないわけじゃないんですけど、たいしたもんかいてないんですよね。割合的には8割がたCかな。月一くらいはブログ書いていきたいなあ・・・

Windows XPを使用していると、とにかく開いているフォルダでcmd.exeを起動したい、となることは多いです。

よくあるのは右クリックから開く、というやつ。まぁ当然、キーボード派の私にはありえない選択です。

んで、昔からCのプログラムとWSHをくみあわせてキーボードから開けるようにしていたのですが、やっぱWSHが絡むので遅い。

というわけでCだけで作ってみました。せっかくなのでおいておきます。

ダウンロード

explorexe.zip

使い方

解凍してできたexplorexe.exeのショートカットをデスクトップにつくります。

んで、ショートカットを右クリックして、

• 「リンク先」で cmd.exe /k cd /d %s を後ろに追加します。

  • 例: C:\Documents and Settings\yourname\デスクトップ\explorexe.exe cmd.exe /k cd /d %s

• 「ショートカットキー」を適当に設定します。

  • 例:Ctrl + Alt + C

これでOK。あとはエクスプローラを表示して、 Ctrl + Alt + C を押せばそのエクスプローラに表示されているフォルダをカレントにしてcmd.exeが開きます。

あとは、コマンドライン型ランチャーなんかに同様に登録するとめっさ快適です。

応用？

えー、見てのとおり引数の文字列に printf しているだけなので、cmd.exe以外にも使えます。 %s にあたるカレントフォルダのパスは空白が含まれている場合は自動的に「"」で囲まれます。