inforno

Inferno + Information ... inforno

埋め込みPythonを実装してみました

更新履歴

2009/02/20 version 1.0.0
- RendererとHelperを追加。詳しくはソースファイルヘッダ部分のドキュメントを参照してください。
2009/02/17 version 0.5.0
- <%= %>で自動的にフィルタを適応できるようになりました。また、renderメソッドがunicodeオブジェクトではなくunicodeのサブクラスEmbpyStringオブジェクトを返すようになりました。filterはEmbpyStringオブジェクトをスルーします。これにより2重でfilterが適応されることがなくなります。<%=r %>でフィルターをオフにできます。
 python code
 1. Embpy("<%= b %>", filter=cgi.escape).render({"v":""})
 2. # => ""
 3. Embpy("<%=r b %>", filter=cgi.escape).render({"v":""})
 4. # => ""
 6. result = Embpy("<%=r b %>", filter=cgi.escape).render({"v":""})
 7. # result.__class__ => EmbpyString
 8. Embpy("<%= b %>", filter=cgi.escape).render({"v":result})
 9. # => ""
- re.Scannerのscanメソッドがスレッドセーフだったのでインスタンスをモジュールグローバルにしました。また、re.Scannerインスタンスの初期化をLazyにしました。このことによりre.Scannerインスタンスの生成数が減り、さらにキャッシュのみの利用時にはインスタンスを生成しないのでパフォーマンスが向上しました。
2009/02/16 version 0.4.0
- パフォーマンス改善
2009/02/15 version 0.3.0
- epyの中の人から「end.. orz」という反応をいただいたので、endの代わりに<% %>も使えるようにしました。
 code
 1. <%- if True: -%>
 2. ok
 3. <% %>
と書けるようになりました。
2009/02/14 version 0.2.0
- "{" と "}"が辞書リテラルとかぶっていたので、"{:"と":}"に変更しました。
- 変換後コードでなく、コンパイル済みcodeオブジェクトをキャッシュするようにしました。

はじめに

このブログはweb.pyで作られており、テンプレートエンジンもweb.py標準のものを使っています。でもこのweb.pyのテンプレートエンジン、罠が多い。なので他のテンプレートエンジンに置き換えようかなあ、とか思ってました。

んで個人的にはわざわざテンプレート用に文法覚えるのはめんどいので、埋め込み形式でコードが短くて軽そうなのはないかと探したところ、epyがヒット。

ただ、この実装%>が文字列の中にあると動かなかったり(a= "hoge%>"みたいな)、コードの短さゆえに割り切っている部分が多いので同じくらい短いコードでもうちょっと高機能版を実装してみました。以前紹介したre.Scannerを活用すれば、見やすいコードで短く実装できました。

キャッシュ
インラインでPythonを書くことも出来る: def format(v) {: return "%4d"%v; :}みたいに。
eRubyのtrim modeの"<%-"と"-%>" : これがあると無いではテンプレートの見易さが段違い。
自動的にフィルタを適応。しかも2重でフィルタが適応されない。
もちろんマルチバイトでも大丈夫。

といったところが特徴ですかね。

例

テンプレートはこんな感じにかけます。

code

<%-
class Hoge(object):
def __init__(self):
pass
end
end
hoge = Hoge()
a = "< title >"
-%>
<%=r a %>
<%- def format(v) {: return "%4d"%v; :} -%>
<%- def format2(v) {: return "%2d"%v; :} -%>
<% for y in xrange(1,xx):%><%= format(y) %><% end %>
<%- for x in xrange(1,xx): -%>
<%= format2(x) -%>
<%- for y in xrange(1,xx): -%>
<%= format(x*y) -%>
<%- end %>
<%- end -%>

んでこんな感じに使います。第1引数にはファイルではなく文字列も渡せます。

python code

e = embpy.Embpy(codecs.open("path_to_template", encoding="utf8"),
cache_path = "path_to_cache_file",
template_globals = {}, filter=cgi.escape)
print e.render({"xx": "10"})

出力はこう。

code

1 2 3 4 5 6 7 8 9
1 1 2 3 4 5 6 7 8 9
2 2 4 6 8 10 12 14 16 18
3 3 6 9 12 15 18 21 24 27
4 4 8 12 16 20 24 28 32 36
5 5 10 15 20 25 30 35 40 45
6 6 12 18 24 30 36 42 48 54
7 7 14 21 28 35 42 49 56 63
8 8 16 24 32 40 48 56 64 72
9 9 18 27 36 45 54 63 72 81

ダウンロード

embpy

コード

先読みはいらないので、re.Scannerで一発。

あと"(((?<=\\)")|[^"])\*((?<!\\)")"という正規表現は自分的には常套句。"で囲まれていて\"は"自身を表す、というよくある文字列の仕様に使える正規表現です。

01.06.10/12am

Posted at:

02.12.09/12am

Tags:

Comments:

(2)

Permalink

XREAで好きなバージョンのPythonを使う方法2

やんごとなき事情によりxrea内でWEBサーバを移動しました。

というわけで、このブログ(web.pyによる自作ブログ)を移したわけですが、今までのようにバイナリ化して動かすにはサーバと似た環境が手元にないといけません。が、移動した先のサーバでは環境がだめ。

ということで、python2.5をxreaにインストールしました。virtual-pythonもいいんですが、xreaのサーバはpython2.4なので。ちょっと工夫すれば入るし、快適ですね。以下作業ログ。

Pythonをインストール

まずはPythonのソースをダウンロードしてコンパイル。~/root/usr/localにいれます。

code

mkdir -p ~/root/usr/local/src
cd ~/root/usr/local/src
wget http://www.python.org/ftp/python/2.5.4/Python-2.5.4.tgz
tar zxvf Python-2.5.4.tgz
cd Python-2.5.4
./configure --prefix=~/root/usr/local
make
make install

サクっと入ります。で、次にeasy_installを入れるわけですが、はいりません。OpenSSLとの絡みでhashlib.md5が使えないから。easy_installを入れるときにmd5を検証するのに使ってるんですよね。

hashlibをインストール

なんで、自前でhashlibを単体でいれます。

code

cd ~/root/usr/local/src
wget http://code.krypto.org/python/hashlib/hashlib-20081119.tar.gz
tar zxvf hashlib-20081119.tar.gz
cd hashlib-20081119
vi setup.py

はい、setup.pyを編集しましょう。普通にbuildするとこれでもmd5が入りません。

code

105　　 if (ssl_inc_dir and
106　　　　 ssl_lib is not None and
107　　　　 openssl_ver >= 0x00907000):
108
109　　　　 print 'Using OpenSSL version 0x%08x from' % openssl_ver
110　　　　 print ' Headers:\t', ssl_inc_dir
111　　　　 print ' Library:\t', ssl_lib
112
113　　　　 # The _hashlib module wraps optimized implementations
114　　　　 # of hash functions from the OpenSSL library.
115　　　　 exts.append( Extension('_hashlib', ['_hashopenssl.c'],
116　　　　　　　　　　　　　　　　include_dirs = [ ssl_inc_dir ],
117　　　　　　　　　　　　　　　　library_dirs = [ os.path.dirname(ssl_lib) ],
118　　　　　　　　　　　　　　　　libraries = osNameLibsMap[os.name]) )
119　　 exts.append( Extension('_sha', ['shamodule.c']) )　　　　　　　　　
120　　 exts.append( Extension('_md5',　　　　　　　　　　　　　　　　　　
121　　　　　　　　　　 sources = ['md5module.c', 'md5.c'],
122　　　　　　　　　　 depends = ['md5.h']) )

119-120あたり、強制的に_md5を入れるようにします。あとは

code

~/root/usr/local/bin/python setup.py build
~/root/usr/local/bin/python setup.py install

でhashlibが入ります。

easy_installをインストール

これでmd5が使えるようになったので

code

cd ~/root/usr/local/src
wget http://peak.telecommunity.com/dist/ez_setup.py
~/root/usr/local/bin/python ez_setup.py

これで無事easy_installが入ります。あとは

code

~/root/usr/local/bin/easy_install -U -Z MySQL_Python

てな感じで必要なモジュールを入れていきましょう。

というわけで

わりと普通にxreaでPythonが使えています。

01.06.10/12am

Posted at:

01.25.09/01am

Tags:

python
xrea

Comments:

(2)

Permalink

Python: パターンマッチしてみる

なんか、趣味では最近はC言語ばっかりだったりするわけですが。

さて、関数型言語系をカジった人なら誰しも取り付かれる、モノ、それがパターンマッチ。パターンマッチが使えると、とにかく直感的にコードをかけますよね。

つーわけで、Pythonでパターンマッチを実装してみました。機能的には

リスト,タプルに対するパターンマッチ
パターン変数への束縛
ガード条件
任意のオブジェクトに対するパターンマッチ
部分パターンの束縛(Ocamlのas)

あたりを実装してみました。これだけあれば、かなり便利にコードをかけます。できるだけ、手軽に書けるように工夫してみました。こんな感じです。

変数束縛とガード。getattrでごにょごにょしてるので簡単にかけます。

python code

m = Match([1,2,3])
if m.when([1,2,m.var]) and m.var > 2:
print m.var
# >> 3

こう使えば、Pythonに念願のswitchが！

python code

m = Match(10)
if m(9):
print 1
elif m(10):
print 2
else:
False
# >> 2

部分パターンを束縛してみます。[1,2,m.var]全体をallというパターン変数に束縛します。

python code

m = Match([1,2,3])
if m.when([1,2,m.var]) and m.var > 5:
False
elif m.when(m._as_all([1,2,m.var])):
print m.all
print m.var
else:
raise StandardError("")
# >> [1, 2, 3]
# >> 3

任意のオブジェクトにも使えます。いわゆるレコードに対するマッチも簡単にできるということです。

python code

class Test(object):
def __init__(self, v1, v2):
self.v1 = v1
self.v2 = v2
def __repr__(self):
return "Test(%s, %s)"%(repr(self.v1), repr(self.v2))
m = Match([1, Test(2, 3)])
if m.when([1, m._class(Test, {"v1":2, "v2": m.v2})]):
print m.v2
else:
False
# >> 3

オブジェクトに対するパターンマッチは__match__メソッドを定義するとカスタマイズできます。ここらのアイデアはScalaからいただきました。

python code

class Test2(Test):
def __match__(self):
return {"value": self.v1 + self.v2}
m = Match([1, 2, Test2(3,4)])
if m.when([1,2, m._class(Test2, {"value": m.var})]):
m.var
else:
False
# >> 7

結構いい感じな気がします。

ダウンロード

patternmatch.py

実装のお話

ソースコードはこんな感じ。

python code

class Match(object):
class _var(str): pass
class _class(object):
def __init__(self, klass, attrs):
self.klass= klass
self.attrs= sorted(attrs.iteritems())
def match(self, m, obj):
props = getattr(obj, "__match__", lambda: obj.__dict__)()
return issubclass(obj.__class__, self.klass) and \
m.when(self.attrs, sorted(props.iteritems()))
class _as(object):
def __init__(self, name, pattern = None):
self.name = name
self.pattern = pattern
def __call__(self, pattern):
self.pattern = pattern
return self
def __init__(self, obj):
self.obj = obj
self.bind = {}
def __getitem__(self, key):
if not self.bind.has_key(key):
if key.startswith("_as_"):
return self._as(self._var(key[4:]))
return self._var(key)
return self.bind[key]
__getattr__ = __getitem__
__call__ = lambda self, *a, **k : self.when(*a, **k)
def when(self, pattern, obj = None):
if not obj: obj = self.obj
if isinstance(pattern, (self._var, self._class, self._as)):
if isinstance(obj, (list, tuple)):
pattern = [pattern]
obj = [obj]
if not isinstance(obj, (list, tuple)) and \
not isinstance(pattern, (list, tuple)) :
obj = [obj]
pattern = [pattern]
if not isinstance(obj, (list, tuple)) or \
not isinstance(pattern, (list, tuple)) :
self.bind = {}
return False
if len(obj) != len(pattern):
if not ((pattern[-1].__class__ == self._var) and pattern[-1].startswith("__")):
self.bind = {}
return False
for i, (value, pat) in enumerate(zip(obj, pattern)):
if value == pat:
continue
elif pat.__class__ == self._var and pat.startswith("__"):
self.bind[str(pat)] = obj[i:]
return True
elif pat.__class__ == self._var:
self.bind[str(pat)] = value
elif pat.__class__ == self._class:
if not pat.match(self, value):
self.bind ={}
return False
elif pat.__class__ == self._as:
if not self.when(pat.pattern, value):
self.bind ={}
return False
self.bind[str(pat.name)] = value
elif isinstance(value, (list, tuple)) and isinstance(pat, (list,tuple)):
if not self.when(pat, value):
self.bind = {}
return False
else:
self.bind = {}
return False
return True

まぁわりかしシンプルですね。

今年も終わりが近づいてまいりました。年をとると時間がすぎるのが速いナァ･･･と痛感しております。

12.11.08/01am

Posted at:

12.11.08/01am

Tags:

Comments:

0

Permalink

Design inspired by Hemingway.Powered by web.py and JQuery

inforno

埋め込みPythonを実装してみました

更新履歴

はじめに

例

ダウンロード

コード

XREAで好きなバージョンのPythonを使う方法2

Pythonをインストール

hashlibをインストール

easy_installをインストール

というわけで

Python: パターンマッチしてみる

ダウンロード

実装のお話

About

Links

Pages

Recently

Tags

Monthly Archives