※あくまで試験的に公開しています

まぁありきたりというか、なんというかなんですけどニコニコ動画の自分用ライブラリを以前から作っていました。公開してもよかったんですけど、需要があるかわかんないし、まとまってないですし、ニコニコ動画的にもこういうライブラリをつかってごにゃごにゃするのはちょっと・・・という感じらしいので公開してませんでした。

なんですけど、公開されてるライブラリもありますし、せっかくなんで試験的に公開しておけばなんかの役に立つかな、と思いまして。使ってくれる人が多かったりすれば、まとめなおしてCodeReposに突っ込むかもしれません。

ダウンロードしてみる奇特な方はどうぞ

nicovideo.zip

必要なもの

easy_install mechanize
easy_install lxml

使い方

import nicovideo as n
client = n.NicoClient("mail", "pass", cookie_file="")

print "nickname: %s" % client.nickname

client.video("sm9").download(with_comments=True)

print "search"
for video in client.video_search("test", by=n.SEARCH_KEYWORD, sort=n.SORT_POSTED_AT, order=n.ORDER_DESC)[:10]:
  print video.title

print "ranking"
for video in client.video_ranking(by=n.RANKING_MYLIST, span=n.RANKING_DAILY, category="all")[:10]:
  print video.title

print "new arrival"
for video in client.video_newarrival()[100:110]:
  print video.title

print "mylist"
for video in client.video_mylist(2792158)[100:110]:
  print video.title

print "random"
for video in client.video_random():
  print video.title

こんな感じです。ニコニコ動画に負荷をかけないように、各httpリクエストの間に最低1秒待つので遅いです。ですが、できるかぎり情報はlazyにとりに行くようになっています。たとえば、 video_search でかえってくる Video はidとタイトルの情報のみもっていて、その他の情報(lengthなど)にアクセスすると自動的にメタ情報を取りにいきます。メタ情報は

print client.video("sm9").meta
# =>
description レッツゴー!陰陽師(フルコーラスバージョン)
tags {'#text': '', u'tag': [u'\u9670\u967d\u5e2b', u'\u30ec\u30c3\u30c4\u30b4\u30fc\uff01\u9670\u967d\u5e2b', u'\u516c\u5f0f', u'\u904b\u55b6\u516c\u8a8d\u52d5\u753b', u'\u3053\u306e\u52d5\u753b\u306e\u3046\uff50\u4e3b\u306fnicovideo', u'\u97f3\u697d', u'\u4f1d\u8aac\u306esm9', u'\u03b2\u6642\u4ee3\u306e\u82f1\u96c4', u'\u5439\u3044\u305f\u3089\u6210\u4ecf', u'\u30de\u30a4\u30ea\u30b9\uff15\uff10\u4e07\u796d\u308a\u4f1a\u5834']}
file_type flv
comment_num 2618200
l 320
is_premium 0
thread_id 1173108780
view_counter 3839233
link http://www.smilevideo.jp/view/9/350170
nickname name
user_id 00000
title 新・豪血寺一族 -煩悩解放 - レッツゴー!陰陽師
url http://smile-clb42.nicovideo.jp/smile?v=9.0468
posted_at 2007-03-06 00:33:00
video_id sm9
thumb_type video
watch_url http://www.nicovideo.jp/watch/sm9
first_retrieve 2007-03-06 00:33:00
mylist_counter 49956
length 00:05:20
thumbnail_url http://tn-skr.smilevideo.jp/smile?i=9
ms http://msg.nicovideo.jp/10/api/
time 1207225894
done true
#text
last_res_body 1人だけじゃね

こんな感じのがとれます。基本的にthubnail APIからとってきて適当に型変換しています。thumbnail APIでの情報に加えて、file_typeなんかが付け加えられます。file_typeもちゃんと判別するのでflvでもmp4でもswfでももちろんちゃんとダウンロードできます。

ほかにも client.video_newarrival()[100:110] とすると、自動的に何ページ目かを計算してそのページからhttpアクセスしてとりにいきます。

あと、ちょっとダウンロード中の表示がリッチな感じです。

ちょっと設計について

基本的に、NicoClientを拡張して機能を実装します。拡張方法は NicoClientExtension クラスを拡張したクラスを定義する、以上です。これでNicoClientに自動的にクラス名をunderscoreしたメソッドが生えます。

たとえば VideoNicoClientExtension です。

class Video(NicoClientExtension):
  URL_WATCH = NicoClient.URL_BASE + "watch/%s"
  URL_API_GET_FLV = NicoClient.URL_BASE + "api/getflv/%s"
  URL_API_GET_THUMB_INFO = NicoClient.URL_BASE + "api/getthumbinfo/%s"

  FILE_TYPE_RE = re.compile(".*/smile\?([a-z]{1})\=.*")

  def __init__(self, client, id, meta = None):
    self.client = client
    self.id = id
    self.meta = meta or {}

# ...

という定義で client.video というメソッドが生えるという設計になっています。メタクラスにはこういう使い方があります。検索機能も、新着も、気まぐれも全部 NicoClientExtension として実装されています。

問題点

  • まとまってません。1ファイルに適当につめこんでいます。
  • 全然テストしてません。
  • sm9(陰陽師)が消されると動かなくなります

 

 

こんな感じです。


via

Scalaはメソッド名に日本語使えるよ。Scalaは日本語プログラミング言語だよ(言いすぎ)。

object JapaneseLanguage {
  class Standard[A](self:A) {
    def の[B](f:(A) => B) = f(self)
    def を[B](f:(A) => B) = f(self)
    def する() = ()
  }

  class PseudoKansai[A](self:A) {
    def のな[B](f:(A) => B) = f(self)
    def をな[B](f:(A) => B) = f(self)
    def すんねん() = ()
  }
}


def 平方根(v:int) = Math.sqrt(v.asInstanceOf[double])
def 逆数(v:double) = 1/v
def 表示(v:Any) = { println(v); v }

とりあえず標準語とエセ関西弁を用意しておきました。

標準語を使いたい方は

import JapaneseLanguage.{Standard => Japanese}
implicit def any2japanese[A](v:A) = new Japanese(v)

100 の 平方根 の 逆数 を 表示 する
// => 0.1

とでも、エセ関西弁が使いたい方は

import JapaneseLanguage.{PseudoKansai => Japanese}
implicit def any2japanese[A](v:A) = new Japanese(v)

100 のな 平方根 のな 逆数 をな 表示 すんねん
// => 0.1

とでもしてください。

いやー日本人にやさしいプログラミング言語ですね、Scalaは!最近日本の人たちに注目されてきている理由もわかります!


Python で Rake を真似るとしたら という反応を頂いたので、それにまつわるお話を。

まず、CodeReposにコミットしてあるtasktoolsは distutils及びsetuptoolsを拡張する ということを念頭に置いています。ですのである程度distutils.core.Commandの思想というか、インターフェイスを残しています。

  • タスクをクラスで定義すること
  • オプションの定義方法
  • sub_commandsfinalize_options といったメソッド

などなどは元のまんまです。


じゃあ、 distutilssetuptools を抜いて好きにRakeをPythonで真似るとしたら、というのが今回メインのお話。最初にこんな感じでコマンドを定義しますよ、というのを出してしまいます。

from __future__ import with_statement
from 今回作成したモジュール import *
from subprocess import call

# ここからタスク定義

with namespace("test"):

  @task
  def build(t, depends = ["test:make"]):
    """builds this modules. """
    call(["ls"])
    print t.name, ": build done"

  @task
  def make(t):
    print "make"

# 実行
run()

Rakeだとこうなる。

namespace "test" do

  desc "builds this modules"
  task "build" => "make" do |t|
    sh("ls")
    puts "#{t.name} done."
  end

  task "make" do |t|
    puts "make"
  end

end

Python版もなかなかシンプルで見やすいと思うんですがどうでしょう。あとちょっとtips。さっきの記事だと os.system を使ってますが、 subprocess モジュールの callcheck_call のほうが便利じゃないかな、と思います。

タスクのメタ情報は引数のデフォルト値を使います。ここで @task(depends = ["test:make"]) ってしたほうがいいんじゃないの?と思う人もいるかもしれません。真っ当な意見だと思いますし、それがPythonicなやり方と思います。しかしそうするとこうなります。

with namespace("test"):

  @task(depends = ["test:make"])
  def build(t):
    """builds this modules.  """
    call(["ls"])
    print t.name, ": build done"

  @task() #<= ここがキモくないですか?
  def make(t):
    print "make"

Pythonではproperty以外では () をつけないとメソッドが呼び出せません。だから引数が何もない場合は空のカッコがつくわけです(まぁDescriptorでhogehogeすればできるんですがね)。これ、イケてないですよね。というわけで引数のデフォルト値を使います。

ではこのタスク定義でタスクを実行するためのコードです。

from __future__ import with_statement
import inspect,new,sys
from contextlib import contextmanager
from optparse import OptionParser
from itertools import *

class _Tasks(dict):
  def __getitem__(self,key):
    if key in self: return dict.__getitem__(self, key)
    _abort("Error: Unknown task: %s"%key)

class Task(object):
  def __init__(self, run, name, description, 
               depends = None, options = None):
    self._run = new.instancemethod(run, self, self.__class__)
    self.name = _get_current_ns()+name
    self.description = description
    self.depends = depends or []
    self.options = options or []
    tasks[self.name] = self

  def run(self):
    for depend in self.depends:
      if tasks[depend].run() is False:
        _abort("Error: faild %s"%depend)
    return self._run()

_namespace = []
tasks = _Tasks()

@contextmanager
def namespace(name):
  _namespace.append(name)
  yield 
  _namespace.pop() 

def task(f):
  names, _, _, values = inspect.getargspec(f)
  Task(f, f.__name__, f.__doc__ or "no description", **dict(izip(names[1:], values or [])))

def print_tasks():
  maxlength = max(imap(len, tasks.iterkeys()))
  for name in sorted(tasks.iterkeys()):
    print name.ljust(maxlength), "#", tasks[name].description.strip()

def run():
  usage = "usage :%prog [options] targets"
  parser = OptionParser(usage)
  parser.add_option("-T", "--tasks", action="store_true",
                    dest="print_tasks",
    help="Display the tasks (matching optional PATTERN) with descriptions, then exit.")
  (options, args) = parser.parse_args()
  if options.print_tasks: _abort(print_tasks())
  if not args:            _abort(parser.get_usage())

  map(lambda t:t.run(), imap(tasks.__getitem__, args))

def _abort(msg):
  if msg : print msg
  sys.exit(1)

def _get_current_ns(): return _namespace and ":".join(_namespace)+":" or ""

結構短いかな?。一応ちゃんと動きます。

tasks.py -T

test:build # builds this modules.
test:make  # no description

tasks.py test:build

make
tasks.py
test:build : build done

うむ。


結局、Rubyの言語内DSL構築能力は

  • () が省略できる
  • ブロック(pythonではデコレータとwith_statementがありますが)

によるものが多いと思っています。ことPythonとの対比では。「シンプルさ」「書きやすさ」なんかは好みかな、と(Rakeの例だとdocstringを持っている分Pythonの方がいい感じさえしてきます)。例えば end ってなんだよ、って言う人にはPythonのほうがウケがいいかもしれませんしそうじゃないかもしれません。

そんなこんなで試しに書いてみたらいい感じだったんで、ちゃんと本格的にPython版Rakeとして開発を続けてみようかなあ。


ところで言語内DSLといえばScalaでしょう。Rubyなんてちょろいもんですよ。なんてったってScalaは(ry