NLTKでUTF-8指定がうまく機能しない例

想定環境

• OS: Mac OS X 10.8.x (10.7.x以降であれば同じ方法で問題無いはず)
• Python: 2.7.x
• Mercurial: 2.2
• NLTK: 2.0.4 (nltk.__version__)
• MeCab: 0.993 (MeCab.VERSION)

import nltk

docs = []
docs.append(u"会場には車で行きます。".encode('utf-8'))

# doc -> sentences分割処理の例。
jp_sent_tokenizer = nltk.RegexpTokenizer(u'[^　「」！？。]*[！？。]'.encode('utf-8'))
sents = jp_sent_tokenizer.tokenize( docs[0] )
# -> 細切れ出力