大学のサーバのGCCが6.2だったのでメモ。
RMeCabのインストール
1 | > install.packages("RMeCab", repos = "http://rmecab.jp/R") |
エラーになる。
1 2 | RMeCab.cpp:89:11: error: narrowing conversion of '229' from 'int' to 'char' inside { } [-Wnarrowing] 0}; //形容詞 |
GCC6だとエラーになるので、GCC5台にしないと駄目です。
因みにソースコードはinstall.packageのときにオプションを付けると消されないでローカルファイルに残ります。
1 | > install.packages("RMeCab", repos = "http://rmecab.jp/R",keep_outputs=T) |
Ubuntu16.04のGnomeデスクトップではデフォルトで画面のLockがOnになっています。
そのため、画面を操作しないとロックされてしまい、毎回パスワードを入力する必要があります。
この画面のlockをさせない方法は以下の通り
MacからWindwosに乗り換えて一番困るのが開発環境。Pycharmを使ってのpythonの開発はMac以上に面倒です。
WindowsはWindows用のコンパイルされたpythonやmecabを使うのが一般的ですが、モジュールの追加など結構面倒なので、Cygwinを使っている人も多いと思います。
今回、Cygwin上にPythonとMecabをインストールし、それをPycharmから使う環境を作成したのでメモを残します。
* windows 10
* cygwin x86_64
* pycharm 2017.1
ここからsetup-x86_64.exeをダウンロードしインストールします。特別なことは何もしません。通常にインストールします。
余裕があればapt-cygを入れておくと便利です。
cygwin上にpythonを入れておきます。自分の場合には2.7系を入れます。
cygwinのターミナルは使いにくいのでteratermを入れておきます。teratermにはcygwin用のTerminalもついているのでそちらを起動してCygwinにログインします。
Mecabのインストールはソースコードからインストールします。Mecabのバージョンは0.996を使いますがそのままではコンパイルできないので、こちらのパッチを用いてインストールします。
1 2 3 4 | $ tar zxvf mecab-0.996.tar.gz $ patch -p1 -d ./mecab-0.996/ < ./mecab-0.996.patch $ cd ./mecab-0.996 $ ./configure --with-charset=utf-8; make; make install |
nkfをソースからインストールします。
こちらからダウンロードしインストールします
1 2 3 | $ ./configure $ make $ make install |
こちらからipadicをダウンロードします。ソースコードになります。これをコンパイルするのですがそのままだとどうも文字化けしてしまいます。ので、UTF-8に変換しておきます
1 2 3 4 | $ tar zxvfp mecab-ipadic-2.7.0-20070801.tar.gz $ cd mecab-ipadic-2.7.0-20070801 $ for f in *;do nkf --overwrite -w $f ;done $ ./configure --with-charset=utf-8 |
windowsの環境変数を設定します。システムの詳細設定から、システムのプロパティを開き、詳細設定タブの環境変数からpathに以下を追加しておきます。これでWindows側からもCygwinのコマンドが呼び出せます。
1 2 3 | c:\cygwin64\bin c:\cygwin64\usr\bin c:\cygwin64\usr\local\bin |
pipでインストールするとエラーになります。ソースコードからインストールします。ここからmecab-python-0.996.tar.gzをダウンロードしコンパイルします
1 2 3 4 | $ tar zxvfp mecab-python-0.996.tar.gz $ cd mecab-python-0.996 $ python setup.py build $ python setup.py install |
ここからダウンロードしインストールします。
インストールしたのちにfileメニューのdefault settingsからproject interpreterを選択し、c:\cygwin64\bin\python2.7.exeを設定します
これでPycharmからCygwinのPythonを利用できます。
マルチスレッドとマルチプロセスは似ているようで違います。マルチプロセス間の実行中の値は、各プロセス間で別になっていますが、マルチスレッドの場合には変数を共用するのでちょっと注意が必要です。
ここを参考に
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 | #!/usr/bin/env python # -*- coding: utf-8 -*- # http://qiita.com/yubais/items/5a9d91fe03fe715b21d0 import multiprocessing as mp import sys L = 40000 proc=int(sys.argv[1]) # 各プロセスが実行する計算 def subcalc(queue, p): subtotal = 0 # iの範囲を設定 ini = L * p / proc fin = L * (p+1) / proc for i in range(ini, fin): for j in range(L): subtotal += i * j # キューにデータを送る queue.put(subtotal) # キューを作成 queue = mp.Queue() # 8個のプロセスを用意 ps=[] for i in range(proc): ps.append(mp.Process(target=subcalc, args=(queue, i))) # すべてを開始 for p in ps: p.start() # キューから結果を回収 total = 0 for i in range(proc): total += queue.get() # キューに値が無い場合は、値が入るまで待機になる print(total) |
実行スクリプト
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 | #!/bin/sh #PBS -N 03_multi_36 #PBS -j oe #PBS -l select=1:ncpus=36 #PBS -l place=scatter #PBS -q SINGLE if [ "${PBS_O_WORKDIR}" != "" ];then cd ${PBS_O_WORKDIR} fi export OMP_NUM_THREADS=36 . ~/.bashrc APRUN="aprun -n 1 -d $OMP_NUM_THREADS" date $APRUN python 03_multi.py 36 date |
1 2 3 | 2017年 6月 6日 火曜日 09:33:12 JST 639968000400000000 2017年 6月 6日 火曜日 09:33:17 JST |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 | #!/bin/sh #PBS -N 03_multi_1 #PBS -j oe #PBS -l select=1:ncpus=1 #PBS -l place=scatter #PBS -q SINGLE if [ "${PBS_O_WORKDIR}" != "" ];then cd ${PBS_O_WORKDIR} fi export OMP_NUM_THREADS=1 . ~/.bashrc APRUN="aprun -n 1 -d $OMP_NUM_THREADS" date $APRUN python 03_multi.py 1 date |
1 2 3 | 2017年 5月 31日 水曜日 10:44:19 JST 639968000400000000 2017年 5月 31日 水曜日 10:45:35 JST |
かなり速度が違います
ここを参考
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 | #!/usr/bin/env python # -*- coding: utf-8 -*- # http://qiita.com/yubais/items/5a9d91fe03fe715b21d0 # http://kaworu.jpn.org/python/Pythonのマルチスレッドプログラミング import threading import sys #http://ja.pymotw.com/2/Queue/ import Queue L = 40000 proc=int(sys.argv[1]) # 各プロセスが実行する計算 def subcalc(queue, p): subtotal = 0 # iの範囲を設定 ini = L * p / proc fin = L * (p+1) / proc for i in range(ini, fin): for j in range(L): subtotal += i * j # キューにデータを送る queue.put(subtotal) # キューを作成 queue = Queue.Queue() # 8個のプロセスを用意 ps=[] for i in range(proc): ps.append(threading.Thread(target=subcalc, args=(queue, i))) # すべてを開始 for p in ps: p.start() p.join() # キューから結果を回収 total = 0 for i in range(proc): total += queue.get() # キューに値が無い場合は、値が入るまで待機になる print(total) |
実行スクリプト
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 | #!/bin/sh #PBS -N 04_thread_36 #PBS -j oe #PBS -l select=1:ncpus=36 #PBS -l place=scatter #PBS -q SINGLE if [ "${PBS_O_WORKDIR}" != "" ];then cd ${PBS_O_WORKDIR} fi export OMP_NUM_THREADS=36 . ~/.bashrc APRUN="aprun -n 1 -d $OMP_NUM_THREADS" date $APRUN python 04_thread.py 36 date |
1 2 3 | 2017年 6月 6日 火曜日 09:39:57 JST 639968000400000000 2017年 6月 6日 火曜日 09:41:13 JST |
実行スクリプト
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 | #!/bin/sh #PBS -N 04_thread_1 #PBS -j oe #PBS -l select=1:ncpus=1 #PBS -l place=scatter #PBS -q SINGLE if [ "${PBS_O_WORKDIR}" != "" ];then cd ${PBS_O_WORKDIR} fi export OMP_NUM_THREADS=1 . ~/.bashrc APRUN="aprun -n 1 -d $OMP_NUM_THREADS" date $APRUN python 04_thread.py 1 date |
1 2 3 | 017年 6月 6日 火曜日 09:39:57 JST 639968000400000000 2017年 6月 6日 火曜日 09:41:13 JST |
ここを参考に、
1 2 3 | cursor.execute("SELECT * FROM posts WHERE tags LIKE ?", ('%{}%'.format(tag),)) |
tagはunicode string
1 2 3 | cursor.execute("SELECT * FROM posts WHERE tags LIKE ?", (u"%{}%".format(tag),)) |