1 2 3 4 5 | import pandas as pd df = pd.DataFrame({'age': [24, 42], 'state': ['NY', 'CA'], 'point': [64, 92]},index=['Alice', 'Bob']) df |
1 2 3 | age state point Alice 24 NY 64 Bob 42 CA 92 |
これからpointの値をとる
1 2 3 4 | val=df["point"] type(val) |
1 | <class 'pandas.core.series.Series'> |
Seriesとなり，Intでは所得できない
valuesをつければNumpyのarrayとして取得できる。
1 2 3 | val.values |
1 | array([64, 92]) |
1 2 3 | type(val.values) |
1 | <class 'numpy.ndarray'> |
1 2 3 | val.values[0] |
1 | 64 |
複数出力の回帰をKerasで行います。
通常、回帰分析は複数の説明変数に一つの目的変数なのですが、これは、複数の目的変数を取ることができます。
multivariateとmultivariableの違いはこのあたりを参照のこと。
コードはこちらを参考にこんな感じ。
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 | import numpy as np from keras.layers import Dense,Activation from keras.models import Sequential model = Sequential() model.add(Dense(16, input_shape=(1,))) model.add(Activation('relu')) model.add(Dense(16, input_shape=(1,))) model.add(Activation('relu')) model.add(Dense(2)) model.compile(loss='mean_squared_error', optimizer='Adam') inputs = np.zeros((10, 1), dtype=np.float32) targets = np.zeros((10, 2), dtype=np.float32) for i in range(10): inputs[i] = i / 10.0 targets[i, 0] = 1.0-0.1 * i / 2.0 targets[i, 1] = 0.01 * i model.fit(inputs,targets,epochs=200,batch_size=5) print(targets) print(model.predict(inputs)) |
結果
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 | [[1. 0. ] [0.95 0.01] [0.9 0.02] [0.85 0.03] [0.8 0.04] [0.75 0.05] [0.7 0.06] [0.65 0.07] [0.6 0.08] [0.55 0.09]] [[0.88971126 0.00797045] [0.9289691 0.02162787] [0.8843044 0.02890772] [0.8396398 0.03618753] [0.7949753 0.04346737] [0.7503106 0.0507472 ] [0.70564604 0.058027 ] [0.6609814 0.06530684] [0.61631685 0.07258669] [0.57165223 0.0798665 ]] |
ちゃんと学習できているようです
大学のサーバでどうしてもJupyter Notebookが動かしたいのでメモ。
データをSQLiteで管理しており，これのサイズが１０Gを超え始めた。計算などは大学のサーバで行なっているのであるが，RやJupyterなどビジュアルなツールを使いたい時にはいちいちローカルのPCへSQLiteをコピーするのが大変。
以前Xサーバを使ったリモートでの起動を試したが，どうも使いづらい。
Macからだと，XQuartzをあらかじめMacにインストールしておき，
以下のSSHコマンドで接続し，
1 | [mac] $ ssh -Y remotehost |
Jupyterを起動するだけ。
1 | [server] $ jupyter notebook |
これで，リモートサーバでFirefoxが立ち上がり，MacのXQuartzで表示される。
しかしこれがいかんせん使いづらい。遅いし，サーバ側のFirefoxなので見た目も悪く，日本語入力も一苦労。
まずはここを参考に設定する。
1 | $ jupyter notebook --generate-config |
~/.jupyter/jupyter_notebook_config.pyを編集。ポートが8080が空いている場合には以下のように指定する。
1 2 3 | c.NotebookApp.ip = '0.0.0.0' c.NotebookApp.open_browser = False c.NotebookApp.port = 8080 |
Rも使いたいので，ここを参考にRを起動してインストール。
1 2 3 4 | install.packages(c('repr', 'IRdisplay', 'crayon', 'pbdZMQ', 'devtools')) devtools::install_github('IRkernel/IRkernel') IRkernel::installspec() |
1 2 3 4 5 6 | $ jupyter notebook [I 17:43:07.065 NotebookApp] Serving notebooks from local directory: /tmp [I 17:43:07.066 NotebookApp] 0 active kernels [I 17:43:07.066 NotebookApp] The Jupyter Notebook is running at: [I 17:43:07.066 NotebookApp] http://0.0.0.0:8080/?token=37e418b82da8472bf89798f70a92dda90003f61509xxxxx |
起動時に現れるこれから，
1 | http://0.0.0.0:8080/?token=37e418b82da8472bf89798f70a92dda90003f61509xxxxx |
以下のようにPCのブラウザのアドレスバーに打ち込めばOK
1 | http://server:8080/?token=37e418b82da8472bf89798f70a92dda90003f61509xxxxx |
1 2 3 4 5 6 7 8 9 | def calc_age(birthdate): now=datetime.datetime.now() bdate=datetime.datetime.strptime(birthdate,"%Y-%m-%d") age=now.year-bdate.year if now.timetuple().tm_yday < bdate.timetuple().tm_yday: age-=1 return age |
1 2 3 4 5 6 | >>> calc_age("2001-11-18") 15 >>> calc_age("2001-10-18") 16 |
1 2 3 4 5 6 7 8 9 10 11 12 | import re import logging logger = logging.getLogger("logger") #logger名loggerを取得 logger.setLevel(logging.DEBUG) #loggerとしてはDEBUGで logging.basicConfig(level=logging.DEBUG, filename=re.sub("\..*$","",__file__)+".log", format="%(asctime)s %(levelname)-7s %(message)s") logging.debug("debug log") |
pythonで正規表現でURLを削除する方法のメモ
ここを参考に作成したのですが，どうもバグっているのか，Pythonと相性が悪いようなので修正した。
1 2 3 4 5 6 7 8 | import re str="。少し前ですがhttp://lite-ra.com/2014/11/post-605_2.htmlってどういうことなのでしょうか？" ret = re.sub(r"(https?|ftp)(:\/\/[-_\.!~*\'()a-zA-Z0-9;\/?:\@&=\+\$,%#]+)", "" ,str) print ret # 少し前ですがってどういうことなのでしょうか？ |
MacからWindwosに乗り換えて一番困るのが開発環境。Pycharmを使ってのpythonの開発はMac以上に面倒です。
WindowsはWindows用のコンパイルされたpythonやmecabを使うのが一般的ですが、モジュールの追加など結構面倒なので、Cygwinを使っている人も多いと思います。
今回、Cygwin上にPythonとMecabをインストールし、それをPycharmから使う環境を作成したのでメモを残します。
* windows 10
* cygwin x86_64
* pycharm 2017.1
ここからsetup-x86_64.exeをダウンロードしインストールします。特別なことは何もしません。通常にインストールします。
余裕があればapt-cygを入れておくと便利です。
cygwin上にpythonを入れておきます。自分の場合には2.7系を入れます。
cygwinのターミナルは使いにくいのでteratermを入れておきます。teratermにはcygwin用のTerminalもついているのでそちらを起動してCygwinにログインします。
Mecabのインストールはソースコードからインストールします。Mecabのバージョンは0.996を使いますがそのままではコンパイルできないので、こちらのパッチを用いてインストールします。
1 2 3 4 | $ tar zxvf mecab-0.996.tar.gz $ patch -p1 -d ./mecab-0.996/ < ./mecab-0.996.patch $ cd ./mecab-0.996 $ ./configure --with-charset=utf-8; make; make install |
nkfをソースからインストールします。
こちらからダウンロードしインストールします
1 2 3 | $ ./configure $ make $ make install |
こちらからipadicをダウンロードします。ソースコードになります。これをコンパイルするのですがそのままだとどうも文字化けしてしまいます。ので、UTF-8に変換しておきます
1 2 3 4 | $ tar zxvfp mecab-ipadic-2.7.0-20070801.tar.gz $ cd mecab-ipadic-2.7.0-20070801 $ for f in *;do nkf --overwrite -w $f ;done $ ./configure --with-charset=utf-8 |
windowsの環境変数を設定します。システムの詳細設定から、システムのプロパティを開き、詳細設定タブの環境変数からpathに以下を追加しておきます。これでWindows側からもCygwinのコマンドが呼び出せます。
1 2 3 | c:\cygwin64\bin c:\cygwin64\usr\bin c:\cygwin64\usr\local\bin |
pipでインストールするとエラーになります。ソースコードからインストールします。ここからmecab-python-0.996.tar.gzをダウンロードしコンパイルします
1 2 3 4 | $ tar zxvfp mecab-python-0.996.tar.gz $ cd mecab-python-0.996 $ python setup.py build $ python setup.py install |
ここからダウンロードしインストールします。
インストールしたのちにfileメニューのdefault settingsからproject interpreterを選択し、c:\cygwin64\bin\python2.7.exeを設定します
これでPycharmからCygwinのPythonを利用できます。
マルチスレッドとマルチプロセスは似ているようで違います。マルチプロセス間の実行中の値は、各プロセス間で別になっていますが、マルチスレッドの場合には変数を共用するのでちょっと注意が必要です。
ここを参考に
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 | #!/usr/bin/env python # -*- coding: utf-8 -*- # http://qiita.com/yubais/items/5a9d91fe03fe715b21d0 import multiprocessing as mp import sys L = 40000 proc=int(sys.argv[1]) # 各プロセスが実行する計算 def subcalc(queue, p): subtotal = 0 # iの範囲を設定 ini = L * p / proc fin = L * (p+1) / proc for i in range(ini, fin): for j in range(L): subtotal += i * j # キューにデータを送る queue.put(subtotal) # キューを作成 queue = mp.Queue() # 8個のプロセスを用意 ps=[] for i in range(proc): ps.append(mp.Process(target=subcalc, args=(queue, i))) # すべてを開始 for p in ps: p.start() # キューから結果を回収 total = 0 for i in range(proc): total += queue.get() # キューに値が無い場合は、値が入るまで待機になる print(total) |
実行スクリプト
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 | #!/bin/sh #PBS -N 03_multi_36 #PBS -j oe #PBS -l select=1:ncpus=36 #PBS -l place=scatter #PBS -q SINGLE if [ "${PBS_O_WORKDIR}" != "" ];then cd ${PBS_O_WORKDIR} fi export OMP_NUM_THREADS=36 . ~/.bashrc APRUN="aprun -n 1 -d $OMP_NUM_THREADS" date $APRUN python 03_multi.py 36 date |
1 2 3 | 2017年 6月 6日 火曜日 09:33:12 JST 639968000400000000 2017年 6月 6日 火曜日 09:33:17 JST |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 | #!/bin/sh #PBS -N 03_multi_1 #PBS -j oe #PBS -l select=1:ncpus=1 #PBS -l place=scatter #PBS -q SINGLE if [ "${PBS_O_WORKDIR}" != "" ];then cd ${PBS_O_WORKDIR} fi export OMP_NUM_THREADS=1 . ~/.bashrc APRUN="aprun -n 1 -d $OMP_NUM_THREADS" date $APRUN python 03_multi.py 1 date |
1 2 3 | 2017年 5月 31日 水曜日 10:44:19 JST 639968000400000000 2017年 5月 31日 水曜日 10:45:35 JST |
かなり速度が違います
ここを参考
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 | #!/usr/bin/env python # -*- coding: utf-8 -*- # http://qiita.com/yubais/items/5a9d91fe03fe715b21d0 # http://kaworu.jpn.org/python/Pythonのマルチスレッドプログラミング import threading import sys #http://ja.pymotw.com/2/Queue/ import Queue L = 40000 proc=int(sys.argv[1]) # 各プロセスが実行する計算 def subcalc(queue, p): subtotal = 0 # iの範囲を設定 ini = L * p / proc fin = L * (p+1) / proc for i in range(ini, fin): for j in range(L): subtotal += i * j # キューにデータを送る queue.put(subtotal) # キューを作成 queue = Queue.Queue() # 8個のプロセスを用意 ps=[] for i in range(proc): ps.append(threading.Thread(target=subcalc, args=(queue, i))) # すべてを開始 for p in ps: p.start() p.join() # キューから結果を回収 total = 0 for i in range(proc): total += queue.get() # キューに値が無い場合は、値が入るまで待機になる print(total) |
実行スクリプト
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 | #!/bin/sh #PBS -N 04_thread_36 #PBS -j oe #PBS -l select=1:ncpus=36 #PBS -l place=scatter #PBS -q SINGLE if [ "${PBS_O_WORKDIR}" != "" ];then cd ${PBS_O_WORKDIR} fi export OMP_NUM_THREADS=36 . ~/.bashrc APRUN="aprun -n 1 -d $OMP_NUM_THREADS" date $APRUN python 04_thread.py 36 date |
1 2 3 | 2017年 6月 6日 火曜日 09:39:57 JST 639968000400000000 2017年 6月 6日 火曜日 09:41:13 JST |
実行スクリプト
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 | #!/bin/sh #PBS -N 04_thread_1 #PBS -j oe #PBS -l select=1:ncpus=1 #PBS -l place=scatter #PBS -q SINGLE if [ "${PBS_O_WORKDIR}" != "" ];then cd ${PBS_O_WORKDIR} fi export OMP_NUM_THREADS=1 . ~/.bashrc APRUN="aprun -n 1 -d $OMP_NUM_THREADS" date $APRUN python 04_thread.py 1 date |
1 2 3 | 017年 6月 6日 火曜日 09:39:57 JST 639968000400000000 2017年 6月 6日 火曜日 09:41:13 JST |
ここを参考に、
1 2 3 | cursor.execute("SELECT * FROM posts WHERE tags LIKE ?", ('%{}%'.format(tag),)) |
tagはunicode string
1 2 3 | cursor.execute("SELECT * FROM posts WHERE tags LIKE ?", (u"%{}%".format(tag),)) |
MySQL+Pythonのエラー
1 | ValueError: unsupported format character 'Y' (0x59) at index 51 |
このようなエラーが出るときの対応。
1 2 3 4 5 6 7 8 9 10 11 | import MySQLdb ymd="2017-05-19" con=MySQLdb.connect(user="root",password="",host="localhost",db="test") cur=con.cursor() cur.execute("set names utf8") # 文字化け対応 cur.execute("select * from test_table where date_format(ymd,'%%Y-%%m-%%d')=%s",(ymd,)) for row in cur.fetchall(): print(row[0]) |
これだと上記エラーが発生します。
ここに解決策が載っていました。
ポイントはsql文の文字列をformat()するだけ
1 2 3 4 5 6 7 8 9 10 11 | import MySQLdb ymd="2017-05-19" con=MySQLdb.connect(user="root",password="",host="localhost",db="test") cur=con.cursor() cur.execute("set names utf8") # 文字化け対応 cur.execute("select * from test_table where date_format(ymd,'%%Y-%%m-%%d')=%s".format(),(ymd,)) for row in cur.fetchall(): print(row[0]) |