よく忘れるのでメモ
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 | #!/bin/env ruby # coding:utf-8 require "rsruby" require "rsruby/dataframe" r=RSRuby.instance r.class_table["data.frame"]=lambda{|x| DataFrame.new(x)} RSRuby.set_default_mode(RSRuby::CLASS_CONVERSION) x=[1,2,3] y=[2,4,6] df=r.as_data_frame(:x=>{'x'=>x,'y'=>y}) r.assign('df',df) res=r.eval_R(<<R_COMMAND) summary(lm(y ~ x ,df)) R_COMMAND p res["r.squared"] |
たまたま余っていたCentOS5.11のサーバにｐｙｔｈｏｎ2.7.12をインストールし、pylabをインストールしようとするとエラー。
1 2 | error: ‘SOCK_CLOEXEC’ was not declared in this scope error: command 'gcc' failed with exit status 1 |
どうもOSが古いと色々問題があります。
そこでこちらを参考にGCCをインストールします
以下のサイトからダウンロードします。とりあえず最新版をダウンロードしました。
1 2 | # mkdir /usr/local/gcc-4.8.5 # export LD_LIBRARY_PATH=/usr/local/gcc-4.8.5/lib:$LD_LIBRARY_PATH |
1 2 3 4 5 | # bunzip2 gmp-6.1.1.tar.bz2 # tar xvfp gmp-6.1.1.tar # cd gmp-6.1.1 # ./configure --prefix=/usr/local/gcc-4.8.5 # make && make install |
1 2 3 4 | # xz mpfr-3.1.4.tar.xz # cd mpfr-3.1.4 # ./configure --prefix=/usr/local/gcc-4.8.5 --with-gpm=/usr/local/gcc-4.8.5 # make && make install |
1 2 3 4 | # tar zxvfp mpc-1.0.3.tar.gz # cd mpc-1.0.3 # ./configure --prefix=/usr/local/gcc-4.8.5 --with-gmp=/usr/local/gcc-4.8.5 --with-mpfr=/usr/local/gcc-4.8.5 # make && make install |
1 2 3 4 | # tar zxvfp gcc-4.8.5.tar.gz # cd gcc-4.8.5 # ./configure --prefix=/usr/local/gcc-4.8.5 --enable-checking=release --with-gpm=/usr/local/gcc-4.8.5 --with-mpfr=/usr/local/gcc-4.8.5 --with-mpc=/usr/local/gcc-4.8.5 --enable-languages=c,c++ # make && make install |
使う際には、環境変数に入れて使い分けます
1 2 3 4 | $ export LD_LIBRARY_PATH=/usr/local/gcc/lib:/usr/local/gcc/lib64:$LD_LIBRARY_PATH $ export PATH=/usr/local/gcc/bin:$PATH $ alias gcc="gcc-4.8.5" $ alias g++="g++-4.8.5" |
自分用メモ
こちらのRでLDAのサンプルがありますが、うまく動かなかったので修正メモ
こちらのスクリプトを順番に実行していくと
1 2 | # ggplotで可視化 ggplot(topic.proportions.df, aes(x=topic, y=value, fill=document)) + geom_bar() + facet_wrap(~ document, ncol=N) + coord_flip() |
この部分で以下のエラーが出ます
1 | eval(expr, envir, enclos) でエラー: オブジェクト 'topic' がありません |
以下のように修正します
1 2 | # ggplotで可視化 ggplot(topic.proportions.df, aes(x=variable, y=value, fill=document)) + geom_bar() + facet_wrap(~ document, ncol=N) + coord_flip() |
次はこのエラーです
1 | エラー: stat_count() must not be used with a y aesthetic. |
ここを参考に修正します
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 | # coraデータの読み込み（2410の科学記事のデータセット。LISTで2410成分ある） data(cora.documents) head(cora.documents, n = 2) # 科学記事で使われているユニーク単語(2910個)のベクトル data(cora.vocab) head(cora.vocab) # 科学記事で使われているタイトル(2410個)のベクトル data(cora.titles) head(cora.titles) # 分析データの作成（トリッキーな参照をしているので注意） # 1列目がcora.documentsの第一成分で使われる単語のリスト、2列目がその出現回数 data_cora <- as.data.frame(cbind(cora.vocab[cora.documents[[1]][1, ] + 1], cora.documents[[1]][2,])) # coreの1番目の記事はこれらの単語とその出現回数で構成されていることが分かる。 head(data_cora) ### LDA # 推定するトピック数の設定 k <- 10 # ldaパッケージはギブスサンプラーでやるようです。 # ギブスサンプラーの中でも3つくらいmethodがあるようです。 result <- lda.collapsed.gibbs.sampler(cora.documents, k, cora.vocab, 25, # 繰り返し数 0.1, # ディリクレ過程のハイパーパラメータα 0.1, # ディリクレ過程のハイパーパラメータη compute.log.likelihood=TRUE) # サマリを見ると、10成分のリストで構成されている。 # assignments：文書Dと同じ長さのリスト。値は単語が割り当てられたトピックNoを示す。 # topic：k × vの行列。値はそのトピックに出現する単語数を表す。 # topic_sums：それぞれのトピックに割り当てられた単語の合計数 # document_sums：k × Dの行列。割り振られたトピックにおける一文章内の単語数を示す。 summary(result) # 各クラスターでの上位キーワードを抽出する # 例は各トピックにおける上位3位の単語の行列。 top.words <- top.topic.words(result$topics, 3, by.score=TRUE) top.words # 最初の3記事だけトピック割合を抽出してみる N <- 3 topic.proportions <- t(result$document_sums) / colSums(result$document_sums) topic.proportions <- topic.proportions[1:N, ] topic.proportions[is.na(topic.proportions)] <- 1 / k # 上位3番までのトップワードを用いて列名をつけて、意味付けを行う。 colnames(topic.proportions) <- apply(top.words, 2, paste, collapse=" ") par(mar=c(5, 14, 2, 2)) barplot(topic.proportions, beside=TRUE, horiz=TRUE, las=1, xlab="proportion") ### # ggplotで可視化するために、meltを駆使してデータを作成（トリッキーなので注意） topic.proportions.df <- melt(cbind(data.frame(topic.proportions), document=factor(1:N)), variable.name="topic", id.vars = "document") # ggplotで可視化 この部分がうまく動かないので修正 #http://tutorials.iq.harvard.edu/R/Rgraphics/Rgraphics.html ggplot(topic.proportions.df, aes(x=variable, y=value, fill=document)) + geom_bar(stat="identity") + facet_wrap(~ document, ncol=N) + coord_flip() # 予測はこんな感じ predictions <- predictive.distribution(result$document_sums[,1:2], result$topics, 0.1, 0.1) top.topic.words(t(predictions), 5) |
Rのパッケージは時々仕様が変わってしまいますので自分でコードを修正する必要があります。
MySQLのload data local infileの際に文字化けする対策
ポイントはcharacter_set_databaseパラメタを確認することでした
まずはUTF8でテーブルを作成します。なおデータベースエンジンにはInnodbを使用します
1 2 3 4 5 6 | create table TEST( id integer not null, name varchar(32) null, kana varchar(32) null )engine=innodb default charset=utf8 ; |
インポートするファイルの文字コードをUTF8にします
1 2 | $ head TEST.txt |nkf --guess UTF-8 (LF) |
UTF8でない場合には以下のコマンドで変換します
1 2 | $ cat TEST.txt |nkf -w > TEST.txt.utf8 $ mv TEST.txt.utf8 TEST.txt |
データベースの設定を確認します。なおmysqlコマンド起動時に –local-infile をつけないとload data local infileコマンドがエラーになります。５．５あたりからの仕様変更でしたっけ？
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 | $ mysql -uroot -hlocalhost -ppassword --local-infile=1 mysql> show global variables like "character%"; +--------------------------+----------------------------+ | Variable_name | Value | +--------------------------+----------------------------+ | character_set_client | latin1 | | character_set_connection | latin1 | | character_set_database | utf8 | | character_set_filesystem | binary | | character_set_results | latin1 | | character_set_server | latin1 | | character_set_system | utf8 | | character_sets_dir | /usr/share/mysql/charsets/ | +--------------------------+----------------------------+ 8 rows in set (0.01 sec) </pre＞ このグローバル変数のうちcharacter_set_databaseがutf8になっていることを確認します なっていない場合には、以下のコマンドで変更します <pre> mysql> set global character_set_database=utf8; |
一時的に変更したい場合にはこちらのコマンドです。このセッションのみで有効です
1 | mysql> set character_set_database=utf8; |
それではインポートします
1 | mysq>load data local infile "/path/to/file/TEST.txt" into table TEST; |
これで文字化けせずインポートできます
dockerはdocker0インターフェースに自動で172.17.42.1のIPアドレスを割り当てます。
これで困るのが、実際のネットワーク上にこのセグメントがある場合。
ｄｏｃｋｅｒを起動したこのサーバに、リモートからアクセスできなくなります。
1 2 3 4 5 6 7 8 | # ifconfig docker0 Link encap:Ethernet HWaddr 56:84:7a:fe:97:99 inet addr:172.17.42.1 Bcast:0.0.0.0 Mask:255.255.0.0 UP BROADCAST MULTICAST MTU:1500 Metric:1 RX packets:0 errors:0 dropped:0 overruns:0 frame:0 TX packets:0 errors:0 dropped:0 overruns:0 carrier:0 collisions:0 txqueuelen:0 RX bytes:0 (0.0 B) TX bytes:0 (0.0 B) |
そこで、ｄｏｃｋｅｒ０のIPアドレスを変更します
/etc/default/dockerファイルに追加
1 | DOCKER_OPTS="--bip=172.66.33.0/24" |
リブートします
1 | $ sudo reboot |
再度ログインし確認します
1 2 3 4 5 6 7 8 | $ ifconfig docker0 Link encap:Ethernet HWaddr 56:84:7a:fe:97:99 inet addr:172.66.33.0 Bcast:0.0.0.0 Mask:255.255.255.0 UP BROADCAST MULTICAST MTU:1500 Metric:1 RX packets:0 errors:0 dropped:0 overruns:0 frame:0 TX packets:0 errors:0 dropped:0 overruns:0 carrier:0 collisions:0 txqueuelen:0 RX bytes:0 (0.0 B) TX bytes:0 (0.0 B) |
ubuntu14.04にDockerをインストールし、一般ユーザで動かします。
1 | $ sudo apt-get install docker.io |
面倒になると困るのでiptablesを削除します
1 2 | $ sudo iptables -F -t nat $ sudo iptables -F |
こちらを参考に
1 2 3 | $ sudo groupadd docker # これは不要かもしれない $ sudo gpasswd -a ${USER} docker $ sudo /etc/init.d/docker restart |
一度ログアウトしもう一度ログインします
1 2 | $ docker ps CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES |
ちょっとはまっていたのでメモ。
環境:ＭａｃＯＳ 10.11
こちらを参考に。
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 | $ cat $HOME/.atom/packages/latex/lib/builders/latexmk.js 'use babel' import childProcess from 'child_process' import path from 'path' import Builder from '../builder' export default class LatexmkBuilder extends Builder { constructor () { super() this.executable = 'latexmk' } static canProcess (filePath) { return path.extname(filePath) === '.tex' } run (filePath) { const args = this.constructArgs(filePath) const command = `${this.executable} ${args.join(' ')}` const options = this.constructChildProcessOptions() options.cwd = path.dirname(filePath) // Run process with sensible CWD. options.maxBuffer = 52428800 // Set process' max buffer size to 50 MB. options.env.max_print_line = 1000 // Max log file line length. return new Promise((resolve) => { // TODO: Add support for killing the process. childProcess.exec(command, options, (error) => { resolve((error) ? error.code : 0) }) }) } // constructArgs (filePath) { // const outputFormat = atom.config.get('latex.outputFormat') || 'pdf' //// const args = [ // '-interaction=nonstopmode', // '-f', // '-cd', // `-${outputFormat}`, // '-file-line-error' // ] // // const enableShellEscape = atom.config.get('latex.enableShellEscape') // const enableSynctex = atom.config.get('latex.enableSynctex') !== false // const engineFromMagic = this.getLatexEngineFromMagic(filePath) // const customEngine = atom.config.get('latex.customEngine') // const engine = atom.config.get('latex.engine') // // if (enableShellEscape) { // args.push('-shell-escape') // } // if (enableSynctex) { // args.push('-synctex=1') // } // // if (engineFromMagic) { // args.push(`-pdflatex="${engineFromMagic}"`) // } else if (customEngine) {// args.push(`-pdflatex="${customEngine}"`) // } else if (engine && engine !== 'pdflatex') { // args.push(`-${engine}`) // } // // let outdir = this.getOutputDirectory(filePath) // if (outdir) { // args.push(`-outdir="${outdir}"`) // } // // args.push(`"${filePath}"`) // return args // } constructArgs (filePath) { const args = [ '-interaction=nonstopmode', '-f', '-cd', '-synctex=1', '-file-line-error', '-pdfdvi', '-latex=platex', '-e \'$dvipdf="dvipdfmx %O -o %D %S";$bibtex="pbibtex %O %B";$makeindex="mendex %O -o %D %S";\'' ] const enableShellEscape = atom.config.get('latex.enableShellEscape') if (enableShellEscape) { args.push('-shell-escape') } let outdir = this.getOutputDirectory(filePath) if (outdir) { args.push(`-outdir="${outdir}"`) } args.push(`"${filePath}"`) return args } } |
こんな感じで修正。
ＡｔｏｍのメニューPackages->Latex->build
で日本語コンパイルできました
Atomとは、Github謹製のリッチなエディターです。SublimeTextの対抗といったところでしょうか？
プラグインも豊富でかなり使い勝手がいいです。特にMarkdownで文章を書いたりするのが非常に便利
markdown-previewプラグインを入れればctrl+shift+mでMarkdownで書いたドキュメントの成形したプレビューを見ることができます。また、MarkdownからPDFを作成することもできるので非常に便利です
ただし、この設定を上手くしておかないとエラーが出ます。
1 | markdown-pdf referenceerror callback is not defined |
このエラーが出た場合には、markdown-pdfとmarkdown-preview-plusというプラグインがEnableになっていると思いますので、markdown-preview-plusをdisableにして、markdown-prevewをenableにすれば治ります
MacOSX10.8にはデフォルトでwgetが入っていません。必要ならばソースコードからコンパイルする必要があります。
まず手始めにはgccをインストールする必要があります。こちらを参考にコマンドライン版gccもいれます
wgetはソースコードからコンパイルするため、ブラウザでGNUのページからダウンロードします
1 2 3 4 5 6 7 | $ cd /Users/UserName/Downloads $ tar zxvfp wget-1.14.tar.gz $ cd wget-1.14 $ ./configure --with-ssl=openssl $ make # su # make install |
こんな感じでインストールできます。
ちなみに–with-ssl=opensslをつけないとconfigureに失敗しました
KH Coderという、自然言語の解析用の統合ソフトウエアをMacにインストールする際のメモ
まず、関連するモジュールをインストールします。KH Coderは内部でR,MySQL,mecab,Perlを使用しますのでMacにあらかじめこれらを入れておく必要があります。
brewで入れるのが簡単です
brewって何って言う人はこのあたりを参考に入れてみてください
このあたりを参考にインストールします。DBのユーザ名、パスワードは任意に決めておきます
1 2 3 4 | $ brew install mysql $ echo "[mysqld]" > /usr/local/etc/my.cnf $ echo "sql_mode = \"\"" >> /usr/local/etc/my.cnf $ mysql.server start |
KH CoderはMySQL5.7だと不具合が出るのでsql_modeをブランクにしておきます
確認します
1 2 3 4 5 6 7 8 9 10 11 12 13 14 | $ mysql -uroot Welcome to the MySQL monitor. Commands end with ; or \g. Your MySQL connection id is 243 Server version: 5.7.12 Homebrew Copyright (c) 2000, 2016, Oracle and/or its affiliates. All rights reserved. Oracle is a registered trademark of Oracle Corporation and/or its affiliates. Other names may be trademarks of their respective owners. Type 'help;' or '\h' for help. Type '\c' to clear the current input statement. mysql> |
同じくBrewが簡単です
1 | $ brew install r |
1 2 | $ brew install mecab $ brew install mecab-ipadic |
Macには初めからPerlがインストールされているので、今回は関連するモジュールを追加します。
1 2 | $ sudo su - # perl -MCPAN -e shell |
初めて起動する際には色々聞かれますがデフォルトで全てOKです。黙ってリターンキーを押しましょう
CPANのシェルが起動すれば黙々と以下インストールします
1 2 3 4 5 6 7 8 9 10 11 | cpan> install Jcode cpan> install Tk cpan> install DBD::CSV cpan> install Net::Telnet cpan> install YAML cpan> install Spreadsheet::ParseExcel cpan> install Spreadsheet::ParseXLSX cpan> install Clipboard cpan> install Statistics::Lite cpan> install Algorithm::NaiveBayes cpan> install Text::Iconv |
こんな感じでインストールしていきます。
たまにエラーが出る場合にはあわてず以下の通りにします
例えば Spreadsheet-ParseExcelがエラーになった場合には
1 2 3 4 5 6 | # cd ~/.cpan/build # cd Spreadsheet-ParseExcel-0.65-OEiGuu # perl Makefile.PL # ./configure # make # make install |
こんな感じです。
こちらからソースコードをダウンロードして解凍しておきます
KH Coderをダウンロードしたディレクトリに移動し一度起動します。こすればconfigいかにファイルが作成されます
1 | $ perl kh_coder.pl |
そのあと設定ファイルを設定します。インストールした際のMySQLのユーザ名とパスワード、Mecabを設定します。
1 2 3 4 | $ vi kh_coder/config/config.ini c_or_j mecab sql_username ユーザ sql_password パスワード |
設定ファイルの文字コードを修正します。nkfが入っていない場合にはbrew でインストールしてください
1 2 | $ cd config $ nkf -s hinshi_mecab > /tmp/$$ && mv -f /tmp/$$ hinshi_mecab |
KH Coderをダウンロードしたディレクトリに移動します
1 | $ perl kh_coder.pl |
これで起動できるはずです。
こんな感じでPerlのエラーが出た際には、Perlのモジュールを入れてください。以下の例だとDBD/CSV.pmが足りないので install DBD::CSVをインストールします
1 2 | $ perl kh_coder.pl Can't locate DBD/CSV.pm in @INC (you may need to install the DBD::CSV module) (@INC contains: /Users/utsubo/Downloads/kh_coder/kh_lib /Library/Perl/5.18/darwin-thread-multi-2level /Library/Perl/5.18 /Network/Library/Perl/5.18/darwin-thread-multi-2level /Network/Library/Perl/5.18 /Library/Perl/Updates/5.18.2/darwin-thread-multi-2level /Library/Perl/Updates/5.18.2 /System/Library/Perl/5.18/darwin-thread-multi-2level /System/Library/Perl/5.18 /System/Library/Perl/Extras/5.18/darwin-thread-multi-2level /System/L |
1 | cpan> install DBD::CSV |
mysql5.7でのエラーについて
前処理を実行するとこういうエラーが出ます
1 2 | DBD::mysql::db do failed: Expression #3 of SELECT list is not in GROUP BY clause and contains nonaggregated column 'khc0.hinshi.id' which is not functionally dependent on columns in GROUP BY clause; this is incompatible with sql_mode=only_full_group_by at /Users/utsubo/Downloads/kh_coder/kh_lib/mysql_exec.pm line 256. Exit (gui_errormsg.pm) |
こちらによると５．７からGroupBYの仕様が変わったらしいです。