よく忘れるのでメモ
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 | #!/bin/env ruby # coding:utf-8 require "rsruby" require "rsruby/dataframe" r=RSRuby.instance r.class_table["data.frame"]=lambda{|x| DataFrame.new(x)} RSRuby.set_default_mode(RSRuby::CLASS_CONVERSION) x=[1,2,3] y=[2,4,6] df=r.as_data_frame(:x=>{'x'=>x,'y'=>y}) r.assign('df',df) res=r.eval_R(<<R_COMMAND) summary(lm(y ~ x ,df)) R_COMMAND p res["r.squared"] |
環境: ruby 2.2.2
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 | class Test attr_accessor:a def initialize(a) @a=a end def to_str return "class:"+@a.to_s end end p Test.name # クラス名を取得 # "Test" cls=(eval Test.name).new("kk") # クラス名からインスタンスを作成 p cls.a # "kk" p cls.to_str # "class:kk" |
参考
http://d.hatena.ne.jp/stakizawa/20070505/t1
http://yiaowang.web.fc2.com/programing/ruby_tips/etc_01.html
jekyllをご存知でしょうか？そこいら中に記事があるので詳細はググればわかりますが、簡単にいえば静的HTMLのジェネレータフレームワークです。
Rubyで作成されていますのでgemで簡単にインストールできます。
がちょっとハマったので備忘録。。
まずはRUBYを入れます。Windows用のRubyはいろいろありますが、
http://rubyinstaller.org/downloads/
こちらからWindows用のMSIをダウンロードしインストールします。
C:\Ruby21-x64にインストールした後には環境変数PATHにC:\Ruby21-x64\binを追加します。
そのままgemでインストールしようとすると以下のエラーが出ます
1 2 3 4 5 6 | C:\>gem install jekyll ERROR: Error installing jekyll: The 'yajl-ruby' native gem requires installed build tools. Please update your PATH to include build tools or download the DevKit from 'http://rubyinstaller.org/downloads' and follow the instructions at 'http://github.com/oneclick/rubyinstaller/wiki/Development-Kit' |
どうやらMakeできなよと怒られたようです
DevelopmentKitなるものを同じページからダウンロードします。
DevKit-mingw64-64-4.7.2-20130224-1432-sfx.exe
現在だとこれになります。
これをC直下にc:\devkitというフォルダを作成しその中に解凍します
その後以下のコマンドを実行
1 2 3 4 5 6 7 8 | C:\devkit>ruby dk.rb init [INFO] found RubyInstaller v2.1.3 at C:/Ruby21-x64 Initialization complete! Please review and modify the auto-generated 'config.yml' file to ensure it contains the root directories to all of the installed Rubies you want enhanced by the DevKit. C:\devkit>ruby dk.rb install [INFO] Updating convenience notice gem override for 'C:/Ruby21-x64' [INFO] Installing 'C:/Ruby21-x64/lib/ruby/site_ruby/devkit.rb' |
これで準備が整いました
あとはgemでインストール
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 | C:\devkit>gem install jekyll Temporarily enhancing PATH to include DevKit... Building native extensions. This could take a while... Successfully installed yajl-ruby-1.1.0 Fetching: posix-spawn-0.3.9.gem (100%) Building native extensions. This could take a while... Successfully installed posix-spawn-0.3.9 Fetching: pygments.rb-0.6.0.gem (100%) Successfully installed pygments.rb-0.6.0 Fetching: redcarpet-3.2.0.gem (100%) Building native extensions. This could take a while... Successfully installed redcarpet-3.2.0 Fetching: blankslate-2.1.2.4.gem (100%) Successfully installed blankslate-2.1.2.4 Fetching: parslet-1.5.0.gem (100%) Successfully installed parslet-1.5.0 Fetching: toml-0.1.1.gem (100%) Successfully installed toml-0.1.1 Fetching: jekyll-paginate-1.1.0.gem (100%) Successfully installed jekyll-paginate-1.1.0 Fetching: jekyll-gist-1.1.0.gem (100%) Successfully installed jekyll-gist-1.1.0 Fetching: coffee-script-source-1.8.0.gem (100%) Successfully installed coffee-script-source-1.8.0 Fetching: execjs-2.2.2.gem (100%) Successfully installed execjs-2.2.2 Fetching: coffee-script-2.3.0.gem (100%) Successfully installed coffee-script-2.3.0 Fetching: jekyll-coffeescript-1.0.1.gem (100%) Successfully installed jekyll-coffeescript-1.0.1 Fetching: sass-3.4.5.gem (100%) Successfully installed sass-3.4.5 Fetching: jekyll-sass-converter-1.2.1.gem (100%) Successfully installed jekyll-sass-converter-1.2.1 Fetching: ffi-1.9.6-x64-mingw32.gem (100%) Successfully installed ffi-1.9.6-x64-mingw32 Fetching: rb-inotify-0.9.5.gem (100%) Successfully installed rb-inotify-0.9.5 Fetching: rb-fsevent-0.9.4.gem (100%) Successfully installed rb-fsevent-0.9.4 Fetching: hitimes-1.2.2.gem (100%) Building native extensions. This could take a while... Successfully installed hitimes-1.2.2 Fetching: timers-4.0.1.gem (100%) Successfully installed timers-4.0.1 Fetching: celluloid-0.16.0.gem (100%) Successfully installed celluloid-0.16.0 Fetching: listen-2.7.11.gem (100%) Successfully installed listen-2.7.11 Fetching: jekyll-watch-1.1.1.gem (100%) Successfully installed jekyll-watch-1.1.1 Fetching: fast-stemmer-1.0.2.gem (100%) Building native extensions. This could take a while... Successfully installed fast-stemmer-1.0.2 Fetching: classifier-reborn-2.0.1.gem (100%) Successfully installed classifier-reborn-2.0.1 Fetching: jekyll-2.4.0.gem (100%) Successfully installed jekyll-2.4.0 Parsing documentation for blankslate-2.1.2.4 Installing ri documentation for blankslate-2.1.2.4 Parsing documentation for celluloid-0.16.0 Installing ri documentation for celluloid-0.16.0 Parsing documentation for classifier-reborn-2.0.1 Installing ri documentation for classifier-reborn-2.0.1 Parsing documentation for coffee-script-2.3.0 Installing ri documentation for coffee-script-2.3.0 Parsing documentation for coffee-script-source-1.8.0 Installing ri documentation for coffee-script-source-1.8.0 Parsing documentation for execjs-2.2.2 Installing ri documentation for execjs-2.2.2 Parsing documentation for fast-stemmer-1.0.2 Installing ri documentation for fast-stemmer-1.0.2 Parsing documentation for ffi-1.9.6-x64-mingw32 Installing ri documentation for ffi-1.9.6-x64-mingw32 Parsing documentation for hitimes-1.2.2 Installing ri documentation for hitimes-1.2.2 Parsing documentation for jekyll-2.4.0 Installing ri documentation for jekyll-2.4.0 Parsing documentation for jekyll-coffeescript-1.0.1 Installing ri documentation for jekyll-coffeescript-1.0.1 Parsing documentation for jekyll-gist-1.1.0 Installing ri documentation for jekyll-gist-1.1.0 Parsing documentation for jekyll-paginate-1.1.0 Installing ri documentation for jekyll-paginate-1.1.0 Parsing documentation for jekyll-sass-converter-1.2.1 Installing ri documentation for jekyll-sass-converter-1.2.1 Parsing documentation for jekyll-watch-1.1.1 Installing ri documentation for jekyll-watch-1.1.1 Parsing documentation for listen-2.7.11 Installing ri documentation for listen-2.7.11 Parsing documentation for parslet-1.5.0 Installing ri documentation for parslet-1.5.0 Parsing documentation for posix-spawn-0.3.9 Installing ri documentation for posix-spawn-0.3.9 Parsing documentation for pygments.rb-0.6.0 Installing ri documentation for pygments.rb-0.6.0 Parsing documentation for rb-fsevent-0.9.4 Installing ri documentation for rb-fsevent-0.9.4 Parsing documentation for rb-inotify-0.9.5 Installing ri documentation for rb-inotify-0.9.5 Parsing documentation for redcarpet-3.2.0 Installing ri documentation for redcarpet-3.2.0 Parsing documentation for sass-3.4.5 Installing ri documentation for sass-3.4.5 Parsing documentation for timers-4.0.1 Installing ri documentation for timers-4.0.1 Parsing documentation for toml-0.1.1 Installing ri documentation for toml-0.1.1 Parsing documentation for yajl-ruby-1.1.0 Installing ri documentation for yajl-ruby-1.1.0 Done installing documentation for blankslate, celluloid, classifier-reborn, coff ee-script, coffee-script-source, execjs, fast-stemmer, ffi, hitimes, jekyll, jek yll-coffeescript, jekyll-gist, jekyll-paginate, jekyll-sass-converter, jekyll-wa tch, listen, parslet, posix-spawn, pygments.rb, rb-fsevent, rb-inotify, redcarpe t, sass, timers, toml, yajl-ruby after 16 seconds 26 gems installed |
apacheのログなどを解析する場合にはmongodbに一度入れると扱いやすくなります。
そこでこのプレーンテキストのapacheのログをrubyを使っていれる試みをしてみました
この辺りを参考に
http://mironal-memo.blogspot.jp/2012/07/mongodb-ruby.html
1 2 | gem install mongo gem install bson_ext |
ログからip,時間、urlの３つ、必要なものを抽出します
1 | zcat access.log.gz |awk '{print $1"\t"$4"\t"$7}' > log.txt |
1 2 3 4 5 6 7 8 9 10 11 12 13 | #!/bin/env ruby require "mongo" conn=Mongo::Connection.new db=conn.db("database") col=db.collection("logs") open("log.txt"){|f| f.each{|line| line.chomp! ay=line.split("\t") col.insert({"ip"=>ay[0],"date":"ISODate(Time.parse(ay[1].gsub("[","").sub(":"," ")).strftime('%Y-%m-%dT%H:%M:%SZ'))","url":ay[2]) } } |
こんな感じで入るのかと思ったのですがISODateにはなりません
仕方がないので一度ファイルにします
1 2 3 4 5 6 7 8 9 | #!/bin/env ruby puts "use database" open("log.txt"){|f| f.each{|line| line.chomp! ay=line.split("\t") puts 'db.logs.insert({ip:"'+ay[0]+'","date":ISODate("'+Time.parse(ay[1].gsub("[","").sub(":"," ")).strftime('%Y-%m-%dT%H:%M:%SZ'))+'"),"url":"'+ay[2]+'"))' } } |
1 2 | ruby create.rb > mongo.dat mongo < mongo.dat |
これくらいしかわかりませんでした
一度ファイルにせずともできました
1 2 3 4 5 6 7 8 | #!/bin/env ruby require "rubygems" require "mongo" require "time" include Mongo db=MongoClient.new("localhost",27017).db("database") col=db.collection("test") col.insert({"id"=>"id0","date"=>Time.parse("2013-12-25 00:00:00").utc}) |
Time型のオブジェクトを作成し、utcへ変換するとMongodbではISODateへとなっています
ちょっと悩んだのでメモ
1 2 3 4 | #!/bin/env ruby -Ku s="MAC'D" ss=s.gsub("'","\\\'") print ss # MACDD |
1 2 3 4 | #!/bin/env ruby -Ku s="MAC'D" ss=s.gsub("'","\\'") print ss # MACDD |
1 2 3 4 | #!/bin/env ruby -Ku s="MAC'D" ss=s.gsub("'","\\\\'") print ss # MAC\'D |
ruby-kakasiを導入してみたのですが、どうも動きがおかしいことに気づきました
どういう時におかしいかというと連続で違う引数で呼び出す際にどうやら２回めの呼び出し時の引数が聞いていないような感じです。しかもローマ字に変換する際にヘボン式か訓令式か変更した場合のみです
こんなコード
1 2 3 4 5 6 7 8 | #!ruby #coding:utf-8 require "kakasi" require "nkf" keyword="し ち つ ふ じ ぢ しゃ しゅ しょ ちゃ ちゅ ちょ じゃ じゅ じょ ぢゃ ぢゅ ぢょ" p Kakasi.kakasi("-Ea -Ja -Ka -Ha ",NKF.nkf("-e",keyword)) p Kakasi.kakasi("-Ea -Ja -Ka -Ha -rk",NKF.nkf("-e",keyword)) |
結果がこれ
1 2 3 | $ ruby test.rb "shi chi tsu fu ji di sha shu sho cha chu cho ja ju jo dya dyu dyo" "shi chi tsu fu ji di sha shu sho cha chu cho ja ju jo dya dyu dyo" |
最初kakasi-rubyがおかしいのかと思いソースコードをいじってみていたのですがどうやらそうではなく、本体側がおかしいことがわかりました。
このぶぶん
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 | --- kakasi-2.3.4/src/hh2.c 2001-05-30 14:46:55.000000000 +0900 +++ kakasi-2.3.4_mod/src/hh2.c 2013-04-23 18:23:04.000000000 +0900 @@ -192,7 +192,7 @@ int max_match, match_more; char *max_romaji; - if (index_made == 0) { +// if (index_made == 0) { int last; for (i = 0; i < 0x81; ++ i) { @@ -211,7 +211,7 @@ last = index_table[i]; } index_made = 1; - } +// } buffer[H2rom_buflen-1] = '\0'; clen = H2rom_buflen-1; for (i = 0; i < (H2rom_buflen-1)/2; i ++) { |
どうも訓令式とヘボン式のテーブルを切り替えて使っているようなのですが、高速化のためか一文字目の際にテーブルを作成し、それ以降はキャッシュを見るような感じになっています。しかしstatic変数で管理しているため、Library使用時にはこれがクリアされず、２回めのライブラリ呼び出し時には前回のキャッシュをそのまま使っていたようです
とりあえずキャッシュ部分を削除してみました。
本来ならばきちんと治すべきなのですが、、、、、
本体修正後rubyを実行
1 2 3 | ruby test.rb "shi chi tsu fu ji di sha shu sho cha chu cho ja ju jo dya dyu dyo" "si ti tu hu zi di sya syu syo tya tyu tyo zya zyu zyo dya dyu dyo" |
期待通りとなりました
https://github.com/hogelog/kakasi-ruby
ruby用のkakasiモジュールはそのままではruby1.9ではコンパイルが通りません
そこで↓を参考に修正
http://www.metareal.org/2007/06/14/ruby-extension-struct-rstring-macros/
パッチ
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 | diff -u kakasi-ruby-master/kakasi.c kakasi-ruby-master-1.9/kakasi.c --- kakasi-ruby-master/kakasi.c 2013-04-19 10:14:17.000000000 +0900 +++ kakasi-ruby-master-1.9/kakasi.c 2013-04-19 10:08:46.000000000 +0900 @@ -3,24 +3,28 @@ * Copyright (c) 1999-2002 GOTO Kentaro */ - #include <string.h> #include "ruby.h" #include "libkakasi.h" - #define OPTMAX 1024 #define min(x,y) ((x)<(y) ? (x) : (y)) +// 130419 for 1.9 +#ifndef RSTRING_PTR +#define RSTRING_PTR(s) (RSTRING(s)->ptr) +#endif +#ifndef RSTRING_LEN +#define RSTRING_LEN(s) (RSTRING(s)->len) +#endif + static char const rcsid[] = "$kNotwork: kakasi.c,v 1.3 2002/09/28 05:21:37 gotoken Exp $"; - static int dic_closed = 1, len = 0; static char prev_opt_ptr[OPTMAX]; - static VALUE rb_kakasi_kakasi(obj, opt, src) VALUE obj, opt, src; @@ -30,45 +34,36 @@ char *buf, *opt_ptr, *t; VALUE dst; - Check_Type(src, T_STRING); - /* return "" immediately if source str is empty */ - if (RSTRING(src)->len == 0) + if(RSTRING_LEN(src)==0) return rb_str_new2(""); - Check_Type(opt, T_STRING); - /* initialize kakasi iff opt != previous opt */ - if (0 == len || 0 != strncmp(RSTRING(opt)->ptr, prev_opt_ptr, - min(RSTRING(opt)->len, len))) { - strncpy(prev_opt_ptr, RSTRING(opt)->ptr, RSTRING(opt)->len); - len = RSTRING(opt)->len; - + if (0 == len || 0 != strncmp(RSTRING_PTR(opt), prev_opt_ptr, + min(RSTRING_LEN(opt), len))) { + strncpy(prev_opt_ptr, RSTRING_PTR(opt), RSTRING_LEN(opt)); + len = RSTRING_LEN(opt); if (len + 1 > OPTMAX) { rb_raise(rb_eArgError, "too long 1st arg (should be < 1023)"); } - if (!dic_closed) { kakasi_close_kanwadict(); dic_closed = 1; } - - argv = opts = ALLOCA_N(char*, RSTRING(opt)->len); + argv = opts = ALLOCA_N(char*, RSTRING_LEN(opt)); *opts++ = "kakasi"; argc++; - - opt_ptr = ALLOCA_N(char, 1 + RSTRING(opt)->len); - strncpy(opt_ptr, RSTRING(opt)->ptr, RSTRING(opt)->len); - opt_ptr[RSTRING(opt)->len] = '\0'; - + opt_ptr = ALLOCA_N(char, 1 + RSTRING_LEN(opt)); + strncpy(opt_ptr, RSTRING_PTR(opt), RSTRING_LEN(opt)); + opt_ptr[RSTRING_LEN(opt)] = '\0'; if (*opts++ = strtok(opt_ptr, " \t")) { argc++; @@ -77,42 +72,37 @@ argc++; } } - - + if (0 != kakasi_getopt_argv(argc, argv)) rb_raise(rb_eRuntimeError, "failed to initialize kakasi"); dic_closed = 0; } - dst = rb_str_new2(""); - while (i < RSTRING(src)->len) { - if (*(RSTRING(src)->ptr + i) != '\0') { - buf = kakasi_do((RSTRING(src)->ptr + i)); + while (i < RSTRING_LEN(src)) { + if (*(RSTRING_PTR(src) + i) != '\0') { + buf = kakasi_do((RSTRING_PTR(src) + i)); rb_str_concat(dst, rb_str_new2(buf)); if (*buf) free(buf); - while (*(RSTRING(src)->ptr + i) != '\0') { + while (*(RSTRING_PTR(src) + i) != '\0') { i++; } } - if (i == RSTRING(src)->len) { + if (i == RSTRING_LEN(src)) { break; } rb_str_concat(dst, rb_str_new("\0", 1)); i++; } - return dst; } - void Init_kakasi() { VALUE mKakasi = rb_define_module("Kakasi"); - rb_define_module_function(mKakasi, "kakasi", rb_kakasi_kakasi, 2); rb_define_const(mKakasi, "KAKASI_VERSION", rb_str_new2("2002-09-28")); } |
と思って作成していたらすでに修正している人がいました。＿|￣|○
YAML.dumpでUTF8文字列をダンプする際にはバイナリと認識されてしまい、ファイルに保存した際にちょっと困ったことになります。
Psychなどを使う方法があるとのことですが、1.8だと気軽には使えません。
一つすばらしいやり方が紹介されていたのでちょっと改造してみます
http://projectzero-swb.blogspot.jp/2010/06/rubyyaml2.html
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 | #!/usr/bin/env ruby # -*- encoding: utf-8 -*- require "yaml" require "yaml/encoding" # String.is_binary_data?で必ずfalseを返すように書き換える class String def is_binary_data? return false end end class Name attr_reader:no,:name def initialize(no,name) @no=no @name=name end def to_s return @no.to_s+":"+@name.to_s end end data = {"はつね"=>Name.new(1,"みく"), "はちゅね"=>Name.new(2,"みく"), "かがみね"=>Name.new(3,"りん・ れん"), "めぐりね"=>Name.new(4,"るか")} # 通常どおり表示 #puts "Escape:" yaml = YAML.dump(data) # アンエスケープして表示 #puts "Unescape:" yaml = YAML.unescape(yaml) f=open("test3.yaml","w") f.write(yaml) f.close f=YAML.load_file("test3.yaml") f.each{|k,v| puts k+","+v.to_s } |
実行結果
1 2 3 4 | はちゅね,2:みく めぐりね,4:るか かがみね,3:りん・れん はつね,1:みく |
test3.yaml
1 2 3 4 5 6 7 8 9 10 11 12 13 | --- "はちゅね": !ruby/object:Name name: "みく" "no": 2 "めぐりね": !ruby/object:Name name: "るか" "no": 4 "かがみね": !ruby/object:Name name: "りん・れん" "no": 3 "はつね": !ruby/object:Name name: "みく" "no": 1 |
rubyはマルチスレッドのプログラムを書いても、CPUは一個しか使ってくれないらしい。
GIL というもののせいらしい。。
http://ja.wikipedia.org/wiki/グローバルインタプリタロック
そこでマルチプロセスのプログラムを作ってみる
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 | #!/bin/env ruby class Test def exec t1=fork{calc} t2=fork{calc} Process.waitpid t1 Process.waitpid t2 end def calc tim=rand(10) p Process.pid.to_s+",start,"+tim.to_s sleep tim p Process.pid.to_s+",end,"+tim.to_s exit end end if __FILE__ == $0 then Test.new.exec end |