MacOSX10.8にはデフォルトでwgetが入っていません。必要ならばソースコードからコンパイルする必要があります。
まず手始めにはgccをインストールする必要があります。こちらを参考にコマンドライン版gccもいれます
wgetはソースコードからコンパイルするため、ブラウザでGNUのページからダウンロードします
1 2 3 4 5 6 7 | $ cd /Users/UserName/Downloads $ tar zxvfp wget-1.14.tar.gz $ cd wget-1.14 $ ./configure --with-ssl=openssl $ make # su # make install |
こんな感じでインストールできます。
ちなみに–with-ssl=opensslをつけないとconfigureに失敗しました
KH Coderという、自然言語の解析用の統合ソフトウエアをMacにインストールする際のメモ
まず、関連するモジュールをインストールします。KH Coderは内部でR,MySQL,mecab,Perlを使用しますのでMacにあらかじめこれらを入れておく必要があります。
brewで入れるのが簡単です
brewって何って言う人はこのあたりを参考に入れてみてください
このあたりを参考にインストールします。DBのユーザ名、パスワードは任意に決めておきます
1 2 3 4 | $ brew install mysql $ echo "[mysqld]" > /usr/local/etc/my.cnf $ echo "sql_mode = \"\"" >> /usr/local/etc/my.cnf $ mysql.server start |
KH CoderはMySQL5.7だと不具合が出るのでsql_modeをブランクにしておきます
確認します
1 2 3 4 5 6 7 8 9 10 11 12 13 14 | $ mysql -uroot Welcome to the MySQL monitor. Commands end with ; or \g. Your MySQL connection id is 243 Server version: 5.7.12 Homebrew Copyright (c) 2000, 2016, Oracle and/or its affiliates. All rights reserved. Oracle is a registered trademark of Oracle Corporation and/or its affiliates. Other names may be trademarks of their respective owners. Type 'help;' or '\h' for help. Type '\c' to clear the current input statement. mysql> |
同じくBrewが簡単です
1 | $ brew install r |
1 2 | $ brew install mecab $ brew install mecab-ipadic |
Macには初めからPerlがインストールされているので、今回は関連するモジュールを追加します。
1 2 | $ sudo su - # perl -MCPAN -e shell |
初めて起動する際には色々聞かれますがデフォルトで全てOKです。黙ってリターンキーを押しましょう
CPANのシェルが起動すれば黙々と以下インストールします
1 2 3 4 5 6 7 8 9 10 11 | cpan> install Jcode cpan> install Tk cpan> install DBD::CSV cpan> install Net::Telnet cpan> install YAML cpan> install Spreadsheet::ParseExcel cpan> install Spreadsheet::ParseXLSX cpan> install Clipboard cpan> install Statistics::Lite cpan> install Algorithm::NaiveBayes cpan> install Text::Iconv |
こんな感じでインストールしていきます。
たまにエラーが出る場合にはあわてず以下の通りにします
例えば Spreadsheet-ParseExcelがエラーになった場合には
1 2 3 4 5 6 | # cd ~/.cpan/build # cd Spreadsheet-ParseExcel-0.65-OEiGuu # perl Makefile.PL # ./configure # make # make install |
こんな感じです。
こちらからソースコードをダウンロードして解凍しておきます
KH Coderをダウンロードしたディレクトリに移動し一度起動します。こすればconfigいかにファイルが作成されます
1 | $ perl kh_coder.pl |
そのあと設定ファイルを設定します。インストールした際のMySQLのユーザ名とパスワード、Mecabを設定します。
1 2 3 4 | $ vi kh_coder/config/config.ini c_or_j mecab sql_username ユーザ sql_password パスワード |
設定ファイルの文字コードを修正します。nkfが入っていない場合にはbrew でインストールしてください
1 2 | $ cd config $ nkf -s hinshi_mecab > /tmp/$$ && mv -f /tmp/$$ hinshi_mecab |
KH Coderをダウンロードしたディレクトリに移動します
1 | $ perl kh_coder.pl |
これで起動できるはずです。
こんな感じでPerlのエラーが出た際には、Perlのモジュールを入れてください。以下の例だとDBD/CSV.pmが足りないので install DBD::CSVをインストールします
1 2 | $ perl kh_coder.pl Can't locate DBD/CSV.pm in @INC (you may need to install the DBD::CSV module) (@INC contains: /Users/utsubo/Downloads/kh_coder/kh_lib /Library/Perl/5.18/darwin-thread-multi-2level /Library/Perl/5.18 /Network/Library/Perl/5.18/darwin-thread-multi-2level /Network/Library/Perl/5.18 /Library/Perl/Updates/5.18.2/darwin-thread-multi-2level /Library/Perl/Updates/5.18.2 /System/Library/Perl/5.18/darwin-thread-multi-2level /System/Library/Perl/5.18 /System/Library/Perl/Extras/5.18/darwin-thread-multi-2level /System/L |
1 | cpan> install DBD::CSV |
mysql5.7でのエラーについて
前処理を実行するとこういうエラーが出ます
1 2 | DBD::mysql::db do failed: Expression #3 of SELECT list is not in GROUP BY clause and contains nonaggregated column 'khc0.hinshi.id' which is not functionally dependent on columns in GROUP BY clause; this is incompatible with sql_mode=only_full_group_by at /Users/utsubo/Downloads/kh_coder/kh_lib/mysql_exec.pm line 256. Exit (gui_errormsg.pm) |
こちらによると５．７からGroupBYの仕様が変わったらしいです。
WordPressのプラグインでDayOfYearを表示するものを作成してみました
最初にディレクトリを作成します。今回は自分用に作成するので特に名前も気にしていないのですが、公開する場合には名前のかぶらないものにすることをお勧めします。
1 | $ mkdir utbt_doycalendar |
このディレクトリにplugin.phpファイルを作成しヘッダを作成します。
この辺りはお決まりですので、このあたりのサイトに書かれている通りにします
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 | <?php /* Plugin Name: Doy Calendar Plugin URI: http://labo.utsubopeo.com/ Description: Display Doy Calendar Version: 1.0.0 Author: k-utsubo Author URI: http://labo.utsubopeo.com/ License: GPL2 */ ?> <?php /* Copyright 2016 k-utsubo This program is free software; you can redistribute it and/or modify it under the terms of the GNU General Public License, version 2, as published by the Free Software Foundation. This program is distributed in the hope that it will be useful, but WITHOUT ANY WARRANTY; without even the implied warranty of MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the GNU General Public License for more details. You should have received a copy of the GNU General Public License along with this program; if not, write to the Free Software Foundation, Inc., 51 Franklin St, Fifth Floor, Boston, MA 02110-1301 USA */ ?> |
こんな感じで十分でしょうか？
今回はWordpressのプラグインとしてショートコードをページに記入レバ表示できるような仕様にします。
また、ページには１年間分のカレンダーを表示し、年をテキストボックスでフォーム入力し、Submitすることにより切り替えます。
この際に、FormからはGetパラメタで送信し、プラグイン内でGetパラメタを取得して年を切り替えます。
最初から作ってもいいのですが、こちらを参考にさせていただきました。
で、完成したコードがこちら
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 | <?php /* Plugin Name: Doy Calendar Plugin URI: http://labo.utsubopeo.com/ Description: Display Doy Calendar Version: 1.0.0 Author: k-utsubo Author URI: http://labo.utsubopeo.com/ License: GPL2 */ ?> <?php /* Copyright 2016 k-utsubo This program is free software; you can redistribute it and/or modify it under the terms of the GNU General Public License, version 2, as published by the Free Software Foundation. This program is distributed in the hope that it will be useful, but WITHOUT ANY WARRANTY; without even the implied warranty of MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the GNU General Public License for more details. You should have received a copy of the GNU General Public License along with this program; if not, write to the Free Software Foundation, Inc., 51 Franklin St, Fifth Floor, Boston, MA 02110-1301 USA */ ?> <?php date_default_timezone_set('Asia/Tokyo'); // php5.1以降のWarning対応 function utbt_calendar_func($atts,$content=''){ $year = (isset($_GET["utbt_year"]) && $_GET["utbt_year"] != "") ? $_GET["utbt_year"] : ""; $year = htmlspecialchars($year, ENT_QUOTES); $cal= new UtbtCalendar; return $cal->calendar($year); } add_shortcode('utbt_calendar','utbt_calendar_func'); class UtbtCalendar{ function calendar($year=''){ if (empty($year) && empty($month)) { $year = date('Y'); } $html="<form method='get' action='".$_SERVER['REQUEST_URI']."'>Input Yea r:<input type='text' name='utbt_year' value='$year'><input type='submit'>"; for($i=1;$i<=12;$i++){ $html.=$this->calendar_exec($year,$i); } $html.="</form>"; return $html; } //http://shanabrian.com/web/php_calendar.php private function calendar_exec($year = '', $month = '') { $tab=""; $str=""; if (empty($year) && empty($month)) { $year = date('Y'); $month = date('n'); } //月末の取得 $l_day = date('j', mktime(0, 0, 0, $month + 1, 0, $year)); //初期出力 $html = <<<EOM <table class="calendar"> <caption>{$year}/{$month}</caption> <tr> <th><font color="#FF0000">Sun</font></th> <th>Mon</th> <th>Tue</th> <th>Wed</th> <th>Thr</th> <th>Fri</th> <th><font color="#0000FF">Sat</font></th> </tr>\n EOM; $lc = 0; // 月末分繰り返す for ($i = 1; $i < $l_day + 1;$i++) { $classes = array(); $class = ''; // 曜日の取得 $week = date('w', mktime(0, 0, 0, $month, $i, $year)); // 曜日が日曜日の場合 if ($week == 0) { $str .= $tab."\t\t<tr>\n"; $lc++; } // 1日の場合 if ($i == 1) { if($week != 0) { $str .= $tab."\t\t<tr>\n"; $lc++; } $str .= $this->repeatEmptyTd($week); } if ($week == 6) { array_push($classes, '#0000FF'); } else if ($week == 0) { array_push($classes , '#FF0000'); } if (count($classes) > 0) { $class = '"'.implode(' ', $classes).'"'; } $doy = date('z', mktime(0, 0, 0, $month, $i, $year))+1; $str .= $tab."\t\t\t".'<td><font color='.$class.'>'.$i.'('.$doy.')</font></td>'."\n"; // 月末の場合 if ($i == $l_day) { $str .= $this->repeatEmptyTd(6 - $week); } // 土曜日の場合 if ($week == 6) { $str .= $tab."\t\t</tr>\n"; } } $html .=$str; $html .= "</table>\n"; return $html; } private function repeatEmptyTd($n = 0) { return str_repeat("\t\t<td> </td>\n", $n); } } ?> |
できたコードをディレクトリごとZIPファイルにし、Wordpressのプラグインに追加します。
また、ページにはこんな感じで書けば無事カレンダーが表示されます
1 | [utbt_calendar] |
作成したデモサイトはこちらになります
最近の人工知能ブームでテキストマイニングから法則を発見するといったこともしばしば行うようになってきました。
PDFから文字列を抽出する方法をメモっておきます
まずはpdftotextをインストールします
1 | $ brew install homebrew/x11/xpdf-japanese |
このまま実行するとエラーになります
1 2 3 | $ pdftotext test.pdf Syntax Error: No font in show Syntax Error: Unknown character collection 'Adobe-Japan1' |
こちらを参考に修正します
1 2 3 4 5 6 7 8 9 10 11 | $ wget ftp://ftp.foolabs.com/pub/xpdf/xpdf-japanese.tar.gz $ tar zxvpf xpdf-japanese.tar.gz $ mkdir -p /usr/local/share/xpdf/japanese $ mv xpdf-japanese/* /usr/local/share/xpdf/japanese/ $ echo "textEncoding UTF-8" >> /usr/local/etc/xpdfrc $ echo "cidToUnicode Adobe-Japan1 /usr/local/share/xpdf/japanese/Adobe-Japan1.cidToUnicode" >> /usr/local/etc/xpdfrc $ echo "unicodeMap ISO-2022-JP /usr/local/share/xpdf/japanese/ISO-2022-JP.unicodeMap" >> /usr/local/etc/xpdfrc $ echo "unicodeMap EUC-JP /usr/local/share/xpdf/japanese/EUC-JP.unicodeMap" >> /usr/local/etc/xpdfrc $ echo "unicodeMap Shift-JIS /usr/local/share/xpdf/japanese/Shift-JIS.unicodeMap" >> /usr/local/etc/xpdfrc $ echo "cMapDir Adobe-Japan1 /usr/local/share/xpdf/japanese/CMap" >> /usr/local/etc/xpdfrc $ echo "toUnicodeDir /usr/local/share/xpdf/japanese/CMap" >> /usr/local/etc/xpdfrc |
2ページ目から出力してみます。
1 | $ pdftotext -f 2 -raw -layout -enc UTF-8 test.pdf |
test.txtというファイル名で作成されます