IT研究所 – ページ 2 – Just another 靱技術士事務所 site

備忘録，JAISTのスパコン使い方

投稿者: utsubo 投稿日: 2021-09-24 in jaist

Jaistには３つスパコンがあります。
学生でもどれも自由に使えます。
この辺りが他の大学と違うところでしょうか？

今回はつい最近と言っても1年くらい経ちますが，リニューアルされた
スパコンKagayakiでのPythonでのMPIの使い方。

公式にはPythonはサポートしてません。

Anaconda

いろいろ試したのですが，これが一番。
スーパーユーザ権限がないのでローカルにインストールし，パスを設定します。

$ cat ~/.bashrc
# >>> conda initialize >>>
# !! Contents within this block are managed by 'conda init' !!
__conda_setup="$('~/anaconda3/bin/conda' 'shell.bash' 'hook' 2> /dev/null)"
if [ $? -eq 0 ]; then
    eval "$__conda_setup"
else
    if [ -f "~/anaconda3/etc/profile.d/conda.sh" ]; then
        . "~/anaconda3/etc/profile.d/conda.sh"
    else
        export PATH="~/anaconda3/bin:$PATH"
    fi
fi
unset __conda_setup
# <<< conda initialize <<<

$ cat ~/.bashrc

# >>> conda initialize >>>

# !! Contents within this block are managed by 'conda init' !!

__conda_setup="$('~/anaconda3/bin/conda' 'shell.bash' 'hook' 2> /dev/null)"

if [ $? -eq 0 ]; then

eval "$__conda_setup"

else

if [ -f "~/anaconda3/etc/profile.d/conda.sh" ]; then

. "~/anaconda3/etc/profile.d/conda.sh"

else

export PATH="~/anaconda3/bin:$PATH"

unset __conda_setup

# <<< conda initialize <<<

実行コード　

mpi.py


#!/bin/env python
# coding:utf-8

from mpi4py import MPI
comm = MPI.COMM_WORLD
size = comm.Get_size()
rank = comm.Get_rank()
name = MPI.Get_processor_name()
print(f"size={size},rank={rank},name={name}")

#!/bin/env python

# coding:utf-8

from mpi4py import MPI

comm = MPI.COMM_WORLD

size = comm.Get_size()

rank = comm.Get_rank()

name = MPI.Get_processor_name()

print(f"size={size},rank={rank},name={name}")

mpi.sh

. ~/.bashrc
if [ ! -d venv ];then
    python -m venv venv
fi
. venv/bin/activate
LOG=${0%.*}.log
pip install -r requirements.txt > $LOG

mpirun -np 4 python mpi.py > mpi.log 2>&1

. ~/.bashrc

if [ ! -d venv ];then

python -m venv venv

. venv/bin/activate

LOG=${0%.*}.log

pip install -r requirements.txt > $LOG

mpirun -np 4 python mpi.py > mpi.log 2>&1

デフォルトではCSHなのでCSHでキックコードを作成し，中ではBashを使います

PBS_mpi.sh

#PBS -N mpi
#PBS -j oe 
#PBS -l select=1
#PBS -q SINGLE


source /etc/profile.d/modules.csh

module purge
module load openmpi
module load intel


cd ${PBS_O_WORKDIR}

bash mpi.sh

#PBS -N mpi

#PBS -j oe

#PBS -l select=1

#PBS -q SINGLE

source /etc/profile.d/modules.csh

module purge

module load openmpi

module load intel

cd ${PBS_O_WORKDIR}

bash mpi.sh

実行

$ qsub PBS_mpi.sh

1	$ qsub PBS_mpi.sh

結果

$ cat mpi.log
size=4,rank=1,name=spcc-250
size=4,rank=3,name=spcc-250
size=4,rank=0,name=spcc-250
size=4,rank=2,name=spcc-250

$ cat mpi.log

size=4,rank=1,name=spcc-250

size=4,rank=3,name=spcc-250

size=4,rank=0,name=spcc-250

size=4,rank=2,name=spcc-250

さくらインターネットのメーリングリストFML4で添付ファイル禁止

投稿者: utsubo 投稿日: 2021-07-08 in ML

ちょっと，苦労したのでメモ

さくらインターネットのメーリングリストはfml4を使用している。
このメーリングリストでの設定ファイルは，各メーリングリストごとのconfig.phで行う。

ちなみに，config.phをいじると，コントロールパネルから設定を変更すると上書きされてしまうので注意

% cd ~/fml/spool/ml/メーリングリスト名/

1	% cd ~/fml/spool/ml/メーリングリスト名/

config.phに追記。最後の1;の直上に書く

$USE_DISTRIBUTE_FILTER = 1;
$DISTRIBUTE_FILTER_HOOK .= q#
    if ($e{'Body'} =~ /filename=.*/i) {
        return 'Do not post messages with attachments';
    }
#;

$USE_DISTRIBUTE_FILTER = 1;

$DISTRIBUTE_FILTER_HOOK .= q#

if ($e{'Body'} =~ /filename=.*/i) {

return 'Do not post messages with attachments';

}

要は，filename属性があったときには拒否するということ

ネットで調べた下記方法では，HTMLメールまでおかしくなってしまうので，NG

&ADD_CONTENT_HANDLER('multipart/.*','text/plain','allow');
&ADD_CONTENT_HANDLER('multipart/.*','text/html','strip');
&ADD_CONTENT_HANDLER('multipart/.*','*./.*','strip');

&ADD_CONTENT_HANDLER('multipart/.*','text/plain','allow');

&ADD_CONTENT_HANDLER('multipart/.*','text/html','strip');

&ADD_CONTENT_HANDLER('multipart/.*','*./.*','strip');

いろいろ調べてしまった。

LinkstationにDebianを導入し，Timemachineサーバにする

投稿者: utsubo 投稿日: 2021-06-06 in linux、mac

LS-V1.5TLというBuffaloのNASをずいぶん前に買ったのですが，あまり活用ができていなかったので，
Linuxを入れることにしました。

元々のNASのファームウエアにもTimemachineサーバはついているのですが，もう古いマシンなので壊れても
いいという感じでLinux化し遊ぶことに。

Linux化

こちらの記事がわかりやすいです。
一度分解し，HDDを取りだすのが面倒ですが，それさえ終われば，快適なLinux化ができます。
当然のように，分解の際にほぼ全てのつめを折ってしまいましたが気にしない。

timemachine

手順などはあちらこちらに書いているのですが

avahi

ここを参考に，avahiをインストールします。debianのパッケージがあるのでそのまま使います

sudo apt install avahi-daemon

1	sudo apt install avahi-daemon

設定はこんな感じ

/etc/avahi/services/timemachine.service

<?xml version="1.0" standalone='no'?>
<!DOCTYPE service-group SYSTEM "avahi-service.dtd">
<service-group>
 <name replace-wildcards="yes">%h</name>
 <service>
   <type>_smb._tcp</type>
   <port>445</port>
 </service>
 <service>
   <type>_adisk._tcp</type>
   <txt-record>dk0=adVN=TimeMachine,adVF=0x82</txt-record>
 </service>
</service-group>

<?xml version="1.0" standalone='no'?>

<!DOCTYPE service-group SYSTEM "avahi-service.dtd">

<service-group>

</service>

<type>_adisk._tcp</type>

<txt-record>dk0=adVN=TimeMachine,adVF=0x82</txt-record>

</service>

</service-group>

samba

sambaをインストールします。Samba上で使うみたいです

sudo apt install samba

1	sudo apt install samba

sambauser

timemachineとユーザを作ります

sudo adduser timemachine
sudo password -a timemachine
sudo smbpasswd timemachine

sudo adduser timemachine

sudo password -a timemachine

sudo smbpasswd timemachine

timemachine directory

バックアップ用ディレクトリを作成します

sudo mkdir /mnt/timemachine
sudo chown -R timemachine:timemachine /mnt/timemachine

1 2	sudo mkdir /mnt/timemachine sudo chown -R timemachine:timemachine /mnt/timemachine

smb.conf

ここでポイントは，通常のSambaユーザとは別にし，Finderなどからはいじれないようにします。
同時にアクセスするとエラーになるための回避です。

[TimeMachine]
   path = /mnt/timemachine
   browsable = yes
   writeable = yes
   create mode = 0664     #tried turning this off, no fix
   directory mode = 0777  #tried turning this off, no fix
   vfs objects = catia fruit streams_xattr
   fruit:aapl = yes
   fruit:time machine = yes
   #guest ok = yes
   fruit:time machine max size =1T  #tried turning this off, no fix
   inherit acls = yes

[TimeMachine]

path = /mnt/timemachine

browsable = yes

writeable = yes

create mode = 0664 #tried turning this off, no fix

directory mode = 0777 #tried turning this off, no fix

vfs objects = catia fruit streams_xattr

fruit:aapl = yes

fruit:time machine = yes

#guest ok = yes

fruit:time machine max size =1T #tried turning this off, no fix

inherit acls = yes

restart

リスタートします

sudo /etc/init.d/smbd restart
sudo /etc/init.d/avahi-daemon restart

1 2	sudo /etc/init.d/smbd restart sudo /etc/init.d/avahi-daemon restart

これで使えると思います。

Mac OS 11.4でpip pdftotext

投稿者: utsubo 投稿日: 2021-05-26 in mac、python

M1Macで何故か素直に入らなかったのでメモ

環境

M1 Mac book Air
OS: 11.4
python: Intel miniconda3
python version:3.8.5

手順

brewでPdftotextを入れる

brew install pdftotext

1	brew install pdftotext

~/.zshrcに追加

export C_INCLUDE_PATH=/opt/homebrew/Cellar/poppler/21.05.0/include:$C_INCLUDE_PATH
export CPATH=$C_INCLUDE_PATH
export DYLD_LIBRARY_PATH=$DYLD_LIBRARY_PATH:/opt/homebrew/Cellar/poppler/21.05.0/lib # どうもこれは効かないらしい

export C_INCLUDE_PATH=/opt/homebrew/Cellar/poppler/21.05.0/include:$C_INCLUDE_PATH

export CPATH=$C_INCLUDE_PATH

export DYLD_LIBRARY_PATH=$DYLD_LIBRARY_PATH:/opt/homebrew/Cellar/poppler/21.05.0/lib # どうもこれは効かないらしい

pipでpdftotextライブラリを入れる　

pip install pdftotext --global-option=build_ext --global-option="-L/opt/homebrew/Cellar/poppler/21.05.0/lib"

1	pip install pdftotext --global-option=build_ext --global-option="-L/opt/homebrew/Cellar/poppler/21.05.0/lib"

M1 MacでのPython

投稿者: utsubo 投稿日: 2021-05-23 in python

M1 Mac book Air 購入したのですが，なかなか使いこなすにはハードルが高そうです。
特に，Pythonのモジュール類がうまく動かないものが多いです。

いろいろ書かれていますが，結論としては，Rosetta2を使うのが一番という結論。

brewのPythonを使うパターン

これは，ディープラーニング系のライブラリが全く入りません。
自分でGitHubからソースコード持ってきてインストールできるものもあるのですが
かなり厳しいです。

pyenvを使うパターン

brewと同様

miniforgeを使うパターン

これはarm用のライブラリもあるのですが，全部はない模様。。

rosetta2でminiconda

これが簡単ですね

wget https://repo.anaconda.com/miniconda/Miniconda3-latest-MacOSX-x86_64.sh -O ~/miniconda.sh
./miniconda.sh

1 2	wget https://repo.anaconda.com/miniconda/Miniconda3-latest-MacOSX-x86_64.sh -O ~/miniconda.sh ./miniconda.sh

これでIntelと同様に使えます。多少遅くなっているのでしょうが気にしない

vimでJSONのフォーマット

投稿者: utsubo 投稿日: 2021-05-20 in エディタ

大きく分けてふた通りあるみたいだ。

jqを使うパターン

ubuntuの場合

apt install jq

1	apt install jq

macの場合

brew install jq

1	brew install jq

外部コマンドとして，VIMから起動する

:%!jq

:%!jq

pythonを使うパターン

こちらはpythonが入っていればvimから

:%!python -m json.tool

1	:%!python -m json.tool

どうもvimrcで自動フォーマットする方法は見つからなかった？

beep音削除

投稿者: utsubo 投稿日: 2021-02-01 in linux

microsoft terminalからubuntuへsshログインしたとき、BEEP音がうるさいのを削除する設定

csh

~/.cshrcに以下を追加

set nobeep

1	set nobeep

bash

~/.inputrcに以下を追加

set bell-style none

1	set bell-style none

vim

~/.vimrcに以下を追加

set vb t_vb=

1	set vb t_vb=

VSCodeのjupyter notebookが起動しない

投稿者: utsubo 投稿日: 2020-09-02 in python

最近VSCodeをアップデートしたところ、PythonのNotebookが起動しなくなりました。

Connection To IPython kernel: Connecting to kernel.

1	Connection To IPython kernel: Connecting to kernel.

これでずーと待ったのちに、タイムアウト。

こちらに解決方法が！！

どうやら、Pythonのモジュールと干渉しているようですので、バージョンダウン。

python -m pip install 'traitlets==4.3.3' --force-reinstall

1	python -m pip install 'traitlets==4.3.3' --force-reinstall

これで無事起動できました。

MacのRStanのインストールエラー

投稿者: utsubo 投稿日: 2020-04-09 in mac、R

メモ

環境

MacOS 10.15.4
R 3.6.3

エラー

install.package("rstan")

1	install.package("rstan")

こんなえらー

unistd.h:727:31: error: unknown type name 'uuid_t'; did you mean 'uid_t'?

1	unistd.h:727:31: error: unknown type name 'uuid_t'; did you mean 'uid_t'?

対策

RからこれでOK

install.packages("Rcpp", repos="https://RcppCore.github.io/drat")

1	install.packages("Rcpp", repos="https://RcppCore.github.io/drat")

VSCodeでLatex

投稿者: utsubo 投稿日: 2020-02-05 in mac

MacのVSCodeでLatexを使うためのセッティングの備忘録

環境

Mac OS 10.15
texlive 2019

settings.json

いろいろなところを参照し、最終的にこれ


{
    "latex-workshop.latex.tools": [
        {
            "name": "latexmk",
            "command": "latexmk",
            "args": [
                "-synctex=1",
                "-interaction=nonstopmode",
                "-file-line-error",
                "-outdir=%OUTDIR%",
                "%DOC%"
            ],
            "env": {}
        }
    ],

    "latex-workshop.latex.outDir": "%DIR%",
    "latex-workshop.view.pdf.viewer": "tab",
    "latex-workshop.view.pdf.zoom": "page-width",
}

{

"latex-workshop.latex.tools": [

{

"name": "latexmk",

"command": "latexmk",

"args": [

"-synctex=1",

"-interaction=nonstopmode",

"-file-line-error",

"-outdir=%OUTDIR%",

"%DOC%"

"env": {}

}

"latex-workshop.latex.outDir": "%DIR%",

"latex-workshop.view.pdf.viewer": "tab",

"latex-workshop.view.pdf.zoom": "page-width",

}

$HOME/.latexmkrc

#!/usr/bin/env perl
$latex            = 'platex -synctex=1 -halt-on-error';
$latex_silent     = 'platex -synctex=1 -halt-on-error -interaction=batchmode';
$bibtex           = 'pbibtex -kanji=utf8';
$dvipdf           = 'dvipdfmx %O -o %D %S';
$makeindex        = 'mendex %O -o %D %S';
$max_repeat       = 5;
$pdf_mode         = 3; # 0: none, 1: pdflatex, 2: ps2pdf, 3: dvipdfmx
$aux_dir          = ".";
$out_dir          = ".";

#!/usr/bin/env perl

$latex = 'platex -synctex=1 -halt-on-error';

$latex_silent = 'platex -synctex=1 -halt-on-error -interaction=batchmode';

$bibtex = 'pbibtex -kanji=utf8';

$dvipdf = 'dvipdfmx %O -o %D %S';

$makeindex = 'mendex %O -o %D %S';

$max_repeat = 5;

$pdf_mode = 3; # 0: none, 1: pdflatex, 2: ps2pdf, 3: dvipdfmx

$aux_dir = ".";

$out_dir = ".";

実験

人工知能学会全国大会のテンプレートをダウンロードし、jsaiac.styとjsai.bstを同じディレクトリに入れておく

\documentclass[twocolumn]{ujarticle}
\usepackage{jsaiac}

\begin{document}
ああああ

\end{document}

\documentclass[twocolumn]{ujarticle}

\usepackage{jsaiac}

\begin{document}

ああああ

\end{document}

このファイルを作成し保存するとコンパイルが始まり、PDFが作成される