いつぞやか，MacやWindowsからSSHでFWX120へ接続する際に，エラーが出るようになり接続できなくなってしまった
1 | Unable to negotiate with 192.168.x.x port 22: no matching key exchange method found. Their offer: diffie-hellman-group-exchange-sha1,diffie-hellman-group14-sha1,diffie-hellman-group1-sha1 |
こんな感じ。
で，色々なサイトで確認したのですが，ようやく接続できたconfigがこれ
.ssh/config
1 2 3 | Host 192.168.x.x KexAlgorithms +diffie-hellman-group-exchange-sha1,diffie-hellman-group14-sha1,diffie-hellman-group1-sha1 HostKeyAlgorithms +ssh-rsa |
ubuntu22.04でMac用のTimeMachineサーバを立ち上げるための設定メモ
ネットを調べるといろいろな設定があったのですが，最終的には
こちらが参考になりました。
ubuntuというユーザを作成し，このユーザの権限で書き込むことにします
/etc/samba/smb.confを修正
globalに以下を追加
1 2 3 4 5 | [global] fruit:encoding = native fruit:metadata = netatalk idmap config * : backend = tdb vfs objects = catia fruit streams_xattr |
smb.confの最後にこれを追加
1 2 3 4 5 6 7 | [timemachine] path = /path/to/timemachine guest ok = yes read only = No force user = ubuntu fruit:time machine max size = 500G fruit:time machine = yes |
悩んでしまったのでメモ
ubuntuでsysstatを入れるには，
1 | sudo apt install sysstat |
でインストールし，
1 | sudo vi /etc/default/sysstat |
で
ENABLED=”true”
にするというもの。
その後
1 | sudo /etc/init.d/sysstat restart |
で再起動でOK
というはずだった。。
しかしこれだけではうまくいきません。
1 2 3 | $ sar Cannot open /var/log/sysstat/sa24: No such file or directory Please check if data collecting is enabled |
こんな感じでエラーが出るだけ。。。
ようやく解決しました
上記設定を行った後，これを実行し再起動するだけ
1 | sudo systemctl enable sysstat |
ずいぶん悩んでしまいました。。。
Dropbox，OneDrive，GoogleDrive，Boxなど色々アカウントを作って
便利に使っているのですが，無料アカウントだと容量が少ないのがネックとなります。
４つ持っていてもすぐに一杯になり，iPhone,iPadと連携して使う分にはすぐに
いっぱいになります。
そこで，オープンソースのNextCloudをRaspberryPIに入れて自宅でディスクストレージ
を構築することにします。
先日たまたま秋葉原で見つけて購入したRaspberryPI4の４Gメモリ版を流用します。
Windows１０を入れて使っていたのですが，如何せん重いのと，リモートで使うのには
不便なので，ここで一旦Linux化することにします。
Macを使っているのですが，公式サイトから，Raspberry Pi Imagerをダウンロードし
インストールします。SDカードを挿して，Raspberry Pi Imagerを起動，CHOOSE OSメニューの
otherからRaspberry Pi OS Liteを選択しインストールします。
ちなみにSDカードは３２Gのものを使いましたが，OS入れただけだと２G程度の使用量です。
おきまりのアップデートをします
1 2 | sudo apt udpate -y sudo apt upgrade -y |
sshログインできるように設定します
1 | sudo raspi-config |
3 Interface OptionsからP2 SSHを選択し YESを選択
1 | ifconfig |
このコマンドでIPアドレスを調べてリモートからログインできるようになりました
固定にしないと面倒なので固定IPにします
1 | sudo vi /etc/dhcpcd.conf |
1 2 3 4 | interface eth0 static ip_address=192.168.10.102/24 static routers=192.168.10.1 static domain_name_servers=192.168.10.1 8.8.8.8 |
こんな感じで追加しreboot
こちらを参考にインストールします。
インストールにはsnapというパッケージ管理システムを利用します。このコマンド一発で，MySQLなど必要なものが全てインストールから設定まで行ってくれます。
1 2 | sudo apt install snapd sudo snap install nextcloud |
外部からアクセスする関係上，ルータに穴を開けます。
80と443をこのRaspberryPIのIPアドレスにマッピングします
固定IPアドレスならば気にする必要ないのですが，プロバイダによってはダイナミックIPアドレスの場合があるので，SofteatherVPNをインストールした時に，設定したダイナミックDNSのホスト名を使用します。
vpn0000000000.softether.netといった感じのやつですね。
管理者を追加します。sudoでやるとパスエラーが出たので，Rootになってから実行しました
1 2 | sudo su - nextcloud.manual-install sammy password |
エラーがいっぱい出ましたが，無事終了
1 2 | ERROR: ld.so: object '/usr/lib/arm-linux-gnueabihf/libarmmem-${PLATFORM}.so' from /etc/ld.so.preload cannot be preloaded (cannot open shared object file): ignored. Nextcloud was successfully installed |
1 2 | sudo su - nextcloud.occ config:system:get trusted_domains |
先ほど設定したドメイン名も
1 | nextcloud.occ config:system:set trusted_domains 1 --value=vpn00000000.softether.net |
1 2 | ERROR: ld.so: object '/usr/lib/arm-linux-gnueabihf/libarmmem-${PLATFORM}.so' from /etc/ld.so.preload cannot be preloaded (cannot open shared object file): ignored. System config value trusted_domains => 1 set to string vpn00000000.softether.net |
外部からアクセスするのでLet’s Encryptの無料SSLを入れます。
1 2 | sudo su - nextcloud.enable-https lets-encrypt |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 | In order for Let's Encrypt to verify that you actually own the domain(s) for which you're requesting a certificate, there are a number of requirements of which you need to be aware: 1. In order to register with the Let's Encrypt ACME server, you must agree to the currently-in-effect Subscriber Agreement located here: https://letsencrypt.org/repository/ By continuing to use this tool you agree to these terms. Please cancel now if otherwise. 2. You must have the domain name(s) for which you want certificates pointing at the external IP address of this machine. 3. Both ports 80 and 443 on the external IP address of this machine must point to this machine (e.g. port forwarding might need to be setup on your router). Have you met these requirements? (y/n) y |
yを入力します
1 | Please enter an email address (for urgent notices or key recovery): |
メールアドレスを入力しEnter
1 | Please enter your domain name(s) (space-separated): |
先ほど設定したダイナミックDNSのホスト名を入力
これでとりあえずはインストール完了です。
そのほかとして
いろいろセキュリティ絡みが残っているのですが，それはまた別の話。。。
大学のスパコンはジョブ管理システム PBSによってジョブスケジュールを行なっているのですが，
最近変わったのか，Pythonで並列処理をしようとするとなぜかエラーが出るようになりました。
1 | =>> PBS: job killed: ncpus 20.8 exceeded limit 16 |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 | import os from mpi4py import MPI comm = MPI.COMM_WORLD size = comm.Get_size() rank = comm.Get_rank() name = MPI.Get_processor_name() import csv source=[] target=[] with open("test.csv","r",encoding="utf-8") as f: cdata=csv.reader(f,delimiter=",") for i,items in enumerate(cdata): if i==0: continue source.append(items[0]) target.append(items[1]) data_lst=[] for src,tgt in zip(source,target): data_lst.append((src,tgt)) # http://muscle199x.blog.fc2.com/blog-entry-70.html?sp def split_list(lst, n): list_size = len(lst) a = list_size // n b = list_size % n return [lst[i * a + (i if i < b else b):(i + 1) * a + (i + 1 if i < b else b)] for i in range(n)] from transformers import MT5ForConditionalGeneration, MT5Model, MT5EncoderModel, T5Tokenizer tokenizer = T5Tokenizer.from_pretrained("google/mt5-base") model = MT5ForConditionalGeneration.from_pretrained("google/mt5-base") if rank == 0: data = split_list(data_lst, size) else: data = None def calc(my_data): res=[] for src,tgt in my_data: inputs = tokenizer.encode("summarize: " + src, return_tensors='pt', max_length=512, truncation=True) summary_ids = model.generate(inputs, max_length=50, min_length=10, length_penalty=5., num_beams=2) summary = tokenizer.decode(summary_ids[0]) res.append((src,tgt,summary)) return res my_data = comm.scatter(data, root=0) for r in range(comm.size): if rank == r: print("scatter.[%d] %d" % (rank, len(my_data))) comm.Barrier() my_res = calc(my_data) def flatten(l): try: return ([item for sublist in l for item in sublist]) except: import traceback traceback.print_exc() print(l) # gather res = MPI.COMM_WORLD.gather(my_res, root=0) if rank == 0: res=flatten(res) for src,tgt,summary in res: print(f"source:{src}") print(f"target:{tgt}") print(f"summary:{summary}") print("-----") |
これで実行スクリプトはこんな感じ
1 2 3 4 5 6 7 8 | #!/usr/bin/bash #PBS -N sample #PBS -j oe #PBS -l select=1:ncpus=64:mpiprocs=64 #PBS -q SINGLE NPROCS=`cat $PBS_NODEFILE|wc -l` cd ${PBS_O_WORKDIR} mpirun -np ${NPROCS} python mt5.py |
ここにありました。
簡単に解決するためには，Pythonコードの一番上に
1 2 3 4 5 6 7 | import os os.environ["MKL_NUM_THREADS"] = "1" os.environ["NUMEXPR_NUM_THREADS"] = "1" os.environ["OMP_NUM_THREADS"] = "1" |
これを入れるだけ。Numpyを呼ぶ前に呼ぶ必要があるので，シェルスクリプトで呼んでもいいですし，Pythonの一番上で環境変数に設定してやってもいいです。
LS-V1.5TLというBuffaloのNASをずいぶん前に買ったのですが，あまり活用ができていなかったので，
Linuxを入れることにしました。
元々のNASのファームウエアにもTimemachineサーバはついているのですが，もう古いマシンなので壊れても
いいという感じでLinux化し遊ぶことに。
こちらの記事がわかりやすいです。
一度分解し，HDDを取りだすのが面倒ですが，それさえ終われば，快適なLinux化ができます。
当然のように，分解の際にほぼ全てのつめを折ってしまいましたが気にしない。
手順などはあちらこちらに書いているのですが
ここを参考に，avahiをインストールします。debianのパッケージがあるのでそのまま使います
1 | sudo apt install avahi-daemon |
設定はこんな感じ
1 2 3 4 5 6 7 8 9 10 11 12 13 | <?xml version="1.0" standalone='no'?> <!DOCTYPE service-group SYSTEM "avahi-service.dtd"> <service-group> <name replace-wildcards="yes">%h</name> <service> <type>_smb._tcp</type> <port>445</port> </service> <service> <type>_adisk._tcp</type> <txt-record>dk0=adVN=TimeMachine,adVF=0x82</txt-record> </service> </service-group> |
sambaをインストールします。Samba上で使うみたいです
1 | sudo apt install samba |
timemachineとユーザを作ります
1 2 3 | sudo adduser timemachine sudo password -a timemachine sudo smbpasswd timemachine |
バックアップ用ディレクトリを作成します
1 2 | sudo mkdir /mnt/timemachine sudo chown -R timemachine:timemachine /mnt/timemachine |
ここでポイントは，通常のSambaユーザとは別にし，Finderなどからはいじれないようにします。
同時にアクセスするとエラーになるための回避です。
1 2 3 4 5 6 7 8 9 10 11 12 | [TimeMachine] path = /mnt/timemachine browsable = yes writeable = yes create mode = 0664 #tried turning this off, no fix directory mode = 0777 #tried turning this off, no fix vfs objects = catia fruit streams_xattr fruit:aapl = yes fruit:time machine = yes #guest ok = yes fruit:time machine max size =1T #tried turning this off, no fix inherit acls = yes |
リスタートします
1 2 | sudo /etc/init.d/smbd restart sudo /etc/init.d/avahi-daemon restart |
これで使えると思います。
microsoft terminalからubuntuへsshログインしたとき、BEEP音がうるさいのを削除する設定
~/.cshrcに以下を追加
1 | set nobeep |
~/.inputrcに以下を追加
1 | set bell-style none |
~/.vimrcに以下を追加
1 | set vb t_vb= |
大学のサーバなどで計算した後の結果を確認する時に、
わざわざ計算結果のデータをローカルに持ってくるのは面倒だったりします。
リモートの結果を表示できないかと言うことで、SSHポートフォワードを使って
ローカルでも表示できるようにします。
1 2 | $ git clone https://github.com/tensorflow/tensorflow $ cd tensorflow |
使用しているtensorflowは1.15なのでバージョンを合わせます
1 2 | $ git branch -a $ git checkout -b r1.15 origin/r1.15 |
これで1.15のブランチになります。以下のコマンドで確認。
1 2 3 | $ git branch master * r1.15 |
mnistを計算してみます
1 2 3 | $ cd /tensorflow/examples/tutorials/mnist $ mkdir logs $ python fully_connected_feed.py --log_dir=logs |
logs以下にファイルが作成されていることを確認します
1 2 3 4 5 | $ ls logs checkpoint model.ckpt-1999.meta events.out.tfevents.1573779801.vpcc-101 model.ckpt-999.data-00000-of-00001 model.ckpt-1999.data-00000-of-00001 model.ckpt-999.index model.ckpt-1999.index model.ckpt-999.meta |
サーバが外部公開されていないなど、ローカルPCから直接ブラウザでアクセスできないときのために、SSH
ポートフォワードを使用します。
こちらを参考に、
macから繋ぐためにはターミナルから以下のコマンドを打ち込みます。
1 | $ ssh -L 8081:remotehost:10010 remotehost -lusername |
これは、リモートサーバの10010ポートをローカルの8081ポートで見れるようにするためのものだと思えばいいです。
まずは、動くかどうか確認です。
リモートでpython簡易サーバを立ち上げます
1 | $ python -m http.server 10010 |
ブラウザでhttp://localhost:8081にアクセスし確認します。
ディレクトリリストが見えることがわかります。
Ctrl+Cでシャットダウンします
先ほど計算した、mnistの計算結果を表示してみます。
1 2 | $ tensorboard --logdir=logs --port 10010 TensorBoard 1.15.0 at http://remotehost:10010/ (Press CTRL+C to quit) |
ブラウザでhttp://localhost:8081にアクセスします
表示されました。
Bashの変数から拡張子を除いたファイル名を取得するには
1 2 | a="file.txt" echo ${a%%.txt} # aと表示 |
これをうまく利用すると一気にディレクトリ内のファイルの拡張子を変更できます。txtをjsonに変更する例はこれ。
1 | for f in *.txt;do mv $f ${f%%.*}.json; done |
大学のサーバでどうしてもJupyter Notebookが動かしたいのでメモ。
データをSQLiteで管理しており，これのサイズが１０Gを超え始めた。計算などは大学のサーバで行なっているのであるが，RやJupyterなどビジュアルなツールを使いたい時にはいちいちローカルのPCへSQLiteをコピーするのが大変。
以前Xサーバを使ったリモートでの起動を試したが，どうも使いづらい。
Macからだと，XQuartzをあらかじめMacにインストールしておき，
以下のSSHコマンドで接続し，
1 | [mac] $ ssh -Y remotehost |
Jupyterを起動するだけ。
1 | [server] $ jupyter notebook |
これで，リモートサーバでFirefoxが立ち上がり，MacのXQuartzで表示される。
しかしこれがいかんせん使いづらい。遅いし，サーバ側のFirefoxなので見た目も悪く，日本語入力も一苦労。
まずはここを参考に設定する。
1 | $ jupyter notebook --generate-config |
~/.jupyter/jupyter_notebook_config.pyを編集。ポートが8080が空いている場合には以下のように指定する。
1 2 3 | c.NotebookApp.ip = '0.0.0.0' c.NotebookApp.open_browser = False c.NotebookApp.port = 8080 |
Rも使いたいので，ここを参考にRを起動してインストール。
1 2 3 4 | install.packages(c('repr', 'IRdisplay', 'crayon', 'pbdZMQ', 'devtools')) devtools::install_github('IRkernel/IRkernel') IRkernel::installspec() |
1 2 3 4 5 6 | $ jupyter notebook [I 17:43:07.065 NotebookApp] Serving notebooks from local directory: /tmp [I 17:43:07.066 NotebookApp] 0 active kernels [I 17:43:07.066 NotebookApp] The Jupyter Notebook is running at: [I 17:43:07.066 NotebookApp] http://0.0.0.0:8080/?token=37e418b82da8472bf89798f70a92dda90003f61509xxxxx |
起動時に現れるこれから，
1 | http://0.0.0.0:8080/?token=37e418b82da8472bf89798f70a92dda90003f61509xxxxx |
以下のようにPCのブラウザのアドレスバーに打ち込めばOK
1 | http://server:8080/?token=37e418b82da8472bf89798f70a92dda90003f61509xxxxx |