いつぞやか，MacやWindowsからSSHでFWX120へ接続する際に，エラーが出るようになり接続できなくなってしまった
1 | Unable to negotiate with 192.168.x.x port 22: no matching key exchange method found. Their offer: diffie-hellman-group-exchange-sha1,diffie-hellman-group14-sha1,diffie-hellman-group1-sha1 |
こんな感じ。
で，色々なサイトで確認したのですが，ようやく接続できたconfigがこれ
.ssh/config
1 2 3 | Host 192.168.x.x KexAlgorithms +diffie-hellman-group-exchange-sha1,diffie-hellman-group14-sha1,diffie-hellman-group1-sha1 HostKeyAlgorithms +ssh-rsa |
S3に入れて置いたデータをwordpressのプラグインで認証付きのダウンローダを作れないかとの検討
プラグインは便利なので、Wordpressにログインした人のみがダウンロードできるようにしたい
こんな感じでできました
1 | http://example.com/downloader?img=dir/file.png&token=session&userid=userid |
以下に格納しておく
s3://example/dir/file.png
固定ページをhttp://example.com/downloaderで作成し、以下を埋め込む
1 | [sample_downloader] |
sample_downloaderディレクトリ以下にmain.phpで作成
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 | run($userid,$token,$img); } require_once( plugin_dir_path(__FILE__) . 'vendor/autoload.php' ); add_shortcode('sample_downloader','sample_downloader_func'); use Aws\S3\S3Client; class SampleDownloader{ function run($userid,$token,$img){ $bucket="example"; // 認証 $wp_token=wp_get_session_token(); $wp_userid=wp_get_current_user(); if($userid!=$wp_userid->ID || $wp_token!=$token){ header("HTTP/1.1 401 Unauthorized"); return "Authorized Error"; } try{ $s3Client = S3Client::factory(array( 'version' => 'latest', 'region' => 'ap-northeast-1' )); $result = $s3Client->getObject([ 'Bucket' => $bucket, 'Key' => $img ]); $body=$result["Body"]; $fname=basename($img); $sfx=pathinfo($fname, PATHINFO_EXTENSION); header("HTTP/1.1 200 OK"); // これで本体から出力されるHTMLをクリアする if (ob_get_length() > 0) { ob_end_clean(); } switch($sfx){ case "svg": header('Content-Type: image/svg+xml'); break; case "png": header('Content-Type: image/pmg'); break; case "jpg": case "jpeg": header('Content-Type: image/jpeg'); break; case "gif": header('Content-Type: image/gif'); break; case "csv": header('Content-Type: text/csv'); break; case "json": header('Content-Type: application/json'); break; case "pdf": header('Content-Type: application/pdf'); break; case "xls": header('Content-Type: application/vnd.ms-excel'); break; case "xlsx": header('Content-Type: application/vnd.openxmlformats-officedocument.spreadsheetml.sheet'); break; case "ppt": header('Content-Type: application/vnd.ms-powerpoint'); break; case "pptx": header('Content-Type: application/vnd.openxmlformats-officedocument.presentationml.presentation'); break; case "doc": header('Content-Type: application/msword'); break; case "docx": header('Content-Type: application/vnd.openxmlformats-officedocument.wordprocessingml.document'); break; default: header('Content-Type: application/octet-stream'); } header('Content-Disposition: attachment; filename='.$fname); return $body; }catch(Exception $e){ header("HTTP/1.1 500 Internal Server Error"); return "Error"; } } } ?> <h3>デプロイ</h3> zipファイルを作成しWordpressのプラグインでアップロード <pre> cd sample_downloader composer require aws/aws-sdk-php cd .. zip -r sample_downloader.zip sample_downloader/*php sample_downloader/vendor |
ubuntu22.04でMac用のTimeMachineサーバを立ち上げるための設定メモ
ネットを調べるといろいろな設定があったのですが，最終的には
こちらが参考になりました。
ubuntuというユーザを作成し，このユーザの権限で書き込むことにします
/etc/samba/smb.confを修正
globalに以下を追加
1 2 3 4 5 | [global] fruit:encoding = native fruit:metadata = netatalk idmap config * : backend = tdb vfs objects = catia fruit streams_xattr |
smb.confの最後にこれを追加
1 2 3 4 5 6 7 | [timemachine] path = /path/to/timemachine guest ok = yes read only = No force user = ubuntu fruit:time machine max size = 500G fruit:time machine = yes |
悩んでしまったのでメモ
ubuntuでsysstatを入れるには，
1 | sudo apt install sysstat |
でインストールし，
1 | sudo vi /etc/default/sysstat |
で
ENABLED=”true”
にするというもの。
その後
1 | sudo /etc/init.d/sysstat restart |
で再起動でOK
というはずだった。。
しかしこれだけではうまくいきません。
1 2 3 | $ sar Cannot open /var/log/sysstat/sa24: No such file or directory Please check if data collecting is enabled |
こんな感じでエラーが出るだけ。。。
ようやく解決しました
上記設定を行った後，これを実行し再起動するだけ
1 | sudo systemctl enable sysstat |
ずいぶん悩んでしまいました。。。
Windows11のゲストOS上でGPUパススルー出来ればいいなと思ったのでメモ。
ググるとここなどにやり方を書いているのですが、どうもうまくいかない。
結局ここのやり方でうまくいきました。
設定は次の通り。
ここでいったんゲストOSを停止して、管理者モードで起動したPowerShellコマンドプロンプトから以下を打ち込む
1 2 3 4 5 6 | $vm = "ENTER YOUR VM NAME HERE" Remove-VMGpuPartitionAdapter -VMName $vm Add-VMGpuPartitionAdapter -VMName $vm Set-VM -GuestControlledCacheTypes $true -VMName $vm Set-VM -LowMemoryMappedIoSpace 1Gb -VMName $vm Set-VM -HighMemoryMappedIoSpace 32GB -VMName $vm |
ゲストOSを再度起動する。デバイスマネージャーからGPUが有効になっていることを確認。
タスクマネージャーではGPUが見られないので、Terminalなどで半透明にしたものが、透けて見えることで確認
FinalFantasy XV のベンチマークやってみました。
ホストOS
ゲストOS
若干ゲストOS側が悪くなりましたが、まあ使えるレベルですね
２，３日前に，以前作成したWordpressのサイトが，
エラーで入れなくなったと連絡がありました。
さくらインターネットで運用しているのですが，サポートに連絡しても
埒が開かないので，こちらにヘルプ依頼が。
確かに，Wordpressのログインができないようになっています。
仕方がないので，SSHログインしてみたところ， dead.letter が。
1 2 3 4 5 6 7 8 9 | この問題を解決しようとする際、以下の情報を聞かれるかもしれません。 WordPress バーション5.8.1 現在のテーマ: Spacious (バージョン 1.9.4) 現在のプラグイン: Contact Form 7 (バージョン 5.5.1) PHP バージョン5.6.40 エラー詳細 =============== エラータイプ E_PARSE が wp-content/plugins/contact-form-7/admin/includes/welcome-panel.php ファイルの 9 行目で発生しました。 エラーメッセージ: syntax error, unexpected 'print' (T_PRINT), expecting identifier (T_STRING) |
こんなエラーが出てました。どうやらプラグインの自動アップデートでやられたようです。
ContactForm7なのでたくさん使われているはずなのに，それほど大きな問題になっていないのはなぜ？
調べたところどうやら，これが原因。
さくっと，welcome-panel.phpを修正し
1 2 | Line 9: Rename function to public function _print() Line 223: Rename to $column->_print(); |
動きました。
どうやら，このサイトはphp5.6で運用していたのが原因かもしれません。
このあとPHP7.4にアップデートしておきました。
大学のスパコンはジョブ管理システム PBSによってジョブスケジュールを行なっているのですが，
最近変わったのか，Pythonで並列処理をしようとするとなぜかエラーが出るようになりました。
1 | =>> PBS: job killed: ncpus 20.8 exceeded limit 16 |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 | import os from mpi4py import MPI comm = MPI.COMM_WORLD size = comm.Get_size() rank = comm.Get_rank() name = MPI.Get_processor_name() import csv source=[] target=[] with open("test.csv","r",encoding="utf-8") as f: cdata=csv.reader(f,delimiter=",") for i,items in enumerate(cdata): if i==0: continue source.append(items[0]) target.append(items[1]) data_lst=[] for src,tgt in zip(source,target): data_lst.append((src,tgt)) # http://muscle199x.blog.fc2.com/blog-entry-70.html?sp def split_list(lst, n): list_size = len(lst) a = list_size // n b = list_size % n return [lst[i * a + (i if i < b else b):(i + 1) * a + (i + 1 if i < b else b)] for i in range(n)] from transformers import MT5ForConditionalGeneration, MT5Model, MT5EncoderModel, T5Tokenizer tokenizer = T5Tokenizer.from_pretrained("google/mt5-base") model = MT5ForConditionalGeneration.from_pretrained("google/mt5-base") if rank == 0: data = split_list(data_lst, size) else: data = None def calc(my_data): res=[] for src,tgt in my_data: inputs = tokenizer.encode("summarize: " + src, return_tensors='pt', max_length=512, truncation=True) summary_ids = model.generate(inputs, max_length=50, min_length=10, length_penalty=5., num_beams=2) summary = tokenizer.decode(summary_ids[0]) res.append((src,tgt,summary)) return res my_data = comm.scatter(data, root=0) for r in range(comm.size): if rank == r: print("scatter.[%d] %d" % (rank, len(my_data))) comm.Barrier() my_res = calc(my_data) def flatten(l): try: return ([item for sublist in l for item in sublist]) except: import traceback traceback.print_exc() print(l) # gather res = MPI.COMM_WORLD.gather(my_res, root=0) if rank == 0: res=flatten(res) for src,tgt,summary in res: print(f"source:{src}") print(f"target:{tgt}") print(f"summary:{summary}") print("-----") |
これで実行スクリプトはこんな感じ
1 2 3 4 5 6 7 8 | #!/usr/bin/bash #PBS -N sample #PBS -j oe #PBS -l select=1:ncpus=64:mpiprocs=64 #PBS -q SINGLE NPROCS=`cat $PBS_NODEFILE|wc -l` cd ${PBS_O_WORKDIR} mpirun -np ${NPROCS} python mt5.py |
ここにありました。
簡単に解決するためには，Pythonコードの一番上に
1 2 3 4 5 6 7 | import os os.environ["MKL_NUM_THREADS"] = "1" os.environ["NUMEXPR_NUM_THREADS"] = "1" os.environ["OMP_NUM_THREADS"] = "1" |
これを入れるだけ。Numpyを呼ぶ前に呼ぶ必要があるので，シェルスクリプトで呼んでもいいですし，Pythonの一番上で環境変数に設定してやってもいいです。
Jaistには３つスパコンがあります。
学生でもどれも自由に使えます。
この辺りが他の大学と違うところでしょうか？
今回はつい最近と言っても1年くらい経ちますが，リニューアルされた
スパコンKagayakiでのPythonでのMPIの使い方。
公式にはPythonはサポートしてません。
いろいろ試したのですが，これが一番。
スーパーユーザ権限がないのでローカルにインストールし，パスを設定します。
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 | $ cat ~/.bashrc # >>> conda initialize >>> # !! Contents within this block are managed by 'conda init' !! __conda_setup="$('~/anaconda3/bin/conda' 'shell.bash' 'hook' 2> /dev/null)" if [ $? -eq 0 ]; then eval "$__conda_setup" else if [ -f "~/anaconda3/etc/profile.d/conda.sh" ]; then . "~/anaconda3/etc/profile.d/conda.sh" else export PATH="~/anaconda3/bin:$PATH" fi fi unset __conda_setup # <<< conda initialize <<< |
mpi.py
1 2 3 4 5 6 7 8 9 10 11 | #!/bin/env python # coding:utf-8 from mpi4py import MPI comm = MPI.COMM_WORLD size = comm.Get_size() rank = comm.Get_rank() name = MPI.Get_processor_name() print(f"size={size},rank={rank},name={name}") |
mpi.sh
1 2 3 4 5 6 7 8 9 | . ~/.bashrc if [ ! -d venv ];then python -m venv venv fi . venv/bin/activate LOG=${0%.*}.log pip install -r requirements.txt > $LOG mpirun -np 4 python mpi.py > mpi.log 2>&1 |
デフォルトではCSHなのでCSHでキックコードを作成し，中ではBashを使います
PBS_mpi.sh
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 | #PBS -N mpi #PBS -j oe #PBS -l select=1 #PBS -q SINGLE source /etc/profile.d/modules.csh module purge module load openmpi module load intel cd ${PBS_O_WORKDIR} bash mpi.sh |
1 | $ qsub PBS_mpi.sh |
1 2 3 4 5 | $ cat mpi.log size=4,rank=1,name=spcc-250 size=4,rank=3,name=spcc-250 size=4,rank=0,name=spcc-250 size=4,rank=2,name=spcc-250 |
ちょっと，苦労したのでメモ
さくらインターネットのメーリングリストはfml4を使用している。
このメーリングリストでの設定ファイルは，各メーリングリストごとのconfig.phで行う。
ちなみに，config.phをいじると，コントロールパネルから設定を変更すると上書きされてしまうので注意
1 | % cd ~/fml/spool/ml/メーリングリスト名/ |
config.phに追記。最後の1;の直上に書く
1 2 3 4 5 6 | $USE_DISTRIBUTE_FILTER = 1; $DISTRIBUTE_FILTER_HOOK .= q# if ($e{'Body'} =~ /filename=.*/i) { return 'Do not post messages with attachments'; } #; |
要は，filename属性があったときには拒否するということ
ネットで調べた下記方法では，HTMLメールまでおかしくなってしまうので，NG
1 2 3 | &ADD_CONTENT_HANDLER('multipart/.*','text/plain','allow'); &ADD_CONTENT_HANDLER('multipart/.*','text/html','strip'); &ADD_CONTENT_HANDLER('multipart/.*','*./.*','strip'); |
いろいろ調べてしまった。
LS-V1.5TLというBuffaloのNASをずいぶん前に買ったのですが，あまり活用ができていなかったので，
Linuxを入れることにしました。
元々のNASのファームウエアにもTimemachineサーバはついているのですが，もう古いマシンなので壊れても
いいという感じでLinux化し遊ぶことに。
こちらの記事がわかりやすいです。
一度分解し，HDDを取りだすのが面倒ですが，それさえ終われば，快適なLinux化ができます。
当然のように，分解の際にほぼ全てのつめを折ってしまいましたが気にしない。
手順などはあちらこちらに書いているのですが
ここを参考に，avahiをインストールします。debianのパッケージがあるのでそのまま使います
1 | sudo apt install avahi-daemon |
設定はこんな感じ
1 2 3 4 5 6 7 8 9 10 11 12 13 | <?xml version="1.0" standalone='no'?> <!DOCTYPE service-group SYSTEM "avahi-service.dtd"> <service-group> <name replace-wildcards="yes">%h</name> <service> <type>_smb._tcp</type> <port>445</port> </service> <service> <type>_adisk._tcp</type> <txt-record>dk0=adVN=TimeMachine,adVF=0x82</txt-record> </service> </service-group> |
sambaをインストールします。Samba上で使うみたいです
1 | sudo apt install samba |
timemachineとユーザを作ります
1 2 3 | sudo adduser timemachine sudo password -a timemachine sudo smbpasswd timemachine |
バックアップ用ディレクトリを作成します
1 2 | sudo mkdir /mnt/timemachine sudo chown -R timemachine:timemachine /mnt/timemachine |
ここでポイントは，通常のSambaユーザとは別にし，Finderなどからはいじれないようにします。
同時にアクセスするとエラーになるための回避です。
1 2 3 4 5 6 7 8 9 10 11 12 | [TimeMachine] path = /mnt/timemachine browsable = yes writeable = yes create mode = 0664 #tried turning this off, no fix directory mode = 0777 #tried turning this off, no fix vfs objects = catia fruit streams_xattr fruit:aapl = yes fruit:time machine = yes #guest ok = yes fruit:time machine max size =1T #tried turning this off, no fix inherit acls = yes |
リスタートします
1 2 | sudo /etc/init.d/smbd restart sudo /etc/init.d/avahi-daemon restart |
これで使えると思います。