いつぞやか，MacやWindowsからSSHでFWX120へ接続する際に，エラーが出るようになり接続できなくなってしまった
1 | Unable to negotiate with 192.168.x.x port 22: no matching key exchange method found. Their offer: diffie-hellman-group-exchange-sha1,diffie-hellman-group14-sha1,diffie-hellman-group1-sha1 |
こんな感じ。
で，色々なサイトで確認したのですが，ようやく接続できたconfigがこれ
.ssh/config
1 2 3 | Host 192.168.x.x KexAlgorithms +diffie-hellman-group-exchange-sha1,diffie-hellman-group14-sha1,diffie-hellman-group1-sha1 HostKeyAlgorithms +ssh-rsa |
あまりサンプルがなかったので，簡単なものを作成してみた。その２。
ここを参考にした。
二次元配列で数字のリストを渡して，ストアドファンクションで合計を計算し，返す
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 | drop function if exists matfunc; create function matfunc(mat integer[][]) returns integer as $$ declare res integer := 0; i integer; j integer; begin for i in array_lower(mat,1)..array_upper(mat,1) loop for j in array_lower(mat,2)..array_upper(mat,2) loop res := res + mat[i][j]; end loop; end loop; return res; end; $$ language plpgsql; select matfunc(ARRAY[ARRAY[1,2,3], ARRAY[4,5,6]]); |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 | import psycopg2 try: ps_connection = psycopg2.connect(user="username", password="password", host="127.0.0.1", port="5432", database="testdatabase") cursor = ps_connection.cursor() lst =[ [1,2,3],[4,5,6]] # call stored procedure cursor.execute('select matfunc(%s)', (lst,)) result = cursor.fetchall() for row in result: print("sum = ", row[0], ) except (Exception, psycopg2.DatabaseError) as error: print("Error while connecting to PostgreSQL", error) finally: # closing database connection. if ps_connection: cursor.close() ps_connection.close() print("PostgreSQL connection is closed") |
あまりサンプルがなかったので，簡単なものを作成してみた。
配列で数字のリストを渡して，ストアドファンクションで合計を計算し，返す
1 2 3 4 5 6 7 8 9 10 11 12 13 | drop function if exists testfunc; create function testfunc(ary integer[]) returns integer as $$ declare tmp integer; begin select sum(s) into tmp from unnest(ary) as s; return tmp; end; $$ language plpgsql; select testfunc(ARRAY[1,2,3]); |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 | import psycopg2 try: ps_connection = psycopg2.connect(user="username", password="password", host="127.0.0.1", port="5432", database="testdatabase") cursor = ps_connection.cursor() lst = [1,2,3] # call stored procedure cursor.execute('select testfunc(%s)', (lst,)) result = cursor.fetchall() for row in result: print("sum = ", row[0], ) except (Exception, psycopg2.DatabaseError) as error: print("Error while connecting to PostgreSQL", error) finally: # closing database connection. if ps_connection: cursor.close() ps_connection.close() print("PostgreSQL connection is closed") |
S3に入れて置いたデータをwordpressのプラグインで認証付きのダウンローダを作れないかとの検討
プラグインは便利なので、Wordpressにログインした人のみがダウンロードできるようにしたい
こんな感じでできました
1 | http://example.com/downloader?img=dir/file.png&token=session&userid=userid |
以下に格納しておく
s3://example/dir/file.png
固定ページをhttp://example.com/downloaderで作成し、以下を埋め込む
1 | [sample_downloader] |
sample_downloaderディレクトリ以下にmain.phpで作成
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 | run($userid,$token,$img); } require_once( plugin_dir_path(__FILE__) . 'vendor/autoload.php' ); add_shortcode('sample_downloader','sample_downloader_func'); use Aws\S3\S3Client; class SampleDownloader{ function run($userid,$token,$img){ $bucket="example"; // 認証 $wp_token=wp_get_session_token(); $wp_userid=wp_get_current_user(); if($userid!=$wp_userid->ID || $wp_token!=$token){ header("HTTP/1.1 401 Unauthorized"); return "Authorized Error"; } try{ $s3Client = S3Client::factory(array( 'version' => 'latest', 'region' => 'ap-northeast-1' )); $result = $s3Client->getObject([ 'Bucket' => $bucket, 'Key' => $img ]); $body=$result["Body"]; $fname=basename($img); $sfx=pathinfo($fname, PATHINFO_EXTENSION); header("HTTP/1.1 200 OK"); // これで本体から出力されるHTMLをクリアする if (ob_get_length() > 0) { ob_end_clean(); } switch($sfx){ case "svg": header('Content-Type: image/svg+xml'); break; case "png": header('Content-Type: image/pmg'); break; case "jpg": case "jpeg": header('Content-Type: image/jpeg'); break; case "gif": header('Content-Type: image/gif'); break; case "csv": header('Content-Type: text/csv'); break; case "json": header('Content-Type: application/json'); break; case "pdf": header('Content-Type: application/pdf'); break; case "xls": header('Content-Type: application/vnd.ms-excel'); break; case "xlsx": header('Content-Type: application/vnd.openxmlformats-officedocument.spreadsheetml.sheet'); break; case "ppt": header('Content-Type: application/vnd.ms-powerpoint'); break; case "pptx": header('Content-Type: application/vnd.openxmlformats-officedocument.presentationml.presentation'); break; case "doc": header('Content-Type: application/msword'); break; case "docx": header('Content-Type: application/vnd.openxmlformats-officedocument.wordprocessingml.document'); break; default: header('Content-Type: application/octet-stream'); } header('Content-Disposition: attachment; filename='.$fname); return $body; }catch(Exception $e){ header("HTTP/1.1 500 Internal Server Error"); return "Error"; } } } ?> <h3>デプロイ</h3> zipファイルを作成しWordpressのプラグインでアップロード <pre> cd sample_downloader composer require aws/aws-sdk-php cd .. zip -r sample_downloader.zip sample_downloader/*php sample_downloader/vendor |
ubuntu22.04でMac用のTimeMachineサーバを立ち上げるための設定メモ
ネットを調べるといろいろな設定があったのですが，最終的には
こちらが参考になりました。
ubuntuというユーザを作成し，このユーザの権限で書き込むことにします
/etc/samba/smb.confを修正
globalに以下を追加
1 2 3 4 5 | [global] fruit:encoding = native fruit:metadata = netatalk idmap config * : backend = tdb vfs objects = catia fruit streams_xattr |
smb.confの最後にこれを追加
1 2 3 4 5 6 7 | [timemachine] path = /path/to/timemachine guest ok = yes read only = No force user = ubuntu fruit:time machine max size = 500G fruit:time machine = yes |
悩んでしまったのでメモ
ubuntuでsysstatを入れるには，
1 | sudo apt install sysstat |
でインストールし，
1 | sudo vi /etc/default/sysstat |
で
ENABLED=”true”
にするというもの。
その後
1 | sudo /etc/init.d/sysstat restart |
で再起動でOK
というはずだった。。
しかしこれだけではうまくいきません。
1 2 3 | $ sar Cannot open /var/log/sysstat/sa24: No such file or directory Please check if data collecting is enabled |
こんな感じでエラーが出るだけ。。。
ようやく解決しました
上記設定を行った後，これを実行し再起動するだけ
1 | sudo systemctl enable sysstat |
ずいぶん悩んでしまいました。。。
Windows11のゲストOS上でGPUパススルー出来ればいいなと思ったのでメモ。
ググるとここなどにやり方を書いているのですが、どうもうまくいかない。
結局ここのやり方でうまくいきました。
設定は次の通り。
ここでいったんゲストOSを停止して、管理者モードで起動したPowerShellコマンドプロンプトから以下を打ち込む
1 2 3 4 5 6 | $vm = "ENTER YOUR VM NAME HERE" Remove-VMGpuPartitionAdapter -VMName $vm Add-VMGpuPartitionAdapter -VMName $vm Set-VM -GuestControlledCacheTypes $true -VMName $vm Set-VM -LowMemoryMappedIoSpace 1Gb -VMName $vm Set-VM -HighMemoryMappedIoSpace 32GB -VMName $vm |
ゲストOSを再度起動する。デバイスマネージャーからGPUが有効になっていることを確認。
タスクマネージャーではGPUが見られないので、Terminalなどで半透明にしたものが、透けて見えることで確認
FinalFantasy XV のベンチマークやってみました。
ホストOS
ゲストOS
若干ゲストOS側が悪くなりましたが、まあ使えるレベルですね
Dropbox，OneDrive，GoogleDrive，Boxなど色々アカウントを作って
便利に使っているのですが，無料アカウントだと容量が少ないのがネックとなります。
４つ持っていてもすぐに一杯になり，iPhone,iPadと連携して使う分にはすぐに
いっぱいになります。
そこで，オープンソースのNextCloudをRaspberryPIに入れて自宅でディスクストレージ
を構築することにします。
先日たまたま秋葉原で見つけて購入したRaspberryPI4の４Gメモリ版を流用します。
Windows１０を入れて使っていたのですが，如何せん重いのと，リモートで使うのには
不便なので，ここで一旦Linux化することにします。
Macを使っているのですが，公式サイトから，Raspberry Pi Imagerをダウンロードし
インストールします。SDカードを挿して，Raspberry Pi Imagerを起動，CHOOSE OSメニューの
otherからRaspberry Pi OS Liteを選択しインストールします。
ちなみにSDカードは３２Gのものを使いましたが，OS入れただけだと２G程度の使用量です。
おきまりのアップデートをします
1 2 | sudo apt udpate -y sudo apt upgrade -y |
sshログインできるように設定します
1 | sudo raspi-config |
3 Interface OptionsからP2 SSHを選択し YESを選択
1 | ifconfig |
このコマンドでIPアドレスを調べてリモートからログインできるようになりました
固定にしないと面倒なので固定IPにします
1 | sudo vi /etc/dhcpcd.conf |
1 2 3 4 | interface eth0 static ip_address=192.168.10.102/24 static routers=192.168.10.1 static domain_name_servers=192.168.10.1 8.8.8.8 |
こんな感じで追加しreboot
こちらを参考にインストールします。
インストールにはsnapというパッケージ管理システムを利用します。このコマンド一発で，MySQLなど必要なものが全てインストールから設定まで行ってくれます。
1 2 | sudo apt install snapd sudo snap install nextcloud |
外部からアクセスする関係上，ルータに穴を開けます。
80と443をこのRaspberryPIのIPアドレスにマッピングします
固定IPアドレスならば気にする必要ないのですが，プロバイダによってはダイナミックIPアドレスの場合があるので，SofteatherVPNをインストールした時に，設定したダイナミックDNSのホスト名を使用します。
vpn0000000000.softether.netといった感じのやつですね。
管理者を追加します。sudoでやるとパスエラーが出たので，Rootになってから実行しました
1 2 | sudo su - nextcloud.manual-install sammy password |
エラーがいっぱい出ましたが，無事終了
1 2 | ERROR: ld.so: object '/usr/lib/arm-linux-gnueabihf/libarmmem-${PLATFORM}.so' from /etc/ld.so.preload cannot be preloaded (cannot open shared object file): ignored. Nextcloud was successfully installed |
1 2 | sudo su - nextcloud.occ config:system:get trusted_domains |
先ほど設定したドメイン名も
1 | nextcloud.occ config:system:set trusted_domains 1 --value=vpn00000000.softether.net |
1 2 | ERROR: ld.so: object '/usr/lib/arm-linux-gnueabihf/libarmmem-${PLATFORM}.so' from /etc/ld.so.preload cannot be preloaded (cannot open shared object file): ignored. System config value trusted_domains => 1 set to string vpn00000000.softether.net |
外部からアクセスするのでLet’s Encryptの無料SSLを入れます。
1 2 | sudo su - nextcloud.enable-https lets-encrypt |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 | In order for Let's Encrypt to verify that you actually own the domain(s) for which you're requesting a certificate, there are a number of requirements of which you need to be aware: 1. In order to register with the Let's Encrypt ACME server, you must agree to the currently-in-effect Subscriber Agreement located here: https://letsencrypt.org/repository/ By continuing to use this tool you agree to these terms. Please cancel now if otherwise. 2. You must have the domain name(s) for which you want certificates pointing at the external IP address of this machine. 3. Both ports 80 and 443 on the external IP address of this machine must point to this machine (e.g. port forwarding might need to be setup on your router). Have you met these requirements? (y/n) y |
yを入力します
1 | Please enter an email address (for urgent notices or key recovery): |
メールアドレスを入力しEnter
1 | Please enter your domain name(s) (space-separated): |
先ほど設定したダイナミックDNSのホスト名を入力
これでとりあえずはインストール完了です。
そのほかとして
いろいろセキュリティ絡みが残っているのですが，それはまた別の話。。。
２，３日前に，以前作成したWordpressのサイトが，
エラーで入れなくなったと連絡がありました。
さくらインターネットで運用しているのですが，サポートに連絡しても
埒が開かないので，こちらにヘルプ依頼が。
確かに，Wordpressのログインができないようになっています。
仕方がないので，SSHログインしてみたところ， dead.letter が。
1 2 3 4 5 6 7 8 9 | この問題を解決しようとする際、以下の情報を聞かれるかもしれません。 WordPress バーション5.8.1 現在のテーマ: Spacious (バージョン 1.9.4) 現在のプラグイン: Contact Form 7 (バージョン 5.5.1) PHP バージョン5.6.40 エラー詳細 =============== エラータイプ E_PARSE が wp-content/plugins/contact-form-7/admin/includes/welcome-panel.php ファイルの 9 行目で発生しました。 エラーメッセージ: syntax error, unexpected 'print' (T_PRINT), expecting identifier (T_STRING) |
こんなエラーが出てました。どうやらプラグインの自動アップデートでやられたようです。
ContactForm7なのでたくさん使われているはずなのに，それほど大きな問題になっていないのはなぜ？
調べたところどうやら，これが原因。
さくっと，welcome-panel.phpを修正し
1 2 | Line 9: Rename function to public function _print() Line 223: Rename to $column->_print(); |
動きました。
どうやら，このサイトはphp5.6で運用していたのが原因かもしれません。
このあとPHP7.4にアップデートしておきました。
大学のスパコンはジョブ管理システム PBSによってジョブスケジュールを行なっているのですが，
最近変わったのか，Pythonで並列処理をしようとするとなぜかエラーが出るようになりました。
1 | =>> PBS: job killed: ncpus 20.8 exceeded limit 16 |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 | import os from mpi4py import MPI comm = MPI.COMM_WORLD size = comm.Get_size() rank = comm.Get_rank() name = MPI.Get_processor_name() import csv source=[] target=[] with open("test.csv","r",encoding="utf-8") as f: cdata=csv.reader(f,delimiter=",") for i,items in enumerate(cdata): if i==0: continue source.append(items[0]) target.append(items[1]) data_lst=[] for src,tgt in zip(source,target): data_lst.append((src,tgt)) # http://muscle199x.blog.fc2.com/blog-entry-70.html?sp def split_list(lst, n): list_size = len(lst) a = list_size // n b = list_size % n return [lst[i * a + (i if i < b else b):(i + 1) * a + (i + 1 if i < b else b)] for i in range(n)] from transformers import MT5ForConditionalGeneration, MT5Model, MT5EncoderModel, T5Tokenizer tokenizer = T5Tokenizer.from_pretrained("google/mt5-base") model = MT5ForConditionalGeneration.from_pretrained("google/mt5-base") if rank == 0: data = split_list(data_lst, size) else: data = None def calc(my_data): res=[] for src,tgt in my_data: inputs = tokenizer.encode("summarize: " + src, return_tensors='pt', max_length=512, truncation=True) summary_ids = model.generate(inputs, max_length=50, min_length=10, length_penalty=5., num_beams=2) summary = tokenizer.decode(summary_ids[0]) res.append((src,tgt,summary)) return res my_data = comm.scatter(data, root=0) for r in range(comm.size): if rank == r: print("scatter.[%d] %d" % (rank, len(my_data))) comm.Barrier() my_res = calc(my_data) def flatten(l): try: return ([item for sublist in l for item in sublist]) except: import traceback traceback.print_exc() print(l) # gather res = MPI.COMM_WORLD.gather(my_res, root=0) if rank == 0: res=flatten(res) for src,tgt,summary in res: print(f"source:{src}") print(f"target:{tgt}") print(f"summary:{summary}") print("-----") |
これで実行スクリプトはこんな感じ
1 2 3 4 5 6 7 8 | #!/usr/bin/bash #PBS -N sample #PBS -j oe #PBS -l select=1:ncpus=64:mpiprocs=64 #PBS -q SINGLE NPROCS=`cat $PBS_NODEFILE|wc -l` cd ${PBS_O_WORKDIR} mpirun -np ${NPROCS} python mt5.py |
ここにありました。
簡単に解決するためには，Pythonコードの一番上に
1 2 3 4 5 6 7 | import os os.environ["MKL_NUM_THREADS"] = "1" os.environ["NUMEXPR_NUM_THREADS"] = "1" os.environ["OMP_NUM_THREADS"] = "1" |
これを入れるだけ。Numpyを呼ぶ前に呼ぶ必要があるので，シェルスクリプトで呼んでもいいですし，Pythonの一番上で環境変数に設定してやってもいいです。