行列の計算の言語による違い

Rとjuliaとpythonとruby

プログラム言語で数値計算をしようとするときに,行列を扱う必要がある場合がある.そのやり方が言語毎に特徴があるので,比較してみた.例として,行列を定義して,固有値を固有ベクトルを求めて,対角化を計算する場合について,やり方を見てみよう.

まず,私が数値計算をするときによく使っているRでは,インストールするだけで,行列を使うことができる.逆行列を求めるコマンドがsolveである点と,行列の掛け算が%*%であることに注意すれば,簡単に使うことができる.

a<-t(matrix(1:4,2,2))
r<-eigen(a)
r$values
r$vectors
solve(r$vectors)%*%a%*%r$vectors

次に,近年人気が出てきたjuliaであるが,これもインストールした時点で行列自体は使えて,さらにLinearAlgebraを組み込むことによって,固有値などの計算をすることができる.

a=[1 2; 3 4]
using LinearAlgebra
r=eigen(a)
r.values
r.vectors
inv(r.vectors)*a*r.vectors

数値計算の分野でもシェアを広げているpythonでは,numpyを使う必要がある.pipなどでこれをインストールできる.私の場合は,debianでaptitudeからpython3-numpyを入れた.numpyをimportして,linalgを使うと計算ができる.行列の掛け算がnp.dot()で書かないといけないのが面倒だったのだが,新しいversionでは@を使えるようになったようだ.

import numpy as np
a=np.array([[1,2],[3,4]])
r=np.linalg.eig(a)
r[0]
r[1]
#np.dot(np.dot(np.linalg.inv(r[1]),a),r[1])
np.linalg.inv(r[1])@a@r[1]

最後にrubyであるが,数値計算は比較的苦手である.行列計算はnarrayを使えば良いのだが,固有値の計算などは困難である.そこで,numo-linalgというものを使ってみた.このインストールは少し手間取ったが,以下のようにしたらdebianにインストールすることができた.

sudo apt install liblapacke libopenblas0
sudo apt install git ruby gcc ruby-dev rake make
sudo gem install specific_install
sudo gem specific_install https://github.com/ruby-numo/numo-narray.git
sudo gem install numo-linalg -- --with-backend=openblas --with-openblas-lib=/usr/lib/x86_64-linux-gnu

すると,numo/linalgをrequireしたら計算できるのだが,いちいちNumoと書くのが面倒なので,それをincludeした.narrayの場合には,NMatrixを定義すると,行列の積は*で書けるのだが,numoの場合には,numo-narrayのdotを使って書かないといけないのが面倒に感じた.

require "numo/linalg"
include Numo
a=NArray[[1,2],[3,4]]
r=Linalg.eig(a)
r[0]
r[2]
Linalg.inv(r[2]).dot(a).dot(r[2])

これらの4つの言語について,インストールのしやすさと,使いやすさを主観でまとめると,下の表のようになった.Rとjuliaはそれなりに使いやすいかな.pythonは行列の積が書きやすくなったことにより,昔よりは書きやすくなった.rubyはインストールが面倒だし,methodをうまく定義して,もっと使いやすくできるポテンシャルを秘めているが,まだまだのように感じる.ニーズが無いのかな.

installuse
R
julia
python△→○
ruby

数値計算をする場合には,Rを中心にやっていくことになりそうだ.juliaも使うようにすると,Rが苦手な処理を書きやすくなるかも知れない.

Read more...

Linuxのメモリ

DMIをdecode

PCでどのようなメモリを使っているかを,Linuxから知るにはどうしたら良いかを調べてみたら,

sudo dmidecode --type memory

とすると,現在搭載しているメモリの情報が得られるらしい.sizeやtypeはもちろん,part numberや,rankも調べることが出来るのは便利である.ECCかどうかは,total widthが72bitかどうかで判断するのかな.error correction typeというところにも書いてあるけど.

dmidecodeでprocessorを指定したら,CPUの情報も見れる.core数やクロックなども表示してくれるので,便利である.

Read more...

PGPかGPG

暗号化通信

暗号化通信としては,PGP(Pretty Good Privacy)が有名だったが,調べてみたら,GPG(Gnu PG)というのもあって,名前がややこしくなっていた.linuxには標準でGPGが入っているようなので,使い方を調べてみた.

まず,鍵のペアを作る.

gpg --gen-key

このとき,Real nameは五文字以上じゃないといけないが,emailは空欄でも良いし,復号のときに必要なpass phraseも不要なら適当で良いが空欄だと怒られた.-kオプションで実行すると,公開鍵の,-Kだと秘密鍵のリストが表示される.作った公開鍵をファイルに出力するには,

gpg -o pub.bin --export name

とする.別の公開鍵を読み込むには,

gpg --import keyfile

とする.公開鍵を削除するには,--delete-keyオプションを使う.暗号化するには,

gpg -e -r name file

とすると良い.このとき,file.gpgなどというファイルが出来るので,この状態で他の人に送ると良いだろう.復号化するには,

gpg file.gpg
で良い.この時,pass phraseが要求される.
Read more...

debianとpdf

pdfの編集
Linuxでpdfに文章を書き込む方法を探してみた.pdfを編集するには,libreofficeなどでもできる.しかし,もっと手軽にできないかと探してみたら,xournalというのを見つけた. インストールはaptで簡単にできる.少し使ってみたところ,編集としては,直線や手書きや文字を追加することはできたが,図形などは無理なようだった.修正液で消すことも出来た.用途は限定されるだろうが,簡単なことを簡単にやるには良さそうだ.

Read more...

cacheとswap

swapをあける

debianでメモリを大量に使う計算をやっていたら,メモリは足りているはずなのに,swapを使い始めた.swapを使っていると計算が遅くなるので,どうにかならないかなと思って調べてみたら,対応の仕方が分かった.このような場合には,メモリをcacheに使っていて,そのせいでswapが出来てしまうようだ.そこでまず,freeでメモリの使用状況を確認してから,cacheを開けるために,以下のコマンドを実行する.

sync
echo 1 > /proc/sys/vm/drop_caches

freeで確認するとcacheが減っているはずである.そして,swapの内容をmemoryに移すために,以下のコマンドを実行する.

swapoff -a && swapon -a

すると,それまで使っていたswapが使われなくってすっきりした.

Read more...

メモリ不足

swapを新たに設定

重い計算をしていたら,メモリが足りなくなったので,メモリを増設しないといけないかなと思っていたが,まずはswapでごまかすことにした.以前はHDDにlinuxをインストールするときに,swapを定義していたが,最近はSSDになり,メモリも増えたので,swapを定義しないようにしている.しかし,メモリ不足になったので,2nd storageであるHDDにswapを作ることにした.フォーマットをし直さないといけないのかと思っていたが,ファイルとしてswapを作ることができるようなので,やってみた.実行したコマンドを並べると,以下のような感じである.

cd /mnt/hdd
su
mkdir swap
dd if=/dev/zero of=/mnt/hdd/swap/swap0 bs=1M count=100000
chmod 600 /mnt/hdd/swap/swap0
/usr/sbin/mkswap /mnt/hdd/swap/swap0
/usr/sbin/swapon /mnt/hdd/swap/swap0
exit

まずはhddにswapのファイルを作り,それをswapとして有効にする.起動時にこれが有効になるようにするには,/etc/fstabに以下を書けば良いようだが,これはまだ実行していない.

/mnt/hdd/swap/swap0 swap swap defaults 0 0
swapを有効にしたことによって,メモリ不足で止まってしまっていたプログラムが無事に動くようになった.しかし,どの程度遅くなったかが問題だ.
Read more...

共用のHDD

ext4で戸惑った

linuxで誰からも使える共通のHDDを設定しようとしたら,少し苦労した.まず,lsblkでHDDの名前を確認して,/etc/fstabに以下のように書いて,ユーザーからマウントできるようにした.

/dev/sda1 /mnt/hdd ext4 rw,noauto,user,exec 0 0

このままだと,ユーザーが書き込めないので,umaskを設定してmountしたら,以下のようなエラーが出た.

mount: /mnt: wrong fs type, bad option, bad superblock on /dev/sda1, missing codepage or helper program, or other error.

この原因をいろいろと調べていたが,フォーマットをしていないとか,ユーティリティーが入っていないという記述も見つけたが,結局分かったのが,ext4ではumaskの設定が無いからだった.mountしてからrootでフォルダを作って,そのpermissionをgo+rwxにしたら,ユーザーから普通に読み書きできるようになる.結果としては,この方が楽なのだが,やり方が変わるのは面倒でもある.

Read more...

tlpとpowertop

linuxノートの省電力

バッテリーでlinuxのノートを使っていたら,意外に早くバッテリーが切れた.linuxでは省電力の設定がいまいちのようなので,設定してみることにした.

省電力設定ツールの有名なものに,tlpとpowertopがある.tlpはインストールすると,自動起動されるように設定されるが,powertopは自動起動されないので,そこを自分で設定しないといけない.自動起動するには,sudo nano /lib/systemd/system/powertop.serviceなどとして編集して,以下の内容にする.

[Unit]
Description=Powertop startup
[Service] 
Type=oneshot
ExecStart=/usr/sbin/powertop --auto-tune
[Install] 
WantedBy=multi-user.target

そして,シンボリックリンクを sudo cp -s /lib/systemd/system/powertop.service /etc/systemd/system/multi-user.target.wants/として作り, sudo systemctl enable powertop.serviceとする.これを最初にやったときは,設定ファイルの中の綴をミスっていて,うまく行かなかったが,エラーメッセージでそれに気がついて,訂正したらうまく行った.

tlpは,/etc/tlp.confを編集することによって設定を変更することができる.とりあえずは,以下の部分のコメントアウトを外した.

CPU_SCALING_GOVERNOR_ON_AC=powersave
CPU_SCALING_GOVERNOR_ON_BAT=powersave
CPU_BOOST_ON_AC=1
CPU_BOOST_ON_BAT=0

tlpとpowertopの設定は,多少干渉するような感じだけど,まずはこれで良いか.

Read more...

dvipdfmxのフォント指定

日本語フォントの埋め込み

texで作ったpdfのフォントが見づらいと言われたので,設定を変更してみた.まず,

sudo kanji-config-updmap-sys --ja status

として,現在の日本語フォントの埋め込み設定を確認する.私の環境では,

CURRENT family for ja: noEmbed (variant: )
Standby family : haranoaji
Standby family : ipa
Standby family : ipaex

となっており,埋め込み無しで,3つのフォントの指定が可能であることが分かった.そこで,

sudo kanji-config-updmap-sys --ja haranoaji

と指定してみた.読みやすくなったので,これで良いかな.

Read more...

新しいdebian

bullseye
そろそろdebianの次のversionがreleaseされるのではと調べてみたら,その翌日の8/14にリリースされることがわかった.そして,研究上で使っているMateriAppsのapt sourceがいつ公開されるかなと思って居たら,8/18に公開された.予想していたよりも早かった.新しいOSが出てから半年ぐらい待ってから更新することが多いのだが,今回は早めに更新してみた.DVDのISOをUSBに入れて,そこからbootしてインストールした.まずは英語で入れて,設定などを行った.desktopはlxdeにして,それ以外には以下のようなパッケージを入れた.

CPU: amd64-microcode
editor: emacs emacs-mozc
programming: ruby r-base r-cran-rgl r-cran-gsl r-cran-misc3d maxima
tex: texlive-lang-japanese texlive-latex-extra texlive-publishers
graphics: imagemagick gimp inkscape
mail: thunderbird-l10n-ja
tools: aptitude rsync
printer: cups
japanese: ibus-mozc

MateriAppsのsource listもhttps://sourceforge.net/projects/materiappslive/files/Debian/sources/から入れた.しかし,VESTAはまだ対応していないようなので,しばらく待たないといけない.あと,aptはcontribとnon-freeは追加しておいた. あとは,必要になったときに設定すれば良いかな.

Read more...