Centos7 & AMDGPU PRO Driver で OpenCL

AMDGPU PRO Driver for Linux で OpenCL する。

毎度　X11関係のバージョンが当たってインストールできなかったが、以下で OpenCL だけインストールできる。

$ sh ./amdgpu-pro-install --compute

以下のファイルで、Cenots7 附属の radeon ドライバが disable されるようになる。

cat /etc/modprobe.d/blacklist-radeon.conf
blacklist radeon 

日時が更新されないと効かないとかは本当か?
一応、以下で更新する。

touch /etc/modprobe.d/blacklist-radeon.conf

でも、firmwareが無いとかで、動作せず。

なので、以下で firmware 入りの initramfs に更新。

dracut -f --fwdir /lib/firmware

firmwareが無い場合は、以下あたりを探して見る。
http://git.kernel.org/cgit/linux/kernel/git/firmware/linux-firmware.git/plain/amdgpu/

userがopencl使うには以下も。

# cat /etc/udev/rules.d/61-udev-amdgpupro.rules
SUBSYSTEM=="drm" DEVPATH=="/devices/pci0000:00/0000:00:02.0/drm/card1", MODE="0666", RUN+="/bin/chmod a+rw /dev/dri/card1"
SUBSYSTEM=="drm" DEVPATH=="/devices/pci0000:00/0000:00:01.0/drm/card1", MODE="0666", RUN+="/bin/chmod a+rw /dev/dri/card0"
SUBSYSTEM=="drm" KERNEL=="renderD128", MODE="0666", RUN+="/bin/chmod a+rw /dev/dri/card1"

SAPPHIRE NITRO Radeon R9 390X 8G & Centos7 & AMDGPU-PRO Driver for Linux

amdgpu-pro-17.40-492261 でだが、動か無い。認識しない。諦めた。

Centos graphical -> text login 変更

text login に変更。

# systemctl set-default multi-user.target

graphical login に変更。

# systemctl set-default graphical.target

現在のモード。

# systemctl get-default

Xeon Phi OpenCL インストール

以下によると、
https://software.intel.com/en-us/blogs/2015/04/28/working-with-intel-code-builder-for-opencl-api-on-systems-equipped-with-intel-xeon

以下の二つをダウンロード。
Runtime 14.2
https://software.intel.com/en-us/articles/opencl-drivers

SDK(2014 R3 for Linuxは対応の記述を見た。今は無い INDEとかに吸収されたとか...こっちも無くなった。)
https://software.intel.com/en-us/intel-opencl/download
上は見当たらないが、以下で。
Intel® Code Builder for OpenCL™ API 2014 R3 for Linux
https://software.intel.com/en-us/articles/intel-code-builder-for-opencl-api

対応 MPSS 3.3.5 (対応Linux Redhat 7.0, Suse SLES11 SP3)
https://software.intel.com/en-us/articles/intel-manycore-platform-software-stack-mpss
Centos7.5 だとモジュールのビルドでエラーで、Centos7.4(1708) なら。

先に
epel-release dkms のインストールが必要。

mpss3.3 が必要ということで、mps3.3.5 linux をダウンロード。
mpss3.8 に update してあったので、 mpss3.8 の micflash で... とか要らなかった。
mps3.3.5 の micflash で書きかえ。


インストールは以下で。
> sh install.sh

Q&Aがあるが、何か terminal のせいか止まったように見える。
CTRL-L とかして見る。
mpss-modules はsrcのをビルド(rpmbuild)してインストールする。


ユーザがOpenCLが使えるように、以下の様に変更。

# cat /etc/udev/rules.d/50-udev-mic.rules
# do not edit this file, it will be overwritten on update
# initramfs:default
# MIC SCIF
SUBSYSTEM=="mic" KERNEL=="scif", ACTION=="add", MODE="0666", RUN+="/bin/chmod a+rw /dev/mic/%k"
SUBSYSTEM=="mic" KERNEL=="ctrl", ACTION=="add", MODE="0666", RUN+="/bin/chmod a+rw /dev/mic/%k"
# Bring up network interfaces manually on rhel7 after module reload
KERNEL=="mic*", SUBSYSTEM=="net", RUN+="/bin/sh -c '/bin/grep 7. /etc/redhat-release && /sbin/ifup %k'"

# centos updateで7.5にして XeonPhi 動作せず -> 振り出しに戻る。

VMWare ESXi pciパススルー - モジュール「DevicePowerOn」のパワーオンに失敗しました。

VMWare ESXi に PCIを割り当てると、以下が出て起動しない。
モジュール「DevicePowerOn」のパワーオンに失敗しました。

vmxファイルを編集して、以下を追加。

pciPassthru.use64bitMMIO="TRUE"

メモリ->予約も値設定しないとダメ。
VMWware Fusionからでは設定がないので、Webから。
以下も確認。

firmware = "efi" 

参考:
https://octo.vmware.com/using-intel-xeon-phi-esx-6-0/

他、検索で見たキーワードのメモ:

pciHole.start
pciHole.end
pciPassthru.64bitMMIOSizeGB

VMWare ESXi + Centos7: NMI watchdog: BUG: soft lockup

あれ、logに残らないのだが...
ESXi の Centos7 が、以下のメッセージが出て止まっていたような。

NMI watchdog: BUG: soft lockup - CPU#0 stuck for 22s!

先達の経験から以下の対応方法あると。

1. /boot/config-3.10.0-なんとか(uname -r) に、以下の変更。
CONFIG_LOCKUP_DETECTOR=n

2. 30出なく、1000とかとしている例もあり。
   $ echo 30 > /proc/sys/kernel/watchdog_thresh

VMWare ESXi 6.5 -> 6.5 update1

VMWare ESXi 6.5 を入れては見たが、Chromeで見ると最初から"ハンドルされない例外"と言われて使い用がない(2017/11/03)。

Firefoxを使えという話だが、ウチではダメだった。
Safariでもいづれダメになるが、sshをenable にはできたので、以下を参考までに update1に更新。

現時点まででは、症状を見てなく改善されたもよう。

https://tinkertry.com/easy-upgrade-to-esxi-65u1
http://gozuk16.hatenablog.com/entry/2017/07/28/190631
https://miketabor.com/how-to-update-vmware-esxi-6-5-to-6-5-update-1/

Crucial C300 起動せず

FreeNASがブートしない、、、このところ受難続き。

Crucial C300 古いけど、OSのbootくらいで、そんなに使い込んでは無かったのだが。

SSD死ぬときは突然で、Disk Sizeが0やら、無反応に。
故障モードは、どうかなったときは、どうにもならない感じに。

自宅に github っぽいやつ - gogs

FreeNASのjail でお手頃な gitサーバを...

Freebsd ports にあるのは、gitolite だが、設定とか web で楽したかったので gogs に。

インストールは以下をありがたく参考に。

https://www.codejam.info/2015/03/installing-gogs-on-freebsd.html

http://www.cs.cmu.edu/afs/cs/user/predragp/www/git.html 

!!  gogs/scripts/build_freebsd.sh  とかでビルドできたような。


このあとが分からないが、アカウントを以下で作成してお試し中。

$ ./gogs admin create-user --name ユーザ --password パスワード --admin --email メールアドレス

httpsするなら、以下で。

CC=gcc go get -u --tags "sqlite cert" github.com/gogits/gogs

CC=gcc go build --tags "sqlite cert"

./gogs cert -ca=true -duration=8760h0m0s -host=myhost.example.com

設定に以下を。

custom/conf/app.ini:

[server]
PROTOCOL = https
CERT_FILE = path/to/cert.pem
KEY_FILE = path/to/key.pem

git の方にも以下をしないとはねられる。

git config --global http.sslVerify false

起動時に実行は、いかとしてみた。
scripts/init/freebsd/gogs を rc.d にコピー
gogs は gogs_start() を以下に修正

export HOME=${gogs_directory}

rc.conf に以下

gogs_enable="NO"
gogs_directory:="/home/git/gogs #

<- blockquote="">

Owl tech OWL-IE5CU3B 2.5はsata3がだめ

crucial RealSSD C300 でCRCエラーでまくり。
3.5の方はOK
sata2にすればOKだが、ASUS C60M1-I は全ポート連帯責任で設定

FreeNAS Corral VM IMAGEから HOMEのファイルを救出

FreeNAS Corral が立ち上がらなくなった...
VM から HOMEのファイルを戻したい。

FreeNAS Corral の VM関連ファイルは以下にある。

• /mnt/volumeX/vm/
   VMの設定 zfs で mountしている。
• volumeX/vm//os
  VM DISK IMAGE/dev/zvol/volumeX/vm//os にマップ

zfs set volmode=geom して reboot しても mdconfig 出来ず。
やりようが有るかもだが。
埒が開かないので、以下で対処。

dd if=/dev/zvol/volumeX/vm//os of=disk.raw

mdconfig -a -t vnode -f disk.rawgpart list md0 <- br="">zpool import -f -Nzpool list <- font="" zroot=""> 

# zfs mount -o mountpoint=/mnt/zroot <- br="">zfs set mountpoint=/mnt/zroot zroot
zfs mount zroot/ROOT/default <- blockquote="" home="" usr="" zroot="">

以下から、ファイルを救出

/mnt/zroot/ROOT/default/home//

Xeon Phi のベンチーマークバイナリ

都合よく、Xeon Phi のベンチーマークのバイナリが無いかなと探したところ、以下。

https://software.intel.com/en-us/articles/intel-mkl-benchmarks-suite

linpack は libiomp5.so 無しで動く。

CPU温度の上昇から、クーラーのファンやポンプが回り出すまでディレイがありすぎるかな。
最初っからファン回しとかないと落ちそう。

Xeon Phi の温度をターミナルで

以下とすると良いらしい。

watch -n 1 micsmc -t

Centos7 kernel panic -> DVD rescue の利用

ブート出来なくなったときgrub で以下を試す。

• rescue とかあるのでブート
• grub で e 押して、systemd.unit=rescue.target をつけてブート

が、どれもKernel Panic。

DVD のrescue からブート。字が小さい...そしてモニターを縦にしたのが辛い。

とりあえず、最初は、read-write か read-only 1かで mount するか聞かれる。
mount 先は /mnt/sysimage になると。
lvm とかも mount済み。

return 押すと、shell に。

以下で、/mntsysimage -> / に。

chroot /mnt/sysimage

だが、DVDとversionが違うとエラーしてだめ。

https://thinkit.co.jp/story/2014/11/28/5408?page=0%2C1 から、rpmは使う方法(-vhi --force --root /mnt/sysimage)があると。
yum にも--installroot=ROOTDIR があるが、動かない。

とにかく、ネットに繋ぐなら以下で。

dhclient

DVD の RPM は /run/install/repo/Packages/ にある。
ネットからなら、ftp://mirrors.kernel.org/centos//os/x86_64/Packages/ にある。

RPMの内容の確認は以下で。

rpm -qlp

結局、諦めて再インストール
(首痛い、骨折り損のくたびれ儲け)

git originへpushさせない設定

gitでリモートにpush しないようにする。

git remote set-url --push origin no-pushing

.git/config は以下のようになる。

[remote "origin"]
    url = git://...gitのURL
    fetch = +refs/heads/*:refs/remotes/origin/*
    pushurl = no-pushing

Xeon Phi Centos7 設定初期化

不味いことになったら以下でやり直し。それぞれの違いは?だけど。

micctrl --initdefaults
micctrl --resetconfig
micctrl --resetdefaults
micctrl --cleanconfig

参考:
System Administration for the Intel® Xeon Phi™ Coprocessor

Xeon Phi Centos7 ブリッジ NFS 設定

その前に HOST側のインストール

yum install bridge-utils

HOST側のブリッジ操作は以下

brctl addbr br0
brctl addif br0 eth0

とりあえず、手順に従いインストールすると

/etc/hosts にホスト名 mic0 で設定されてる。
以下で確認できる。

micctrl --config

変更は次の様にとある。micが 10.10.0.1 に、ホストが 10.10.0.254 になる。

micctrl --network=static --ip=10.10 --modhost=yes --modcard=yes 

ブリッジの設定をするなら以下で。

micctrl --addbridge=br0 --type=external --ip=10.10.10.2 <- br="" host="">micctrl --network=static --bridge=br0 --ip=10.10.10.3 <- blockquote="" mic="">元に戻すのは以下で。

micctrl --network=default
micctrl --delbridge=bridge_id

設定してくれはするが、足りないので。
/etc/sysconfig/network-scripts 以下を修正

• ifcfg-eno1
  ホストのNIC はブリッジに接続  

TYPE="Ethernet"
DEVICE="eno1"
NM_CONTROLLED="no"
BRIDGE=br0
MTU=1500

• ifcfg-br0
  ゲートウェイを追加

DEVICE=br0
TYPE=Bridge
ONBOOT=yes
DELAY=0
NM_CONTROLLED="no"
BOOTPROTO=static
IPADDR=ブリッジのIP
NETMASK=255.255.255.0
MTU=1500
GATEWAY=ゲートウェイのIP

IPADDR="10.0.1.212" 

PREFIX="24" 

GATEWAY="10.0.1.1"

• ifcfg-mic0
  ノータッチで設定されたまま。

DEVICE=mic0
ONBOOT=yes
NM_CONTROLLED="no"
BRIDGE=br0
MTU=1500

NFS設定

その前に HOST側のインストール

yum install nfs-utils 

NFS設定は以下で。

mount SERVERのIP:NFSサーバのEXPORT位置 MICのMOUNT位置 に相当。

micctrl --addnfs=NFSサーバのEXPORT位置 --dir=MICのMOUNT位置 --server=SERVERのIP [--options=オプション,オプション...]

Xeon Phi Centos7 ユーザアカウント設定

とりあえず、手順に従いインストールすると
mic0側 /etc/passwd にユーザも追加されている。ホストのパスワードで入れるようになっていた。

パスワード設定は以下とか。

micctrl -passwd=ユーザ  mic0

sshの設定は以下とか。

micctrl --sshkeys=ユーザ --dir=普通は/home/ユーザ/.sshのところ

アカウント作成削除

micctrl --useradd=USER_NAME --uid=UID --gid=GID [--home=HOME_DIR] [--comment=COMMENT] [--app=普通は/bin/sh] [--sshkeys=普通は/home/USER/.ssh] [--nocreate] [--non-unique] [mic card list]
micctrl --userdel=UID [--remove] [mic card list]micctrl --groupdel=GID [--remove] [mic card list]

Xeon Phi CentOS7 に mic module

$ cp ./modules/*`uname - r`*.rpm .
$ yum install *.rpm

まで手順通り。

src 下で、

$ rpmbuild --rebuild mpss-modules-3.8.1-1.src.rpm
$ yum install /root/rpmbuild/RPMS/x86_64/mpss-modules-*.rpm

FreeBSD11 + ASROCK J3160-ITX + Winyao WI350T

うーん、
FreeBSD11 + ASROCK J3160-ITX + Winyao WI350T
たまに機嫌よく立ち上がるのだが。
大概は何か Timeout とかエラー出して凄く遅い。
何かは字が小ちゃくて読めない。知らないうちに今時がこんなことに。若いのについていけない。

!? MSI Z270I GAMING PRO CARBON AC だと見慣れていたサイズに。
FreeBSD11 + MSI Z270I GAMING PRO CARBON AC + Winyao WI350T

こっちは、機嫌よく立ち上がる。

FreeBSD で壊れたディスクの消去

以下が候補

• dd if=/dev/zero of=/dev/sdXX bs=4K conv=noerror,notrunc
• badblocks -v -s -w -t random /dev/sdX
• ddrescue --force /dev/zero /dev/sdX log.txt

Centos7 avahi

まず、 firewalld の設定で mDNS が通じない。
ネットーワークの設定から Identify ファイヤウォールゾーンを home に。
mDNS が通じるのは home か internal

firewall-cmd --set-default-zone=home

複数インターフェース(eno1, virbr0)があると、違う方のIPを広告するのか、ホストが見つからなくなる。
/etc/avahi/avahi-daemon.conf でインターフェースの指定をすると収まった感じ?

[server]
allow-interfaces=eno1

だめっぽい。なぜかすぐ Rmv して見つからない。

15:04:27.034  Add     2  4 centos7.local.                 Addr   IN     10.0.1.3515:06:25.582  Rmv     0  4 centos7.local.                 Addr   IN     10.0.1.35

mDNSのプロトコルとか分からないが、wireshark で見ると、どうも他ホストからのクエ
リーにレスポンスを返してない感じがする。

当てずっぽうだが、以下で様子見。闇雲にdns-sdとかするのも悪くした気もする。

[server]
ratelimit-interval-usec=10000000
ratelimit-burst=10000

該当しないと思うが /etc/default/avahi-daemon (Ubuntu)に書けというのも試して見る。

Centos7 だと/etc/sysconfig/avahi-daemon

AVAHI_DAEMON_DETECT_LOCAL=0

広告している IPv6 のアドレスがリンクローカルでない方で、これで繋がらない様でもある。


他メモ

Firewalldの制御は以下

停止
systemctl stop firewalld
設定一覧
firewall-cmd --list-all
ゾーン一覧
firewall-cmd --list-all-zones
デフォルトゾーン設定
firewall-cmd --get-default-zone

firewall-cmd --set-default-zone=ZONE

dhcp
解放
dhclient -r
取得
dhclient

wiresharkでdhcpのフィルタ
bootp

mDNS
wireshark で mDNS フィルタ
dns and udp.port eq 5353
dns and udp.port eq 5353 and ip.addr eq 224.0.0.0/24

cmos clock: FreeNAS Corral の FreeBSD template の VM

みんな困らないのか!?

時間がずれます。
VMのcmos clock はローカルタイム設定になるみたい。
以下で、
touch /etc/wall_cmos_clock

FreeBSD11 dovecot2

IMAP server には dovecot2 を利用

/usr/local/share/doc/dovecot から dovecot.conf  を /usr/local/etc/dovecot にcopy

dovecot.conf に変更

protocols = imaps

conf.d/10-mail.conf に、
mail_location = maildir:~/Maildir

conf.d/10-master.conf　に、足りないみたいなので増やす(256->512)。

default_vsz_limit = 512M 

/usr/local/share/examples/dovecot で mkcert.sh を実行

/etc/rc.confに変更

dovecot_enable="YES"

FreeNAS FreeBSD ZFS VM パーティション拡張

FreeNAS Web から Disk Size を拡張
そのあとは、

gpart show
gpart resize vtbd0
gpart resize -i 3 vtbd0
zpool online -e zroot /dev/vtbd0p

FreeBSD mDNS

imapサーバが不調
pingに答えない。
コンソールから状態見ようとする。
VGA ... モニタ壊れて買い換えたのには ... 付いてない。
ビデオカード刺して ... そっちの方向には刺さらないような ... PCIだった。
SSD別マシンに入れてブートさせれば ... GRUB? カーソルだけ写ってハング!?
新調した FreeNAS Corral の VM に ... で、
mDNSResponderPosix が BUS Errorで動作しない。
代わりに openmdns  -> 何か IP が伝わらないようで、pingが通らない。
代わりに avahi -> imapサーバだけで使うので、X11とか無しの方向のを。
代わりになるのか mdnsd -> 分からなかった。
代わりに howl -> 一瞬、動いたように見えたが、出てこなくなった。

... 出来ない。
bridge (LOCAL NET - FreeNAS(bridge) - VM) を超えられない!?

if_bridge がしてくれるのが期待 ... そもそも rc.conf にはいない ... なくても有効なのか ... 前と変わったような。

使い方だけメモ:
openmdns
起動、デフォルトだと _workstation._tcp で登録

> mdnsd ETHER-IF

-w　つけると、_workstation の設定をしない。

howl 設定
設定ファイルを以下の様に。

HOSTNAME _ssh._tcp local. 22

以下で起動できる。

> mDNSResponder -i ETHER-IF  -f 設定ファイル

/etc/rc.conf は以下の様にしておく。

mdnsresponder_enable="YES"
mdnsresponder_flags="-i ETHER-IF -f 設定ファイル"

Fedora 日本語 mozc インストーラ

Fedora とりあえず mozc を入れないと日本語入力できない。

以下でインストール
>sudo yum install ibus-mozc

iPad - Lightning to USB 3 Camera Adapter - USB DAC

iPad - Lightning to USB 3 Camera Adapter - AT-HA40USB
特に問題なく利用できる。

Lightning to USB 3 Camera Adapter にAC-ADAPTER繋げる必要がある。
セルフパワーでは動かない。

VirtualBox に 64bit Guest OS

VirtualBox に 64bit Guest OS

なぜだか 32bit OSしか選択肢が無い...
BIOS で CPU Virtualization を Enable にしろって、してあるし。

Windowsの機能の有効化または無効化 で、 Hyper-V を オフ に。

FreeBSD 10.3 mDNS

avahi を利用していたが、認識しているホストと、しないホストがあって...

mDNSResponder に乗り換え。

/usr/ports/net/mDNSResponder で make install

以下のファイルを作成

# cat /usr/local/etc/mdnsresponder.conf

_ssh._tcp
22

/etc/rc.conf に以下を追加

mdnsd_enable="YES"

mdnsresponder_enable="YES"

mdnsresponder_flags="-f /usr/local/etc/mdnsresponder.conf"

Xeon Phi ブリッジ Windows 設定

いちいち、コマンド打つのが面倒...
ということで、Phi側とブリッジ接続に。

Windowsのホスト側とXeon Phi側のイーサネットをネットワークブリッジを作成
ネットワークブリッジに IP 設定が必要

mic0.xmlを以下のように変更

<?xml version="1.0" encoding="utf-8" standalone="no"?\>
<mic0\>
  <MajorVersion>v1.2</MajorVersion>
  <Hostname>mic0</Hostname>
  <Networking>
    <IPAddress>10.0.1.217</IPAddress>
    <Subnet>255.255.255.0</Subnet>
    <MACAddress>00:11:22:33:44:00</MACAddress>
  </Networking>
</mic0>

Xeon Phi tcp/ip ルーティング Windows 設定

Xeon Phi と NAS を NFS したく...

Windows host設定

コンピュータの管理 -> サービス 
Routing and Remote Access を有効に。

regedit
HKEY_LOCAL_MACHINE のSYSTEM\CurrentControlSet\Services\Tcpip\Parameters\IPEnableRouter
REG_DWORD 1 で設定

Xeon PHI 側で設定

# route add -net 192.168.0.0 netmask 255.255.255.0 gw 192.168.1.99 mic0
とか
#  route add default gw 192.168.1.99
で。
filesystem\mic0\etc\network\interfaces に書いちゃうのは micctrl -g したときに戻ってしまう。
mic0.xml に gateway 設定はない模様。

linux だと micctrl -g ができそう。

Mac側の設定

$ sudo route add -host 192.168.1.100  192.168.0.3

Xeon Phi SSH 設定

PuTTY Key Generatorで作成。
Public key for ... authorized_keys file: の内容を、ファイル authorized_keys でコピーペースト。
save private key を id_rsa.ppk で保存。

Xeon Phi に sshを設定。

micctrl --addssh root -f authorized_keys 

micctrl --stop

micctrl --start 

putty は  Connection -> SSH -> Auth に id_rsa.ppk を設定してログインできる。

Mac/Linux で ssh 使えるように、
PuTTY Key Generatorで作成した .ppk を openssh 用に以下で変換。

• PuTTY Key Generator の conversions で変換

• Homebreaw (Mac Ports  ?) で putty をインストール

puttygen id_rsa.ppk -O private-openssh -o id_rsa

puttygen id_rsa.ppk -O public-openssh -o id_rsa.pub

作成したkeyはMac/Linuxの以下に配置。

mv id_rsa ~/.ssh
chmod 600 ~/.ssh/id_rsa

MacOS で rpm ファイルの展開

file-roller を利用
XQuartz が必要