2020年5月1日金曜日

Ovirt PCI Passthrough とPCIe カード追加したとき

RX590 を追加した。x16+x16+x16にx1ライザー+x1にライザーで接続。
カーネルコマンドラインには pci-stub.ids=1002:67df,1002:aaf0 設定済みなので、追加したのも既存のもRX590 のモジュールは pci-stub にはなっているが、Ovirt webからみると、既存分のしか見えていない。

もう一度、再インストール -> ホストの編集 -> 再起動 で追加分も見えた。
この時 /sys/kernel/iommu_groups/?/devices/* がある。
ダメな時は /proc/cmdline はあっているようだが上がない。

Xeon Phi の時は以下がないとダメっぽかった。
Xeon E3-1200 v5/E3-1500 ... Processor PCIe ... (pcieport)

AMD GPU だと PCIe x16 でCPUより 2slot は上がないとダメみたい。
x1 slot に挿したのは、なくても行けそう(lspciでは見える)。

lspciだと 4枚見えるが、clinfoだと3枚しか見えない。
x16 のどっちかが見えていない。

AMD RX590 例のグラボ vbios 書き換え

Intel では動かないと言われたが、動いたので喜んでたのだが、今すると居なかったりubuntu が立ち上がらなかったり。
なんか五月蝿かったけど、スイッチ変えたら普通になった気がしたが、今すると変わらない。

不都合が多いので、vbios 書き換えをしてみようと。

参考にしたのは以下。
https://windows7.info/archives/2212
https://www.techpowerup.com/forums/threads/amd-ati-flashing-guide.212849/
Linux でするのは以下が参考になる。
https://wiki.lexruee.ch/amd-gpus/

まずは、メモリのメーカーが分からないとで、amdmeminfo を用意する。
https://github.com/ystarnaud/amdmeminfo

atiflashはここから取ってきた。
https://github.com/konqueror1/atiflash

RX590 の vbios は以下から同じメモリーメーカーのを取ってくる。
https://www.techpowerup.com/vgabios/?architecture=&manufacturer=&model=RX+570&version=&interface=&memType=&memSize=8192&since=

見たところでは、GPU Clock が違うみたい。
マイニングで使ってみたとき答えが違うみたいな出力があったので、クロック控え目の GPU Clock 1244MHz のにしておいた。

買っただけの無駄使いを、F@H で有効利用。