Centos8でmegaraid上のディスクにOSインストールしようとすると失敗する

何時も通り（？）にOSをインストールするだけのはずだった。

いつも僕はシステムもmegaraidで区切った領域にインストールしている。単純に、システムも同一のraid環境に置いておきたいだけなのだけれども、今回はインストールさえさせてくれなかった。
区切った領域にインストールしようとすると、invalid superblock magic number とか言い出して、パーティションを区切るのみでインストールが止まる。
おかげでCentos7を祭ダウンロードして入れるハメになった。まだインストールしていないが、これはゆゆしき事態だなあ。
新しいからバグなのか、それとも
http://nakanoshuichi.blogspot.com/2019/10/centos8-lsi-megaraid.html
のように、

CentOS8の標準カーネルでサポート外になった

のか。一応現行のもの（9361-8i）なんだけどなあ。。。

Megaraid 9721-8iで、リチウムイオン電池が妊娠してRAIDカードを破壊してしまった（RAIDアレイが破損。それを復旧した話）

事実は小説より奇なり。
ある日、「ファイルサーバに繋がらない」と苦情を言われた。
いつもなら、sambaが何かの拍子にへそを曲げただけで、再起動すれば何事もなかったように立ち上がっていたのだけれども、今回は様子が違う。
立ち上げたら、bios画面で、VD（ヴァァーチャルドライブのこと。）が無いぞ、と言ってくる。
ディスク自体も認識していないらしく、ケーブルや電源を確認しろと書いてある。
勿論HDDは問題なく、 電源は尚のこと。
そこで、ケースを開けてみて、絶望した。
RAIDカードが「曲がっている」。

Megaraid 9271は、cache volt（この時期はバッテリーバックアップ、BBUと言っていた）用のリチウムイオン電池を、RAIDカード自体にねじ止めするスタイルだった。
https://www.picclickimg.com/d/l400/pict/192658565134_/LSI-MegaRAID-9271-8i-PCI-E-30-8-Port-6Gbps-SAS.jpg
の黒いのがリチウムイオン電池。
で、これが妊娠して巨大化し、そのままRAIDカードをひん曲げてしまっていたのだ。
電池を外して再起動すると、電池がない旨も表示されるが、そこじゃない。
何にしろ、普通に立ち上げるだけでは一切のディスクが無いことになっているのである。
一応どうもカード自体は生きており、ヒートシンクを付けなおして冷却をガンガンすればなんとかなりそうである。ただ、物理破損だけで無く、raidアレイが完全に死んでいる。これが痛い。

完全にお手上げかと思ったが、粘りに粘ってググった結果、
https://www.ask-corp.jp/faq/index.php?action=artikel&cat=53&id=118&artlang=ja
まだ手はあるらしい、が、Foreign Configurationの扱いがわからない。
https://nas-rescue.com/blog/index.php?QBlog-20160208-1
ということは、コントローラ川さえなんとかなれば、ワンチャンあるということである。
で、さらに調べて

https://yug-oc.jp/serv_blog/archives/245

まじもう愛してる。上記通りにしたわけじゃないけど、光明をもたらしてくれた。

手順的には、webbiosで、

1. UnconfiguredBadとなっているHDDをUnconfiguredGoodにする。
2. Scan devicesをクリックして、Foreign Configurationを読み込む
3. Want to import?で、All configurationsのところの選択ボタンを押下して、コンフィグを選択
4. previewボタンを押下して内容を確認、よければimportする（clearは何があっても押してはならない）
5. exitで再起動。再起動時に別のコンフィグ読めるけどどうする？的なことを言われるが、無視する

と繋がった。
兎に角、消さなければraidを構成していたHDDに情報は残っているので、なんとかなる可能性が高いということである。
また、importボタンを押したにもかかわらず、failed importと言いやがったが、実はimportされていた、ということも書いておきたい。
バグらしい。やれやれである。

諦めない心は大事だなあ。

centos7で、yum updateするとmegaraid 9271を認識しなくなる（未解決）

表題の通りです。
環境は、
centos7.6(CentOS-7 (1810))
現broadcom（旧avago、LSI）のMegaRAID SAS 9271-8i。
HGST Deskstar 4GB x8でのRAID10。
パーティションを切って、起動ディスクもRAIDになっている。

現象
・webbios（CTRL+Hで入るmegaraidのビルトイン管理ツール）が起動しない（これはマザーボードのefibiosで、起動順序（ブート順序）を一番上にすれば起動するようになる）
・efibios上で、ブート名からcentosが無くなる
・起動した後、OSを読みに行くとフリーズ、もしくはプロンプト、もしくは「System BootOrder not found. Initializing defaults.」でフリーズ。

原因
yum updateすると、再起動後、システムを認識しなくなる。まさかアップデートとは思っていなかった。
うちはRAIDに起動領域を持っているので、RAIDがこけたらシステムもこける仕様。

詳細
RAIDアレイは維持されており、レスキューディスクなどで外部から中を覗くと、データは全て維持されているように見える。
なので、恐らくブートに関係する何かがおかしくなっている筈。ディスクは起動フラグが立ったママなので、ディスク自体は大丈夫。また、諦めて再インストールしたところ、ディスク自体は至極真っ当だったので、アップデートで起動部分の何かが変わってしまっていると見た方が良い。

対策
恐らくuefi関係の何かをいじってやればいい、というのは想像が付くが、何をいじれば良いのか分からない。
恐らくgrub。 ただ、grubが壊れただけではなく、grub自体表示されないので、grubのメニューがどうのと書いてあるhow2は使えない。
ubuntuなら
https://askubuntu.com/questions/1042747/system-bootorder-not-found
に沿って、ブート記述をしてやればいいのだろうけれども、centosの場合はどうなのか。
/boot/efi/EFI/centos内の、shimx~はバイナリで、編集できない。

参考になるかも知れないサイトメモ
http://enakai00.hatenablog.com/entry/2015/11/27/152442

http://d.hatena.ne.jp/adsaria/20080820/1219242110

https://access.redhat.com/documentation/ja-jp/red_hat_enterprise_linux/7/html/system_administrators_guide/sec-Reinstalling_GRUB_2
 再インストール時に、「grub2-efi-modules」が必要になるので、今は手が出せない・・・。

追記
試しました。
grub2-install /dev/sda
で、再起動掛けたところ、「Secure Boot Violation」という赤い警告画面になって終了。
https://www.google.com/search?q=Secure+Boot+Violation
 UEFIをいじると、今度はefibiosからcentosが消え、何故かgrubのプロンプトが出る。

大人しくバックアップを取って再インストールするのが綺麗・・・。

追記
別環境で、megaraid 9361-8iにインストール後、アップデートをかけたところ、問題無く起動した。
ということは、megaraid 9271-8iのみに影響があるということか・・・。

megaraidでBBUを追加できない。と追加後の設定

megaraidでBBUを追加できない。と追加後の設定

バッテリーバックアップユニット（BBU)ナシで走らせていたMegaRAID SAS 9271に、BBUを追加した話。
BBUは
http://www.lsi.com/downloads/Public/JP_assets/LSI_MR9271-8i_PB_JP.pdf
にあるように、LSIiBBU09を追加することが出来る。

曲者だった・・・。
RAIDカードにbbuを接続（基盤にねじ止め。インストール場所はねじ穴があう場所があるので、そこにそのままはめ込む。J1A3コネクタとはまる）したところ、相変わらずbbuがないとおっしゃる。
webbiosでも、cliを叩いてもいっこうに出ない。
おかしいと思い、マニュアルを検索したところ、BBU付属ケーブルはリモート接続用のケーブルだったと言うことが判明。
BBUにはクイックインスタレーションが付属しておらず、つながなくても良いものをつないでしまっていた。

http://www.lsi.com/products/raid-controllers/pages/megaraid-sas-9271-8i.aspx#tab/tab3
のuser guideの項目
6Gb/s MegaRAID SAS RAID Controllers User Guide
http://www.lsi.com/downloads/Public/MegaRAID%20SAS/41450-04D_6Gbs_MR_SAS_UsrGd.pdf

3.1.7に項目
3.1.7.1 MegaRAID SAS 9271 RAID Controller   Board Layout and Jumper/Connector Information
がある。

マニュアルはちゃんと読もう。



BBUの設定
設定は、Web BIOSから設定するのが恐らく筋だが、サーバをこれ以上止められないのでcliを使って設定することにする。

http://blogger.shase.info/2012/06/raid.html

を参考に、

writeback（ライトバック）を有効
/opt/MegaRAID/MegaCli/MegaCli64 -LDSetProp -WB -LALL -aAll
Read ahead（先読み）有効
/opt/MegaRAID/MegaCli/MegaCli64 -LDSetProp -RA -LALL -aAll

を設定した。
Immediateオプションはちょっと怖かったのでやめておいた（チキン）。
また、常時ライトバックは環境的に問題が起きたら終了なので、これもやめておいた。
IBMとか余裕で常時ライトバックを勧めているのを見ると、環境に自信あるんだなあと思う。
http://www-06.ibm.com/jp/domino04/pc/support/Sylphd08.nsf/1e97b730bd4fa8f249256a840020d047/453a8dce989551ed49257b2c00089955/$FILE/ServeRAID%E3%83%90%E3%83%83%E3%83%86%E3%83%AA%E3%83%BC%E9%81%8B%E7%94%A8%E3%82%AC%E3%82%A4%E3%83%89%E3%80%80V2.1%20Jul2012.pdf

結果
RAID10（2TBを8基で2基はスペア。ファイルサーバ）

#/opt/MegaRAID/MegaCli/MegaCli64 -LDInfo -LALL -aAll

Adapter 0 -- Virtual Drive Information:
Virtual Drive: 0 (Target Id: 0)
Name                :
RAID Level          : Primary-1, Secondary-0, RAID Level Qualifier-0
Size                : 5.299 TB
Sector Size         : 512
Is VD emulated      : Yes
Mirror Data         : 5.299 TB
State               : Optimal
Strip Size          : 1.0 MB
Number Of Drives per span:2
Span Depth          : 3
Default Cache Policy: WriteThrough, ReadAheadNone, Direct, No Write Cache if Bad BBU
Current Cache Policy: WriteThrough, ReadAheadNone, Direct, No Write Cache if Bad BBU
Default Access Policy: Read/Write
Current Access Policy: Read/Write
Disk Cache Policy   : Disk's Default
Encryption Type     : None
PI type: No PI

Is VD Cached: No

が

こうなる。

#/opt/MegaRAID/MegaCli/MegaCli64 -LDInfo -LALL -aAll

Adapter 0 -- Virtual Drive Information:
Virtual Drive: 0 (Target Id: 0)
Name                :
RAID Level          : Primary-1, Secondary-0, RAID Level Qualifier-0
Size                : 5.299 TB
Sector Size         : 512
Is VD emulated      : Yes
Mirror Data         : 5.299 TB
State               : Optimal
Strip Size          : 1.0 MB
Number Of Drives per span:2
Span Depth          : 3
Default Cache Policy: WriteBack, ReadAhead, Direct, No Write Cache if Bad BBU
Current Cache Policy: WriteBack, ReadAhead, Direct, No Write Cache if Bad BBU
Default Access Policy: Read/Write
Current Access Policy: Read/Write
Disk Cache Policy   : Disk's Default
Encryption Type     : None
PI type: No PI

Is VD Cached: No

MegacliのマニュアルはIBMより
http://www-06.ibm.com/systems/jp/x/manual/2012/1205/49Y9854.pdf
日本語訳が勝っていて、ちょっと読みにくい。

3wareとLSIのRAIDディスク状態情報をテキストで書き出したい＞grepで複数の単語をつかんでリダイレクト。

3wareのRAIDcontroller状況は3dm2をインストールすることでブラウザ閲覧していたのだけれども、
LSIはブラウザではなく、MEGARAID STRAGE MANAGERで管理することになった。
このMegaRAID Strage Managerがすこぶる使いづらい。
外部PCからはポートを開放しないと参照できないし、何より管理PCにMegaRAID Storage Managerをインストールしなければならない。
3071,5571とか正直わざわざ開けたくない。
そこで、CUIで動く3ware CLIと、MegaRAID CLIで出した情報をテキストに書き込むシェルを書いて対応した。
MegaRAID CLIも使い勝手はかなり微妙。大文字小文字入り乱れるわ、インストール時にパス通してくれないわ・・・。
そもそも見たい情報が分かりやすく出てこない。
LSIは買収したのだから、そろそろ3wareの新商品を出してほしいものである・・・。
気を取り直して


3ware CLIについては
http://www.clustcom.com/content/view/149/32/

MegaCLIについては

http://www.maruko2.com/mw/MegaRAID%E3%81%AE%E3%82%B9%E3%83%86%E3%83%BC%E3%82%BF%E3%82%B9%E3%82%92%E7%A2%BA%E8%AA%8D%E3%81%99%E3%82%8B

http://d.hatena.ne.jp/mtkys+tech-memo/20121215/1355591665

を参考にした。

単純にほしい情報をgrepでつかんでリダイレクトさせる。
grepは"-e"で連続してつかんでくれるので、それを利用する。
まず書き出し日時をdateで書き出し。次に情報を追記する。
それをcronに突っ込むと、定期的に書き出してくれる（たとえば/etc/cron.daily/に実行権限をつけて入れておく）。
（foobarには書き出したいディレクトリを指定）

3wareは

#! /bin/sh
#書き出しファイル指定
writefile=/foobar/raidstatus.txt
#日時
date > $writefile
#スロットナンバーと、書き出したいディスク状態、ディスクデータを指定する
tw_cli show >> $writefile
#/c0のところはサーバによって違うことがあるので、必ず事前に確認する
tw_cli /c0 show >> $writefile

megaraidは

#!/bin/sh
#書き出しファイル指定
writefile=/foobar/raidstatus.txt
#日時
date > $writefile
#スロットナンバーと、書き出したいディスク状態、ディスクデータを指定する
/opt/MegaRAID/MegaCli/MegaCli64 -PDList -aALL | grep -e Slot -e state >> $writefile
echo '-----------------------------------------------------'
/opt/MegaRAID/MegaCli/MegaCli64 -PDList -aALL | grep -e Slot -e Raw -e Inquiry >> $writefile

以下のようなテキストファイルができあがるので、参照しやすいところに直書きだしするようにすればいい。
ただし、改行コードがLFなので、LFを正しく解釈する、たとえばワードパッドやnoeditor等で開かないと、
すごく長い一行を読まされる。

3ware CLIは以下--------------------

Wed Dec 10 00:00:00 JST 2014

Ctl   Model        (V)Ports  Drives   Units   NotOpt  RRate   VRate  BBU
------------------------------------------------------------------------
c0    9650SE-8LPML 8         8        3       0       1       1      OK      


Unit  UnitType  Status         %RCmpl  %V/I/M  Stripe  Size(GB)  Cache  AVrfy
------------------------------------------------------------------------------
u0    RAID-10   VERIFYING      -       12%     256K    5587.9    RiW    ON    
u1    SPARE     OK             -       -       -       1863.01   -      OFF   
u2    SPARE     OK             -       -       -       1863.01   -      OFF   

VPort Status         Unit Size      Type  Phy Encl-Slot    Model
------------------------------------------------------------------------------
p0    OK             u0   1.82 TB   SATA  0   -            ST2000DM001-1CH164 
p1    OK             u0   1.82 TB   SATA  1   -            ST2000DM001-1CH164 
p2    OK             u0   1.82 TB   SATA  2   -            ST2000DM001-1CH164 
p3    OK             u0   1.82 TB   SATA  3   -            ST2000DM001-1CH164 
p4    OK             u0   1.82 TB   SATA  4   -            ST2000DM001-1CH164 
p5    OK             u0   1.82 TB   SATA  5   -            ST2000DM001-1CH164 
p6    OK             u1   1.82 TB   SATA  6   -            ST2000DM001-1CH164 
p7    OK             u2   1.82 TB   SATA  7   -            ST2000DM001-1CH164 

Name  OnlineState  BBUReady  Status    Volt     Temp     Hours  LastCapTest
---------------------------------------------------------------------------
bbu   On           Yes       OK        OK       OK       220    10-May-2014 

LSI MegaRAIDは以下--------------------

2014年 12月 10日 水曜日 10:00:00 JST
Slot Number: 0
Firmware state: Online, Spun Up
Slot Number: 1
Firmware state: Online, Spun Up
Slot Number: 2
Firmware state: Online, Spun Up
Slot Number: 3
Firmware state: Online, Spun Up
Slot Number: 4
Firmware state: Online, Spun Up
Slot Number: 5
Firmware state: Online, Spun Up
Slot Number: 6
Firmware state: Hotspare, Spun down
Slot Number: 7
Firmware state: Hotspare, Spun down
-----------------------------------------------------
Slot Number: 0
Raw Size: 1.819 TB [0xe8e088b0 Sectors]
Inquiry Data:             Z5XXXXHVST2000DM001-1ER164                      CC43   
Slot Number: 1
Raw Size: 1.819 TB [0xe8e088b0 Sectors]
Inquiry Data:             Z4XXXX4QST2000DM001-1ER164                      CC43   
Slot Number: 2
Raw Size: 1.819 TB [0xe8e088b0 Sectors]
Inquiry Data:             Z4XXXXGJST2000DM001-1ER164                      CC43   
Slot Number: 3
Raw Size: 1.819 TB [0xe8e088b0 Sectors]
Inquiry Data:             Z4XXXXABST2000DM001-1ER164                      CC43   
Slot Number: 4
Raw Size: 1.819 TB [0xe8e088b0 Sectors]
Inquiry Data:             Z4XXXXJJST2000DM001-1ER164                      CC43   
Slot Number: 5
Raw Size: 1.819 TB [0xe8e088b0 Sectors]
Inquiry Data:             Z5XXXXZ9ST2000DM001-1ER164                      CC43   
Slot Number: 6
Raw Size: 1.819 TB [0xe8e088b0 Sectors]
Inquiry Data:             Z5XXXXK6ST2000DM001-1ER164                      CC43   
Slot Number: 7
Raw Size: 1.819 TB [0xe8e088b0 Sectors]
Inquiry Data:             Z4XXXXQTST2000DM001-1ER164                      CC43   

-----------------------------------------
余談だが、SeagateのST2000DM001がとにかく悩ましい。
よく飛ぶ。というか、環境を選ぶ。
普通の環境（室温24から30度）だと、半年に数台壊れていく。壊れたHDDは東芝に換装。
逆にサーバ室（室温21度）だと年に2台程度。他社とあまり変わらず。
デスクトップ用だよね？これ・・・。

LSI Megaraid SAS 9271iでRAIDを組んでcentos6.5をインストールする

設定しながら書いてます。

まず、ブート時にctrl+Hを押して、web biosに入る。前はcttrl+3とかだった気がするんだけど・・・。
RAID1+0（RAID10）で組みたかったのだけれども、どうにも出てこなかったのでgoogle先生に聞いてみると
http://itdoc.hitachi.co.jp/manuals/ha8000/hard/xm2/5_bios/pee3m21500/pee3m21500-1.pdf
流石HITACHI。
HA8000シリーズのマニュアルである。
中にmegaraidが入っているので、こいつ参照でRAID10のやり方が分かった。
解説はP100～で、
ディスク２つずつのアレイを作って、それぞれAccept DGする。
で、次画面で作ったもの全てをaccept to span。
すると、ちゃんとRAID10が出てくる。
なるほど。

ディスクアレイの設定は
http://akira-arets.blogspot.jp/2012/03/megaraid9260-8i-virtualdrive-setting.html
を見ながら設定。
BBUモジュール買わないと、速度は1/10ということか。たしかに今までの3ware製品も、1/10とは言わないまでもスピードが出なかった。
因みにモジュール名は「LSIiBBU09バッテリー・バックアップ・ユニット」。
amazonで25000円也。相変わらずただの電池のくせに、高い。

外付けのDVDドライブでOSを起動。
http://roserogue.blogspot.jp/2011/10/centos62tb.html
を参考に、ビッグドライブにぶち込む。
UEFIでインストールしようとしたら、何故かgrubの黒画面になって、対処法を調べる気が起きず断念したのはヒミツ。誰か教えてください・・・。

/boot 1000MB（痛い目にあった事があるので大きく）
/swap 16000MB（16GBメモリを積んだため。多分10GBも入らないんだけど一応）
/var 50000MB（varさえ別にしておけばオーバーフローが起きないって誰かが言ってた、よ。）
/ 残り全て（夢の10TB）

みたいに切った。

UEFIなら
パーティションは
https://access.redhat.com/site/documentation/ja-JP/Red_Hat_Enterprise_Linux/6/html/Installation_Guide/s2-diskpartrecommend-x86.html
を見ながらで大丈夫でしょう。

で、問題ないかと思ったら、どうしてもインストールできない。
仕方が無いので、webbiosで、ヴァーチャルディスクを２つに（まず10tbの容量を切ってデータ用、同様の手順を踏んで100GBの容量を切る）して、100GBの方にインストール。
すんなり入る。何故。

あとは何時もな感じで設定して終了。特に詰まるところは無く、そしてEFIでないという。

megaraidのユーティリティは・・・。
http://www.lsi.com/support/pages/download-search.aspx
から検索してダウンロード。
表示が凄く遅いのでじれる。
strage
raid controller
品番
で、サーチすると全て出る。

Management Software and Tools

から、megacliとMegaRAID Storage Manager をダウンロード。

MegaRAID Storage Manager tarの中にインストール用のシェルスクリプトが入っている。

megacliは、RPMを

rpm -ivh XXX.rpm

でインストール。

http://ktaka.blog.clustcom.com/2013/05/megaraidstorcli.html 

を参考に、cliはいじる。

MSMは・・・GUIオンリーってそんな・・・。

遠隔でも出来るらしい記述は見えるけど、管理PCを作らなきゃならないのが何とも。。。

 

今回地味にはまったところ。
rc.localが反映されなかった。
rc.localにシェルスクリプトへのリンクを記述して再起動させても、全く動いている感じがしない。
動かないのである。
おかしいなあと実機を見たところ・・・startupが起動してる・・・そういえばインストールしてから見てなかったや・・・。
初回アップデートの後に出てきたので、まあ、初めはSSHのみで作業しちゃ駄目よ、ということか。