みずほ銀行、故障の原因は6年前のHDDが2台同時に逝ったため。そして「優秀な技術者を営業に回して口減らししていた」と報道される。

みずほ銀行、「システムに精通した技術者を営業に回して口減らししていた」と報道される。

度重なるシステム障害で信用が失墜し、金融庁がシステムの直接管理に乗り出すのでは、
という異例の事態に突入しかけているみずほ銀行ですが、金融庁に提出した障害原因報告書で
ある程度故障の原因が明かされています。

8月20日の障害では、19日夜に店頭での取引を処理するシステムにある富士通の機器が故障。機器は予備も含めて同時に壊れた。バックアップのサーバーにもデータが正しく複製されなかったため、災害対策用の拠点に切り替えた。翌日の開店までに復旧が間に合わず、全店での窓口業務が一時できなくなった。

HDDが2台同時に死亡し、バックアップサーバーへの切り替えも失敗したのが原因とのこと。

ちなみにバックアップサーバーへの切り替えが失敗した原因は、

　この際、バックアップシステムに切り替えようとしましたが、入力すべき追加の指示を飛ばしたため失敗しました。
http://a.msn.com/01/ja-jp/AAPhzbd?ocid=st

入力追加の指示を省略したため、とのこと。こんなの人災やんけ。
あれほと手順書を守れ、と口酸っぱく言われるのにさぁ・・・
特に慣れてきた中堅社員にあるあるのやつですね。

災害対策拠点での復旧を目指すも、障害が起きた一部システムだけを移行させるマニュアルもなく、
復旧に時間を要した、とのこと。

6年前のHDDが2台同時に逝きました：

ちなみに故障したHDDは6年前の型式で、経年劣化が原因と観られています。
そりゃ6年間、どのぐらいの頻度で書き込み読み込みしていたかは不明ですが、
6年持てば十分だろ・・・コンシューマ用途でも6年使えば死ぬことは十分にあるのに、
それを銀行の基幹系に使って適宜交換していないとな・・・

　みずほFGによると、ディスク装置が2重に故障することは極めてまれで、「ITベンダーからは4000年に1回と言われた」（石井哲執行役デジタルイノベーション担当兼IT・システムグループ長兼事務グループ長）。富士通が故障したディスクを分解するなどして解析した結果、特定の型番において、読み取り不良などによる故障率が足元で高まっていたことが分かったという。
データセンターを切り替えずとも復旧できた、みずほ銀行が「5度目」障害で見解 | 日経クロステック（xTECH）

サクッと「ITベンダーからは4000年に1回と言われた」と発言し、他人事のように言っていますが、
いやいや、君のところのシステムだからね。

あと、MTBFを二乗して4000年に1度という計算かもしれませんが、6年使ったHDDが2台同時に壊れる確率って
そんなに低いかな？もうちょい壊れそうなものだけど。

新品のHDDならいざしらず、6年運用したRAID1が同時に逝く、
というのは運用面でもう少し目撃事例がありそう。

そもそもITベンダー側も特定のHDDの型番は経年劣化で故障率が激増するという情報は持っているはず
（逆に持ってないとITベンダーとして失格だろうし、Backblazeなどは公開している。）、
それをみずほ側に提供し、みずほに交換を要求するような保守体制になっていたかは不明。

この辺、金がかかる割に対費用効果がいまいち見えにくいところですから、
ITベンダー側から提案はしてみたものの、みずほ側が蹴った可能性は十分に有り得そう。

優秀な技術者は営業に回して口減らしへ：

また、情シス部門の人員削減と口減らしも報道されています。

システムに精通した人材が営業などの部署に移り、担当者を減らした弊害が出ている。

保守運用を担うベンダーとの連携も課題だ。再発防止策ではベンダー出身者の採用や出向をさらに増やすことも明確にした。

これはあるあるだな・・・開発に携わった人が、プロジェクトの消滅に伴い、
他の部門に異動したりさせられたり、日本企業でよく見る光景です。

本当に優秀な人で引く手あまたの人は、社内の別の設計部門に
回されたりするのですが、普通～ちょい優秀ぐらいの人だと会社の都合が優先されて、
全く畑違いの部署に飛ばされ、「嫌ならやめてね、自己都合退職で」という、
いつもの日本企業あるあるです。

という訳で、何時の時代も冷遇される日本の技術者、英語さえ出来れば海外に飛び出したほうが、
こんな永久に終わらない泥舟プロジェクトに関わること無く、年収も2倍になり、
幸せな人生を遅れそうです。