失敗百選 ～福岡銀行で磁気ディスク故障(2000)～

【事例発生日付】2000年3月6日

【事例発生場所】福岡市福岡銀行

【事例概要】
福岡銀行で磁気ディスクを制御する装置に異常が発生し、ホストコンピュータが停止した。 店内端末2,122台と1,493台のATMやCDが使用不能となってしまった。さらに、手作業処理も受け付けなくなった。

【事象】
福岡銀行で突然操作端末に異常終了のエラーメッセージと共に次々を自動停止した。店内端末2,122台とATMやCD など1,93台が使用不能となった。さらに、手作業処理も受け付けなくなった。
【経過】
3月6日12:59、突然店内の端末に異常終了のエラーメッセージが大量に発生し、 ホストコンピュータが高負荷状態になり手作業処理も受け付けなくなった。 バックアップコンピュータも磁気ディスクの障害を感知して切り替え不能になり使用できなかった。 設定した処理許容時間を超えた端末や自動機が次々に自動停止。店内端末2,122台と、ATMやCDなど1,493台が使用 不能となった。同行は2月17日にシステムのテストを行ったばかりだった。
13:05、再起動には最低でも約40分かかるため、回復を早めようと、電源を切らずに、 システム担当者があらかじめ用意したマニュアルに従って、手動で予備ディスクに切り替えたが、壊れた磁気ディスク装 置と正常な予備の磁気ディスク装置が連動していたため、切り離しを指示しても未処理データが溢れていたためうまく作 動せず、状況は変わらなかった。
13:26、マニュアルに従って磁気ディスク装置のオン・オフを実施したが状況は変わ らなかった。
14:20、マニュアルに従って予備のコンピューターへの切り替えを試みたが状況は変わ らなかった。
14:30、コンピューター部門の現場のトップであるシステム開発部長がオンライン をいったん停止することを決断。システム全体の電源を一度切り、予備コンピューターだけを再起動したところ、予備 の磁気ディスク装置が作動。電源を切る決断が遅れたことにより、復旧が長引く結果となった。
14:50、営業店の窓口営業時間を16:00まで延長することを決定
15:51、営業店の窓口営業時間を17:00まで延長することを決定
16:20、オンライン再起動完了。
この3時間21分間、本店・支店全178で現金自動預け払い機(ATM)などが停止したうえに、他行との間での振り込みなどができなくなった。

【原因】
直接の原因は、預貸金などの元帳の入った勘定系磁気ディスクの1つで、120個ある制御基板上のプロセッサーICの 1つの信号レベルが不安定だった(不良品とみられる)。システムを納入した日本IBMは、同様の制御基板を組み込 んだコンピュータシステムは日本国内を含め全世界で数万台納入しているため、一つ一つ点検することは事実上不 可能としている。
磁気ディスクの待機系への自動切換えが、元帳ファイル(全数67)単位で行われ時間を要する仕組みだった上、無 応答時に、応答待ち時間を含めて60秒以上かかったため、処理許容時間の設定値60秒を超え，各取引処理が異常終 了されてしまった。 このため、端末などの異常終了のエラーメッセージが大量に発生し、ホストコンピュータが高負荷状態になり手作業 処理も受付けなくなった。 バックアップコンピュータも磁気ディスクの障害を感知して切替不能になり使用できなかった。
また異常発生後、復旧策をいろいろと試しているうちに結果的に時間を費やしてしまい、大きな影響を出してしまった。

【対処】
13:05、本店に対策本部を設置。ここから各店舗への指示を電話、ファクス、 電子メールの三本立てで送った。だが、各支店からひっきりなしにかかる電話に、本部スタッフの対応がばらばらになり、本部の指示を統一できなかった。
13:30頃、全支店・出張所にファクスで「危機管理マニュアルに沿って対応するように」 と指示。これに従って各支店の窓口担当者は詰めかけた客に「10万円を限度に預金払い戻しに応じます」などと呼びかけた。 さらに次々とファクスを発信した結果、到着までに最長2時間もかかった店もあった。 店頭では行員が顧客への説明に忙殺され、添付メールを開けないばかりか、電子メールも事実上機能しなかった。 また、同行のキャッシュカードは他の金融機関でも使えないのに、行員の一部が「他の銀行に行ってください」と指示 したため、西日本銀行など他の金融機関でも客から「カードが使えない」と苦情が寄せられた。

【対策】
事故後にすべての店長を対象にアンケート調査を実施、問題点を洗い出して新たな管理体制を立ち上げた。 ハード面の対策では「ロスカット(損切り)ルール」と呼ぶ新たなルールを設けた。トラブル発生から一定時間経過 した後は、復旧策に見切りをつけてシステムを再起動する。 ソフト面では、ファクス回線を従来の3倍に増やした他、緊急時にメールが画面上に優先的に表示される新たなイント ラネット網を整備した。

【背景】
銀行のコンピュータシステムは、昭和40年代に始まり、預金のオンライン化などで銀行本支店間のネットワークを 中心とした第一次オンラインシステムが構築された。昭和50年代には、 主要科目連動処理、 銀行間オンライン CD 提携ネットワークに代表されるような第二次オンラインシステムが構築された。昭和60年代の第三次オンラインシステムは、 金融の自由化、国際化、 証券化に対応するため、
①一層の事務の効率化、
②次々と登場する新商品・新業務への対応、
③営業力・収益力・リスク管理能力強化などに対応したシステムで、ほとんどの銀行に導入された。
銀行のコンピュータシステムは、一般にバンキングシステムと呼ばれており、業務処理を行う勘定系システムを中心に、 情報系システム、国際系システム、対外接続系システム、資金証券系システムおよび営業店システムから構成されている。これらのシステムが構内ネットワークを介して相互に接続される形態が一般的とされている。 　
【知識化】
① コンピュータシステムでは、たった1個のチップ(部品)が大きな事態を引き起こす。
② マニュアルでの対応は却って時間がかかることがある。
③ マニュアルで対応できない場合は、再起動が有効である。
④ 伝言ゲームは失敗をもたらす。本部からの出先への指示があいまいだった。
⑤ 信頼回復には積極的な情報公開が有効である。
【総括】
システムダウンで3時間半近くもシステムが動かなかったが、幸い同行での出入金や決済が出来なかったことが原因 で資金がショートした被害がなかったものの、もし企業の決済日が集中する月末であれば、システムダウンが顧客企 業の倒産を招く恐れもあった。
事故後福岡銀行は事故内容や管理体制の変更などの情報をホームページで開示した。単なる謝罪文にとどまらず、 事故の経緯や関係者への処分、新たなマニュアルまで詳細に公開した。事故時の対応こそまずかったが、すばやく 失敗を分析し、原因を改善し、その結果をホームページでPDF形式の報告書を掲載するなど、これまでならば「身内 の恥」として隠匿されたような事実も、残さず公開された点では評価できよう。

以上