失敗百選 ～NTT専用回線の19000回線ダウン～

【事例発生日付】1998年10月28日

【事例発生場所】関西地方

【事例概要】
NTT専用線1万9000回線が突如ダウンし、関西を中心に広い範囲で、金融機関、製造業、流通業、旅行会社、化学会社等のみならず、航空や警察、消防などの公共機関も含む3239社・機関の業務に大きな影響を与えた。NTTの通信回線の専用回線中継装置を収容している東淀川ビルで、NTTの関連会社の作業員が、不要になった試験装置電源からヒューズを抜き取ったが、この電源は専用回線中継装置と共通であった。

【事象】
兵庫県伊丹市にある関西のスーパマーケットの阪神地区7店舗で発注データの送信エラーが発生した。(代表例)
【経過】(関西スーパマーケットの場合)
10：20頃、スーパマーケットの本部に阪神地区７店舗から相次いで「発注業務ができない」との電話連絡が相次いだ。複数店舗で同時に発生したため、通信回線の故障と判断。NTTに問い合わせるが、状況は把握できず。
10：50頃、NTTから「光ケーブルの切断事故が原因。2時間程度で復旧予定」との連絡が入る。しかし、安全のため、代替手段の検討を開始。
11：00～12:00、7店舗の回線は引き続きダウン状態だったので、印刷した発注伝票を、障害の発生した店舗にＦＡＸで送信開始。
12：00頃、一部の回線が復旧し始める。障害が復旧に向かったと判断し、FAXによる送信を中止した。
13:00頃、復旧した回線が再度ダウン、残る回線も不安定になり、新たに7店舗が通信不能となった。
13：00～16：00、回線が復旧とダウンを繰り返すので、通信回線をモニターし回線復旧を見計らって、9店舗に発注データ送信を指示。残る5店舗からFAXで送られてきた発注伝票データをシステム部門が入力した。
16：00頃、回線が復旧したので、通常業務に復帰した。なお、内線復帰は18時頃であった。

21：00までに他の関連含めての全面復旧となった。
【原因】
1.関連会社の作業員のヒューズ抜き取り･････手順無視
28日10:07、NTTの通信回線の専用回線中継装置を収容している東淀川ビルで、関連会社の作業員2人が、不要になった試験装置 (電話に雑音が入った場合に調べる電話線試験装置)を、更新するため撤去しようとして、試験装置につながっている電源回路 の枝線から、19本のヒューズを抜き取った。(ヒューズの抜き取り作業は軽易な作業であるとして、回路図の確認など事故防止 対策をしていなかった)

2.試験装置が専用回線中継装置と同一電源回路･････設計不良(注意・用心不足)
試験装置は、専用回線中継装置と同じ電源回路に組み込まれていたため、ヒューズを抜き取ったことにより、枝線に取り付 けられていた電圧を安定させるコンデンサーも電源装置から切り離された。さらに、使用停止した試験装置が電源回路全体 の安定に役立っていたのに加え、回路の導線が旧式のアルミ製で電圧変動を招きやすいものであったことも重なり、給電線 の電圧が不安定な「発振」状態になり、専用回線中継装置の電源スイッチの入・切が繰り返された。その結果、装置内の回 線接続設定のメモリーデータが破壊され、不通となった。

3.未完全な2系統(給電線の共通)･････設計不良(知識不足)
専用回線中継装置は、2系統の回路と2系統の電源を持ち、内部の回路が故障しても予備の回路に迂回させるバックアップ構 造があり、停電時などには切り替わるように設計しているが、共通する給電線(幅10㎝、厚さ1㎝の銅板)は二重化していな かっため、2系統ともにダウン。
同ビルで収容している専用線など2万8000回線のうち、1万9000回線が不通。
関西を中心に広い範囲で、航空や警察、消防などの公共機関、金融機関、製造業、流通業、旅行会社、化学会社他、3239 (社・機関)に影響。

4警察、消防用と一般企業用の共用･････企画不適切
航空・警察・消防の専用線は、故障した電送装置につながっていたため同時に影響がでた。また、警察、消防用の回線は、 一般企業用の回線と同じケーブル内に収容されていた。
【対処】
　不明
【対策】
　不明
【背景】
通信の自由化、エレクトロニクス等の飛躍的な技術革新や経済のサービス化やソフト化にともない、情報処理と通信の融合によって情報ネットワークの拡大は急速に進んでいる。この情報ネットワークの拡大は、事故の影響による被害規模の大きさと直結する危険性がある。 　
【知識化】
① 容易な作業・操作は、システム全体への影響を軽視する。 ヒューズの抜き取り作業は軽易な作業であるとして、回路図の確認など事故防止対策をしていなかった。
② 2系統化とは完全に独立して動作する回路である。 試験装置と中継装置の電源、中継装置の2系統の給電線、警察・消防用と一般企業用ケーブルなどが共有されている。
③ 障害発生時への対応策への訓練の重要性 スーパーマーケットにおける対応(FAX活用など)が参考になる。
【総括】
今回と同種の専用回線中継装置は全国に288ヶ所の局舎内に設置しており、早急な対策が必要である。今回の直接的な事故原因は、単純なヒューマンエラーが起因であり、その再発防止も大切であるが、不具合への対応による被害影響拡大を防止することも大切である。当然、システムとしては常用系の他に非常系を設けている筈であるが、本事例のように実際には、様々な個所で共有化が行なわれている。多重化に伴うコスト、障害による影響、障害発生の可能性などの要素から適切なバックアップ体制が不可欠である。

以上