【IT】Oracle DBのバグでファイル破損、大阪市がシステム障害の原因を初公表

1 ：田杉山脈 ★：2019/06/25(火) 22:09:14.18 ID:CAP_USER.net

大阪市は2019年6月24日、6月7日から翌8日にかけて発生した基幹系システムの障害について、原因を特定したと明らかにした。米オラクル（Oracle）のデータベース（DB）ソフト「Oracle Database」のバグが原因だった。

システム障害を起こしたのは基幹系システム「大阪市統合基盤システム」である。2015年1月に運用を開始し、住民票や税務、国民健康保険、福祉、介護保険など市民向けサービスを提供している。

　同システムのOracle Databaseはログイン時の認証に必要なデータや印刷履歴などを管理している。今回の障害により、区役所や出張所などで住民票などの発行ができなくなり、7994件の発行業務に影響が出た。

同システムで2019年6月7日の午後0時5分ごろに発生したシステム障害では、2ノードあるDBサーバーがほぼ同時に停止した。担当者が再起動を試みたが再起動できなかった。

　この原因について大阪市ICT戦略室は「Oracle Databaseには（データを格納するストレージとDBサーバーをつなぐ）通信経路で伝送エラーが生じた際、システムファイルが破損するバグが存在していた」と明かす。システム開発を担当したNTTデータ関西を介して「日本オラクルにバグの存在を確認した」（ICT戦略室）。

　今回のトラブルでは「停止したDBサーバーの再起動」「ハードウエアの交換」「システムファイルの修復」の順で復旧を試みたがいずれも復旧に至らなかった。そこでバックアップファイルからDBそのものを復元する手法に切り替えて、障害発生から約21時間後の6月8日午前9時30分ごろに復旧を完了し、同日午前10時から業務を再開した。

この先は有料会員の登録が必要です。
https://tech.nikkeibp.co.jp/atcl/nxt/column/18/00001/02456/

70 ：名刺は切らしておりまして：2019/06/25(火) 23:46:36.38 ID:QNvdlY3D.net

>>16
ストレージとのFibre Channelでのネットワークだと思うよ

71 ：名刺は切らしておりまして：2019/06/25(火) 23:47:33.82 ID:wk8q4ODn.net

ORA-600

72 ：名刺は切らしておりまして：2019/06/25(火) 23:50:58.93 ID:U0HUUT19.net

復旧遅すぎないか

73 ：名刺は切らしておりまして：2019/06/25(火) 23:56:27.53 ID:g6tob7zR.net

なぜホストコンピューターにしねえんだ
UNIXサーバーなんてクソに決まってんだろ

74 ：名刺は切らしておりまして：2019/06/26(水) 00:08:35.78 ID:krsbjNiB.net

オラクルの公式発表まだー？

75 ：名刺は切らしておりまして：2019/06/26(水) 00:09:54.56 ID:RlTfu8Mu.net

　
オラクル　「破損も仕様です(ｼﾚｯ」

76 ：名刺は切らしておりまして：2019/06/26(水) 00:15:11.26 ID:AAE74DAf.net

動いてるからOKのシステム多いからな

77 ：名刺は切らしておりまして：2019/06/26(水) 00:25:27.44 ID:EGh7KYjk.net

共有Oracleホームの障害らしいので
大阪市のサイトの時系列からこんな感じと推測
1.共通部の共有Oracleホームの破損？でDB全停
2.ハードウェア交換したがハードウェア障害ではないので復旧せず
3.制御ファイルのリカバリだけでは復旧せず
4.Oracleを再インストールしバックアップからリストア・リカバリで復旧

共有Oracleホーム
ttps://www.oracle.com/technetwork/jp/content/oh-rac-1-133511-ja.pdf

しれっとゴールデンゲートを売り込みに来るパターンだなｗ

78 ：名刺は切らしておりまして：2019/06/26(水) 00:47:07.81 ID:i4kospfM1

再現手順つけてサポートに送っても知らんぷりされるやつ？

79 ：名刺は切らしておりまして：2019/06/26(水) 00:40:56.82 ID:4gRHZ5OU.net

チョンウイルに感染したんじゃね
G20期間中にもやらかしそうな大阪市
市長公用車は禁煙した？

80 ：名刺は切らしておりまして：2019/06/26(水) 00:57:51.14 ID:a3IP3hTZ.net

オラッ！来る！��

81 ：名刺は切らしておりまして：2019/06/26(水) 01:06:14.04 ID:e5c7nLP5.net

>>40
あのオラクルがバグだと認めてるんだからバグだろう
既存バグに対してパッチ当ててない可能性は大いにあるけどな

82 ：名刺は切らしておりまして：2019/06/26(水) 01:08:45.42 ID:e5c7nLP5.net

>>72
DBの再起動、ハードウエアの交換、システムファイルの修復、DBリストアとやってたらこんなもんだろう
おそらく原因もわかってない状態での作業だと思うし

83 ：名刺は切らしておりまして：2019/06/26(水) 01:09:27.52 ID:7X/6adtO.net

>>68
パッチ当ててないから
それを理由にすると公務員様の経歴に傷がつくから仕方なくオラクルが悪役買って出て恩を売った…とかかな

84 ：名刺は切らしておりまして：2019/06/26(水) 01:15:19.78 ID:LK1cTQ94.net

>>83
パッチ当てるのは大阪市の責任なの？保守も含めてベンダーが責任を持つのが普通じゃないの？

85 ：名刺は切らしておりまして：2019/06/26(水) 01:21:41.99 ID:7X/6adtO.net

>>84
それは保守契約によるから何とも言えんが、公務員は変なところでケチだったりするから、パッチ当ては範囲外だったりしてもおかしくない
そしてそれが原因でいざ問題発生すると業者呼んで大騒ぎw

86 ：名刺は切らしておりまして：2019/06/26(水) 01:24:40.06 ID:xqpFJWpL.net

>>84
あなたには前提知識が欠落しているようなので、話に加わらない方がいいと思います
話に加わりたい気持ちは分かるけど

87 ：名刺は切らしておりまして：2019/06/26(水) 01:32:51.67 ID:yiQOBJX9.net

あー、これとは別でORACLEのデータファイルが0バイトになったことあるわ。

88 ：名刺は切らしておりまして：2019/06/26(水) 01:49:02.56 ID:xj3tG8Dv.net

そもそもバグを出しているのは欠陥だから無償でサポートするべきなんだけどね。

89 ：名刺は切らしておりまして：2019/06/26(水) 01:58:17.03 ID:yoPR9VaH.net

>>30
お前がＤＢ管理の実戦経験が無いのは分かった。

90 ：名刺は切らしておりまして：2019/06/26(水) 02:10:03.72 ID:yoPR9VaH.net

>>1
＞　この原因について大阪市ICT戦略室は「Oracle Databaseには（データを格納するストレージとDBサーバーをつなぐ）通信経路で伝送エラーが生じた際、システムファイルが破損するバグが存在していた」と明かす。

これだけを読むとオラクルは悪くないように見えるけどな。
ディスク装置にどこのメーカー使ってるか知らんがディスク装置とサーバーの通信失敗した場合、OS側に書き込み失敗した旨を伝えるのはディスク装置側の仕事やろ。
OS上で動いてるオラクルからしたら知ったこっちゃないわな。
まさかRAWで作ってんのか？w今時そんなわけないよな。

91 ：名刺は切らしておりまして：2019/06/26(水) 02:13:04.65 ID:HqvSj3V/.net

スコッ虎

92 ：名刺は切らしておりまして：2019/06/26(水) 02:14:09.81 ID:1ai7zQUy.net

導入コストも維持コストも異常に高くなぜか数年に一度唐突に値上げするけどろくに保守もバグも直さない
ぼったくりで有名なオラクルさん

93 ：名刺は切らしておりまして：2019/06/26(水) 02:16:08.13 ID:HqvSj3V/.net

頭皮にバグがあったのか
だから毛が…

94 ：名刺は切らしておりまして：2019/06/26(水) 02:40:25.16 ID:v1fn3QRx.net

仕様です。

95 ：名刺は切らしておりまして：2019/06/26(水) 02:55:28.98 ID:Nmaqe2gV.net

うーむ
この文章じゃ
意味ワカラン

想像の世界だわ

96 ：名刺は切らしておりまして：2019/06/26(水) 03:23:12.25 ID:+bp27P2v.net

損害賠償は？

97 ：名刺は切らしておりまして：2019/06/26(水) 06:56:37.25 ID:UgvqY82A.net

AWSとかAZURE、GCPにしときゃいいのに。

98 ：名刺は切らしておりまして：2019/06/26(水) 07:11:59.40 ID:ZaFASxLW.net

プログラムにはバクが残るのである程度は仕方ないが
オラクルのバクでとしっかり書いてるからには
理由ははっきりしていて致命的なのがあったんだろうか

99 ：名刺は切らしておりまして：2019/06/26(水) 07:17:24.08 ID:1BPLTu/X.net

オラクルがバグを認めたなら、そりゃニュースになるな。

100 ：名刺は切らしておりまして：2019/06/26(水) 07:21:05.91 ID:3JsFf5H8.net

>>90
Oracle はハードも売ってるからね。ExaData のハード障害ってことなんじゃね？

101 ：名刺は切らしておりまして：2019/06/26(水) 07:33:37.01 ID:lxMhLI//.net

>>2
そこで Symfoware の出番です

102 ：名刺は切らしておりまして：2019/06/26(水) 07:35:13.81 ID:TsY3e2zr.net

オラクルから『いや、使い方が悪かっただけ』っていわれんじゃない？

103 ：名刺は切らしておりまして：2019/06/26(水) 07:35:41.35 ID:GYVmP/VO.net

>>90
システムファイルはDBサーバー側だろJK

104 ：名刺は切らしておりまして：2019/06/26(水) 07:50:44.60 ID:UHlDEjcS.net

Oracle「アップデートしてないのが悪い」

105 ：名刺は切らしておりまして：2019/06/26(水) 07:54:49.25 ID:YiRYDC0I.net

あんだけクソ高いライセンス料払ってこのザマとは…
Accessでも使ってろw

106 ：名刺は切らしておりまして：2019/06/26(水) 07:55:00.90 ID:UHlDEjcS.net

ん？　システムファイルをミラーリングしてたのか？
https://it.srad.jp/story/19/06/12/1441216/

それを Oracle 側のせいにするのは……
うーん……

107 ：名刺は切らしておりまして：2019/06/26(水) 07:57:14.46 ID:5n1zZ0nv.net

バックアップとかミラーリングで失敗したのか
まあ通信失敗で壊れるようなんも設計上クソだろうが

108 ：名刺は切らしておりまして：2019/06/26(水) 07:57:46.98 ID:54PUfI9/.net

ファイル破損で起動できず、よくある話
復旧手順の見直しをしたほうがいいね

109 ：名刺は切らしておりまして：2019/06/26(水) 07:59:50.56 ID:H8NmwIJh.net

損害賠償を請求しろよ。

110 ：名刺は切らしておりまして：2019/06/26(水) 08:15:10.84 ID:RQFJnN3X.net

>>14
最近の金融はDB2に移行したところが多い

111 ：名刺は切らしておりまして：2019/06/26(水) 08:18:51.40 ID:UXDfthhl.net

>住民票や税務、国民健康保険、福祉、介護保険など市民向けサービスを提供している。

今後、大阪だけこーゆー重要なものは中華に預けろ

112 ：名刺は切らしておりまして：2019/06/26(水) 08:22:12.79 ID:yoH1xKuZ.net

オラクルも派遣使ってるんだろ

113 ：名刺は切らしておりまして：2019/06/26(水) 08:31:57.52 ID:drY01953.net

>>13
グループ企業のシステム作るときにアレだけは使わないでくれと注文入れられたわw

114 ：名刺は切らしておりまして：2019/06/26(水) 08:35:19.38 ID:UlGt+ebm.net

大企業でもサポート切れてる古いバージョンそのまま使ってるとこなんて珍しくないぞ

115 ：名刺は切らしておりまして：2019/06/26(水) 08:36:33.49 ID:0hDr9JNy.net

RACは前にもどこかの企業でトラブってたの見たな

116 ：名刺は切らしておりまして：2019/06/26(水) 08:37:29.28 ID:aR4O2ieH.net

AWS一択やな

117 ：名刺は切らしておりまして：2019/06/26(水) 08:48:47.04 ID:Xee0zWne.net

やっぱsqlserverだな
しかもオラクルより安上がり

118 ：名刺は切らしておりまして：2019/06/26(水) 08:51:12.25 ID:iHcYpBgz.net

うーんこれはオラクルのバグじゃないだろ
データ転送中に未知の通信エラーが発生
データファイルがぶっ壊れたならわかるけど、何故にシステムファイルを書き換えてしまうの？
メモリ破損させてしまって、書き込み先ファイルがどっか別物になってしまって、たまたまシステムファイルがぶっ壊れたってこと？
最初ハードウェアのバグかと思ったけど、やっぱオラクルの通信周りのバグっぽいわ

119 ：名刺は切らしておりまして：2019/06/26(水) 08:52:29.98 ID:DBFZDAOx.net

>>25
中抜き出来ない

120 ：名刺は切らしておりまして：2019/06/26(水) 09:19:40.74 ID:g1HMhGS7.net

>>119
>中抜きできない


ｗｗｗｗ
確かに！

121 ：名刺は切らしておりまして：2019/06/26(水) 09:31:25.47 ID:9DyH/W5k.net

糞高いだけのOracleなんて捨ててしまえ

122 ：名刺は切らしておりまして：2019/06/26(水) 10:10:36.20 ID:w0aS10M4.net

>>121
顧客がクソ高い費用を払ってくれさえすれば Oracle DB が一番優れてるからなぁ

123 ：名刺は切らしておりまして：2019/06/26(水) 10:12:59.94 ID:oSv7F2PR.net

休日なのに呼び出されて現場にオラ来る

124 ：名刺は切らしておりまして：2019/06/26(水) 10:26:25.16 ID:mK6n16QI.net

ボラクルは金とっててこの品質

125 ：名刺は切らしておりまして：2019/06/26(水) 10:27:45.05 ID:mK6n16QI.net

>>37
支払いが残る

126 ：名刺は切らしておりまして：2019/06/26(水) 10:29:21.94 ID:3zCbqcKt.net

>>1の内容がザックリすぎて何があったのかよくわからんな…

OracleをRAC構成にする意図としては大きく
・負荷分散
・1台のサーバーが障害になってもサービスを止めない
がある

RACの両系同時ダウンと聞けば、何があったのか気になる人や企業は多いはず
せめて既知の問題か否か(修正パッチ公開済の問題か否か)は早急にアナウンスして欲しい

127 ：名刺は切らしておりまして：2019/06/26(水) 12:01:15.00 ID:/lkBJvf8.net

>>116
AWSもOracleDBに対応してるんだよなぁ

128 ：名刺は切らしておりまして：2019/06/26(水) 12:23:01.36 ID:mtItdQjn.net

PostgreSQLで充分代替できる。

129 ：名刺は切らしておりまして：2019/06/26(水) 12:32:05.78 ID:wY33IseK.net

Oracleは保守契約をしていないとパッチどころか不具合情報すら出てこないし、
保守契約していても〜というバグがあるという事を口にすることすら出来なかったよな。
だからバックヤードにOracle使ってて問題が起きてもお客さんに詳しい説明ができないって
なんやねん? みたいな…。

130 ：名刺は切らしておりまして：2019/06/26(水) 12:53:44.47 ID:soeFFq+V.net

どうせ不具合起こすなら安い方で

131 ：名刺は切らしておりまして：2019/06/26(水) 13:01:54.26 ID:VXNl1ktc.net

そんなバグあるのか？
冗長化しててDB1が空になったからDB2も了解空にします。
みたいな？

ダメダメでエラーも公開してないから最近作ってないがこれは考えにくい？

132 ：名刺は切らしておりまして：2019/06/26(水) 13:11:18.19 ID:RYTHeAvb.net

ざまあ、RAC使っているシステムは全て疑え。

133 ：名刺は切らしておりまして：2019/06/26(水) 13:19:36.38 ID:IAvfcQn8.net

修正パッチ出てたらしいけど稼働中システムに対して手軽に当てられるもんなのか？

134 ：名刺は切らしておりまして：2019/06/26(水) 13:21:38.31 ID:GBOOz41l.net

>>118
どっちやねんw

135 ：名刺は切らしておりまして：2019/06/26(水) 13:22:48.87 ID:HjHoVt5q.net

エラー起こしたファイル上書きしたってことだろう
それで同期とってたバックアップもそのままエラー感知せずにそのままダウンした

136 ：名刺は切らしておりまして：2019/06/26(水) 13:27:44.04 ID:6B+9SUCm.net

>>106
同意

137 ：名刺は切らしておりまして：2019/06/26(水) 13:30:45.18 ID:+2d06ZcL.net

今どきシステムをオンプレで組むなよw
DCが国内に有りゃ良いんだろ？
無駄な金使うな。

だいたい、日本の商習慣がITを滅ぼしたんだよ。
日本の発注者は「機能」や「性能」「品質」に金を払わず、
ハードやソフトなどのモノと人足仕事の役務にだけ金を払う土人だ。

138 ：名刺は切らしておりまして：2019/06/26(水) 13:57:50.37 ID:3n95a2wf.net

おいおい、オラクルの許可なくOracleの悪口言ってええんか？

139 ：名刺は切らしておりまして：2019/06/26(水) 15:08:32.55 ID:ZCUtfgWw.net

ダイレクトIOのバグだからORACLEのせいか

140 ：名刺は切らしておりまして：2019/06/26(水) 15:52:30.40 ID:l50DMBNx.net

>>129
ユーザに Oracle バグの詳しい説明する必要なんかないだろ？
どうせ理解てきないし

141 ：名刺は切らしておりまして：2019/06/26(水) 17:52:25.60 ID:UlGt+ebm.net

>>140
報告書に書くから詳しく教えろという話は普通にあるよ
理解出来ずに嘘説明して拗れることはザラだがw

142 ：名刺は切らしておりまして：2019/06/26(水) 20:00:56.85 ID:KI2+vJ3q.net

オルルァクルルゥ

143 ：名刺は切らしておりまして：2019/06/26(水) 20:31:22.93 ID:hMtiFsLs.net

もっとしゃぶってやれよオラアアアァン

144 ：名刺は切らしておりまして：2019/06/26(水) 21:08:47.64 ID:xwrAiTSy.net

DBのバージョンは？

145 ：名刺は切らしておりまして：2019/06/26(水) 23:46:36.57 ID:rPmr1h5Q.net

通信経路の不具合って
特定できたってことは
エクサかなあ

146 ：名刺は切らしておりまして：2019/06/27(木) 00:29:23.81 ID:j5nfcT8C.net

システムファイルって、データファイル？

147 ：名刺は切らしておりまして：2019/06/27(木) 00:35:23.38 ID:8LCnkdFW.net

データファイルじゃなくてログファイルじゃないか？

148 ：名刺は切らしておりまして：2019/06/27(木) 01:06:06.82 ID:j5nfcT8C.net

オンラインRedoファイルが壊れてたって事か

149 ：名刺は切らしておりまして：2019/06/27(木) 02:10:55.00 ID:+Uw4YO9y.net

大阪だけに，維新がメンテの予算を削ってたのだろうな

150 ：名刺は切らしておりまして：2019/06/27(木) 02:24:23.72 ID:6hxz1uBi.net

主系がトラブル起こって副系にフェイルオーバーしてもトラブル起こったままとか
よくあることで珍しくも無い

151 ：名刺は切らしておりまして：2019/06/27(木) 02:27:08.10 ID:BjErNak4.net

>>145
オレもそう思う
多様な環境だと、こんなカタチで特定して発表なんぞしづらいよな

152 ：名刺は切らしておりまして：2019/06/27(木) 05:28:47.74 ID:gVlQ1YpW.net

でも欠陥だと認めないのがIT屋、んで使い方が悪いとか逆ギレしだす。

153 ：名刺は切らしておりまして：2019/06/27(木) 06:14:08.41 ID:wH2oYa9Y.net

Oracleはクソというと、Oracleから守秘義務違反で訴えられるぞ

154 ：名刺は切らしておりまして：2019/06/27(木) 06:14:19.69 ID:wH/qhFCH.net

>>1
大阪
DB

あっ･･･

155 ：名刺は切らしておりまして：2019/06/27(木) 06:43:09.80 ID:kVCNV27i.net

時代はSQLserver

156 ：名刺は切らしておりまして：2019/06/27(木) 06:44:08.67 ID:TLe8FWcs.net

ますますOracle離れが加速するな
DBだけが売りだというのに

157 ：名刺は切らしておりまして：2019/06/27(木) 06:53:13.20 ID:eVMBJL4C.net

これ他の自治体や企業はどうなのかね
ふわっとした原因を聞く限りではしょっちゅう起こりそうだか

158 ：名刺は切らしておりまして：2019/06/27(木) 07:04:53.89 ID:/7ys6ycu.net

>>62
特殊なタイミングだけで起きるケースはママある。
ただ、こういうケースは原因追求は難しい。

159 ：名刺は切らしておりまして：2019/06/27(木) 08:04:24.57 ID:TQWybKtJ.net

>>155
いまはLinux版のSQL Serverもあって
性能測ったらWindows版よりむしろ性能良かった
って話を先日やってたRedhatのイベントで中の人が言ってた

160 ：名刺は切らしておりまして：2019/06/27(木) 08:47:12.52 ID:tNtXE67m.net

>>159
元になってるSYBASEがunix用のデータベースだったからw

161 ：名刺は切らしておりまして：2019/06/27(木) 09:42:50.13 ID:HLDEjpTT.net

文系のIT土方が作ったプログラムの品質はどこでもそんなもん

162 ：名刺は切らしておりまして：2019/06/27(木) 09:47:53.65 ID:rkGEkI4v.net

責任逃れのための保守契約

163 ：名刺は切らしておりまして：2019/06/27(木) 10:04:52.44 ID:laZBqAGQ.net

>>16
NASやSANと呼ばれるネットワークストレージ。

164 ：名刺は切らしておりまして：2019/06/27(木) 10:40:47.44 ID:aoKNoCYM.net

>>161
アメリカのIT土方も文系なの？

165 ：名刺は切らしておりまして：2019/06/27(木) 13:39:59.32 ID:4a6Mm290.net

DBなんて、バグを前提にシステムを組むんではないのか？
SIerが責任をなすり付けているようにしか思えん。

166 ：名刺は切らしておりまして：2019/06/27(木) 14:34:57.85 ID:F681V1I+.net

>>164
文系理系という区分はアメリカには無いのでなんとも。

167 ：名刺は切らしておりまして：2019/06/27(木) 14:35:36.52 ID:F681V1I+.net

>>165
この糞ド素人が。

168 ：名刺は切らしておりまして：2019/06/27(木) 17:16:40.95 ID:7RgLyhyU.net

>>90
oracleというか旧sunのストレージなら昔エライ目にあったことがある

あいつら冗長化というものを理解してない
ストレージのコントローラのロジックがおかしい

169 ：名刺は切らしておりまして：2019/06/27(木) 17:39:02.01 ID:Vw3lx4sZ.net

大阪都構想って、在日特区と言うわけにはいかないから都構想とよんでるんやで？
分かってないやろ？www

憲法改正がやりたいならば
言うことを聞けと言う
バーターで呑まされるのは
統治機構改革という道州制
問題は条例制定で
現行の法律が上書きされる権利を
寄越せと言ってること
沖縄独立だとか
北海道独立だとか
皇統は国民の総意でだとか
調子こいてるが維新は基本的に反日政党

170 ：名刺は切らしておりまして：2019/06/27(木) 18:27:25.98 ID:E3y9BtOT.net

>>154
大国町のブラック風俗は摘発して少しだけクリーンになったぞ