【IT】Oracle DBのバグでファイル破損、大阪市がシステム障害の原因を初公表

1 ：田杉山脈 ★：2019/06/25(火) 22:09:14.18 ID:CAP_USER.net

大阪市は2019年6月24日、6月7日から翌8日にかけて発生した基幹系システムの障害について、原因を特定したと明らかにした。米オラクル（Oracle）のデータベース（DB）ソフト「Oracle Database」のバグが原因だった。

システム障害を起こしたのは基幹系システム「大阪市統合基盤システム」である。2015年1月に運用を開始し、住民票や税務、国民健康保険、福祉、介護保険など市民向けサービスを提供している。

　同システムのOracle Databaseはログイン時の認証に必要なデータや印刷履歴などを管理している。今回の障害により、区役所や出張所などで住民票などの発行ができなくなり、7994件の発行業務に影響が出た。

同システムで2019年6月7日の午後0時5分ごろに発生したシステム障害では、2ノードあるDBサーバーがほぼ同時に停止した。担当者が再起動を試みたが再起動できなかった。

　この原因について大阪市ICT戦略室は「Oracle Databaseには（データを格納するストレージとDBサーバーをつなぐ）通信経路で伝送エラーが生じた際、システムファイルが破損するバグが存在していた」と明かす。システム開発を担当したNTTデータ関西を介して「日本オラクルにバグの存在を確認した」（ICT戦略室）。

　今回のトラブルでは「停止したDBサーバーの再起動」「ハードウエアの交換」「システムファイルの修復」の順で復旧を試みたがいずれも復旧に至らなかった。そこでバックアップファイルからDBそのものを復元する手法に切り替えて、障害発生から約21時間後の6月8日午前9時30分ごろに復旧を完了し、同日午前10時から業務を再開した。

この先は有料会員の登録が必要です。
https://tech.nikkeibp.co.jp/atcl/nxt/column/18/00001/02456/

171 ：名刺は切らしておりまして：2019/06/27(木) 19:13:36.46 ID:S5zXhw99.net

ora900

172 ：名刺は切らしておりまして：2019/06/27(木) 19:58:09.34 ID:auYLkHkH.net

お疲れ様だろ。エンジニアは生きた心地しなかったろうな

173 ：名刺は切らしておりまして：2019/06/27(木) 19:59:45.04 ID:auYLkHkH.net

>>20
聞いたことねーよ

174 ：名刺は切らしておりまして：2019/06/27(木) 20:42:30.71 ID:8LCnkdFW.net

＞　二宮町は栃木県にある人口約1万7000人の町。二宮尊徳ゆかりの町名と「いちご産出量日本一」で知られる。
＞同町は，町役場の事務用パソコンのすべて，約140台をLinuxに入れ替えるという前代未聞の挑戦を行っている。
＞OSをLinuxにするだけでなく，オープンソースのOpenOffice.orgやFirefox，Thunderbirdでワープロ，Web，メール
＞による業務を行う。記者の知る限り，日本で例のない試みだ。

https://tech.nikkeibp.co.jp/it/article/OPINION/20060428/236610/ph5.jpg

https://tech.nikkeibp.co.jp/it/article/OPINION/20060428/236610/

2006年の記事、今どうなってるかは知らない。

175 ：名刺は切らしておりまして：2019/06/27(木) 21:05:07.20 ID:vZy2zKsP.net

商用UNIXがほぼ滅んでしまって
いまはサーバーOSはLinuxかWindowsかの2択だよ

176 ：名刺は切らしておりまして：2019/06/27(木) 23:46:17.24 ID:3kXXoX+p.net

伝送エラー？
LANケーブルのカシメが甘かったんだろ

177 ：名刺は切らしておりまして：2019/06/28(金) 00:18:35.74 ID:KJ6xXdf0.net

LinuxをサーバーとしてではなくデスクトップPCとして活用をしているらしい自治体
LinuxではなくWindowsかも知れないが、OpenOffice利用による経費削減も含まれていそう
（山形は失敗のかもしれないが）

https://www.city.matsumoto.nagano.jp/kodomo/gimukyoiku/shochu/junior_high_school/j_adumi/snt/kyouka/ICT_kenkyu.files/linux_saiyou_zititai.pdf

178 ：名刺は切らしておりまして：2019/06/28(金) 02:11:28.87 ID:uTj0UGLB.net

　　 }l　'ヾﾐミヽ　 rz彡‐`ヽ　|::fYj
　　 {|　 ､_tｯ､,ﾞ ' r' rtｯ_‐ｧ'　|::}｝! 私は存在がバグだ
　　 ﾞl　 `ー 'ﾉ　 !､`ー '　　 |::ﾘﾉ

179 ：名刺は切らしておりまして：2019/06/28(金) 08:07:34.40 ID:kTe+K1h0.net

>>177
続報がないから全部失敗してると思う

180 ：名刺は切らしておりまして：2019/06/28(金) 08:40:02.85 ID:At4YhKGH.net

殆どの場合SQL Serverで十分だからなぁ

181 ：名刺は切らしておりまして：2019/06/28(金) 08:58:25.16 ID:3VDZ4KwQ.net

>>166
じゃあ>>161はおかしいのか
作ったのアメ公だから文系の土方ではないってことだし

182 ：名刺は切らしておりまして：2019/06/28(金) 09:09:12.23 ID:LBLzCL4c.net

>>181
バグです

183 ：名刺は切らしておりまして：2019/06/28(金) 10:48:18.59 ID:5zhEjbW0.net

さて、そろそろ「ユーザーが悪い」の大合唱が始まるかな？

184 ：名刺は切らしておりまして：2019/06/28(金) 10:52:23.32 ID:k7BitFAi.net

>>175
AIXは？

185 ：名刺は切らしておりまして：2019/06/28(金) 11:23:58.58 ID:/6A61WJq.net

アクセスで組まないからそういうことになる

186 ：名刺は切らしておりまして：2019/06/28(金) 17:31:35.09 ID:2MCDrXoQ.net

G20や万博の大事な予算案に、共産党と維新は反対しましたよね？
共産党と組んでるのは維新ですよネ〜！
沖縄浦添市長選挙で、翁長知事と共産、維新が連携しましたよね？
安全保障関連法案に、維新は反対しましたよネ？
尖閣諸島を守る決議案に、共産党と維新は反対しましたよネ？ https://t.co/Ete3SC9JDs 👀
Rock54: Caution(BBR-MD5:b73a9cd27f0065c395082e3925dacf01)

187 ：名刺は切らしておりまして：2019/06/28(金) 17:54:26.07 ID:6ArDZy5O.net

>>184
Redhatを買収したIBMは今や最大の商用Linuxベンダー
既存ユーザー既存システムの更改の為にAIXはまだ残すとは思うけど、積極的な開発や販売はしないと思う

188 ：名刺は切らしておりまして：2019/06/28(金) 18:25:30.40 ID:xoBbwxh5.net

>>187
いや
IBMにとってAIXはまだまだ主流
なんせハードからアプリまでIBMになるから
価格が高いが信頼性も高い

189 ：名刺は切らしておりまして：2019/06/28(金) 18:36:38.33 ID:2MCDrXoQ.net

でもクラウドはボロ負けで海の向こうではリストラ始まってるってさw

190 ：名刺は切らしておりまして：2019/06/28(金) 18:49:49.43 ID:Pu/m2rcs.net

事象読む限りバグではなく仕様じゃなかろうか

191 ：名刺は切らしておりまして：2019/06/28(金) 20:09:29.69 ID:HHnOVmqD.net

　　 }l　'ヾﾐミヽ　 rz彡‐`ヽ　|::fYj
　　 {|　 ､_tｯ､,ﾞ ' r' rtｯ_‐ｧ'　|::}｝!
　　 ﾞl　 `ー 'ﾉ　 !､`ー '　　 |::ﾘﾉバグを売る

192 ：名刺は切らしておりまして：2019/06/28(金) 23:11:09.49 ID:nb9tg91C.net

お前らオラクルタイマー知らねぇだろ。5,6年すると突然自慰行為を始める現象。

193 ：名刺は切らしておりまして：2019/06/28(金) 23:55:43.03 ID:4rZdZWyD.net

>>192 起動して250日ぐらいでClientアプリがつながらなくなるバグとかやられたわ。

194 ：名刺は切らしておりまして：2019/06/29(土) 00:22:52.84 ID:Np7AFbCm.net

Fibre Channelが死んだの？

195 ：名刺は切らしておりまして：2019/06/29(土) 04:01:06.61 ID:sTlOoUMH.net

オラクル大坊？

196 ：名刺は切らしておりまして：2019/06/29(土) 05:32:18.89 ID:Qx9PxRBN.net

オラクルは曖昧さがあるから書きやすいけど、バグ出しやすいとかなんとか。
sqlは書く量が多いけどしっかり動作するとかなんとか

197 ：名刺は切らしておりまして：2019/06/29(土) 06:41:21.25 ID:qPDyuHMj.net

だからinformixにしておけと言ったのに

198 ：名刺は切らしておりまして：2019/06/29(土) 12:02:09.13 ID:ExNgctWn.net

最近のxTECHはほんとゴシップ化してんな。

199 ：名刺は切らしておりまして：2019/06/29(土) 12:08:54.96 ID:0PYOXCnc.net

>>190
オラクルは確実なエビデンス出さないとバグとは認めないので有名

200 ：名刺は切らしておりまして：2019/06/30(日) 13:02:14.51 ID:4gDvoHmC.net

>>179
やる気のある担当者依存なのよね結局

201 ：名刺は切らしておりまして：2019/07/03(水) 03:17:10.71 ID:FCsd5KZe.net

>>159
今それ使ってるw
もともとwindows上で動いてたSQLserverをLinuxに移してくれって言われてどうしようかと思ったら、
Linux版のSQLserverがあるのを知って飛びついた次第。データの移行も問題なしだったよ。

202 ：名刺は切らしておりまして：2019/07/03(水) 12:38:20.43 ID:s7UlQP/F.net

>>191
オラクルに転職しろ

203 ：名刺は切らしておりまして：2019/07/03(水) 18:44:39.10 ID:hMA1u8Az.net

>>202
お前は日本ペイントインダストリアルコーティングスに転職しろ

204 ：名刺は切らしておりまして：2019/07/05(金) 15:29:55.26 ID:Szf1cqHC.net

>>200
しかも担当者がやる気出しても「何かあったら責任とれるのか」的なことを言われて潰されるからね
相応の金もらう訳でもないのに外注したのと同じ責任負わされるなら割に合わないから誰もやらなくなる

205 ：名刺は切らしておりまして：2019/07/09(火) 13:35:58.03 ID:WXdAj9jm.net

>>190
そんな気がする
大阪市がバグだと言ってるだけで
NTTデータもOracleもバグと認めてないし

206 ：名刺は切らしておりまして：2019/07/09(火) 13:41:32.90 ID:uF5QE9+s.net

>　NTTデータ関西の保守担当者はDBMSが停止している事態を把握し再起動を試みた。
>しかし2ノードとも再起動できない状態が続いた。このためNTTデータ関西は日本
>オラクルなどと連絡を取りつつ原因究明を開始。その結果、午後3時30分頃にDBMS
>のシステムファイルが破損している事実を特定した。

>　破損していたシステムファイルはOracle RACを構成する各ノードがそれぞれの
>死活状況を共有ストレージに書き込む「投票ディスク」である。この内容が異常な
>データになっていたという。「投票ディスクを参照した2つのノードが共に異常を
>検知して、それぞれ自身でDBMSとしての機能を停止させた」（大阪市ICT戦略室）。
>保守担当者が再起動を試みてもできなかったのは、各ノードが再起動の過程で投票
>ディスクの内容を参照するようになっていたからだ。投票ディスクの異常値を検知
>して停止してしまった。

https://tech.nikkeibp.co.jp/atcl/nxt/mag/nc/18/020600011/070200035/

システムバグ以外でこういうものが壊されるのかな？

207 ：名刺は切らしておりまして：2019/07/09(火) 14:00:02.07 ID:WXdAj9jm.net

>>206
ネットワークスイッチでデータ壊して送ってきたらしい
上位レイヤレベルでなんかしらのチェックデジットでも入っていれば
データ破損の判別もできるかもしれないけれど
投票DBへのデータを複雑にするのも設計としてどうかと思うし
このケースはバックアップから戻すで正解じゃないかな

208 ：名刺は切らしておりまして：2019/07/09(火) 17:12:31.38 ID:uF5QE9+s.net

メチャクチャ信頼性のないシステムだな
そんな設計をNTTデータがやったのかよ

209 ：名刺は切らしておりまして：2019/07/09(火) 18:09:55.89 ID:BR0tDTZn.net

両系統DBが同時にぶっ壊れてハードウェア被疑の判断はありうるのか？

210 ：名刺は切らしておりまして：2019/07/09(火) 19:15:57.62 ID:lYqwLHJA.net

>>209
ロットが同じだと同時に壊れたりというのはよくある。

211 ：名刺は切らしておりまして：2019/07/09(火) 19:17:57.65 ID:uF5QE9+s.net

よくあるなら、二重化ってやっても意味ないのか

212 ：名刺は切らしておりまして：2019/07/09(火) 20:16:22.78 ID:veEth3XN.net

大坊

213 ：名刺は切らしておりまして：2019/07/09(火) 20:29:53.03 ID:xTU2R3i3.net

DataGuardまで入れなかったデータの提案力不足だよね。
というか今時なら仮想化基盤で冗長化した方が安心だよね。
下手にActive-ActiveXでクラスタ組むより。

214 ：名刺は切らしておりまして：2019/07/09(火) 21:53:59.61 ID:4IHLuB4d.net

>>211
意味がないことはない。
外れロット引かなけりゃいいだけなので。

215 ：名刺は切らしておりまして：2019/07/09(火) 22:30:59.03 ID:ZW3r+MVK.net

天才を呼びたいんだろう
ソフトとか数学とかは天才が圧倒的に牽引する分野だからなあ

216 ：名刺は切らしておりまして：2019/07/09(火) 23:14:44.71 ID:31WNO7Ym.net

HiRDBが最高！

217 ：名刺は切らしておりまして：2019/07/09(火) 23:15:48.41 ID:yCn6hlov.net

>>214
4年たってるんだから、外れでなくても壊れだす

218 ：名刺は切らしておりまして：2019/07/09(火) 23:22:49.36 ID:uF5QE9+s.net

流石にそういう壊れ方したら保守契約している意味が無いのでは？

219 ：名刺は切らしておりまして：2019/07/11(木) 02:23:40.95 ID:PAOLB21c.net

>>213
ライセンス量がべらぼうになるからOracleで仮想化は無理だろ
vSphereHAはクラッシュリカバリーだし

220 ：名刺は切らしておりまして：2019/07/20(土) 03:42:47.46 ID:H+uudmga.net

§ - 女維vs辻亀、当落線戦！- §

〓★http://imgcc.naver.jp/kaze/mission/USER/20180707/12/10028562/23/615x459x4f3c4c8c97beca628969b130.jpg★〓