【IT】GitLab.comが誤って本番DBを削除、バックアップも取れていなくて大騒ぎに

1 ：海江田三郎 ★：2017/02/02(木) 21:34:38.78 ID:CAP_USER.net

http://www.excite.co.jp/News/it_g/20170202/Slashdot_17_02_02_0847239.html

ソースコード管理サービスを提供するGitLab.comが1月31日、管理者の操作ミスにより本番DBの
データ300GBを誤ってディレクトリごと削除してしまい、サービス停止状態に陥ったことが明らかになった
（公式報告のGoogle Doc、Publickey、The Register、Slashdot）。

GitLab.comはオープンソースのソースコード/プロジェクト管理ソフトウェアGitLabを使った
ホスティングサービスを提供するクラウドサービスで、GitリポジトリやWiki、Issue管理といった機能を提供している。
報告によると、同社では31日、スパムユーザーの負荷によりセカンダリDBに異常が発生したことから、
セカンダリをクリーンしてからレプリケーションを復旧する作業を実施していたとのこと。しかし作業がうまくいかず、
再度セカンダリをクリーンしようとして、誤って残るプライマリをクリーンしてしまったという。同社は直ちにバックアップからの復旧を試みるも、
5系統あるはずのバックアップはいずれもエラーなどで実は機能していないという事が判明、一時騒然となった。
なお失われたDBはIssueやMergeリクエストのもので、Gitリポジトリ本体とWikiは無傷だという。
その後、たまたま作業の6時間前に取られていたスナップショットが思いだされ、これを元に復旧作業が進められているのだが、
タレコミ時点では何故かその様子がYouTubeでライブ配信されるという不思議なことになっている。
なおミスを起こしたYP氏は「もう今日は自分がこれ以上sudoコマンドを実行しない方がいいだろう」と語っているという。

136 ：名刺は切らしておりまして：2017/02/03(金) 09:18:42.92 ID:QgTZEbUJ.net

raidって実は未完のシステムだったんだろうな

137 ：名刺は切らしておりまして：2017/02/03(金) 09:27:22.09 ID:6etMjnHU.net

>>136
自宅でもRAID構築してたけどやめた
バックアップ用HDD用意してrsyncに変えた

138 ：名刺は切らしておりまして：2017/02/03(金) 09:44:29.16 ID:Jscx3pQB.net

ネタ臭いわwz

139 ：名刺は切らしておりまして：2017/02/03(金) 10:38:03.44 ID:4Yh0cXSH.net

>>9
同感。githubでこれかとぞっとした。
まさか、コマンド手打ちを許しているとは……

>5系統あるはずのバックアップはいずれもエラーなどで実は機能していないという事が判明
運用監視要員は何をしていたんだ……

140 ：名刺は切らしておりまして：2017/02/03(金) 10:50:40.92 ID:Fnls0iPx.net

DB消してしまった！せや復旧作業配信したろ！の精神
https://www.youtube.com/watch?v=nc0hPGerSd4

141 ：名刺は切らしておりまして：2017/02/03(金) 11:05:30.20 ID:Un+j4T3E.net

>>110
その自動化する為のプログラムなりするのは人 だからね。
システム組むのが人であるかぎり、障害は無くならないかと

142 ：名刺は切らしておりまして：2017/02/03(金) 12:15:34.37 ID:mtP+Dc4E.net

>>139
githubじゃないよ…

143 ：名刺は切らしておりまして：2017/02/03(金) 12:17:37.42 ID:6etMjnHU.net

>>142
githubと勘違いしてた

144 ：名刺は切らしておりまして：2017/02/03(金) 12:19:42.83 ID:fdasFRP9.net

スナップショットか、同期ツールで自動バックアップしとけばいいのに

145 ：名刺は切らしておりまして：2017/02/03(金) 12:29:56.43 ID:aZj2B1z2.net

ワロタ
やっぱ最大の敵はヒューマンエラーだ

146 ：名刺は切らしておりまして：2017/02/03(金) 12:34:03.67 ID:zuZke/XW.net

だからもう人間なんか使うなって…

147 ：名刺は切らしておりまして：2017/02/03(金) 12:45:25.18 ID:B/5OD8FX.net

いやー怖い
背筋が寒くなるよ

148 ：名刺は切らしておりまして：2017/02/03(金) 12:59:30.11 ID:BDloFGgq.net

クラウドコンピューティングって最高ですね。（棒読み
消えたことにして、こっそりバックアップが存在していたりして。

149 ：名刺は切らしておりまして：2017/02/03(金) 13:08:43.93 ID:izYWLbLz.net

>>1では冗談かましてるけど、やった人はやらかしたとわかった瞬間真っ青になったろうな

150 ：名刺は切らしておりまして：2017/02/03(金) 13:38:55.98 ID:/h8tZUcA.net

人的ミスでRAIDもなにもねーよ
バカじゃねーの

151 ：名刺は切らしておりまして：2017/02/03(金) 13:39:56.90 ID:czfxCqKb.net

誰にでもミスはあるさ

152 ：名刺は切らしておりまして：2017/02/03(金) 14:10:26.68 ID:XCwnogqu.net

>>5系統あるはずのバックアップはいずれもエラーなどで実は機能していないという事が判明

baka

153 ：名刺は切らしておりまして：2017/02/03(金) 14:33:58.75 ID:PINZ79uJ.net

>>149
この手の致命的なのはくたくたに疲れてるときにやらかすんだ
だから起きること前提で組む
起きてしまうことは問題ではない　Trust no one
問題はバックアップが死んでたことだ

154 ：名刺は切らしておりまして：2017/02/03(金) 16:23:28.14 ID:towOx3WBj

このYPさんもつらかろうが、
だが最もダメージを受けてるのはバックアップ組んだ人らだろうな
2本目の矢があると思うから云々を地で行くような失敗だな

全部同じ人だったとしたら笑えるが・・・笑えないなあ

155 ：名刺は切らしておりまして：2017/02/03(金) 17:23:08.44 ID:7DsJ9N57.net

RAIDとか言ってるパソコン大先生w

156 ：名刺は切らしておりまして：2017/02/03(金) 19:53:07.58 ID:/h8tZUcA.net

>>155
バカは要点が理解できなかったんだな
かわいそうなやつ

157 ：名刺は切らしておりまして：2017/02/03(金) 20:10:43.20 ID:5tz36CPy.net

【★】　超円高　⇒　大暴落　⇒　マイトレーア出現　【★】


世界の株式市場の崩壊は日本において始まる。
マイトレーアは繰り返し次のように言われる――

「株式市場の崩壊は避けられない。
　かれらは自分の財産を隠し、
　そして犯罪的雰囲気さえも創出している。」

彼らはただ座って待っているだけです。
賭けの勝利金で暮らしているのです。悪銭です。
世界を餌にして生きており、何も還元しません。
すべては、何もしないで何かを得るという
虚構に積み上げられています。
世界に振りかかる負担は莫大です。
そのコストは、職場の喪失であり、
突然の働き手の失業による家族の心の痛手です。
magazines/lutefl/fkmww5/sui4zj

日本はアメリカの国債の25％を所有していますが、
それを引き出すとアメリカ経済も駄目になり、
世界経済全体が破綻します。
maitreya/mai_03_02.html

株式市場の暴落が起きるとき、
それが最終的な暴落であることがはっきりするや否や、
マイトレーアは出現するでしょう。
magazines/ahjzfl-1/pzytyf/u4t847

マイトレーアが公に世界に現れるにつれて、
UFOがとてつもない数で姿を表すでしょう
magazines/si5n7k/kxz1kf/xchu67

マイトレーアはテレビやラジオを通して
何百万もの大勢の人々に語りかけるでしょう。
magazines/ahjzfl-1/pzytyf/u4t847

マイトレーアと名乗らずに、
彼は声なき人々、スポークスマンをもたない人々
すべてのために語るでしょう。
magazines/swl9d8/pzytyf/tbjlzj

マイトレーアの唇からますます
厳しい警告と重みが発せられることを覚悟しなさい。
magazines/ahjzfl-1/pzytyf/u4t847

非常に間もなくマイトレーアを、テレビで見るでしょう。
マイトレーアは「匿名」で働いております。
magazines/swl9d8/04zpzf/fda1nw

あなた方がマイトレーアを見るとき、
彼の最初の控えめな態度に混乱してはならない。
magazines/swl9d8/kxz1kf/cek3z8

マイトレーアが日本のテレビに出るとき、
日本人のようには見えないでしょう。
彼は日本語で話すでしょう。
magazines/swl9d8/r63ukg/88tohe

158 ：名刺は切らしておりまして：2017/02/03(金) 21:15:09.77 ID:khLzhrph.net

ド新人、というか学生の頃、
先輩の須藤さんがsudoコマンド打ってて、
なんで自分の名前を入れるんだろうと不思議に思ったことをふと思い出した

159 ：名刺は切らしておりまして：2017/02/03(金) 21:34:23.09 ID:lvs+QXsu.net

DELLの自称エンタープライズ（笑）RAIDストレージで何度も痛い目見たよ。

RAID5でいきなりディスクが二本不良になる。
ホットスペアが壊れてる。
挙句に、RAIDカードが壊れて復旧不能になる。

160 ：名刺は切らしておりまして：2017/02/03(金) 21:47:52.62 ID:BVHl0SFh.net

日本語検索の品質向上にむけて
https://t.co/9e4UP9JolD

161 ：名刺は切らしておりまして：2017/02/03(金) 21:50:56.54 ID:tj4KmMTh.net

なに！？うちのgitlabは消えてないぞ？。

162 ：名刺は切らしておりまして：2017/02/03(金) 22:14:12.81 ID:rnUYYVIk.net

RAID5をくさせば玄人っぽく見えるという風潮

163 ：名刺は切らしておりまして：2017/02/04(土) 04:44:18.58 ID:PxYDykdq.net

raid関係なくね
俺もrm -rf ~ならしたことある。

164 ：名刺は切らしておりまして：2017/02/04(土) 08:20:07.61 ID:5t9ON1A8.net

ゴミ箱に捨てたのなら復元コマンドがあるだろ

ＪＫｗｗｗ

165 ：名刺は切らしておりまして：2017/02/04(土) 09:59:06.60 ID:wUTqiyyh.net

バックアップを定期的にすらチェックしてなかった方が驚きだ
しないもんなのか

まー非公開無料だからそのレベルの
利用者のものなら飛んだところで構わんだろうがな
信用されなくなるが

githubと勘違いして大声で言いふらすバカは防げないがな

166 ：名刺は切らしておりまして：2017/02/04(土) 10:01:21.49 ID:wUTqiyyh.net

RAIDは自作PCマンがよく使う単語
そこ止まりだからね仕方がない

167 ：名刺は切らしておりまして：2017/02/04(土) 13:24:33.95 ID:ImYarsWP.net

とりあえず、>>1のテーマに沿ってこのスレの皆さんで
障害報告書の作成と再発防止策の策定を行って頂いてよろしいでしょうか？

一応、僕がレビュアーの役をやりますんで。
もっとも別に私で無くとも「気付き(realise)」に優れた方ならどなたでも構いませんけど。
予備知識、基礎知識はとくに重要ではございません。
知識があっても根本的な“気付き”が無ければどうせそれは活かされないからです。

ｂｙ　かもめ党（鼎 梯仁）

168 ：名刺は切らしておりまして：2017/02/04(土) 21:04:53.32 ID:ReAXVegG.net

>>64
>>118
ふふっ　てなった。

169 ：名刺は切らしておりまして：2017/02/05(日) 00:05:13.96 ID:c1m3P61X.net

gitlabは昔の貧相な狐っぽいキャラアイコンが受け付けなかった
githubのオクトキャットは可愛い
可愛いは正義

170 ：名刺は切らしておりまして：2017/02/05(日) 00:24:47.45 ID:iAFc27EH.net

よくわからんが須藤のせいなのか

171 ：名刺は切らしておりまして：2017/02/05(日) 15:54:19.29 ID:s5AkK6BB.net

追)無課金で数年続けていたソシャゲをやめて分かった、ただ1つの事実
http://mukakin.rwbcode.com/0204.html

172 ：名刺は切らしておりまして：2017/02/05(日) 17:03:12.91 ID:UOR7d09l.net

こえー

173 ：名刺は切らしておりまして：2017/02/05(日) 17:15:09.31 ID:+Y8t2n06.net

クラウドにもこういうことがあるからな。安心とは言い切れん。

174 ：名刺は切らしておりまして：2017/02/05(日) 19:03:44.20 ID:tvaunzhw.net

経験と理解が不足してるからこうなる
日常業務がなんとなく動いてるから大丈夫ぐらいの感覚なんだろ

175 ：名刺は切らしておりまして：2017/02/06(月) 02:06:28.75 ID:WIR3f4VW.net

無能と思われたら職場を変えたらいい
https://t.co/5vvcOJvtgn

176 ：名刺は切らしておりまして：2017/02/06(月) 20:26:58.00 ID:x5F9bChD.net

>>59
ソフバン参加のクラウドサービスの事だな

177 ：名刺は切らしておりまして：2017/02/12(日) 07:55:52.53 ID:lx0s9zG9.net

本番デブのバックプレイ？　それはやや汗臭くないのか？

178 ：名刺は切らしておりまして：2017/02/12(日) 08:15:37.10 ID:nzxQohaN.net

分かる用語が全然ない

179 ：名刺は切らしておりまして：2017/02/12(日) 08:24:07.73 ID:n1nXYhP+.net

>>9
直で打ってんじゃないだろ
sudoコマンドを含んだスクリプトってことだろ

180 ：名刺は切らしておりまして：2017/02/12(日) 08:32:53.18 ID:n1nXYhP+.net

>>105
消えたのはgitじゃなくてIssueとMergeリクエスト

181 ：名刺は切らしておりまして：2017/02/12(日) 08:36:50.32 ID:n1nXYhP+.net

ところでお前らギット派？ジット派？

182 ：名刺は切らしておりまして：2017/02/12(日) 08:57:13.22 ID:1y673WpH.net

>>136
raidは冗長性をあげてくれるけど、バックアップは別に考えないとな

183 ：名刺は切らしておりまして：2017/02/12(日) 11:30:25.84 ID:0yz4JQ9f.net

「食べない」人々――グルメ時代に抵抗感？
https://t.co/Haw9dnNHyT

184 ：名刺は切らしておりまして：2017/02/12(日) 12:03:54.96 ID:S+w7Xoz0.net

あるある過ぎて笑えない・・・

185 ：名刺は切らしておりまして：2017/02/12(日) 16:16:36.38 ID:PjfT6fh6.net

追)無課金で数年続けていたソシャゲをやめて分かった、ただ1つの事実
http://mukakin.asiatravel.jp/news212