【IT】ディープラーニングの画像認識ベンチで世界最速、PFNが分散処理の最適化に工夫

1 ：ノチラ ★：2017/11/12(日) 03:13:34.21 ID:CAP_USER.net

Preferred Networksは2017年11月10日、ディープラーニング（深層学習）の学習速度で世界最速を実現したと発表した。ベンチマークとなる画像認識の深層学習アルゴリズム「ResNet-50」の学習を15分で終え、初めて20分を切った。膨大な試行回数が必要な交通システムや製造業、バイオ・ヘルスケア分野での研究開発をより一層加速させるという。

　実験は、1024個のNVIDIA Tesla P100 GPUを備えるPreferred Networks社内の並列コンピュータ「MN-1」と、深層学習の分散処理が可能な「ChainerMN」で実施した。一般に、GPUノード数に応じて並列処理する学習用画像データ数が増えると精度の低下が起こり、GPU間の通信オーバーヘッドで学習速度が低下する。そこで学習アルゴリズムと並列化性能の改善を施し、高速性と精度を両立させた。
http://itpro.nikkeibp.co.jp/atcl/news/17/111002642/01.jpg

具体的には、学習精度を最適化するアルゴリズムに、当初は「RMSprop」を使い、徐々に広く使われる「SGD」（確率的勾配降下法）に切り替える手法を考案。精度を落とさずに1回当たり3万2000画像を1024ノードで効率よく並列処理できるようにした。Intel Xeon Platinum 8160を1600台使用して31分で学習完了した類似研究（Y. You et al. ImageNet Training in Minutes. CoRR,abs/1709.05011, 2017）のほぼ倍の速度になる。

http://itpro.nikkeibp.co.jp/atcl/news/17/111002642/

2 ：名刺は切らしておりまして：2017/11/12(日) 03:17:17.77 ID:OPUd/quF.net

石川遼もおすすめしてる

3 ：名刺は切らしておりまして：2017/11/12(日) 04:55:58.57 ID:lMRslVZD.net

機械学習の面倒なアルゴリズムが一杯。DQNはその一つ。

4 ：名刺は切らしておりまして：2017/11/12(日) 05:06:33.59 ID:TIk8BF81.net

嫁はんの画像スマホで撮って検索したら、キャバやデリヘルリスト、AVタイトル
ゾロゾロとかも時間の問題だなｗ

5 ：名刺は切らしておりまして：2017/11/12(日) 05:24:52.65 ID:mo7bij9d.net

「RMSprop」と「SGD」の混成アルゴリズムか。ＡＩなんて如何にも最先端
技術のようにいっているが、ＳＧＤ確率的勾配降下法なんて５０年ほど
前に提唱された古典的な解析方法。もうちょっと数学のできる研究者が
この分野に入らないとたいした発展はしないぜ。この分野の問題は、
アメリカ企業の金が入り過ぎて、主導的な立場にある連中が金に
溺れている。もっと、アルゴリズムの研究の競争をさせないと頭打ち
になる。コンピュータおたくみたいなやつがＡＩ、ＡＩと騒いでいるのが
業界の現状。小池知事がＡＩを口にしたとたん、怪しげな技術と、世間
では疑いの目で見られる。こう言う、一般人の疑念が産業の発達の
足を引っ張る。

6 ：名刺は切らしておりまして：2017/11/12(日) 06:45:48.31 ID:cngv9kgO.net

>>5
前半は同意。ただ後半との関係がよく分からん。自分で正しいと思ったことをすれば
一般人なんてどうでもいいのでは?
むしろ一般人へ、技術の仕組みやその限界、評価の仕方をわかりやすく伝えずに
ポジティブな側面のみを強調されていることことが問題と思う。

7 ：名刺は切らしておりまして：2017/11/12(日) 06:52:19.57 ID:MNDcYpn2.net

>>5
AI「ひたすら加速の一途　減速はない　置いてきぼりになるだけ

8 ：名刺は切らしておりまして：2017/11/12(日) 07:23:22.86 ID:jEonl2nU.net

スピードラーニングすげぇ

9 ：名刺は切らしておりまして：2017/11/12(日) 07:46:36.84 ID:bHexIJSa.net

中卒の僕にわかる言葉でだれか説明してください。

10 ：名刺は切らしておりまして：2017/11/12(日) 08:07:33.77 ID:quL4CnW8.net

結果の保証されない機械を失敗の許されない仕事に使おうというのが間違い

11 ：名刺は切らしておりまして：2017/11/12(日) 08:35:03.83 ID:qvDvL1VB.net

>>1 の要約の仕方に違和感を感じる
学習時間だけを他の研究と比べてるけど
精度が基準を満たすのに必要な、とか条件があるはず
でないとダメな子供の勉強みたいに
パラパラめくっただけで勉強終わり、みたいな事になる

12 ：名刺は切らしておりまして：2017/11/12(日) 08:38:57.57 ID:nM8WOx+i.net

>>6
前半と後半の関係は、貴君が言う「ポジティブな側面のみを強調されていること
が問題と思う」に集約されている。現在のディープラーニングはデータマイニング
の後のポストプロセスである。このコンビネーションの効果ばっかり強調されている。
政権公約という将来効果を問う将来問題にはＡＩは適用できない。しかし、ＡＩを
理解できない馬鹿はＡＩで政策を作ったと豪語する。しかも、メディアも馬鹿だから
これをスルー。一方、ディープラーニングの分析アルゴリズムの発展が脳研究や
社会科学に対する大きな研究ツールとなることは明らか。これをもっと進めるでき
である。金に溺れるとこのモチベーションが下がる。先日会ったＡＩの大家と言われて
いる研究者がそうであった。２０世紀初頭にあった量子力学の理論研究チームの
ような集団的な研究のやり方を持ち込むことが重要だろう。貴君の洞察力には
感心している。

13 ：名刺は切らしておりまして：2017/11/12(日) 09:19:47.16 ID:6R3SqZ4D.net

【スクープ！】元ゴールドマンサックス副社長が最も簡単な儲け方を暴露！！

世界で最も大きな金融証券会社の元副社長が、知識のない一般人でもすぐに億万長者になれる儲け方を暴露しました。

その方法とは、仮想通貨を利用して、金融界のお金がたんまりと貯蓄されているところへアクセスして、あなたの口座へと移せるんです。

すべて合法で安心の方法なんです。

すでに、6名の日本人が試して、
全員が成功し莫大なお金を手にしました。
証拠画像有りhttp://ula.cc/2PQ9NEhxMx

世の中には、稼げると評判の方法がたくさん存在します。ネットビジネス、投資、金利、国債、株、不動産等々。

ヘンリー・ヒデオ・ウエノ氏
（元ゴールドマンサックス副社長）によると、
最も簡単で、最も早いのが、金融界からの非難を覚悟して暴露したこの方法です。

まるで、ATMでお金を引き出すのと、
ほぼ同じ要領で無制限に
お金が手に入るようになります。

あなたは稼ぐというより、作業をするだけです。更に、やり方を知りたい方はこちらからどうぞ！http://ula.cc/2PQ9NEhxMx

【15時間勤務の会社員でも”月収100万“の秘密】 【衝撃】実績と成果に裏打ちされたノウハウ
1日15時間勤務のブラック企業の会社員や激務の看護婦さんですら、無理なく副業で“月収100万円以上”稼げてるその秘密とは？https://goo.gl/RNEgSY ※今だけ極秘手法の”完全解説マニュル”と”動画資料”を無料プレゼント！)

【大逆転！】2017年最後の貧困脱出法

借金600万円の連帯保証人になっていた鈴木さんは、金融業者に紹介されたファッションヘルスで働く事に。心も身体もボロボロの彼女を救ったのは、ニュースで話題のhttps://goo.gl/KLTnmW

14 ：名刺は切らしておりまして：2017/11/12(日) 11:10:48.94 ID:YPqM4i1a.net

>>5
sgdが50年前とか言ってるが、そんなこと言うならそこに出てくる
微分は300年前の技術なんだが？w 君ってバカだねw

15 ：名刺は切らしておりまして：2017/11/12(日) 11:14:16.53 ID:YPqM4i1a.net

あと
>現在のディープラーニングはデータマイニング の後のポストプロセスである。
も意味不明。確かにデータマイニングという言葉に厳密な定義はないが、それでも
お前のような発言をする奴は見たことない。知ってるふりしてもバレバレだよw

16 ：名刺は切らしておりまして：2017/11/12(日) 11:29:35.92 ID:3Tt+Cbr8.net

金さえ集まれば、まだまだ日本のベンチャーもいけるんだな

17 ：名刺は切らしておりまして：2017/11/12(日) 11:39:00.69 ID:YPqM4i1a.net

>>16
外国でよくあるグーグルやフェイスブックなどに丸ごと買われる
なんて実力あるベンチャーなんて、俺の見る限りPFN位のもの。
あとはベンチャーごっこで自己愛を肥大化させている奴らばかりだよ。

18 ：名刺は切らしておりまして：2017/11/12(日) 11:53:54.32 ID:tyAQ6J5O.net

1位が驚きの結果に…「美人度が高い国ランキング」トップ10

19 ：名刺は切らしておりまして：2017/11/12(日) 12:12:26.14 ID:9IcYcTqb.net

>>14
まったくだよな
こういうバカは尽きることはない

20 ：名刺は切らしておりまして：2017/11/12(日) 12:25:13.52 ID:1Z7TrIXF.net

儲かんのか？

21 ：名刺は切らしておりまして：2017/11/12(日) 12:26:54.65 ID:pZprlEco.net

ところで、スピードラーニングって身に付くの？悪評しか聞かないのだが。

22 ：名刺は切らしておりまして：2017/11/12(日) 16:26:42.77 ID:L46T/IbV.net

>>1

RMSPropだってSGDの一亜種では？
収束し始めたらナマのSGDにするということ？？
いずれにせよChainer MNのスケーラビリティとはまるで関係ない話のような気が…。

スパコンは余ってるからはやくChainer MN簡単に使えるようにしてほしい

23 ：名刺は切らしておりまして：2017/11/12(日) 17:39:53.32 ID:a8b5nWBi.net

>>12

あくまで日本語の使い方の話だが、貴君というのは儒教的な序列関係で言うところの目下に使うことがある
状況によっては侮蔑のニュアンスもあるので知っておいた方が良い
特にネットで使う場合は、不特定多数なので、お上品な軽蔑表現として受け取られる事はありえる
特にSNS等で無難にいきたいなら貴君という言葉は使わない方が良い

文脈から悪そうな人間じゃなかったので、参考になれば良いと考える
前近代的な役所慣行に染まってるなら直しようが無いかもしれないが

24 ：名刺は切らしておりまして：2017/11/12(日) 18:57:23.47 ID:XRO5nbA3.net

>>24
貴殿ならOK

25 ：名刺は切らしておりまして：2017/11/13(月) 12:56:55.06 ID:mpcTtSDZ.net

>>14
まず否定から入ってマウントを取りたがる馬鹿は多いから仕方ない

26 ：名刺は切らしておりまして：2017/11/13(月) 13:06:46.38 ID:Cgf/lnOp.net

>>22
Chainerの欠点てそこなんよね
GPUのスケールアップじゃ、ダントツだが扱うのが難しい
現状、Caffe、CNTK、MXNetの方が使いやすく、スケールアップもしやすい（TFは実はスケールアップという点ではカス）

27 ：名刺は切らしておりまして：2017/11/15(水) 17:08:39.49 ID:9xYqraqi.net

比較するならCNTKのGPU8個じゃなくてGPU1024個じゃないの？

28 ：名刺は切らしておりまして：2017/11/18(土) 00:43:31.39 ID:IoGBrjoO.net

>>27
？