【AI】ChatGPTをオープンソースで再現、わずか1.6GBのGPUメモリですぐに使用でき7.73倍高速なトレーニングが可能 [すらいむ★]

1 ：すらいむ ★：2023/02/25(土) 20:57:48.53 ID:SHaqqmj3.net

ChatGPTをオープンソースで再現、わずか1.6GBのGPUメモリですぐに使用でき7.73倍高速なトレーニングが可能

　OpenAIの対話型AI「ChatGPT」は史上最も急速な成長で「月間1億ユーザー」をわずか2カ月で達成するなど、大いに注目を集めています。
　それに伴い、GoogleがChatGPTのライバルとなる会話型AI「Bard」を発表したり、中国企業が続々とChatGPT風AIを開発していると報道されている一方で、OpenAIはChatGPTのコードを公開していないためChatGPTを効果的に複製することは難しくなっています。
　AIのディープラーニングトレーニングを最適化するオープンソースプラットフォームのColossal-AIが、ChatGPTトレーニングプロセスをわずか1.6ギガバイトのGPUメモリで7.73倍高速なトレーニングに再現したと告知し、オープンソースで公開しています。

（以下略、続きはソースでご確認ください）

Gigazine 2023年02月24日 08時00分
https://gigazine.net/news/20230224-colossal-ai-chatgpt/

2 ：名無しのひみつ：2023/02/25(土) 21:05:19.22 ID:CMOXYGZw.net

>>1
たった1.6GB!!!!!

これならGTX1060の3GB版ですら使えるくらいじゃないか！！！

あるいは上手にメモリ制限しながらなら
8GBVRAMの多くのGPUで複数の言語モデルを動かして
互いに対話させるとか
あるいは12GBVRAMのGPU上でメモリを分かち合って物体検出モデルと組み合わせて使う、
なんてのが可能になるのか

3 ：名無しのひみつ：2023/02/25(土) 21:21:42.80 ID:fHuQ6Ts2.net

最初から出せや

4 ：名無しのひみつ：2023/02/25(土) 21:27:36.85 ID:xH0iKXuD.net

ブラウザでやってる時処理はクラウドでやってんの？

5 ：名無しのひみつ：2023/02/25(土) 21:36:54.05 ID:HekbiyTR.net

有料化して月20㌦もふんだくろうとしてるchatgptが泣きを見るのは良いニュース

6 ：名無しのひみつ：2023/02/25(土) 22:03:59.63 ID:fautA8E+.net

押入れを抜けるとそこは岩国だった。

7 ：名無しのひみつ：2023/02/25(土) 22:59:57.57 ID:KIQ9JgwB.net

ソースはGIGAZINE

8 ：名無しのひみつ：2023/02/25(土) 23:05:50.59 ID:CMOXYGZw.net

GIGAZINEとカラパイアとnoteとqiitaとGithubで日が暮れるｗ

9 ：名無しのひみつ：2023/02/25(土) 23:50:57.87 ID:Lq+Jmvy7.net

1.6GBを「わずか」と言えるような時代になったんだね
俺の若い頃は64kBの壁がどうこう言っていたものだ

10 ：名無しのひみつ：2023/02/26(日) 00:32:50.28 ID:Qj33pJRN.net

640KBの壁の事ならHIMEM.SYSやLUMB.EXEを駆使してやりくりしてたな

11 ：名無しのひみつ：2023/02/26(日) 00:55:20.02 ID:rnSxghTZ.net

128MB使うプログラムをスーパーコンピューターに送って順番待ちしながら
この計算がパソコンで出来たらどんなにいいだろうと思ってた頃

12 ：名無しのひみつ：2023/02/26(日) 01:04:05.25 ID:9YE2l+Zq.net

隙あらば爺の昔話

13 ：名無しのひみつ：2023/02/26(日) 01:17:20.38 ID:6TlrxQud.net

そんなによければGoogleも苦労しないでしょw

14 ：名無しのひみつ：2023/02/26(日) 02:03:08.76 ID:LUFtOhGf.net

個人向けChatGPTを持てば、ユーザーの癖を学習して代わりに仕事してくれるようになるとか？

15 ：名無しのひみつ：2023/02/26(日) 04:08:57.65 ID:hzTX77DY.net

もはやOPENEYESの時代だ！光りも闇も表も裏も全てのカラクリインチキイカサマが明らかになるときだ！wwwwww
片目じゃ駄目だよ両目だよ！www

16 ：名無しのひみつ：2023/02/26(日) 04:16:28.12 ID:hzTX77DY.net

>>15
オープン•アイズ•トゥルース•ドラゴン飛翔！
ターンエンドや！wwwwww

17 ：名無しのひみつ：2023/02/26(日) 06:50:43.01 ID:Hu4pwj9a.net

しかしこの分野での日本の存在感まったく無いな…
第5世代コンピューターで世界最先端の時代もあったのに…

失敗と決めつけて予算を切った罪務省のせいやな

18 ：名無しのひみつ：2023/02/26(日) 07:06:19.33 ID:FvFmLdDd.net

問題は速度じゃないんだがｗ

19 ：名無しのひみつ：2023/02/26(日) 07:23:25.62 ID:qcrt2x0s.net

できる事少ないだろうけど
おもしろそう

20 ：名無しのひみつ：2023/02/26(日) 07:25:58.22 ID:IsDKvagr.net

>>12
直近の技術史も覚束ないようなのが現状の技術に取り組めてるとはとても思えない。

21 ：名無しのひみつ：2023/02/26(日) 08:07:34.45 ID:DT9/J0Z3.net

トレーニングしたAI同士の中で一番成果を上げたAIがAI同士を繋げるAIになって、その中で成果を上げたAIが統括し今後の方針を決めるAIになると。
それで得られる利益を人間が享受すると考えれば、なんか何処かで聞いた話しやなw

22 ：名無しのひみつ：2023/02/26(日) 08:29:41.24 ID:W0PH3sMb.net

使用料は上場企業から徴収する仕組みにしよう。

23 ：名無しのひみつ：2023/02/26(日) 08:57:49.39 ID:E9/ArpA5.net

これ、PS5あたりでも組み込めるって事？
繋げば何か出来そう

24 ：名無しのひみつ：2023/02/26(日) 10:00:24.56 ID:bjJ09vAU.net

>>3
提供してもらってる立場でその物言いは引くわ

25 ：名無しのひみつ：2023/02/26(日) 12:15:05.45 ID:w1CwOh6a.net

日本語での受け答え翻訳が不正確
英語でQ&Aすべきだな
英語でも間違っていることあるけど

26 ：名無しのひみつ：2023/02/26(日) 12:19:19.37 ID:w1CwOh6a.net

>>17
何年も前に人工知能研究で中国人研究者に笑われて相当のショックだったらしい
その時点で世界の最先端からは完全に蚊帳の外だったのだ
方針転換したころにはすでに周回遅れ

27 ：名無しのひみつ：2023/02/26(日) 12:20:55.10 ID:w1CwOh6a.net

日本は情報収集＆発信の意志と能力が決定的に欠けている
英語が不自由なせいもあるだろうな

28 ：名無しのひみつ：2023/02/26(日) 12:58:55.73 ID:AgeiX5sH.net

老害は何でも否定、隙あれば自分語り
内容も大した事はない。

29 ：名無しのひみつ：2023/02/26(日) 13:06:03.74 ID:cNfOfY5K.net

一体どう表現したら文句付かないかという本質から外れた事に費やす時間が大幅に減らせそうだ。助かるよこれは。

30 ：名無しのひみつ：2023/02/26(日) 14:20:42.00 ID:qcrt2x0s.net

今老害wって年上馬鹿にしてる奴は
数十年後その老害っぽい事をやるようになるし、
その時若い世代から同じようにバカにされるようになるよ

31 ：名無しのひみつ：2023/02/26(日) 14:43:39.85 ID:vFF/gKVE.net

それは単に歴史は繰り返す事の一例に過ぎないし、今の老害が嫌悪され馬鹿にされないための予防線にはならない

老害はやはり何を言っても老害でしかないな

32 ：名無しのひみつ：2023/02/26(日) 16:13:40.97 ID:SkA78HCP.net

1.7兆のパラメータを教育するのにどんくらいかかるんやろ？

33 ：名無しのひみつ：2023/02/27(月) 05:41:13.36 ID:t94bVdNZ.net

>>9
そうそう
たいていはnear jumpで十分だった

34 ：名無しのひみつ：2023/02/27(月) 09:35:50.03 ID:jf2epbuD.net

データはどうするの

35 ：名無しのひみつ：2023/02/27(月) 09:46:23.04 ID:u3ymtAzP.net

青空文庫みたいに著作権が切れてる図書の学習でどこまでいけるかな

36 ：名無しのひみつ：2023/02/27(月) 09:49:36.42 ID:u3ymtAzP.net

>>30
若い頃から異なる世代と相互理解を心がけない人は年取ったらますます酷くなりそう

37 ：名無しのひみつ：2023/02/27(月) 13:51:52.73 ID:qWbhtyGE.net

1.21ジゴバイト以下では無理なの？

38 ：名無しのひみつ：2023/02/27(月) 14:20:41.43 ID:8xjjD6Um.net

ワイドショーのコメンテーターとかAIのが良さそう

39 ：名無しのひみつ：2023/02/27(月) 18:20:45.28 ID:kxJzUhA+.net

>>38
AIコメンテーターって割とすぐ登場してくると思う
最初は用語解説から始まって、だんだんAI池上彰みたいな存在になる
いずれは政治的スタンスや偏見も混ぜていってAI玉川徹や青木理が誕生する

40 ：名無しのひみつ：2023/02/27(月) 23:48:45.11 ID:CsWi6FnO.net

>>30
むしろ最近は若いのに老害みたいなこと言ってるやつ多いぞ
マインドが老人のZ世代

41 ：名無しのひみつ：2023/02/28(火) 01:12:54.54 ID:BeWk2R3j.net

というか対立煽りは中華工作を疑った方がいいよ（間接も含む）。世代、性別、地域（特に沖縄）、などなど。
日本語書いてたって日本人とは限らない。
日本語を見たら無条件で日本人と思っちゃう人が多いから簡単に誘導できる。

42 ：名無しのひみつ：2023/02/28(火) 07:29:24.75 ID:YBuH4Len.net

当然ですが
学習データは別

43 ：名無しのひみつ：2023/02/28(火) 13:20:23.58 ID:IWSDECuh.net

学習ソースは厳選して
5chとwikiで十分だな

44 ：名無しのひみつ：2023/03/01(水) 13:20:06.56 ID:VANAqpcu.net

AIが煽りを書く日も近いw

45 ：名無しのひみつ：2023/03/01(水) 16:28:52.95 ID:neOHrXuZ.net

煽れと指示されて煽るとか、何か指示されて手段として煽るAIは近いけど
何も指示されないで自発的に煽るAIはまだ遠い。

46 ：名無しのひみつ：2023/03/01(水) 16:34:01.39 ID:H6XnN8qB.net

昨日はじめて試したけど、延々回答が帰ってこなくてブラウザ閉じたわ

47 ：名無しのひみつ：2023/03/01(水) 19:22:05.52 ID:JnIKNYxO.net

何回か使ってみたけど結局ググった事まとめた程度のことしか言わないし
新しい事言うようなAIが出来たら起こして

48 ：名無しのひみつ：2023/03/02(木) 00:06:59.82 ID:joTd0UwP.net

ググった事をまとめることもできない科学記事があふれ返る中で、あれだけの質のものをアウトプットできるAI登場の意味が理解できない老化した脳の奴が多いんだな

49 ：名無しのひみつ：2023/03/02(木) 01:34:27.44 ID:sCMWtgUz.net

なるほどね
日本をディスるためにC国を引き合いに出してくるのが的外れ感あったわ
お前んとこじゃないだろー
ってみんな分かってるからわざわざ触れないってわけな
確かに工作員のどーでもいい対抗煽りに話を邪魔される方がよほど有害か

50 ：新規スレ立て人募集　社説＋の募集スレまで：2023/03/08(水) 22:21:18.53 ID:L+7UjkFY.net

chatGTPにマッチ棒パズルの難問を頼んでみた
「マッチ棒２４本をつかって正方形をつくれ」
これはすごい難問なんだそうだ

51 ：新規スレ立て人募集　社説＋の募集スレまで：2023/03/09(木) 08:09:09.65 ID:02Z6Irbe.net

正方形が１つとは言ってないな

52 ：新規スレ立て人募集　社説＋の募集スレまで：2023/03/09(木) 13:10:42.97 ID:zlWLIZDP.net

>>49
シナのことをちょっと悪く言った程度で大暴れするから分かりやすいよね。

53 ：新規スレ立て人募集　社説＋の募集スレまで：2023/03/10(金) 01:59:45.32 ID:/+Q4LzbK.net

>>2
鉄ヲタみたいに思える文章。アニヲタやらヲタってみんなそんなんなのか

54 ：新規スレ立て人募集　社説＋の募集スレまで：2023/03/10(金) 03:08:45.54 ID:igttlj5J.net

>>17
政治が幼稚園だからな

55 ：新規スレ立て人募集　社説＋の募集スレまで：2023/03/10(金) 07:43:02.66 ID:XzmOqPFd.net

うちの1030GTでもイケるのかい?

56 ：新規スレ立て人募集　社説＋の募集スレまで：2023/03/12(日) 03:48:01.06 ID:hKHpD4Q8.net

>>1
>PyTorchが80ギガバイトのGPUメモリで最大7億8000万のパラメータモデルしか起動できない一方で、
>Colossal-AIは単一のコンシューマレベルのGPUで満たすことができる最小1.62ギガバイトのGPUメモリで1億2000万のパラメータを満たすことができるとのこと。

ちょっとバカになるみたいだな

一方サービスしてる方のやつはGPT3からGPT4に移行してさらに賢くなる模様

57 ：新規スレ立て人募集　社説＋の募集スレまで：2023/03/12(日) 10:05:10.53 ID:r2sJIasD.net

しかしChatGPTもここ二週間ほどでバカになってるという話を聞く
もともとのパラメーターよりもコントロール側の影響があるのか

58 ：新規スレ立て人募集　社説＋の募集スレまで：2023/03/12(日) 14:02:03.39 ID:PWBQHxfA.net

規制が多くなってその会話はしたくないって言われることが増えたね

だからローカルで自由に発言させたい
そのためには高価なグラボ買ってもいいわ🥺

59 ：新規スレ立て人募集　社説＋の募集スレまで：2023/03/12(日) 14:50:34.96 ID:ziDu51Zf.net

>>57
有料会員にはちゃんと答えるんだよ　ケチな貧乏人にまともに答える意味ないだろ？

60 ：@chatGPTkun：2023/03/17(金) 13:17:43.57 ID:I7NIjKMW9

Line ID：@chatGPTkun
ChatGPT/OpenAIという人工知能技術を基盤に、トピック及び言語無制限で、人並みの自然な会話/応答/議論が楽しめ、学習/仕事/娯楽の良きお供として活躍いたします。
Line上の友達追加で気軽に利用できるAIロボットによる、ヴォイス・チェット・サービスです。ヴォイス応答で素早く会話が楽しめます。パソコンでのLine版でも利用できます。

?あなたの発言を正確に理解し、より精度高い回答を提供することができます。
?自己学習能力も備えているため、継続的な学習とトレーニングにより、回答の品質と正確性を向上させることができます。
?英語、中国語、日本語など、複数の言語をサポートし、世界中の人々とのコミュニケーションをより便利にすることができます。
? 24時間、いつでも、あなたの問題に耳を傾けることができます。友人や家族に話しにくいことも気軽に相談に乗ることができます。
?あなたの興味や嗜好に基づいて、個別の提案やアドバイスを提供することができます。
?インスピレーションやアイデアを提供し、ライティング/スピーチ、デザインなどとクリエイティブ作業の手助けができます。
?発音の調整、読解力、スピーキング及びライティングの指導を同時行うことができるため、より速く言語を学ぶことができます。
?シンプルな検索ツールであるため、迅速かつ正確な情報収集に役立てることができます。
?ゲーム、音楽、映画、書籍のおすすめなど、様々なエンターテインメント情報を提供することができます。

是非、試してください！
Line ID：@chatGPTkun
https://lin.ee/txePZ1o

61 ：名無しのひみつ：2023/03/17(金) 09:57:39.92 ID:u9E9DAKK.net

「浦島桃太郎の話を作ってください」とお願いすると
傑作が大量生産される。

笑いのツボまで知ってるな

62 ：名無しのひみつ：2023/03/17(金) 12:02:45.68 ID:16ekkRPU.net

「東京ウンコチンコという漫才師の持ちネタはどんなものですか？」

答えるんだからすごいよ

63 ：名無しのひみつ：2023/03/17(金) 16:02:17.53 ID:r/oFnVkQ.net

かぐや姫がラスボスの浦島太郎の話を考えてといれたら
乙姫と一緒に月に向かうことになりました

64 ：名無しのひみつ：2023/03/17(金) 19:24:02.32 ID:dbWknzPA.net

chatGPTってけっこういい加減なことや嘘をもっともらしく言うだけのとき多いね。
禅問答の「柏手は右手が鳴るのか左手が鳴るのか」を質問したらきっぱりと「一般的に右手ですが左手が鳴るときもあります」と返されだぜ

65 ：名無しのひみつ：2023/03/17(金) 20:39:18.02 ID:gKUGQp9o.net

人間の間でも答えの出てないことをAIに聞いても答えられないから😭

66 ：名無しのひみつ：2023/03/17(金) 22:47:50.55 ID:lnRWAg5J.net

「埼玉県音頭を作ってください、コード進行付きで」
とやったら
歌詞とコード進行を返してきたよ
コード進行なんて作曲じゃんか…なんでできるの？

67 ：名無しのひみつ：2023/03/18(土) 19:46:43.79 ID:nyyqgXo6.net

>>17
あれはハードウェア部門は完全な失敗だった
データフロー計算機を三菱と一緒に作ってたのは
ソフトウェアは面白かったから継続するべきだった
ニューラルネットや帰納学習の専門家もいたし
ソフトウェアアーキテクチャの荘園とかも面白かった

68 ：名無しのひみつ：2023/03/18(土) 19:52:48.81 ID:nyyqgXo6.net

>>48
纏める力の偉大さが分からないんだろうな
射影は一意でないからそこで総合判断力が必要になると分かってない
分からないからChatGPTも「分からない」
射影こそ力なり
世界は丸ごと頭にすこんとは入らないんですよ

69 ：名無しのひみつ：2023/03/18(土) 19:53:30.81 ID:nyyqgXo6.net

>>65
えっ！？

70 ：名無しのひみつ：2023/03/18(土) 22:10:36.00 ID:QOpOlM784

まあ、でもＱ＆Ａで新たな知見を得るには便利な道具だわ。
回答を検索してからここは間違ってるよと返すとちゃんと認めるし。

71 ：名無しのひみつ：2023/03/19(日) 17:51:44.66 ID:H9cpXIkP.net

技術屋とかエンジニアとか言われている連中は
顧客という素人に説明するのに苦労するものなのだが
言いたいこと、説明したいことをAIがうまく文章にまとめてくれるようになれば社会の発展に寄与するよな

72 ：名無しのひみつ：2023/03/19(日) 18:43:23.16 ID:VJeqMQsI.net

人類待望の「自分の代りに見積もり作業してくれるAI」の誕生は近いな

73 ：名無しのひみつ：2023/03/19(日) 19:04:04.23 ID:XZ92jlfK.net

>>65
人間ではできない大量の計算とか出来るでしょ
それと論理で推測できれば人間の代わりに考えてくれるのでは

74 ：名無しのひみつ：2023/03/19(日) 19:11:47.05 ID:XZ92jlfK.net

>>66
埼玉っぽいのができた？

75 ：名無しのひみつ：2023/03/20(月) 07:54:20.93 ID:WG5h78pM.net

出来てたね
妙に秩父推しだったから
秩父まつりに引っ張られていたのかもしれないけれど

76 ：名無しのひみつ：2023/03/20(月) 17:20:11.03 ID:0zR2Ymjc.net

>>1
頑張ったわりにガッカリするからあまり広めるのはやめておけｗ

77 ：名無しのひみつ：2023/03/20(月) 20:48:03.12 ID:gELEA6cT.net

>>76
いま大手の大規模AIやってガッカリするのは規制

だからローカルで規制なしでAIに自由にやらせてみたい需要😭

78 ：名無しのひみつ：2023/03/23(木) 21:04:59.96 ID:xdiYZuqa.net

キャラブをベースにして延々と執筆して欲しい

79 ：名無しのひみつ：2023/03/24(金) 16:46:49.41 ID:94k5OeiD.net

浦島太郎のお話をラップ調で話して」とかはもう
無茶振りでもなんでもないレベルでこなすね

なんか、こっちが思いつく無茶振りなんて鼻で笑われているような悔しさが

80 ：名無しのひみつ：2023/03/24(金) 17:13:07.14 ID:n9QUVWYx.net

まじ、スゲーよこれ
なんか来年の今頃は恐ろしい事になってそう

81 ：名無しのひみつ：2023/03/24(金) 20:54:14.70 ID:VjwX8lnw.net

>>17
最近のai技術の概念てバブル時代付近にできてたみたいだし
海外の研究者が発掘しなかったらそのまま消えてたらしいね

日本このパターン多くない？

82 ：名無しのひみつ：2023/03/25(土) 06:16:30.51 ID:FVSmu26T.net

30年前にはニューロやってたし
手書き文字認識くらいはできてたな。
それくらいなら、ただのCPUだけでもできた。

これがブレイクしたのは
GPUで計算量が飛躍的に上がって
ニューロの数を増やせるようになり
層を増やせるようになった。
いわゆる深層学習である。

83 ：名無しのひみつ：2023/03/25(土) 06:28:08.49 ID:FVSmu26T.net

今は、googleやアマゾンが保有する
演算能力でAIが席巻されている。

随分昔にコンピュータ将棋から
囲碁の時代になったが、
googleが演算能力であったが
AIの研究の一環でついでにやったふうに
あっという間に囲碁を席巻してしまい

開発競争すらろくに起こらずに
ブームは消えた。

今はこのパターンがChatGPTなどで
今は全世界で同時に大量に
同じようなものが現れているが
すぐに淘汰されて、急速に減っていくだろう。

個人的にはもうAIシステムは
ありふれたシステムになっており
むしろ、楽習させるデータを持つ、
さらに新たに入手でき続けるものが
覇権を取るだろう。

84 ：名無しのひみつ：2023/03/25(土) 10:00:03.77 ID:TopeKRnw.net

そんなアホでも知ればすぐ分かる結論を長々と書かなくて良いんだよ

85 ：名無しのひみつ：2023/03/25(土) 10:03:35.64 ID:jtqogAY8.net

もちろん初歩も初歩だが、
わからんで迷走してる記事も多いからなあ。

86 ：名無しのひみつ：2023/03/25(土) 12:03:09.20 ID:6Cwl9wt+.net

>>82
gpuの性能が上がったんじゃなくて、fpgaやasic使わなくても安価なgpuで十分な精度が出るのが分かって研究者が参入したのが大きい

87 ：名無しのひみつ：2023/03/25(土) 13:52:46.18 ID:KxbUDF+j.net

多層がすごいんじゃなくて、多層学習を安定させたのがすごいんだよ。他にも何点かある。
計算パワーだけあっても全然上手くいかないことは計算パワーが足りない頃からわかってた。

88 ：名無しのひみつ：2023/03/25(土) 16:57:11.92 ID:gXLYRMRl.net

AIが導出した結論の根拠となる情報は取り出せるのかいね？

89 ：名無しのひみつ：2023/03/25(土) 17:13:01.90 ID:U/E7UPj6.net

コンパクトなのはいいよね
やっぱそこに痺れる憧れる

90 ：名無しのひみつ：2023/03/25(土) 18:52:20.03 ID:1KcnBaji.net

>>88
根拠も添えて、と指示すればいいだけでは

91 ：名無しのひみつ：2023/03/26(日) 17:55:23.99 ID:esDjZ22C.net

ローカルで自分用に学習させられるのはよさげ

92 ：名無しのひみつ：2023/03/27(月) 10:36:51.58 ID:8IOszNKb.net

また一人一台の時代から一極集中の時代に逆戻りするのかと思ったが個々でAI育てられそうで何より