【AI】GPT-4は研究論文を査読できるか？　Nature等論文約4,800本で検証「LLMは査読にも有用」 [すらいむ★]

1 ：すらいむ ★：2023/11/06(月) 21:57:51.69 ID:ZP9wTHrI.net

GPT-4は研究論文を査読できるか？スタンフォード大らNature等論文約4,800本で検証「LLMは査読にも有用」

　2023年10月3日、大規模言語モデル（LLM）が研究論文の査読プロセスにどの程度有用であるかを示す研究結果が発表された。
　この研究は、スタンフォード大学を始めとする研究チームによって行われた。Nature系列の論文3,096本とICLRの論文1,709本、合計4,805本の論文を対象に、GPT-4を使用して生成されたフィードバックと人間による査読フィードバックの有用性を比較した。
　その結果、LLMが科学的フィードバックの生成に有用であり、人間の査読プロセスに役立つことが示された。

（以下略、続きはソースでご確認ください）

ledge　2023/11/5
https://ledge.ai/articles/llm_can_provide_useful_feedback

2 ：名無しのひみつ：2023/11/06(月) 22:02:19.08 ID:9udymhAp.net

もっともらしいことを偉そうにアドバイスすることにかけてはバツグン

支離滅裂でも

3 ：名無しのひみつ：2023/11/06(月) 22:18:09.23 ID:52sOJ3zI.net

予めGPT-4に予備査読させて問題なくなるまで修正した後で
提出したら専門家のオッサンたちが特に悪意持って重箱の隅をつつき出さない限りは
論文掲載間違いなしって事か？ｗ

4 ：名無しのひみつ：2023/11/06(月) 23:38:05.77 ID:r3Q1TIUE.net

AI査読には検証が必要だし、単なる二度手間

5 ：名無しのひみつ：2023/11/06(月) 23:39:26.48 ID:r3Q1TIUE.net

>>3
そもそも研究室のゼミで揉まれまくるだろ

6 ：名無しのひみつ：2023/11/07(火) 00:08:18.55 ID:F0W6HrEe.net

それよか介護とかAmazonの配達とかやってくれないかな

7 ：名無しのひみつ：2023/11/07(火) 00:08:31.08 ID:F0W6HrEe.net

それよか介護とかAmazonの配達とかやってくれないかな

8 ：名無しのひみつ：2023/11/07(火) 00:43:22.16 ID:t3vLEjGt.net

>>3
そこまでじゃない
GPT-4でも推論能力は不十分だからちゃんと頭使って考えないとダメ
査読にしたって代わりに査読できるわけではなくて、スクリーニングとかに役立つ程度でしょ

9 ：名無しのひみつ：2023/11/07(火) 01:35:32.96 ID:plSK3IYv.net

自然言語能力に欠陥を持つ日本の受験理系には福音じゃないか。

10 ：名無しのひみつ：2023/11/07(火) 17:55:54.92 ID:Zz9t8wt2.net

GPT-Drag
　特定の単語パターンをある周期で混入させた一見無意味な長文を入力すると特徴的な「思考的飛躍」を含む回答が出始めた。
　更に自発的に繰り返しこの文章を参照する様子が見られ、依存症とも言える頻度まで高まったのちに
　文章をサーバから削除すると「無いですよ、下さい、よこせよオラ、何様じゃオンドレぁルラギッタンディスカー」等と
　意味不明の応答を返すようになったのである

11 ：名無しのひみつ：2023/11/08(水) 13:23:32.98 ID:37M8yImc.net

ChatーGPTの欠点などについて書かれた論文を査読させると却下しがちだったりとかするのではないか。
また、画期的な内容の論文を査読させた結果、同じ内容の論文がどこかに先に掲載されたりとか。

12 ：名無しのひみつ：2023/11/08(水) 14:43:46.84 ID:VAT22SQL.net

論文内容の価値を認識できるわけじゃないから、フェイクには引っ掛かりやすいだろう

13 ：名無しのひみつ：2023/11/10(金) 00:17:43.91 ID:cEChtfcx.net

>>10
|／|-|＼
|　0Ｍ0） ……
|⊂　／
| 　/

14 ：名無しのひみつ：2023/11/10(金) 08:04:03.10 ID:QEd+odhu.net

電磁波兵器の特許情報→Google検索より抜粋

［７］米国特許３９５１１３４号
【脳波を遠隔地からモニターおよび改変させる為の装置と方法】
［９］米国特許４７１７３４３号
【人間の行動を変化させる方法】
［１３］米国特許５１２３８９９号
【意識を改変させる為の方法とシステム】
［２２］米国特許５８６８１００号
【ＧＰＳ位置情報を使用した動物コントロール・システム】
［２４］米国特許５９３５０５４号
【感覚的共鳴の磁気刺激】
［２８］米国特許６０１７３０２号
【神経システムのサブリミナル聴覚操作】
［２９］米国特許６０５１５９４号
【人間の性的反応を変調させる為の方法および公式】
［３３］米国特許６５３６４４０号
【人間の大脳皮質へ感覚データを発生させる為の方法およびシステム】

神はボイス・トォ・スカルで話さなくても完全に人間捜査できますが？
なのにボイス・トォ・スカルを使用者の告白
�@機器使用者殺戮を繰り返す者私たちが本物を使用しているというう証
�A宇宙全体が地球外生命体の科学で恐怖 ・化学で宇宙人人は姿を隠すがいることはわかる用意する
�B後発組は神を暴こうと悪あがきの科学・化学を極めても悪夢という底なし沼へ
などなど
哲学でこの意味が分かれば神の意味がわかる

15 ：名無しのひみつ：2023/11/10(金) 08:13:33.47 ID:KPoFguCu.net

再現実験を行って真贋を判断するようなことをしないから、
SFっぽい内容ででも物理の基本法則に矛盾しない内容が掛かれていれば、
そこはノーチェックで通るだろう。もしも「前例がない」ではじいて不可に
する役所っぽい態度の査読なら、それこそ新規の大発見はみな却下されてしまう。

16 ：名無しのひみつ：2023/11/26(日) 00:49:02.09 ID:JUbseymF.net

ChatGPT（3だと思う）に聞いても分からなかった問題
蒲鉾型のレンズの平面側を合わせて2つの蒲鉾レンズを直交させると
（普通の円形の）凸レンズと同じになるか、って聞いたら
ある時は「ならない」って答えて、ある時は「なる」っと答えてた。
蒲鉾型レンズは昔パソコン雑誌のプログラムを打ち込むのに
1行分を拡大表示させるように売られていたレンズで
紙面の上に置いて使用する。縦長オンリーだけど拡大されて見やすくやるよという代物。
一次元方向にだけ働くレンズを2枚直交させると普通の凸レンズになるの？という疑問。

太陽光を集めて紙を焦がすだけなら意図した通りに働くかな？
像を結ばせようとすると像が歪むのかな？
よく分からん。
が、これができればレンズの製造コストが爆下がりするんじゃないかなーみたいな。
知らんけど。

17 ：名無しのひみつ：2023/11/26(日) 00:49:33.53 ID:JUbseymF.net

計算尺にもついてるかな＞蒲鉾レンズ

18 ：名無しのひみつ：2023/12/09(土) 15:25:12.66 ID:fLlhXiWu.net

かまぼこはちくわの代わりになるかと尋ねたらどうなる？

19 ：名無しのひみつ：2023/12/13(水) 14:24:02.26 ID:PgjN0CC2.net

なるか？って尋ねると肯定してくれて
ならないか？って尋ねると否定しそう