【AI】立教大、フーリエ変換を用いて大量のメモリが不要な画像認識の新手法を開発 [すらいむ★]

1 ：すらいむ ★：2024/02/08(木) 22:59:14.50 ID:RxO0nQRL.net

立教大、フーリエ変換を用いて大量のメモリが不要な画像認識の新手法を開発

　立教大学は2月6日、音声や画像のような信号を異なる周波数の成分に分解する数学的手法「フーリエ変換」を用いて、「グローバルフィルタ」と「注意機構」のメリットを兼ね備えた、大量のメモリを必要としない新しい画像認識手法を開発したことを発表した。

（以下略、続きはソースでご確認ください）

マイナビニュース　2024/02/07 15:23
https://news.mynavi.jp/techplus/article/20240207-2879063/

プレプリント
FFT-based Dynamic Token Mixer for Vision
https://arxiv.org/abs/2303.03932

2 ：社説＋で新規スレ立て人募集中：2024/02/08(木) 23:18:00.88 ID:j1iHhlIa.net

分かりやすく言うと絵を見て和音が聴こえるようなものか

3 ：社説＋で新規スレ立て人募集中：2024/02/09(金) 00:32:31.65 ID:dKZRcgv6.net

こりゃすげええええ！！！

アフォのようにコンボリューションコンボリューション
いやリカレントだ！GANだ！トランスフォーマーだ！！！
とメモリドカ食いの連続で画像解析してたところで

「畳み込みのフィルター自体を動的生成したら？」
だもん
そしてそのフィルター生成に、画像タイプごとにフーリエ変換を使うか

https://github.com/okojoalg/dfformer
こちらにgithub
今や論文と同じくらいgithubのリポジトリが大事だな

4 ：社説＋で新規スレ立て人募集中：2024/02/09(金) 00:52:08.43 ID:dKZRcgv6.net

生成AIだとU-netという方法で逆畳み込みなんて方法も使うが
ここでその逆畳み込みのフィルターもフーリエ変換で出来たら面白いがちょっと難しいか？？？

必死になってNVIDIAの独占するVRAMも大きいが値段も凄いGPU買ってたのが
「こんなの4GBのVRAMでいいじゃん」ってなったらそりゃ嬉しい事か

5 ：社説＋で新規スレ立て人募集中：2024/02/09(金) 01:29:01.78 ID:njYrzXV+.net

犯罪捜査にも使えそうだな
時代が榊マリ子に近づいてきた。

6 ：社説＋で新規スレ立て人募集中：2024/02/09(金) 10:15:57.83 ID:1Q1R7kNc.net

人間の脳
ほとんどを映像解析の機能をしている

言葉もにおいも触覚も文字や画像や色でデータのやり取りをしている

ブレイン・マシン・インターフェイスの読み取りは映像を読み取っていることになる

7 ：社説＋で新規スレ立て人募集中：2024/02/09(金) 10:18:01.50 ID:1Q1R7kNc.net

名古屋大学宇宙地球環境研究所
>>人体から出ている電波は熱放射と呼ばれるもので、体温が関係しています。人体からは、電波だけでなく赤外線も出ていて、サーモグラフという赤外線カメラで人間を撮ると、暗闇でもはっきりと写るのはそのためです。同じように、感度の良い電波受信器の前に手をかざすと、手からの電波を受けることができます。もちろん、その強さは非常に弱いものですけれど。
何となく感じる「気配」の正体？ 「準静電界」とは
>>「人間の体の周囲には、静電気のような、ごく微弱な電界が全身を包むように存在しています。電界の大きさやプラス・マイナスが常に変化しており、これを『準静電界』と呼びます。
>>体の中では、常に微弱な電気が生じている。筋肉を動かす、脳が体に指令を出す、心臓などの臓器が働く、さらには細胞と細胞が情報伝達するといった場面でも、電気的な信号が生まれる。例えば、脳波や心電図、筋電図などは、脳や心臓、筋肉に流れる電気信号を"見える化"したもの。体内で発生する電気信号は、生命活動そのものでもある。このような体内にある微弱な電気が重なり合い、体の外側ににじみ出て、見えない電気のベールで全身を包み込んでいる。これが準静電界だ。
>>準静電界は、電波のように空気中を伝わることはなく、人体の周囲にとどまり、そこで強まったり弱まったりといった変化を繰り返しているという。準静電界は、人間だけでなく、動物や植物など、生物すべてが持っている（生体電位とも呼ばれる）。ただし、非常に弱いので感知するのは難しいそうだ。

上記が理由
非接触型ブレインマシン・インターフェイスが不可能な理由

8 ：社説＋で新規スレ立て人募集中：2024/02/09(金) 13:09:51.21 ID:cLehuE1h.net

有りがたいことに>>3-4氏のおかげで大まかに理解できた気がする
固有名詞の細かい部分については解らないけれど
素人なりに理解できた(かどうかは定かではないけれど)ものを要約してみる

9 ：社説＋で新規スレ立て人募集中：2024/02/09(金) 13:10:16.56 ID:cLehuE1h.net

今迄は大きな画像でもそのまま解析していたが事前に入力データをフーリエ変換してしまう手法を開発した。
例えば大きなサイズ画像を動的フィルターとして用いる場合
画像を固定値縮小リサイズ→動的なフィルターを自動生成
固定リサイズ画像解析結果(=グローバルな動的フィルター)は共有ライブラリの様に扱えるので
入力データを固定長にして共有ライブラリによって振るいわけが容易&使用メモリの削減を可能としたという具合なのかな
素人の感想なので全く的を得ていないかも。間違っていたら申し訳ないです。

10 ：社説＋で新規スレ立て人募集中：2024/02/09(金) 13:29:18.30 ID:85jp5w+M.net

自分も似たようなことを思いついていたのにやられた
……というか画像処理を学んでれば誰でも思いつくわな

11 ：社説＋で新規スレ立て人募集中：2024/02/09(金) 14:25:00.17 ID:T3FZm3kt.net

光学処理でもって、絵の中の似た部分を検出するというのがずーーっと昔から（半世紀以上前から）
されていたが、光学処理（レンズ）というのは空間光学像のフーリエ変換に他ならない。
畳み込みによる相関検出ができる。

12 ：社説＋で新規スレ立て人募集中：2024/02/09(金) 15:08:46.86 ID:XoLVMTI9.net

人間も似たようにして認識してるのかな

13 ：社説＋で新規スレ立て人募集中：2024/02/10(土) 07:45:21.22 ID:yDkCCE7I.net

【CEDEC2019】人工知能が敵キャラを育てる！ ディープラーニングを使った次世代のゲームAI開発
https://morikatron.ai/2019/09/cedec2019_luminous-productions/

こちらの開発もさらに進みますか

14 ：社説＋で新規スレ立て人募集中：2024/02/10(土) 08:00:04.55 ID:ngG7pcgw.net

フーリエ変換は画像にも音声にも適用できるのがすごい

15 ：社説＋で新規スレ立て人募集中：2024/02/10(土) 08:19:05.89 ID:uJs02qxj.net

FFT にしただけ？

16 ：社説＋で新規スレ立て人募集中：2024/02/10(土) 08:22:58.21 ID:aV4RUKbw.net

けど立教だよね…

17 ：社説＋で新規スレ立て人募集中：2024/02/10(土) 08:41:29.90 ID:144MgPW3.net

もしかしたらおおごとかもしれんから俺も確認してみる
まぁあんま期待すんなよ
画像推論のボトルネックはバス転送速度の方にあるから

18 ：社説＋で新規スレ立て人募集中：2024/02/10(土) 12:26:45.23 ID:lk6SrkBe.net

AI付き監視カメラが低コストになって不審者の発見がはかどる訳か

19 ：増健：2024/02/10(土) 16:51:52.26 ID:+ElKP7l+.net

現代でもフーリエ変換なんて古典的手法から新しい技術ができるなんてすごいなあ

20 ：社説＋で新規スレ立て人募集中：2024/02/10(土) 17:13:01.41 ID:wYcyQCCp.net

>>3
>こりゃすげええええ！！！

え？

>アフォのようにコンボリューションコンボリューション
>いやリカレントだ！GANだ！トランスフォーマーだ！！！
>とメモリドカ食いの連続で画像解析してたところで

いや、もともとコンボリューションはフーリエ変換でやるもんで、メモリドカ食いとかしないんだが、どこが凄いんだ？

21 ：社説＋で新規スレ立て人募集中：2024/02/10(土) 19:09:00.50 ID:E56Zs5Tb.net

これさ画像1に対して画像1用の周波数フィルタをかけることがポイントみたいだけど
事前に画像1にどのようなフィルタをかければいいかわかってるのなら
その画像の内容は既にわかってるってことだろｗ

意味あるのかねｗ

22 ：社説＋で新規スレ立て人募集中：2024/02/10(土) 20:57:59.33 ID:kZa1alwY.net

この画像はなんですか？じゃなくてこの画像から特定の波動を感じますか？だから、あるかないかを判別する医療分野でむちゃくちゃ役に立つと思う。

23 ：社説＋で新規スレ立て人募集中：2024/02/10(土) 21:03:01.71 ID:bsRwTfxL.net

予めラベルを振ってある物体の画像が存在する部分だけ選ぶとかなら
それで十分だな

24 ：社説＋で新規スレ立て人募集中：2024/02/10(土) 21:18:16.45 ID:DcNVC6KV.net

まったく記事は読んでないが、
今まで画像をピクセルとして解析・学習してフィルタとかにしてたのを、
jpegデータのまま解析・学習しても同じことができちゃいました！って話？

25 ：社説＋で新規スレ立て人募集中：2024/02/11(日) 04:26:09.27 ID:XsKf6SQ3.net

>>24
違う

26 ：社説＋で新規スレ立て人募集中：2024/02/11(日) 04:33:22.74 ID:XsKf6SQ3.net

>>21
意味ある

27 ：社説＋で新規スレ立て人募集中：2024/02/11(日) 04:58:53.19 ID:YLVU8SWl.net

＞フーリエ変換を用いて

そんなことなら２０、３０年前からやってるかと・・

28 ：社説＋で新規スレ立て人募集中：2024/02/11(日) 09:06:29.77 ID:XsKf6SQ3.net

Transfomerとか使ってるから20年前なんて姿形ないかと…

29 ：社説＋で新規スレ立て人募集中：2024/02/11(日) 09:48:32.39 ID:wlOIHVU2.net

遅くなるだけだろう

30 ：社説＋で新規スレ立て人募集中：2024/02/11(日) 11:39:23.73 ID:of3lESVq.net

りんごの画像ならりんごわと認識させてそこだけ処理するんじゃないの？

31 ：社説＋で新規スレ立て人募集中：2024/02/11(日) 12:14:51.24 ID:ptfUBIXp.net

りんごAの場合
ナシなどと区別するための
色相中央値フィルターと形状中央値フィルターなどでりんごか否かを判別し
りんごAがりんごであれば中央値フィルターに組み込まれて精度を向上させるのかもしれない

32 ：社説＋で新規スレ立て人募集中：2024/02/11(日) 12:42:04.09 ID:ptfUBIXp.net

逆にリンゴAがリンゴであるのにも関わらずリンゴではないと判断された場合
局所最適解フィルターなり特異点フィルターに組み込まれるのかもしれない

33 ：名無しのひみつ：2024/02/12(月) 21:35:35.06 ID:OyzqcHRi.net

触ってきたけどDockerビルドするのにすげーメモリ必要でDockerfile書き換えいるかった
あとcapabilityも
んで改造しようと思ったら1000クラス分類特化みたいなコーディングでめんどくさくなってやめてきた

34 ：名無しのひみつ：2024/02/12(月) 22:21:19.38 ID:dimRbJYw.net

＞改造しようと思ったら1000クラス分類特化みたいなコーディングでめんどくさくなって

転移学習も何も出来んのか

35 ：名無しのひみつ：2024/02/13(火) 23:35:57.08 ID:y7eJE/6+.net

ガチ勢乙
ハードコーディングに近いのかw

36 ：名無しのひみつ：2024/03/05(火) 08:15:33.92 ID:gfpWZnRF.net

>>16
出た、学歴差別主義者。

37 ：名無しのひみつ：2024/04/16(火) 21:39:37.86 ID:YA9rdx6b.net

最近は理学部が工学寄りもがんばってるような

38 ：名無しのひみつ：2024/04/16(火) 22:05:07.30 ID:Ky6XJf0L.net

単純明快、かつ、有望そうな技術だわ。