-
立教大、フーリエ変換を用いて大量のメモリが不要な画像認識の新手法を開発
立教大学は2月6日、音声や画像のような信号を異なる周波数の成分に分解する数学的手法「フーリエ変換」を用いて、「グローバルフィルタ」と「注意機構」のメリットを兼ね備えた、大量のメモリを必要としない新しい画像認識手法を開発したことを発表した。
（以下略、続きはソースでご確認ください）
マイナビニュース 2024/02/07 15:23
https://news.mynavi.jp/techplus/article/20240207-2879063/プレプリント
FFT-based Dynamic Token Mixer for Vision
https://arxiv.org/abs/2303.03932
- 分かりやすく言うと絵を見て和音が聴こえるようなものか
- 生成AIだとU-netという方法で逆畳み込みなんて方法も使うが
ここでその逆畳み込みのフィルターもフーリエ変換で出来たら面白いがちょっと難しいか？？？必死になってNVIDIAの独占するVRAMも大きいが値段も凄いGPU買ってたのが
「こんなの4GBのVRAMでいいじゃん」ってなったらそりゃ嬉しい事か - 犯罪捜査にも使えそうだな
時代が榊マリ子に近づいてきた。 - 人間の脳
ほとんどを映像解析の機能をしている言葉もにおいも触覚も文字や画像や色でデータのやり取りをしている
ブレイン・マシン・インターフェイスの読み取りは映像を読み取っていることになる
- 今迄は大きな画像でもそのまま解析していたが事前に入力データをフーリエ変換してしまう手法を開発した。
例えば大きなサイズ画像を動的フィルターとして用いる場合
画像を固定値縮小リサイズ→動的なフィルターを自動生成
固定リサイズ画像解析結果(=グローバルな動的フィルター)は共有ライブラリの様に扱えるので
入力データを固定長にして共有ライブラリによって振るいわけが容易&使用メモリの削減を可能としたという具合なのかな
素人の感想なので全く的を得ていないかも。間違っていたら申し訳ないです。 - 自分も似たようなことを思いついていたのにやられた
……というか画像処理を学んでれば誰でも思いつくわな - 光学処理でもって、絵の中の似た部分を検出するというのがずーーっと昔から（半世紀以上前から）
されていたが、光学処理（レンズ）というのは空間光学像のフーリエ変換に他ならない。
畳み込みによる相関検出ができる。 - 人間も似たようにして認識してるのかな
- フーリエ変換は画像にも音声にも適用できるのがすごい
- FFT にしただけ？
- けど立教だよね…
- >>16
出た、学歴差別主義者。 - もしかしたらおおごとかもしれんから俺も確認してみる
まぁあんま期待すんなよ
画像推論のボトルネックはバス転送速度の方にあるから - AI付き監視カメラが低コストになって不審者の発見がはかどる訳か
- 現代でもフーリエ変換なんて古典的手法から新しい技術ができるなんてすごいなあ
- これさ画像1に対して画像1用の周波数フィルタをかけることがポイントみたいだけど
事前に画像1にどのようなフィルタをかければいいかわかってるのなら
その画像の内容は既にわかってるってことだろｗ意味あるのかねｗ
- >>21
意味ある - この画像はなんですか？じゃなくてこの画像から特定の波動を感じますか？だから、あるかないかを判別する医療分野でむちゃくちゃ役に立つと思う。
- 予めラベルを振ってある物体の画像が存在する部分だけ選ぶとかなら
それで十分だな - まったく記事は読んでないが、
今まで画像をピクセルとして解析・学習してフィルタとかにしてたのを、
jpegデータのまま解析・学習しても同じことができちゃいました！って話？ - >>24
違う - ＞フーリエ変換を用いて
そんなことなら２０、３０年前からやってるかと・・
- Transfomerとか使ってるから20年前なんて姿形ないかと…
- 遅くなるだけだろう
- りんごの画像ならりんごわと認識させてそこだけ処理するんじゃないの？
- りんごAの場合
ナシなどと区別するための
色相中央値フィルターと形状中央値フィルターなどでりんごか否かを判別し
りんごAがりんごであれば中央値フィルターに組み込まれて精度を向上させるのかもしれない - 逆にリンゴAがリンゴであるのにも関わらずリンゴではないと判断された場合
局所最適解フィルターなり特異点フィルターに組み込まれるのかもしれない - 触ってきたけどDockerビルドするのにすげーメモリ必要でDockerfile書き換えいるかった
あとcapabilityも
んで改造しようと思ったら1000クラス分類特化みたいなコーディングでめんどくさくなってやめてきた - ＞改造しようと思ったら1000クラス分類特化みたいなコーディングでめんどくさくなって
転移学習も何も出来んのか
- ガチ勢乙
ハードコーディングに近いのかw
【AI】立教大、フーリエ変換を用いて大量のメモリが不要な画像認識の新手法を開発
科学ニュース＋
コメント