【AIコラ】fakeapp その13【革命】

1 ： ：2020/03/08(日) 21:28:26 .net

deepfakesの技術交換スレです。

前スレ
【AIコラ】fakeapp その12【革命】
https://phoebe.bbspink.com/test/read.cgi/ascii/1580015540/

テンプレに書いてない質問はok VIPQ2_EXTDAT: checked:vvvvv:1000:512:: EXT was configured

952 ：名無しさん＠お腹いっぱい。 ：2020/12/21(月) 20:08:17.23 ID:6XqIYiVD0.net

maskの修正するときにtrainされたmaskの形から修正できたらいいのにってすごく思う。

953 ：名無しさん＠お腹いっぱい。 ：2020/12/21(月) 20:35:43.20 ID:jru9VoQqa.net

>>949
中学生かよw諦めろw

954 ：名無しさん＠お腹いっぱい。 ：2020/12/21(月) 21:02:37.11 ID:N17igtqX0.net

すごく初心者的質問になるかもしれないが、ぶっちゃけ、学習してモデルをつくるという仕組みをよく理解できていない。
いろんな角度の画像を覚えこまして、新しいはめ込む動画のもとの顔がこういう角度でこういう表情だから、data_srcのか中に顔の中で一番いいやつを探してきて、これをコラするよ（場合によっては目はこの画像で、口はこれがいいなとかパーツごとに判断して）、
ということなのか、それとも、いろんな角度の画像を勉強して、この顔のいろんな方向からの顔のデータを作って、この方向でこういう表現をしているdstの顔に、学習してできた顔のデータを再生するよということなんか。
どっちなんでしょう。
前者であれば、あくまでも張り付けるパーツの画像が必要なので、それがきれいでなければいくら学習してもうまくいかないが、後者なら、いったん顔のデータ作れさえすれば、あとはきれいな画像を作り上げてくれるということになる。
ゴミをいくら張り付けてもゴミのままになる。
そういう意味で、最初の素材選びは、いい勉強をしてらうというより、いいパーツを集めることにも影響するから最重要ということなるよね。
どっちなんでしょう？

955 ：名無しさん＠お腹いっぱい。 ：2020/12/21(月) 21:14:52.49 ID:6XqIYiVD0.net

>>954
俺も最近やり始めながら同じことを悩んでたわ。
どちらかというと前者なのかなと思ってる。
だから素材選びは大事なのかなーと。。。

loss値が小さくなるってのがAIさんが今ある素材で限界までがんばりました。
ってことか思ってる。

あってるんでしょうか？こういうことはマニュアルにも書いてないから気になる。
教えて！詳しい人！

956 ：名無しさん＠お腹いっぱい。 ：2020/12/21(月) 21:24:53.56 ID:zkwZdfnQ0.net

前者。瞬きしてない src ばかり集めたら瞬きしない result しか出来ない
モデルというのはモデリングしたもの、ではない

957 ：名無しさん＠お腹いっぱい。 ：2020/12/21(月) 21:40:48.65 ID:6XqIYiVD0.net

>>956
例えば、笑顔のdstなのに泣き顔のsrcしかない場合って
能面になったりするの？

958 ：名無しさん＠お腹いっぱい。 ：2020/12/21(月) 22:18:04.81 ID:+Y0CGwjB0.net

AdaBelief結構すごいな
ちょっとアルゴリズムが変わっただけかと思ったら、学習かなり速いんだね

959 ：名無しさん＠お腹いっぱい。 ：2020/12/21(月) 23:10:48.00 ID:xr7dB6O0p.net

後者だよ。
ただ3Dとかパーツごとの意味を分かって描いてる訳じゃない。絵として判断してsrcっぽい絵を生成してる。
ずっと笑顔なら笑顔＝srcっぽい絵なんだからそうなる。
src側の出力はsrcの画像だけ学習してるから、srcに無いものは生成出来ない。pretrainしてたりモデル引き継げばそれ参照できるから結果再現度あがる。

960 ：名無しさん＠お腹いっぱい。 ：2020/12/22(火) 00:00:02.11 ID:u3Jf/Qex0.net

>>954
どっちにしても素材選びが最重要なのは間違いないよ。
なんか悩む要素ある？

961 ：名無しさん＠お腹いっぱい。 ：2020/12/22(火) 08:11:36.66 ID:OvF2fd0Bd.net

>>943
に答えてくれ誰か

962 ：名無しさん＠お腹いっぱい。 ：2020/12/22(火) 08:51:27.26 ID:R/BwnKDK0.net

こんなくそ知識のところで聞いても意味ないよ
初心者馬鹿にしてるやつがそもそも初心者なんだから
dstxdstもモデルの引き継ぎもディベロッパー全員否定してる
信頼できるのはdflのgithub, telegram(ロシア語)、faceswapのdiscord, 公式くらいでmrも怪しい
翻訳のやり方から勉強しな

963 ：名無しさん＠お腹いっぱい。 ：2020/12/22(火) 09:01:44.67 ID:Rc7+cPYsp.net

>>961
modelフォルダ丸ごと残して、あとやり直せばいいだけ。
同じdst,src使うなら、そっちも残しておけばいい。

転移学習は限られた環境でやるなら否定されることではないよ。

964 ：名無しさん＠お腹いっぱい。 ：2020/12/22(火) 09:39:19.83 ID:R/BwnKDK0.net

転移学習とmodelの使いまわしの違いがわかってないから言ってんだよ
間違った知識を広めてるという自覚を持ってね

965 ：名無しさん＠お腹いっぱい。 ：2020/12/22(火) 10:22:57.12 ID:vA2c7czk0.net

だから自分で調べろって書いてんのにそれを否定してんのがこの質問者なんだよ

966 ：名無しさん＠お腹いっぱい。 ：2020/12/22(火) 12:02:45.51 ID:OvF2fd0Bd.net

>>963
ってことはDSTって名前の動画が何個もあって良いってこと？

967 ：名無しさん＠お腹いっぱい。 ：2020/12/22(火) 12:38:07.85 ID:4S+Lba/00.net

ID:q5W6Tk/kd
こいつヤバいな

968 ：名無しさん＠お腹いっぱい。 ：2020/12/22(火) 13:15:39.79 ID:GHeJZOBNp.net

data_dst
data_dst_A01
data_dst_A02

969 ：名無しさん＠お腹いっぱい。 ：2020/12/22(火) 13:52:53.11 ID:qQgXnR8U0.net

触ってみてから質問すればいいのに触りすらしないから理解もできない

970 ：名無しさん＠お腹いっぱい。 ：2020/12/22(火) 14:07:35.90 ID:3SAtxVKw0.net

質問に誰も答えれてない時点で自分以下のバカしか居ないんだからここで聞くだけ無駄

971 ：名無しさん＠お腹いっぱい。 ：2020/12/22(火) 14:37:02.94 ID:Rc7+cPYsp.net

ファインチューニングって言うのが正しいのかな？

972 ：名無しさん＠お腹いっぱい。 ：2020/12/22(火) 16:50:14.66 ID:x1pl3Cvw0.net

>>962
dstxdstはXseg Maskさぼった時に、liae-udでは有効だったけど
df-udでは無効
モデルの引き継ぎが無効とは、モデル使いまわしが無効だとでも？
いちいち新規から学習なのか？
フォーラムに上がっているTrain済のモデルの意味合いは？
Pretrainも無効なんでしょ

973 ：名無しさん＠お腹いっぱい。 ：2020/12/22(火) 17:00:42.15 ID:PSLszAIf0.net

間違った知識は訂正しても他人が賢くなるだけだからそのまま放置するのが基本

974 ：名無しさん＠お腹いっぱい。 ：2020/12/22(火) 17:01:20.46 ID:6E3YQXis0.net

作りたいのが一人だとしてもそのsrcだけじゃなく色んな表情や画角を学習させないと自然な仕上がりにならない
アイドルだけ作ってるやつは全部笑顔か無表情になる

975 ：名無しさん＠お腹いっぱい。 ：2020/12/22(火) 17:06:25.68 ID:D3kaqk9w0.net

>>974
そうなんですよね。1人の顔でもいろんな表情で、光の当たり方、角度を混ぜたデータセットを作らないと綺麗なのは出来ないですね。しかもデータセットが大きすぎても結果は悪くなるので綺麗な画像をちゃんと選ぶのがコツかと。

976 ：名無しさん＠お腹いっぱい。 ：2020/12/22(火) 17:20:11.28 ID:R/BwnKDK0.net

大半が>>972みたいな馬鹿だからなんの議論にも発展しない
事前学習、転移学習、ファインチューニングとモデルの使い回しは違う
おま環であーだこーだ言ってるだけのクソスレ
匿名でやってても誰が正しいかもわからないでしょ？下手くそ量産するだけだし、初心者にも害悪だからこんなスレやめた方がいいよ

977 ：名無しさん＠お腹いっぱい。 ：2020/12/22(火) 18:23:06.06 ID:y/trkkeh0.net

何か聞きたいならTwitterの職人で優しそうな奴に聞けってそれ一番言われてるから

978 ：名無しさん＠お腹いっぱい。 ：2020/12/22(火) 18:41:03.86 ID:OvF2fd0Bd.net

このスレ無くせ、とかいうくせ、ちゃっかり定期的に見に来るんだぞ

すまんが議論はよそでやれな？
ここは討論会じゃねえよ

979 ：名無しさん＠お腹いっぱい。 ：2020/12/22(火) 18:41:56.59 ID:OvF2fd0Bd.net

>>977
なお誰かまでは言えない模様

980 ：名無しさん＠お腹いっぱい。 ：2020/12/22(火) 18:46:26.49 ID:lphrcyjs0.net

>>954
素材がいいに越したことはない
これはまさしくその通りなんだけど、srcを一つの動画ファイルから作るだけでいいのか、できるだけいろんなものから作ればいいのか、
抜き出しのfpsは30で全フレーム出したほうがいいのか、よくないのか。
あるいは顔を動かしてぶれているような画像は、画像としては微妙だけど、動きのコマとして有用なのか。
そもそも学習させる元のファイルは多ければ多いほどいいのか。
ほぼ重複しているような画像は必要か、不要だとしたらどれぐらいの違いがあるか。
とか、色々最近悩んでいて、一通りモデル作ってみたんで、量産に入りたいなあと思い、
そのためには、モデルの作り方の最適解を探したいなあと思っとるんです。
限られたパワーで、モデルの解像度に振り分けるのか、liaeモデルを使うほうがいいのか、バッチサイズを優先してあげたほうがいいのかなど、色々むずかしいですなあ。

981 ：名無しさん＠お腹いっぱい。 ：2020/12/22(火) 18:48:27.16 ID:lphrcyjs0.net

そのためにも、ある程度構造を理解しないといけないなあということになって、ぶっちゃけ今更ながらよく理解せずにつくっているなあと。

982 ：名無しさん＠お腹いっぱい。 ：2020/12/22(火) 19:22:49.10 ID:y/trkkeh0.net

十分素材が充実(表情、角度的な意味で)してるなら一続きの動画で構わないけど実際問題難しい、ドラマの主演で1シーズン分素材があるとかなら話は別だけど
抜き出しは30fpsも要らない、10以下で抽出してさらにボヤけてるものとかを間引けばok
ボヤけてるsrcは不要、dstがボヤけてればmergeで勝手にボヤける
正面付近のシーンをメインで作るならdf、側面などもしっかり作りたいならliae

983 ：名無しさん＠お腹いっぱい。 ：2020/12/22(火) 19:32:49.28 ID:D3kaqk9w0.net

YouTubeで海外非エロdeepfakeを作ってるShamookって人は、映画3作くらいから顔を抽出してるらしいです。srcは大体8000枚(ぼやけてるやつ、同じような物は間引いて)で、トレーニングしてて、300万回くらいiterしてましたよ。参考になるか分かりませんが。。

984 ：名無しさん＠お腹いっぱい。 ：2020/12/22(火) 19:39:37.32 ID:rcl3oPSM0.net

DVDとか変えたら髪型、化粧変わってもはや別人なのにこれでもデータは多いほうが良いのか、それとも似てるやつだけを取捨選択したほうがいいの？

985 ：名無しさん＠お腹いっぱい。 ：2020/12/22(火) 20:03:50.31 ID:Rc7+cPYsp.net

どれだけ集められるかにもよるけど可能なら自分の思ってるイメージに近いメイクだけにしておいた方が無難。明るさとか色合い表情画角は多彩にな。5fpsで似た画像は削除してる。目閉じてるの足りないこと多いからそこも忘れずに。
どうせ議論厨に間違ってるって言われるんだろうけどなw

986 ：名無しさん＠お腹いっぱい。 ：2020/12/22(火) 20:05:28.26 ID:D3kaqk9w0.net

>>984
髪型は関係ないと思います。ただ化粧は影響してくると思います。なるべく同じような化粧で、違うアングルや表情、ライティングを集めた方が無難かと。ただ違う化粧(ギャルvs清楚)見たいなデータでトレーニングしてないのでなんとも言えないですが。。

987 ：名無しさん＠お腹いっぱい。 ：2020/12/22(火) 20:09:42.38 ID:R/BwnKDK0.net

それはあってるぞ自信持って！！

988 ：名無しさん＠お腹いっぱい。 ：2020/12/22(火) 20:19:10.89 ID:D3kaqk9w0.net

もし、Pythonが使えるならPySceneDetectお勧めです。これで映画をシーンごとに分割してくれるから、やり易くなりますよ。

989 ：名無しさん＠お腹いっぱい。 ：2020/12/22(火) 21:22:12.74 ID:HawVq19D0.net

>>982
fps低いと目をつぶってるシーンがうまく抽出できないから
フルで抽出してから減らすほうが良いと思うよ

990 ：名無しさん＠お腹いっぱい。 ：2020/12/22(火) 22:22:01.70 ID:OGfDfqvba.net

>>976
はいはいw

991 ：名無しさん＠お腹いっぱい。 ：2020/12/22(火) 22:54:42.26 ID:vA2c7czk0.net

映画とかで使えそうなシーンをカット編集しても10分〜多くて20分程度にしかならないから
コマ送りして一枚ずつpng出力してるわ
ピンボケもすぐ分かるし瞬きの瞬間は細かくとか動きのないシーンは飛ばしてとか
直感的に操作しやすいから取りこぼしも少なくなるし
分割した数万枚の画像とにらめっこするより作業が雑になりにくく少ない枚数で質のいい素材を集められる
まあどうやるかは好みだけど

992 ：名無しさん＠お腹いっぱい。 ：2020/12/22(火) 23:12:32.54 ID:cfhcugtO0.net

みんなすごいなあ
誰に見せるでもないから適当に拾った5分くらいの動画を30fpsでバラして
顔抽出出来てるのは全部使ってそれで作ってるわ
なんならdstも正面中心で編集して面倒そうなシーンは端から切ってる

さっきTBSでやってた山里の眼鏡ごとsrcにするのとかめっちゃ面倒そうやな

993 ：名無しさん＠お腹いっぱい。 ：2020/12/22(火) 23:19:24.17 ID:PSLszAIf0.net

これもう次スレ要らないぞ
更新速報や3000番の報告なんかは有用だったけど
他はもう何回目だよって同じ話しかしてない

994 ：名無しさん＠お腹いっぱい。 ：2020/12/23(水) 00:24:23.79 ID:7Gy0dGBD0.net

お前が来なけりゃいだろ

995 ：名無しさん＠お腹いっぱい。 ：2020/12/23(水) 05:58:27.97 ID:uPvo6CHK0.net

知識なくて付いてこれないから悔しいんだね・・・

996 ：名無しさん＠お腹いっぱい。 ：2020/12/23(水) 09:44:35.36 ID:RMFN9dQhM.net

>>993
wikiでも作って誘導したらいいやん

997 ：名無しさん＠お腹いっぱい。 ：2020/12/23(水) 12:11:48.68 ID:Yx1pqwCnp.net

>>996
作りましょうか？

998 ：名無しさん＠お腹いっぱい。 ：2020/12/23(水) 12:19:16.75 ID:bUB4e3R50.net

日記地獄じゃん

999 ：名無しさん＠お腹いっぱい。 ：2020/12/23(水) 17:20:05.03 ID:MVaI8uh/0.net

ここでキレて喚いてる無能者の問題点は、門外漢の無知無能が
いきなり裸でポークビッツ握りしめて正座してるってとこなの。

猿や金魚の刷り込みみたいに覚えたトコロで、ロクなモンは出来ないし
RTX3090がどうこうってのはヘタコの手抜きに貢献するだけ。
ワカランうちは、遅いGPUで速く学習出来るデータセット作成の腕を磨く方が身のため。

ぶっちゃけ、適切な画像とランドマークのデータセットなら
1.0のCPUでもDF128なら数日でモノになる。
1.0終盤に追加されたコンバート時のGAN系の高精細オプションは
通常の倍程度のコンバート負荷のみで抜群の性能を発揮するから、
FHD中サイズでも128でカバー出来る精細さを実現してるし。

加えて、他の動画編集ソフトを使いこなせる知識と各種フォーマット知識も無いと
どれだけ良いマージ画像が出来ても、色合わせや輪郭合わせが上手く出来ない。
この知識があると、単純にオーバーレイの各種マスク処理を使わずにLeraned輪郭でマージデータ出力が
出来るから、マスク準備不要且つトレイン・マージデータ出力が異様に速く済む。

アルファマスク出力指定で、動画編集ソフト側で色合わせ・マスク・輪郭ぼかしをやると
多少の異常フレームもキレイに直せるし、
そもそも元データのDst作成時に顔のみの部分出力と不要な他人等をマスク消去して
必要フレームのみ出力出来るから、Extractでの誤認識もほぼ解消出来る。

要は初心者をバカにしているのでは無く、そういった総合的なPC映像知識がAI以前に必要なんだよ。

1000 ：名無しさん＠お腹いっぱい。 ：2020/12/23(水) 17:40:14.84 ID:uy94Yqmx0.net

御託はいいからお前の作品見せてみろよ

1001 ：2ch.net投稿限界：Over 1000 Thread

2ch.netからのレス数が1000に到達しました。