Super PINTO

各種モデル、デモスクリプト。 ※固定用 github.com/PINTO0309/PINT…

Googleニュースを見て寝る。日本はもう午前0時過ぎだ。

@_artursemh Check out my post from yesterday. I'm planning to try it with the next generation of models.

@PINTO03091 did you annotate the hands landmarks too?

だいぶ良くなってきた。オーグメンテーションを有効にしたまま学習を終えたほうが良い状態になるのかもしれない。

@Kumar4Vruddhi47 Yes. This is because I want to prevent data ownership issues from arising and release it as open-source software with an easy-to-use license.

@PINTO03091 And it is all for open source ? Salute 🫡

ちなみに目安として、僕が画像７枚をアノテーションするのに必要だった作業時間は４時間30分です。

@fng_z This model doesn't confuse left and right even in first-person view. The purple square represents the right, and the green square represents the left. However, I think there is still a lack of test patterns and training data. x.com/PINTO03091/sta…

@PINTO03091 Sorry if this was asked before — if I feed your model a first-person POV video (seeing the user’s own body/hands), will it still label body parts correctly, or can the unusual / mirror-like perspective flip left-right labels?

学習中の重みで 7500枚 のテスト画像を目視検査して後処理のキーポイント接続判定の実装が不十分だったので一部調整した。距離的に手前に居るインスタンス上に遠方側のオクルージョンしているインスタンスのキーポイントを透視できてしまうモデルのため、キーポイントペアの選択順序が若干面倒。

精度高く綺麗に骨格検出することなんて最初から目的としていないです。目的は、データフォーマットを全て cx, cy, w, h のみで定義し、あらゆるアーキテクチャで同じデータを流用してアーキテクチャサーフィンすることです。どうせ３カ月に１回ぐらいの頻度でSOTAを主張する論文が出るんだから。

僕は、本業ではチームワークをとても重視する考え方を持つタイプだということを一応伝えておく。職人技はその次。

I created everything manually. Outsourcing would have increased the cost of reviewing the finished product. I wanted to create it myself from the start, incorporating my own biases. In the process of generating and verifying the model step by step, I revised the data creation criteria more than three times and redid the annotations many times. If I had reviewed someone else's work, my criticisms would have been so detailed that the worker would have gone crazy. This isn't about monetary or time costs. I'm only interested in creating the highest quality data.

@PINTO03091 where do you obtain the training data from ? isnt it cheaper to ask data annotation companies to do this for you as they have cheap labour ?

@mongonta555 完全に理解しました！

@PINTO03091 半角カナが正しいです(｀･ω･´)ゞ 由来は下記のYoutubeで語られていました。 #ｽﾀｯｸﾁｬﾝ #Stackchan #M5Stack youtube.com/watch?v=Bb18uC…

ｽﾀｯｸﾁｬﾝの勢いが凄すぎるのは気の所為だろうか… あと、半角カタカナの表現が正しいの？在庫が無いっていう悲鳴がたくさん聞こえるけど、持っているのに遊んでないのは僕だけかもしれない…

@kuronekodaisuki @tori29umai でも、小遣いでは維持できないですw

@PINTO03091 @tori29umai 革ジャンにあの動画見せたら、手を回してくれるかも

うーん、NVIDIA B300 VRAM 288GB が欲しい。

トップダウン方式のインスタンスセグメンテーションのほうが精度が高いのは当たり前なんだけど、インスタンス数に応じて推論時間が大幅に変わるのが許容できなかった。だからボトムアップ方式なおかつ３タスク合成のユニファイドモデルにしている。

@pengadaptasian github.com/PINTO0309/huma…

@pengadaptasian All joint areas of the human body were created using only bounding boxes (cx, cy, w, h). Instance masks were created using a custom-built CNN via a different path than the bounding boxes, and then synthesized using a data loader during training.

@Jun_Ohashi ノイズからノイズを生成するループになるので、僕はあまり良策ではないと判断しました。

@PINTO03091 VLMでデータセットを作るのにトライ中ですが、ぜんぜん思うように行ってくれないです LLMでコード書いてても、もういい俺がやる！てなるし、AI向いてないかもしれません

VLMでできる、と主張している人は、1ピクセル未満のサブピクセルレベルのアノテーションを試してから言ったほうが良い。

@airkatakana @giffmana @skalskip92 In my case, the original image resolution needed to be less than VGA. VLM couldn't handle that. Width x Height = 480x360 Left: Original image at 1x magnification Right: Image enlarged 11 times

@PINTO03091 @giffmana @skalskip92 i just saved you 6000 hours of labor

物体検出だけでこういうのができるのはかなり凄いことだと思うけど、ほぼ良さは伝わらないだろうな。

めちゃくちゃ面白いです。

さぁ、月曜日。仕事するよ。