iwancof - いわんこ

ハーネスにて一番工夫するべきはcompactionやね

Tenstorrent Tech Talk #9 に参加を申し込みました！ tenstorrent.connpass.com/event/400605/?… #TenstorrentTechTalk

@Cra2yPierr0t ありがたい！！！参加登録出来ました！

@Iwancof_ptr tenstorrent.connpass.com/event/400605

LLMにいろんな工夫やシステムを詰め込んでて、俺も全容を把握してない。 けどコンテキスト保持能力は本当に上がってるらしい。って言ってた。

マジか〜。初耳… 僕もどうしようかな。

男のラストエリクサー症候群だから、産まれる時我慢したかいがあり、まだあと3回泣ける。

#hacktheon やっていこうか

あと噂で聞いていた、Sonnet-5は相性が良いかという話、ベンチマークを取ったらマジだった。

Fableが消えてもOpusで同じような性能が出来るようにツールを整備して！ って頼んだら、原理的に無理ですって言われた。

@ivanvnucec I forgot pushing code. I pushed.

@Iwancof_ptr i dont see the code in the repo. am i missing something?

HackRF Oneで地デジ・フルセグの送信出来た！ 地デジ(ISDB-T Layer-B 64QAM)の規格で、地デジと同じ解像度をテレビにリアムタイムで映せる。 放送局名、番組表等メタデータも表示出来てて達成感ある。 F端子とSMAのGroundを取るためにアルミホイル使ってるのは見逃して… github.com/Iwancof/HackRF…

最近Kernel Exploit追っていないが、トレンドは変わって居るらしいな。 極小primitiveとeBPF使ってる的なことを言われた。 おじさんdirty pagetableで止まってるよ。

NHKを受信できるなら支払い義務が発生するが、(電波法の範囲内で)勝手に送信してるだけなら問題ないだろう。フハハハハ。 奴らが家に来ても「いや、うちには送信機しかありませんね」と答える。

さっき聞いてた曲、 Ⅴm→Vdim→Vaug→Vm7 っていうあまりにもキモすぎるコード進行で、それがメロディに調和してて意味がわからん。 初めて出会ったパターンだ。どういう解釈をすればいい？

MTPってMoEとも相性が良さそうだな。超並列化という意味では、適切にExpertを分割すれば一つのGPUでタスクが重なる可能性が減るので、あまりデメリットにならないのかも。

COCONUT vs Soft Thinking 論争も終わらないし、潜在推論って意味あるんスカね。だって大部分の学習データはトークンから埋め込んだベクトルなので。 一旦トークンを介した方が良さそうな気もしなくもない。

今日はMulti Token Predictorの理論的な部分、例えばMTPの確率分布を採用するか棄却するかで上手く式を立てると、主モデルと確率分布と一致する原理、MTP確率分布から確信度を推定する為の方法論、Diffusion Modelの応用等の論文を読んでいて、感心していた。 Anthropicのfastモードはこれかもね。

弊社では勉強会と称し、好きなことを業務時間にやって良い(?)時間があります。 家にテレビが無いため会社にて週イチで進めており、先週は受信、今週は送信をやったから来週はdボタン関連をやろうかな。 テレビって実は内部で古い規格のJavaScriptが動いてて、どんな事まで出来るのか楽しみ。