@naoski おお、これです！なんかいい話だったという記憶しかなかったんですが、内容も結構そろっていて、具体的に覚えてなくても、強い影響を受けてそうだなあと思いました。良い記事ありがとうございます！地頭みたいなものも、それはそれであるだろう、と僕は思ってしまいますが
日本語
shinichiro hamaji
3.8K posts
@shinh hamajiさんの、昔読んだけど忘れちゃった記事って、私のこのブログポストですかね。
b.log456.com/entry/20120110…
shameless plug ご容赦。
日本語
このポストを書いた時にふにゃふな考えてたことを書きました: #p01" target="_blank" rel="nofollow noopener">shinh.skr.jp/m/?date=202602… LLMのおかげであれこれ考えたりできて、LLMは本当にあらゆる意味でぼくを豊かにしてくれているなぁ、ラッキーという気持ち
shinichiro hamaji@shinh
in context learning を学習とは言わないだろうというツッコミが多いけど、どっちかというと事前学習含めて帰納的AIは全て「参照して答えているだけ」感がある（し、それこそが知性という気もする（ぷよぷよクソつよいmayahさんが「ぷよぷよはテーブル引きしてるだけ」と言っていたので））
日本語
@kmizu in-context learning の話でいうと、learnが日本語の学習より意味が広く、軽い意味を含むのは気がついていませんでした。ありがとうございます！が、個人的には、 ML 業界への希望として、 in-context adaptation あたりで呼んで欲しさはあります
日本語
@kmizu 「in context learning を学習とは言わないだろうというツッコミが多いけど」の部分に反論いただいたのだと思うのですが、ぼくはみずしまさんのポストに対して直接意見がなく、事前学習どころか人類ですら「参照して答えているだけ」みたいな混ぜっかえす気持ちをつぶやいただけではあります
日本語
in context learning を学習とは言わないだろうというツッコミが多いけど、どっちかというと事前学習含めて帰納的AIは全て「参照して答えているだけ」感がある（し、それこそが知性という気もする（ぷよぷよクソつよいmayahさんが「ぷよぷよはテーブル引きしてるだけ」と言っていたので））
kmizu@kmizu
「参照して答えているだけ」は専門的に正しくありません。in-context learning（文脈中学習）といって、ある程度高性能なモデルはプロンプトから学習ができますし、そのin-context learningができるからこそ、重みが固定でもこれだけ凄いことができるので（もちろん、LLMのtrainingという意味での学習とは違うのですが）。
日本語
@skyaozora とても良い例だと思います、ありがとうございます！相対的に強い人がテーブル引きで「定石」とやってることを相対的に弱い人が「ええ……？」となるの、グラデーションが無限につらなってる印象があり、3*4は九九でテーブルを作って、プログラマだと8*128とかもできて、の延長な印象を持っています
日本語
定期「人募集中ですよー」ポストです。「こういう仕事はAIに駆逐されるなぁ」と実感するからこそ、今のうちにやっておくと良い、とか思っています。自分自身が自分自身を駆逐する一因になれると、愉快なのだけど。会社の募集ページにぼくのなんかが出てたりします: preferred.jp/ja/careers/int…
日本語
@rui314 わかる気がします。「この作業はAIの方が早いかもな……まあええか(現AIの微妙な点を思い出して合理的ぽい理由とするが、単に自分で理解して、自分で書きたいだけ)」みたいになってる気がします。現代、このまあええかが許されうる、最後の時代かもですよねえ
日本語
AIでプログラミングが全部できるようになるかもな、とか言いつつ最近は朝から晩までプログラミングしてる。
ソフトウェアエンジニアが良い職業と思われるずっと前の、何かよくわからない連中の暗い趣味と考えられてた頃からずっとプログラミングをしてるわけで、生まれ持ってのやる気が違う。
日本語
MNIST ブームなので、昔作った、重みとモデル実装と、デモのためのHTMLやJS全部入りで 2kB のオモチャがあるのではっておく: shinh.skr.jp/t/mnist_2k.html モデル自体は300paramだけど95%しか出てない
日本語
両社とも、4000億みたいな大きな数字は正直「よくわからないけど大きい」くらいの数字で、ぼくも「それはおかしいやろ」の感覚もあるんだけど、でもそれはOpenAIの1%にも満たないらしいし、主流から外れて1%のニッチを形成する可能性も、1%の可能性で主流になる可能性も、ある気はするんだけどなあ、と
日本語
sakanaやpfn批判、わかる話もあるけど、まー相対的に1%以下の規模の会社が、大きな会社と完全に同じ戦いかたできないのは、それは勘弁して欲しいかなぁ。PFNに関しては、個人的には、ワンチャンうまくいくよなぁ、が入社以来そんな感じ。僕のまわりだとMN-Core L1000で期待上がってるかなぁ
日本語
AHC参加、LLM使う前提だとわりとカジュアルにできそうで良いかもしれない。kaggleゴルフみたいに飲み屋で進められるくらいの体制を構築せねば
日本語
#AHC056 興味ある問題だったから参加して、アイデア出すからLLMちゃんコード書いてね！をやっていた。言うて3割くらいは自分で書いたか。やって欲しいことを全然やってくれなかったのと、そのやって欲しいこと実現しても微妙ぽかったあたりでやる気と時間がつきてしまって終了、239位は暫定なのかな
日本語
久しぶりに昇進しまして、11月から Google で Principal Engineer (L8 / Director相当) になりました。けっこう大変だったので素直に嬉しいです。家族、いろいろ一緒にやってくれた方々、議論やフィードバックを頂いたすべての皆様に感謝します
日本語
Polytopia ウィークリーチャレンジ、久々にマジメにやったら1位！夜中2時半に起きて2回挑戦できる状態で、5時くらいに1回終わって1位かと思ったら、別の人がスコア増やして2位になってて、残念寝るかなあ、と思ったけど気を取り直してもう一回やったらギリ勝てた。朝9時締め切りなので時間もギリギリ
日本語
@zatsu308 なるほどです！昨日のgistを見直してコードが画像と同じ445Bになったのですが、これをzlibでは205Bになっています。自分の変数名remapをしてzopfliだと198Bになるので、圧縮だけの差分だったりしませんか？なんにせよこれが186Bになるのはすごいですね！コードや解説の公開予定はありますでしょうか？
日本語
おお、319はやっぱhash使う(つまり答え埋め込み)が短いんですねえ。解答が1bitなのがわかりやすい048は埋めたやつをチームメイトが改善したやつが最後まで最短だったぽいが、319はあまりうまく使えなかった記憶
エチレン@ethylene_66
319でhash使ってて草 これはなに？？？？？？
日本語
プロンプトはこれに落ちついた
Run
./scripts/make_instruction.py --select-important 119
and follow the instruction outputted
真のプロンプトはコマンドを実行すると出るので、コピペで大量にタスクを生やせる。あとは酒飲みにでかけ、酒飲みながらcodexの成果をスマホで選んでた
日本語
好きなPR1: github.com/shinh/arc-agi-…
zlib の秘孔をつき、なぜかこれで圧縮後のサイズが減る
好きなPR2: github.com/shinh/arc-agi-…
[... in zip(r,*g)]for r in g] の形、自分で気付いてなかったから、LLMにゴルフテクを教えてもらった最初の例になった
日本語
kaggle.com/competitions/g… に参加してました。codexのweb UIを大量に使った。ゴルフはもちろん、圧縮ツールとかも作ってもらった。ゴルフで大量に使って、PR数が2000近くなってた。途中でやる気なくなったけど、同僚にチームマージ誘われて、少しなんかして終わった
日本語