ทวีตที่ปักหมุด
ktam72/趣味個人開発
336 posts

ktam72/趣味個人開発
@ktam72
生成AI、LLM、AI coding 、個人開発に関連した情報をポストしたり、リポストしたり、リプしたりします。 その他、米国個別株、ETF、アニメ、レトロPC、が好きです。 よろしくお願いします🙌
GitHub เข้าร่วม Ocak 2010
915 กำลังติดตาม625 ผู้ติดตาม
ktam72/趣味個人開発 รีทวีตแล้ว

M5 Max 128GBモデルが届いたので、早速ローカルLLMの限界を検証してみました。
結論から言うと、この128GBという「統一メモリ」の暴力は凄まじいですね。RTX 4090を2枚挿ししている私の環境でも、VRAM 48GBの壁にぶつかって70B以上のモデルを動かすには工夫が必要でしたが、MacBook1台でそれが当たり前のように動く。
SIer時代、これだけの推論環境を整えるのに数百万のサーバー選定と数ヶ月の稟議が必要だったことを考えると、本当に恐ろしい時代になりました。llama.cppをMetal最適化でビルドすれば、Llama 3 70Bが「持ち運べる」レベルでサクサク動きます。
今回は、M5 Maxの性能を100%引き出して、自分専用の推論サーバーを構築する最短手順をまとめました。Python環境からMetalを叩く際のスワップ回避策など、実務でハマるポイントも網羅しています。
皆さんはローカルLLMを何に使っていますか?やはりRAG(検索拡張生成)での機密情報処理がメインでしょうか。それともコーディング支援?現場での具体的な活用アイデアがあればぜひ教えてください。
ai.negi-lab.com/posts/m5-max-l…
#M5Max #朝活
日本語

ktam72/趣味個人開発 รีทวีตแล้ว

IT業界の人が攻撃的?の件、不確実性も要因のひとつだと考える。
別にITに限った話ではないが、ソフトウェア開発は不確実性との戦い。顧客が解決してほしい問題は何か、顧客が本当に欲しているものは何か、何が答えなのか分からない不確実性の高い中で開発を進めなければならない。
不確実性は企画段階や要求定義といった上流工程ほど不確実性が高い。一方で要件定義、設計、実装と、下流工程に行くほど何をやるかが具体的に決まっていき、確実性が高くなっていく。どういうことかお気づきであろうか?
最後の最後には「本当にシステムとして実現できるかどうか」を答え合わせしなければならない。いくらビジネスサイドで「あれもやろう」「これもやりたい」と言ったところで実現できなければ絵に描いた餅。そしてその答え合わせの役割を担っているのがエンジニアなのである。
仕様に矛盾なく一貫性があるか、現状のシステム構成で吸収可能な仕様なのか、チームの技術スタックや技量で実装可能なのか、納期までに間に合うのか……といった多くの変数を「実現可能性」という名前のお皿に乗せ、検討し、答え合わせをする。
その答え合わせの結果として、「できません」と突き返さなければならない局面がある。そうした局面になった際「じゃあどうやったら実現できるのか」という話になる。何に妥協したら実現できるのか、仕様やシステムの一貫性を維持するためにどうしなければならないのかなど、「厳しく」突き詰めなければならない。「厳しく」というのは、システムには曖昧さが通用しないからである。システムは人間のように「忖度」しないのだ。エンジニアは、そうした「人間に忖度できないシステムの代理人」として話しているケースが多い。
こうした「厳しく」突き詰めるエンジニアの言葉は、「正論パンチ」として人の目に映るであろう。「正論はときに人を傷つける」という有名な言葉にあるように、人間は理想と現実のギャップを突きつけられると、認知的不協和が働き、不快感を覚えやすくなる。その不快感を「攻撃的だ」と認知してしまう、というのが実態ではなかろうか。
もちろん何を言ってもいいというわけではないし、あからさまに言葉選びが悪く人格を傷つけかねない言葉を使う人も実際いるわけで、それは許されないし改善しなければならない。
まとめると、不確実性が高いソフトウェア開発の中で、実現可能性の最後の門番としての役割をエンジニアが担っており、「人間に忖度できないシステムの代理人」としての厳しい発言が正論パンチとして映り、認知的不協和が働いて「攻撃的だ」と認知してしまう、「開発プロセスと人の認知の悪魔合体技」の結果生じる事象ではないかと考える。
日本語

@jun_song MacBook Proの24GBでollamaをLLMエンジンにしてAIコーディング試したけど、使い物にならなかった。8GBだと全然ダメなんじゃないかな。
日本語


















