
柴田 淳-【新刊】みんなのPython第五版/Pythonで学ぶはじめてのプログラミング入門教室
93.4K posts

柴田 淳-【新刊】みんなのPython第五版/Pythonで学ぶはじめてのプログラミング入門教室
@ats
【新刊】みんなのPython第五版(二刷),Pythonで学ぶはじめてのプログラミング入門教室などの著者。Pythonで作ったコンテンツで世田谷に戸建てを建てました。たまに企業や学会,技術イベントに呼ばれてお話しします。



I have spent my entire life working on this and thinking about this for the past 4 years. I don't know what will happen in 20 years, but I can promise you that on the 5-10 year timescale, scientists are not out of their jobs. AI is going to massively accelerate the pace of science, increase productivity, let individual scientists make way more discoveries way faster, and is going to make science overall more fun. But the model is going to be collaboration between humans and AI, not replacement. The key difference here between science and e.g. software engineering is that science is not verifiable in any rapid/convenient way (unlike software), unlike programming. We still need humans for their scientific taste.

えーと、「ruby に〜という機能を実装しろ」てなメールが matz に殺到して、それぞれのアイデアはそりゃまあ実装すると便利かも知らんが、他の機能とのバランスを考えてないし、何より「実際に実装するのは俺なんだけど」という文脈(背景?)だったかな、と。 > アイデアには価値がない


小説の編集者とかライターさんが「作家は教育なんてできない」派閥が多いっぽくてびっくりしてる。漫画は「新人作家さんを見つけてきて(持ち込み来て)、商業掲載レベルまで育てる」というのが当たり前だと思うんだけど・・・。もちろんビジネスパートナーだけど。だから漫画が売れるようになるまで10年単位が必要とか言われてるのかと。クリエイティブの世界で即戦力が生えてくるなんてことなくない・・・?


1年間AIを使って本を書こうと試行錯誤した結果得た「AI使いこなし学習」の記録。これプログラミングにも通じるヤツだわ。 ・最初の数か月は、AI生成文を貼り付けるほど文章が自分らしくなくなり、品質も下がったという。 ・途中から、AIに続きを書かせるのではなく、「この場面は弱くないか」「キャラクターの動機は自然か」と問い返す用途へ変化。 ・さらに重要だったのは“コンテキスト量”で、チャット欄だけではなく、実際の原稿全体を読ませると結果が激変したと述べている。 ・コメント欄でも、「AIは勢いづけには強いが、長編の感情表現では粗が出やすい」という意見が多かった。 ・一方で、コーディングや音楽制作でも似た現象が起きており、「AIに全部任せる」から「部分最適ツールとして使う」方向へ利用者が成熟しているという議論も目立った。 ・「AIは魂を持たない」という古典的な議論から、「でも大量生産型のクリエイティブ職は確実に変わる」という現実的な議論まで、反応はかなり分かれていた。 面白いのは、この投稿が単なる「AIすごい」でも「AIはダメ」でもなく、“使い方の学習曲線”の話になっている点だ。多くの人は、最初に「小説を書いて」と命令して出てきた平板な文章を見て失望する。しかし実際には、AIの価値は「代筆」より「編集者」「壁打ち」「構造解析」に近いところにある、という感覚が共有されている。 そしてこれは、プログラミングの議論ともかなり似ている。コメント欄では、「最初は感動するが、大規模で複雑なものになると、人間が整合性管理をする仕事に変わる」という話が何度も出てくる。つまりAIは、“ゼロから創造する魔法”というより、「膨大な下準備や試行錯誤を高速化する装置」として定着し始めているのかもしれない。 reddit.com/r/artificial/c…



最近のLLMの研究開発動向まとめ。 ・最近のLLMは、性能向上よりも「長文処理のコスト削減」が重要テーマになっている。 ・Gemma 4は、層をまたいでKVキャッシュを共有し、長文時のメモリ消費を大幅に削減した。 ・Laguna XS.2は、レイヤごとに注意機構の“予算配分”を変え、高価な全体注意を節約している。 ・ZAYA1-8Bは、圧縮した潜在空間で直接Attentionを行うCCAを採用し、Attention自体の計算量を減らした。 ・DeepSeek V4は、残差接続そのものを多重化するmHCや、長文を圧縮して扱うCSA/HCAを導入している。 ・どのモデルも「Transformerを捨てる」のではなく、Transformer内部を少しずつ改造している。 ・結果として、コードや実装の複雑さは急激に増しており、現代LLMは“魔改造Transformer”の時代に入っている。 以前のLLM競争は、「パラメータ数を増やす」「学習データを増やす」という力技の側面が強かった。しかし最近は、推論時のメモリ帯域やKVキャッシュサイズ、Attention FLOPsの削減といった、かなりハードウェア寄りの最適化が前面に出てきている。特にReasoningモデルやAgent系では、長時間・長文脈を保持する必要があるため、単純に高性能GPUを積むだけでは限界が見え始めている。 興味深いのは、これらの改良が「Transformerの置き換え」ではなく、「Transformer内部の局所改造」で進んでいる点だ。Attention共有、圧縮Attention、残差経路の多重化など、個々は小さな変更に見えても、積み重なると実装は極端に複雑になる。GPT-2時代は数十行で説明できたTransformerが、2026年には巨大な“最適化の寄せ集め”になりつつあり、LLM開発が完全にシステム工学化していることを感じさせる記事だった。 magazine.sebastianraschka.com/p/recent-devel…



