Sabitlenmiş Tweet
I trained an LLM using a few thousand books from 17-19 centuries Japan. I named the model Karamaru. The model can chat in classical Japanese from the Edo period and also reflecting the world from that era. So I asked the model,
Me: Do you know what cat memes are??
Karamaru: I am familiar with cat memes. They are a curious phenomenon that became popular in an era far beyond the world I am from.
Sakana AI@SakanaAILabs
江戸時代の古文風テキストで会話できるチャットボット「からまる」を公開 ブログ：sakana.ai/karamaru/ デモ：huggingface.co/spaces/SakanaA… Sakana AIが江戸時代のテキストで学習した「からまる」は現代日本語で質問すると、江戸時代の世界観と当時の古文風テキストで回答してくれます。 「からまる」は、独自に構築した江戸テキストデータセットを元に、一貫して江戸時代の世界観を反映したテキストで回答します。このデータセットは、数千点以上の江戸時代の書物などを元に構築したもので、人間が作成したデータに加えて、今までテキスト化されてこなかった1,000冊以上の書物にもAIくずし字OCRを適用し、新たなデータを作成しました。この膨大なデータをもとに、江戸の世界に関して「からまる」が何を記憶し、回答できるようになったか、ぜひデモで会話しながら確かめてください。 また、本モデルは、分野に特化した大規模言語モデルの一例として、数千万文字規模の継続学習でも十分に有用な成果が得られることを示しています。これは、他の分野での同様のニーズへの展開可能性を示唆しています。 現代の知識を持ちながら江戸時代の世界観で自然に応答することは、人間には非常に困難です。しかし「からまる」は、それを実現し、時代を超えて過去の文化を身近に体感できるため、研究や教育分野での幅広い活用が期待されます。
English
