Ryuichiro Higashinaka

83 posts

Ryuichiro Higashinaka

Ryuichiro Higashinaka

@RHigashinaka

Katılım Temmuz 2021
1 Takip Edilen445 Takipçiler
Ryuichiro Higashinaka
Ryuichiro Higashinaka@RHigashinaka·
NII/LLMCの対話WGより,音声URL集「CC Audio」「Archive.org Audio Dataset」を公開しました.日本語だけで48,000時間超のデータにアクセス可能です.大規模音声モデルの構築や多様な音響のモデリングにご活用ください. nii.ac.jp/news/release/2…
日本語
0
19
54
4.8K
Ryuichiro Higashinaka retweetledi
国立情報学研究所(NII)
✏️ニュースリリース 約12兆トークンの良質なコーパスで学習した新たな国産LLM「LLM-jp-4 8Bモデル」「LLM-jp-4 32B-A3Bモデル」をオープンソースライセンスで公開 ~一部ベンチマークでGPT-4oやQwen3-8Bを上回る性能を達成~ nii.ac.jp/news/release/2…  大学共同利用機関法人 情報・システム研究機構 国立情報学研究所大規模言語モデル研究開発センター(LLMC)は、同センターが主宰するLLM研究開発コミュニティ「LLM-jp」の活動の中で大規模言語モデル(LLM)のフルスクラッチ学習を実施し、約86億パラメータの「LLM-jp-4 8Bモデル」と約320億パラメータのMoEモデル「LLM-jp-4 32B-A3Bモデル」をオープンソースライセンスで一般公開しました。公開モデルの学習では、オープンソースAIの定義(OSAID)に配慮し、第三者も入手可能な良質な学習コーパスの収集・選別・構築を行い、インターネット上の公開データや政府・国会の文書、合成データなどからなる約12兆トークンの学習コーパスを整備・使用しました。公開モデルは最大で約6万5千トークンの入出力まで処理でき、言語モデルの日本語理解能力を測る「日本語 MT-Bench」、英語理解能力を測る「MT-Bench」において、強力な多言語LLMである「GPT-4o」や「Qwen3-8B」を上回る性能を達成しています。  LLMCでは「LLM-jp-4 8Bモデル」とMoEモデル「LLM-jp-4 32B-A3Bモデル」を活用してLLMの透明性・信頼性の確保に向けた研究開発を進めていきます。また、現在、より大規模なパラメータを備えたモデルの開発を進めており、2026年度に順次公開予定です。
日本語
12
608
2K
360.2K
Ryuichiro Higashinaka
Ryuichiro Higashinaka@RHigashinaka·
LLM-jpの研究紹介動画でモデレータを担当しました.LLM開発の現状や最先端の取り組みだけでなく,研究者たちの想いやこだわりまでたっぷり語っていただいています.👀 LLM開発に関心のある方はぜひご覧ください. youtube.com/watch?v=MceDQP…
YouTube video
YouTube
日本語
0
10
28
4.9K
Ryuichiro Higashinaka
Ryuichiro Higashinaka@RHigashinaka·
@kumazo_2 NVIDIAのPersonaPlexでは,対象タスクや人格に関する合成データを作成し,ベースのモデルをファインチューニングすることで,そのようなことを実現しています.同様のアプローチが有効かと思います.
日本語
1
0
1
121
くま
くま@kumazo_2·
@RHigashinaka 会話が自然でスゴイんですけど、これって特定のタスク向けに発言内容とか人格をカスタムできるものなんでしょうか?
日本語
1
0
0
103
Ryuichiro Higashinaka
Ryuichiro Higashinaka@RHigashinaka·
NII/LLMCの対話WGの成果として,日本語リアルタイム音声対話モデル LLM-jp-Moshi-v1 を公開しました!LLM-jpで独自に収集したデータを用いて学習しており,商用利用可能なライセンスです.詳しくは下記のリリースをご覧ください. nii.ac.jp/news/release/2…
日本語
2
53
150
26.6K
Ryuichiro Higashinaka
Ryuichiro Higashinaka@RHigashinaka·
@kwashizzz J-CHATで学習したモデルのApache 2.0公開は問題ないと考えています.情報解析(著作権法30条の4)においてはCC BY-NCの制限を受けず,またデータとモデルは法的に別物でありライセンスは継承されません.さらに,事前学習の性質上,元音声がそのまま再現される可能性も極めて低いと考えております.
日本語
2
13
55
33.2K
ワッシー
ワッシー@kwashizzz·
公開おめでとうございます!!! ライセンスに関して、一点確認したいのですが、J-CHATを使用しているが、Apacheライセンスなのは、事前学習に使っただけのため、または権利関係を調整したおかげ、な感じでしょうか? J-CHATを使いたいのですが、ライセンス的に、使えていないため、教えていただけると、ありがたいです。
日本語
1
0
9
2.4K
Ryuichiro Higashinaka
Ryuichiro Higashinaka@RHigashinaka·
名古屋大学情報学部・情報学研究科の公開セミナー(9/20)に登壇させていただきます📢 申込み締切が9/17となっておりますので,ご興味のある方はお早めにお申込みください.
Ryuichiro Higashinaka tweet media
日本語
0
0
3
826
Ryuichiro Higashinaka
Ryuichiro Higashinaka@RHigashinaka·
Our lab's research is featured in this article. In addition to J-Moshi, it covers our robot experiments and other work. Please take a look if you're interested!
Nagoya University@NagoyaUniv

[Research] 🤖🇯🇵Researchers at @nagoya_univ have created #JMoshi, the first publicly available #AI designed for natural Japanese conversation patterns. It captures natural dialogue with "aizuchi" interjections while speaking and listening simultaneously. bit.ly/44ITdkz

English
0
6
9
2.8K
Ryuichiro Higashinaka retweetledi
Atsumoto Ohashi
Atsumoto Ohashi@atsumoto_ohashi·
📢 Just released an unofficial codebase for finetuning Moshi by @kyutai_labs ! This repo provides scripts from data prep to training and inference on your own data. We used it to build J-Moshi 🇯🇵, the Japanese version of Moshi. github.com/nu-dialogue/mo…
English
0
3
17
2K
Ryuichiro Higashinaka
Ryuichiro Higashinaka@RHigashinaka·
J-Moshiの学習スクリプトを公開しました.ぜひご自身のデータ等でご活用ください‼️
Atsumoto Ohashi@atsumoto_ohashi

📢 Moshi (by @kyutai_labs) のファインチューニングコード(非公式)を公開しました!🤗 Accelerate と DeepSpeed をベースに実装していて、データ準備から学習・推論までを行えます(日本語READMEもあります)。J-Moshi の学習でも使用したものです。 github.com/nu-dialogue/mo…

日本語
0
7
24
4K
Ryuichiro Higashinaka
Ryuichiro Higashinaka@RHigashinaka·
昨日第7回対話システムライブコンペティションの本選が行われ本日表彰式が行われました.シチュエーショントラックは1位がTabiToc(岡山県大),2位がdenLab(千葉大),3位がCITAR(千葉工大)でした.タスクトラックは1位がTabiToc(岡山県大),2位がVDSA(リコー)でした.おめでとうございます!
Ryuichiro Higashinaka tweet mediaRyuichiro Higashinaka tweet mediaRyuichiro Higashinaka tweet mediaRyuichiro Higashinaka tweet media
日本語
2
18
33
7.7K
Ryuichiro Higashinaka
Ryuichiro Higashinaka@RHigashinaka·
本イベントでは,本選の前と後で対話システムに関する問題意識がどのように変化したかを参加者アンケートによって調査しました.その結果,ターンテイキングやリアルタイム性の課題が浮き彫りになりました.
Ryuichiro Higashinaka tweet mediaRyuichiro Higashinaka tweet media
日本語
0
4
11
1.5K
Ryuichiro Higashinaka retweetledi
ナゾロジー@科学ニュースメディア
【まるで生きた人間】相手の話を聞きながら話せる通話型AI「J-Moshi」を開発! nazology.kusuguru.co.jp/archives/170123 名大は、まるで友人同士のような自然な会話ができる通話型AIの開発に成功したと発表。このAIは相手の話に相槌を打ちながら会話ができます。その驚きの会話の様子をお聴き下さい。
ナゾロジー@科学ニュースメディア tweet media
日本語
34
123
560
53.5K