ichiroworks

GPT4のアーキテクチャーがリーク （信憑性は不透明なので注意） 内容↓ ・パラメータ数：GPT-4は120層で1.8兆パラメータ。 ・Mixture of Experts（MoE）：GPT-4ではMoEモデルが利用されており、16人のエキスパートが混合されたモデル。各エキスパートは約1110億パラメータで×16でトータル1.8兆パラメータになる。 ・推論：1つのトークンを生成するための各推論では、約2800億のパラメータと約560 TFLOPが使用される ・データセット：GPT-4は約13兆のトークンでトレーニングされている。テキストベースのデータに対しては2つのエポック、コードベースのデータに対しては4つのエポックが行われる。 ・GPT-4 32K：プレトレーニングフェーズでは8kのコンテキスト長が使用される。その後、8kのモデルをファインチューニングして32kのモデルが作られる。 ・バッチサイズ：バッチサイズは数日間にわたって徐々に増加し、最終的には6000万。実際のバッチサイズは１つのエキスパートあたり750万トークン ・トレーニングコスト：GPT-4のトレーニングには約2.15e25のFLOPSが必要。約25,000のA100 GPUを使用し、32%から36%のメモリフットプリントを持つ90から100日間実行される。A100の1時間あたりのコストが約1ドルだとすると、このランのトレーニングコストは約6300万ドル。 ・MoEのトレードオフ：MoEにはいくつかのトレードオフが存在し、より多くのエキスパートを使用することでより良い損失を得ることが研究で示されている。 ・GPT-4の推論コスト：GPT-4の推論コストは、175BパラメータのDavinchiの約3倍。GPT-4 8kの推論には、128個のA100を使用する場合、1kトークンあたりの推論コストは約0.0049セント、128個のH100を使用する場合は約0.0021セント ・Multi-Query Attention（MQA）：MQAを利用。KVキャッシュのメモリ容量を大幅に削減できる。 ・連続バッチ処理：OpenAIは可変バッチサイズと連続バッチ処理の両方を実装。推論コストを最適化すると同時に、ある程度の最大待ち時間を許容するため ・ビジョンマルチモーダル：GPT-4にはテキストエンコーダーとは別のビジョンエンコーダーがあり、クロスアテンションが存在。アーキテクチャはFlamingoに似ている。ビジョンモデルは、テキストのみの事前トレーニングの後に別の約2兆のトークンでファインチューニング。 ・Speculative Decoding：OpenAIはGPT-4の推論でSpeculative（投機的な）デコードを使っているかもしれない。(100%はわからない) ・推論アーキテクチャ：推論は128個のGPUからなるクラスターで実行。複数のデータセンターに配置され、異なる場所に複数のクラスターが存在