Meta、ネイティブマルチモーダルAI「Llama 4」発表　最小モデルは「H100」1枚で利用可能

また、100以上の言語でそれぞれ10億以上のトークンを含む、「Llama 3」の10倍以上の多言語トークンで事前学習されており、オープンソースのファインチューニングの取り組みを強化したという。 3つのモデルの違い Scoutは、16のエキスパートを持つ170億のアクティブパラメータモデルで、コンテキストウィンドウは1000万ト...