国立情報学研究所は、約12兆トークンの学習コーパスを用いて「LLM-jp-4 8Bモデル」と「LLM-jp-4 32B-A3Bモデル」を開発し、オープンソースライセンスで公開しました。これらのモデルは、日本語および英語のベンチマークテストでGPT-4oやQwen3-8Bを上回る性能を達成しています。学習には、インターネットデータや政府・国会文書、合成データを含む大規模なコーパスが使用され、事前学習と中間学習を経て最適化されています。今後、さらに大規模なモデルの開発も進められています。