人工知能の最前線を推進する非営利研究イニシアチブです。オムニモーダルAIシステム、効率的なアーキテクチャ、大規模合成データに焦点を当てています。
オムニモーダルAIを推進する非営利研究イニシアチブです。
テキスト、画像、音声、動画をほぼゼロ遅延で理解・生成する大規模言語モデルの開発。
音声、動画、データ入力の複数の同時ストリームをターンテイキング制約なしで処理するシステムの構築。
言語、文書、長コンテキストシナリオにまたがる事実知識に基づく大規模合成データセットの作成。
終日タスクメモリとコンテキスト内学習のための100万以上のトークンへの効率的なアテンション機構のスケーリング。
A gauge-theoretic framework that reframes LLM inference from a process of physical data movement to one of dynamic coordinate transformation, leveraging the group properties of RoPE to rotate queries over a static KV cache manifold.
miniG をご紹介します。100万トークンのコンテキストウィンドウを持つ90億パラメータのビジョン言語モデルです。1億2000万以上のエントリを持つ大規模な合成データセットでトレーニングされ、miniGは広範な人間の嗜好アラインメントなしにパフォーマンスの限界を押し広げます。
