LLM Inference on a Static Manifold: <span class="mil-thin">A Gauge-Theoretic Framework</span>

LLM Inference on a Static Manifold: A Gauge-Theoretic Framework

 <h5>Modell-Highlights</h5> <p><b>Parameter:</b> 9B LLM (initialisiert von GLM-4-9B-Chat-1M) + optionales 5B ViT</p> <p><b>Kontextfenster:</b> 1.000.000 Tokens</p> <p><b>Modalitäten:</b> Text und Bild (mit Locked-Image Tuning)</p> <p><b>Trainingsdaten:</b> Über 120M Einträge synthetischer Datensatz, generiert aus einem 20B Token Korpus.</p>
<table> <tbody><tr> <th>Fähigkeit</th> <th>Beschreibung</th> <th class='highlight-column highlight-header'>miniG</th> <th>Gemini-Flash</th> <th>GLM-4-9B-Chat</th> <th>Llama 3.1 8B Instruct</th> </tr> <tr> <td class='bold'>MMLU</td> <td>Repräsentation von Fragen in 57 Fächern<br>(inkl. MINT, Geisteswissenschaften und andere)</td> <td class='highlight-column bold'>85,45</td> <td>78,9</td> <td>72,4</td> <td>69,4</td> </tr> <tr> <td class='bold'>IFEval</td> <td>Bewertung der Anweisungsbefolgung<br>mit verifizierbaren Prompts</td> <td class='highlight-column'>74,22</td> <td>-</td> <td>69</td> <td class='bold'>80,4</td> </tr> <tr> <td class='bold'>GSM8K</td> <td>Herausfordernde Mathematikaufgaben<br>(5-Shot-Bewertung)</td> <td class='highlight-column'>75,89 (5-shot)</td> <td class='bold'>86,2 (11-shot)</td> <td>79,6</td> <td>84,5 (8-shot CoT)</td> </tr> <tr> <td class='bold'>HumanEval</td> <td>Python-Code-Generierung auf einem<br>zurückgehaltenen Datensatz (0-shot)</td> <td class='highlight-column bold'>79,88</td> <td>74,3</td> <td>71,8</td> <td>72,6</td> </tr> <tr> <td class='bold'>GPQA</td> <td>Herausfordernder Datensatz mit Fragen<br>aus Biologie, Physik und Chemie</td> <td class='highlight-column'>37,37</td> <td class='bold'>39,5</td> <td>34,3 (base)</td> <td>34,2</td> </tr> <tr> <td class='bold'>Kontextfenster</td> <td>Maximale Kontextlänge,<br>die das Modell verarbeiten kann</td> <td class='highlight-column bold'>1M</td> <td class='bold'>1M</td> <td>128K</td> <td>128K</td> </tr> <tr> <td class='bold'>Eingabe</td> <td>Unterstützte Eingabemodalitäten</td> <td class='highlight-column highlight-footer'>Text, Bild<br>(einzelnes Modell)</td> <td>Text, Bild, Audio, Video</td> <td>Nur Text</td> <td>Nur Text</td> </tr> </tbody></table>
<p><strong><a href='https://huggingface.co/CausalLM/miniG' target='_blank'>Entdecken Sie das Modell auf Hugging Face &rarr;</a></strong></p> 

miniG 9B VLM mit <br /> <span class="mil-thin">1M Kontextfenster</span>

Einführung von miniG 9B

 <h5>Die Anime-Präsentation: Ein Proof of Concept</h5> <p>Um unsere Methode zu demonstrieren, haben wir einen umfangreichen Anime-thematisierten Datensatz veröffentlicht. Wichtige Merkmale:</p> <ul> <li><strong>Größe und Umfang:</strong> Über 1 Million Einträge und ~440 Millionen GPT-4/3.5 Tokens.</li> <li><strong>Vielfältige Quellen:</strong> Aus einer Vielzahl von Online-Anime-Communities und Wikis bezogen.</li> <li><strong>Fortgeschrittene Verfeinerung:</strong> Sorgfältig mit GPT-3.5 und GPT-4 verarbeitet, um Klarheit zu verbessern und Rauschen zu reduzieren.</li> <li><strong>Kostenaufschlüsselung:</strong> Geschätzte Generierungskosten von ~25.000 $, wobei GPT-4-32K mindestens 25% der Daten ausmacht.</li> </ul> <p><strong><a href='https://huggingface.co/datasets/CausalLM/Refined-Anime-Text' target='_blank'>Erkunden Sie den Datensatz auf Hugging Face &rarr;</a></strong></p> 

Unsere "Geheimzutat" für <span class="mil-thin">synthetische Datensätze</span>

Das LLM-Potenzial mit unserer "Geheimzutat" für synthetische Daten erschließen

 <h5>Wichtige Merkmale</h5> <ul> <li><strong>Verbessertes Retrieval:</strong> Bessere Fähigkeiten zum Abrufen und Verarbeiten von Informationen.</li> <li><strong>Erweiterte SFT:</strong> Fortgeschrittene Supervised-Fine-Tuning-Techniken für verbesserte Leistung.</li> <li><strong>Qwen-7B-Basis:</strong> Aufbauend auf der robusten Qwen-7B-Foundation für überlegene Verständnisfähigkeiten.</li> <li><strong>Chat-optimiert:</strong> Speziell für konversationelle Interaktionen optimiert.</li> </ul> <p><strong><a href='https://huggingface.co/CausalLM' target='_blank'>Erkunden Sie unsere Modelle auf Hugging Face &rarr;</a></strong></p> 

CausalLM 7B <span class="mil-thin">Chat-Modell</span>

CausalLM 7B - Ein neues Chat-Modell mit verbessertem Retrieval und SFT

 <h5>Hinweise zur Nutzung</h5> <p>Das Guanaco-Modell wurde nicht für schädliche, voreingenommene oder explizite Inhalte gefiltert. Daher können Ausgaben generiert werden, die nicht den ethischen Normen entsprechen. Bitte seien Sie bei der Verwendung des Modells in Forschung oder praktischen Anwendungen vorsichtig.</p> <h5>Modellbeschränkungen</h5> <p>Guanaco ist ein 7B-Parameter-Modell, und alle wissensbasierten Inhalte sollten als potenziell ungenau betrachtet werden. Wir empfehlen dringend, überprüfbare Quellen für wissensbasierte Antworten bereitzustellen und Benutzer über diese Einschränkung zu informieren, um die Verbreitung falscher Informationen zu verhindern und Transparenz zu wahren.</p> 

Sprache

Forschungsbereiche

Verbinden

Über CausalLM

CausalLM Omni Forschungsinitiative

Gestaltung der Zukunft
künstlicher Intelligenz

Entwicklung von KI-Systemen
der nächsten Generation

Weiterentwicklung
omni-modaler

Künstlicher Intelligenz

Omni-Modale
Basismodelle

Echtzeit
Multi-Stream-Verarbeitung

Mehrsprachige
Wissenssynthese

Millionen-Token
Kontextfenster

Neueste Forschungsupdates:

LLM Inference on a Static Manifold: A Gauge-Theoretic Framework

Einführung von miniG 9B

Sprache

Forschungsbereiche

Verbinden

Über CausalLM

CausalLM Omni Forschungsinitiative

Gestaltung der Zukunft künstlicher Intelligenz

Entwicklung von KI-Systemen der nächsten Generation

Weiterentwicklungomni-modaler

Künstlicher Intelligenz

Omni-Modale Basismodelle

Echtzeit Multi-Stream-Verarbeitung

Mehrsprachige Wissenssynthese

Millionen-Token Kontextfenster

Neueste Forschungsupdates:

LLM Inference on a Static Manifold: A Gauge-Theoretic Framework

Einführung von miniG 9B

Gestaltung der Zukunft
künstlicher Intelligenz

Entwicklung von KI-Systemen
der nächsten Generation

Weiterentwicklung
omni-modaler

Omni-Modale
Basismodelle

Echtzeit
Multi-Stream-Verarbeitung

Mehrsprachige
Wissenssynthese

Millionen-Token
Kontextfenster