Notre approche de la recherche

Partir de la question

Définissez la tâche, son contexte et les limites des méthodes actuelles. Déterminez ensuite ce qu’il faut faire évoluer dans les données, l’entraînement, l’architecture ou l’inférence.

Une dérive de personnalité peut venir du contexte ou des données d’entraînement. Une réponse tardive aux consignes de mouvement peut relever de la modélisation causale ou de l’ordonnancement. Chaque problème appelle une expérience ciblée.

Étudier l’intelligence sociale

Nous étudions la compréhension du contexte, des relations, des intentions et des limites, ainsi que la cohérence des personnages et des faits au fil des échanges.

Reconnaître une incertitude, accepter une correction et respecter le besoin d’espace font partie d’une interaction naturelle. Nous étudions ces comportements par les données, le post-entraînement et l’évaluation.

Génération et interaction continues

La génération en temps réel répond aux nouvelles entrées pendant la lecture des images précédentes. Nous étudions la continuité de l’identité, du mouvement, du rythme et de l’espace lorsque les consignes changent.

Nous évaluons ensemble cohérence temporelle, causalité et contrôle. Les mesures de vitesse précisent le matériel, la résolution, la durée, l’échantillonnage, les requêtes simultanées et le préchauffage, avec la latence initiale et le débit soutenu.

Des expériences comparables

Pour comparer les résultats, nous gardons autant que possible les mêmes entrées, versions et procédures. Nous consignons les identifiants des modèles, les prompts, les paramètres d’échantillonnage, les données et la configuration des évaluateurs.

Nous évaluons l’expérience auprès de plusieurs personnes, dans des situations variées et sur des échanges prolongés. Les évaluations automatiques tiennent compte des préférences des modèles évaluateurs, de la sensibilité aux prompts et de la variation des classements.

• Consigner séparément les expériences exploratoires et les résultats formels.
• Présenter à la fois la performance moyenne, l’amplitude des variations et les principaux modes d’échec.
• Mener des ablations ou des tests ciblés sur les changements clés pour identifier l’origine des améliorations.
• Préciser la couverture des échantillons et éviter d’ériger des expériences limitées en conclusions générales.

L’ingénierie dans la recherche

Un modèle en production doit fonctionner malgré les variations du réseau, les ressources limitées et les changements d’intention. Vitesse, mémoire, déploiement, reprise après incident et coût déterminent son utilité réelle.

Nous étudions modèles et systèmes ensemble. Mise en cache, ordonnancement, découpage des tâches et compression sont testés sur l’expérience finale, en préservant les exigences de qualité et de sécurité.

Des recherches vérifiables

Le partage des résultats dépend de leur maturité. Les articles expliquent les méthodes et les rapports documentent les évaluations. Publier du code ou des poids demande aussi d’examiner les licences, les droits sur les données et les risques.

Nous distinguons les axes de recherche, les versions expérimentales, les produits publiés et les engagements formels. Les fonctionnalités, performances et licences sont précisées dans la documentation et les notes de publication.