Rapporten (4)
Reproductie van de literaire rollenspelevaluatie CoSER. Scores verschilden sterk per beoordelingsmodel, gesprekslengte en evaluatieronde. De ranglijst is ingetrokken. Dit rapport beschrijft de bevindingen, afwijkingen en beperkingen.
Evaluatie van 77 personages uit Chinese fictie op 12 criteria met CharacterRM. Het rapport herleidt de implementatie tot de code en data van de auteurs, beschrijft de controles bij ingebruikname en onderzoekt numerieke afwijkingen.
Reproductie van het MiniMax-protocol, met tests van het beoordelingsmodel en de stabiliteit van de ranglijst. Het rapport beschrijft gecontroleerde instellingen, implementatiekeuzes, versiewijzigingen en de omvang van de tests.
Beschrijving van de CharacterBench-opzet, van de prompts in tabel 11 tot de contextopbouw en scores van CharacterJudge. Elke instelling is herleid tot het artikel of de officiële code.
ONDERZOEKSRICHTINGEN
We onderzoeken modellen, data en systemen aan de hand van concrete taken.
We bestuderen bewegingsbesturing, visuele continuïteit en de afstemming van geluid tijdens live-interactie. We meten consistentie, overgangen en reactietijd.
OmniFlow ontdekkenWe onderzoeken generatie vanuit tekst, beeld, video en geluid, waaronder causale generatie per blok en professionele 4K-film. Acteerwerk, scèneopbouw en complexe bewegingen worden samen onderzocht.
OmniX-1 ontdekkenWe meten kwaliteit, vertraging en rekenkosten samen. We onderzoeken distillatie, caching en planning van rekentaken voor realtime generatie.
OmniFlow ontdekkenWe onderzoeken hoe gespreksdata en audiovisuele data bijdragen aan training. Controleerbare evaluaties sturen het onderzoek naar RSI-zelfverbetering op schaal.
OmniX-1 ontdekkenWe documenteren de herkomst van data, prompts, beoordelaars en statistische instellingen. Onderzoek naar reproduceerbaarheid legt technische keuzes, afwijkingen en beperkingen vast.
SociaBench ontdekkenONDERZOEKSSAMENWERKING
Sociale intelligentie
We onderzoeken hoe identiteit, emotie, overtuigingen en relaties gesprekken beïnvloeden. Daarbij verbinden we sociale toestand en gebeurteniscontext met consistent gedrag in langere gesprekken.
OmniSoul ontdekken