Onze onderzoeksaanpak

Begin bij de vraag

Bepaal de taak, de context en de beperkingen van bestaande methoden. Onderzoek vervolgens welke aanpassing nodig is in de data, het trainingsdoel, de architectuur of de inferentie.

Een veranderende persoonlijkheid kan samenhangen met contextbeheer en trainingsdata. Een trage reactie op bewegingsinstructies kan liggen aan causale modellering of planning. Elk probleem vraagt om een gericht experiment.

Sociale intelligentie onderzoeken

We onderzoeken hoe modellen context, relaties, intenties en grenzen begrijpen. Daarbij kijken we naar consistente rollen en feiten, emotie, humor en meningsverschillen.

Onzekerheid erkennen, correcties accepteren en de gebruiker ruimte geven horen bij natuurlijke interactie. We onderzoeken dit gedrag via data, post-training en evaluatie.

Doorlopende generatie en interactie

Realtime generatie reageert op nieuwe input terwijl eerdere beelden al worden afgespeeld. We onderzoeken hoe identiteit, beweging, timing en ruimtelijke verhoudingen samenhangend blijven wanneer instructies veranderen.

We beoordelen temporele consistentie, causaliteit en controle samen. Snelheidsmetingen vermelden hardware, resolutie, duur, sampling, gelijktijdige verzoeken en opwarming, inclusief de eerste reactietijd en de aanhoudende doorvoer.

Vergelijkbare experimenten

Vergelijkingen houden input, versies en procedures zo veel mogelijk gelijk. We leggen modelversies, prompts, samplinginstellingen, evaluatiedata en de configuratie van beoordelingsmodellen vast.

We beoordelen de ervaring met meerdere beoordelaars, verschillende situaties en langere gesprekken. Bij automatische evaluatie kijken we ook naar voorkeuren van beoordelingsmodellen, gevoeligheid voor prompts en variatie in ranglijsten.

• Leg verkennende experimenten en formele resultaten apart vast.
• Toon gemiddelde prestaties samen met de spreiding en de belangrijkste faalpatronen.
• Voer ablaties of gerichte hertests uit op belangrijke wijzigingen om te achterhalen waar verbeteringen vandaan komen.
• Vermeld duidelijk wat de steekproef dekt en maak van beperkte experimenten geen algemene conclusies.

Techniek als onderdeel van onderzoek

Een model moet blijven werken bij een wisselend netwerk, beperkte middelen en veranderende gebruikersvragen. Snelheid, geheugengebruik, implementatie, herstel en kosten bepalen of het in de praktijk bruikbaar is.

We onderzoeken modellen en systemen samen. Caching, planning, taakverdeling en compressie worden getoetst aan de uiteindelijke ervaring, met behoud van de vereiste kwaliteit en veiligheid.

Onderzoek dat te controleren is

Hoe we resultaten delen, hangt af van hun ontwikkelfase. Artikelen beschrijven methoden en rapporten documenteren evaluaties. Bij het vrijgeven van code of modelgewichten beoordelen we ook licenties, datarechten en risico’s.

We onderscheiden onderzoeksrichtingen, experimentele versies, uitgebrachte producten en formele toezeggingen. Productdocumentatie en release-informatie beschrijven de beschikbare functies, prestaties en licenties.