CoSER: An Independent Reproduction Report
在名著原文场景中由模型演绎全部角色(GCA)的复现记录。忠实复跑后发现,“对照原著找缺陷扣分”并不能作为排名依据:分数随裁判、对话长度和运行次数变化的幅度,和模型之间的差距一样大,GPT-4o 锚定也未复现论文数字(54.68 对 59.95)。平台因此下架了 CoSER 排行榜,报告写明证据与局限。
显示 4 篇报告
在名著原文场景中由模型演绎全部角色(GCA)的复现记录。忠实复跑后发现,“对照原著找缺陷扣分”并不能作为排名依据:分数随裁判、对话长度和运行次数变化的幅度,和模型之间的差距一样大,GPT-4o 锚定也未复现论文数字(54.68 对 59.95)。平台因此下架了 CoSER 排行榜,报告写明证据与局限。
77 个中文小说与剧本角色的续写评测,由作者的奖励模型 CharacterRM 对 12 项指标 1–5 分打分:逐项追溯论文、官方代码与发布文件,实现与官方代码逐字节核对;奖励模型已通过部署校验,用作者发布的输出锚定,与论文相差在一档以内,数值敏感性检查表明这一差异可由数值精度解释,平台评测已开放。
尽可能还原 MiniMax 原始评测方法,区分已核实、推断与改动的部分并登记每次版本变更;用公开对话和完整评测检验正式裁判的一致性、区分度与排序稳定性,并说明检验规模。
平台如何运行 CharacterBench、每项设置的出处:被测模型提示词取论文 Table 11,上下文与裁判输入按官方代码构造,CharacterJudge 自洽解码评分。
RESEARCH DIRECTIONS
把模型结构、数据与系统放在真实任务中共同研究。
研究持续输入下的动作响应、视觉连续性与音视频协同。将身份保持、片段衔接和响应延迟放在同一段交互中检验。
探索 OmniFlow连接文本、图像、视频与声音的条件控制,探索实时因果分块生成和工业级 4K 影视表达。关注人物表演、场景结构与复杂运动的协同。
探索 OmniX-1在同一组实验中比较画质、响应速度和计算开销。研究蒸馏、缓存复用与推理调度,使连续生成能够适应真实交互的时间约束。
探索 OmniFlow研究多轮对话与视听数据的筛选、组织和训练反馈。结合可复核的评测观察训练变化,探索 RSI 自进化规模化训练中的迭代机制。
探索 OmniX-1逐项追溯数据、提示词、裁判和统计设置,核对实现与公开材料的对应关系。保留复现偏差、适用范围和实验记录,使结论能够被讨论和复查。
探索 SociaBenchRESEARCH COLLABORATION
社交智能与持续社会状态
研究人物身份、情绪、信念和关系如何共同影响交流。将人物事件记忆与社会状态带入模型训练,关注长程互动中的角色一致性与自然表达。
探索 OmniSoul