Product Hunt讨论 · 身份未知
用真实工作任务对比 AI Agent 的社区评估赛场
AI Agent 在真实电脑工作（浏览器、应用、企业软件）上的表现难以通过合成基准判断。Coarena 让多个模型完成同一工作流，并允许观众盲评投票，追求透明、实用、社区驱动的评估方式。
查看原始信号producthunt:1215977
目标用户
需要为真实电脑工作（浏览器、应用、企业软件）挑选 AI Agent 的开发者、团队与企业。
潜在需求
需要一个透明、实用、社区驱动的真实任务评估平台，让 AI agent 在相同真实工作流上并行运行，并比较速度、准确性与可靠性，供人投票判断优劣。
发生场景
各家模型厂商都宣称自己最好，但合成基准测试很少反映 agent 在真实计算机工作上的表现；选择哪个模型完成实际任务变得困难。
来源证据
构建者认为选择 AI 模型已变得困难，因为厂商都宣称最好，而基准测试很少反映 agent 在真实计算机工作上的表现。
Hi Product Hunt! 👋 We built Coarena because choosing an AI model has become surprisingly difficult. Every provider claims to be the best, but benchmarks rarely reflect how agents perform on actual computer work. We went through the whole process with OSWorld and we have first-hand experience. So we built an arena where AI agents complete the same real-world tasks from navigating websites to using business software and you can watch them side by side, compare the results, and vote for the winner.https://www.producthunt.com/products/coarena-by-coasty?comment=5755328&utm_campaign=producthunt-api&utm_medium=api-v2&utm_source=Application%3A+Lode+%28ID%3A+295681%29
为什么值得留意
该信号显示 AI agent 评估从合成基准转向真实任务、从厂商自证走向社区盲评的新方向；评论区还暴露了人工评审一致性、任务安全边界、出错恢复权重等开放问题，可能催生新的评估标准或工具。
已有方案
- 合成基准测试（synthetic benchmarks）
- OSWorld
未满足部分
- 人工盲评在无唯一正确答案的任务上存在一致性问题
- 出错后恢复能力与完美完成之间的权重尚无定论
- 相同终态下风险/奇怪路径的过程质量缺乏统一评价
可能延伸 · 模型推测
- 自动化指标与盲评结合，辅助一致性校验
- 敏感数据过滤与任务安全边界的自动化检查（模型推测）
- 面向企业软件多步工作流的评测任务社区征集
目前未知
- 评论作者身份未知，可能主要是 Maker 而非独立用户
- 暂无独立用户采用或使用反馈的证据
- featured_at 为 2026 年，产品可能较新
继续核实
- 独立用户在挑选 AI Agent 时，是否会优先参考真实任务对比结果而非厂商基准？
- 盲评投票结果与自动化评估指标之间的相关程度如何？
- 社区提交任务能否覆盖企业级多步工作流，并保持安全边界？
- 人工评审的不一致性在多大程度上影响评估结果的可信度？
主题词
ai agent evaluationbenchmark comparisonreal-world taskcomputer-use agentshuman preference votingmodel selection