每次有新的大模型发布,大家最常问的都是同一个问题:它是不是比之前的模型更强?
但在 API Hop 日常工作中,我们更关心另一件事:同样要完成一项工作,新模型能不能更好、更快地完成任务?要等多久?花多少钱?是否还需要人工介入进行修改?
这次我们关注GPT-6 Astra、Claude Fable 5.1 和 Gemini 4 Carbon的测试内容有:综合能力评估、编程 Agent 数据、真实项目修复案例,以及长任务、写作和网页制作测试。
先看结论:不同的任务,不同的评判方法
| 要做的事 | 关注的重点 | 目前结果 |
|---|---|---|
| 修 Bug、修改已有代码 | 修复率、回归测试、修改范围和完成任务成本 | Fable 在一组 64 题测试中完成更多;Astra 费用更低 |
| 运行编程 Agent | 同一版本的 Agent 指数、费用、等待时间 | Carbon、Fable、Astra 的测试组合各有取舍 |
| 整理资料、交付报告或演示内容 | 知识工作专项评估、事实准确性、人工修改量 | Fable 在我们核对的 AA-Briefcase 设置中得分最高 |
| 长时间自主研究 | 最终成果验收、能否发现错误、能否及时交付 | 公开长任务案例说明,持续运行很久和交付合格是两回事 |
| 写文章、制作落地页 | 结构、品牌一致性、功能与修改时间 | 已有 Astra/Fable 的真实案例;Carbon 的普通中文营销工作流仍需补测 |
我们的结论:不同的模型在不同的业务上下文中,会有不同的表现。
三款模型的基本信息
我们先看官方提供的基本信息。
| 项目 | GPT-6 Astra | Claude Fable 5.1 | Gemini 4 Carbon |
|---|---|---|---|
| 官方模型名称 | GPT-6 Astra | Claude Fable 5.1 | Gemini 4 Carbon |
| 上下文长度 | 1M tokens | 1M tokens | 1M tokens |
| 最大输出 | 128,000 tokens | 128,000 tokens | 1,048,576 tokens |
这里有一个容易被忽略的地方:模型本身和使用它的工具不是同一回事。比如同一个编程任务,我们让模型通过 Codex、Claude Code 或 Antigravity CLI 工作,文件读取、命令执行、上下文管理和重试行为都可能不同。最终看到的结果,实际上是“模型 + 工具 + 配置”的结果。
如果只是把一段文章交给模型润色,这个区别可能没那么显眼;如果要让它在大型代码仓库里跑上几个小时,工具环境往往就很重要了。
综合能力对比:Carbon 得分最高,但不代表所有任务都稳赢
我们先看同一版本的综合评估。
| 模型与设置 | 综合指数(越高越好) | 加权每任务 API 成本(越低越好) |
|---|---|---|
| Gemini 4 Carbon(high) | 59 | $7.76 |
| GPT-6 Astra(max) | 57 | $6.24 |
| Claude Fable 5.1(max,default fallback) | 49 | $12.99 |
Artificial Analysis Intelligence Index v5.0 · 越高越好 · 横条从 0 起,满刻度 60;不是百分比。
- Carbon · high59
- Astra · max57
- Fable 5.1 · max / default fallback49
Carbon 在这版综合指数里领先。Google 新模型确实值得关注,尤其是复杂推理、知识和科学任务。
Astra 在这套任务上的平均 API 成本低于另外两款所列设置。
Fable 的综合分数较低,不表示它在所有工作中都弱。下面的知识工作专项测试就给出了不同的结果。
写代码怎么选?我们更关心的是补丁质量和实际花费
先看编程 Agent 的同版数据
开发的日常是基于代码仓库、来做需求开发,BUG修改,并提交结果,那么我们就用编程 Agent 评估。
| 模型 + 工具组合 | Agent 指数 | 平均每任务 API 费用 | 平均每任务运行时间 |
|---|---|---|---|
| Carbon high + Antigravity CLI | 59 | $7.74 | 29.8 分钟 |
| Fable 5.1 max/default fallback + Claude Code | 58 | $11.53 | 35.3 分钟 |
| Astra max + Codex | 55 | $7.04 | 24.8 分钟 |
同版编程 Agent 评估 · 单位:分钟 · 越低越好 · 刻度 0–40;分数和费用见上表。
- Carbon high + Antigravity CLI29.8 分钟
- Fable 5.1 max / default fallback + Claude Code35.3 分钟
- Astra max + Codex24.8 分钟
Carbon 的组合分数更高;Astra + Codex 在这组数据中更快、平均 API 费用更低;Fable + Claude Code 则处于两者之间的分数区间,但费用和耗时较高。
64 道编程题:Fable 完成更多,但账单也更贵
比起只看综合分,我们觉得 imec/aistack 的测试更接近开发者关心的问题:BUG有没有修好?需求有没有完成?花了多少钱?
| 指标 | Astra + Codex | Fable 5.1 + Claude Code |
|---|---|---|
| 解决任务 | 34 / 64 | 51 / 64 |
| 任务解决比例(我们据数量计算) | 53.1% | 79.7% |
| 64 题总费用 | 约 €53 | 约 €121 |
| 每个已解决任务的平均成本 | 约 €1.56 | 约 €2.37 |
imec/aistack · 同一组 64 道编程题 · 横条表示完成数量,刻度 0–64。
- Astra + Codex34 / 64 · 53.1%
- Fable 5.1 + Claude Code51 / 64 · 79.7%
这组结果很有意思:Fable 多解决了 17 道题,总费用多了约 €68。如果项目非常重视难题完成率,这 17 道题可能比省下的费用更重要;如果每天要处理大量简单任务,成本和速度又会变得更重要。
同一个 Gradle Bug:两者都修好了,为什么开发者更愿意合并 Fable 的版本?
还有一个更小、却很贴近日常开发的案例。
我们关注到 Gradle 的工程博客让两个 Agent 修复同一个文档配置问题,使用同一仓库和同样的任务约束。结果是:两者都通过了。
| 指标 | Astra + Codex | Fable 5.1 + Claude Code |
|---|---|---|
| 修复结果 | PASS | PASS |
| 用时 | 12 分 03 秒 | 14 分 21 秒 |
| API 费用 | $3.54 | $4.34 |
| 是否新增回归测试 | 否 | 是 |
为什么开发者最后更愿意合并 Fable 的修改?我们核对了其中的差异:Fable 修改的配置范围更具体,写法也更贴近仓库原来的风格,并且补了回归测试;Astra 的改动能解决当前问题,但配置范围更广,未来新增同类对象时可能带来意外影响。
我们认为相比于“谁快两分钟完成任务”,这个案例的启发在于:完成任务只是最基本的能力。还要检查修改是否过宽、有没有回归测试、后面的人能不能继续维护。
代码审查时,推理越多不一定越好
我们其实在介绍其他模型的时候已经反复表明这个观点了,并且在我们自己的开发过程中,也深刻体会到了推理越多并不一定会有更好的结果。
| Fable 5.1 审查配置 | 已知问题召回率 | 评论精确率 | 每项平均耗时 |
|---|---|---|---|
| Low | 61.0% | 37.3% | 18 分 38 秒 |
| High | 57.1% | 36.4% | 21 分 36 秒 |
在这套代码审查流程中,High 更慢,整体指标也没更好。所以不要因为参数写着 High、Max,就默认值得付出更多时间和费用。实际的效果还是要放到业务场景中做测试。
研究和资料工作:能运行并给出结果,并不代表产出有用
知识工作专项测试,Fable 的位置反过来了
我们再换一个任务类型,看看结果会不会变化。
| 模型与设置 | AA-Briefcase 得分 |
|---|---|
| Fable 5.1 max/default fallback | 1669 Elo |
| Carbon high | 1609 Elo |
| Astra max | 1568 Elo |
这正是我们不建议只看一个综合排行榜的原因:同一批模型,换成知识工作任务,相对次序就变了。
如果你要整理客户调研、撰写报告或制作工作材料,可以把 Fable 放进优先试用名单。
预算达到 $10,000 的研究任务,结果仍可能被退稿
CRUX 做过一个非常值得看的长任务评估:把未发表论文中的研究问题交给 Astra 和 Fable 5.1,提供 $10,000 的研究预算,最后由原研究作者审阅产出的论文。
我们观察到,两款模型在实验设计、资源使用上有进步,但两篇最终论文都被专家明确拒稿。研究团队指出的问题涉及研究判断、创新、交流和面对失败时如何调整方向。需要注意的是,两款模型处理的研究问题并不相同,因此不能直接拿它们的最终评分做一场公平的二选一比赛。CRUX 研究报告
我们觉得,这对实际使用 AI 做研究很有参考价值。
举个例子,如果我们让模型研究某个 SaaS 竞品,真正需要的不只是 20 页文字,还包括:引用的价格是否真实、功能是不是最新、流量来源有哪些渠道、最新上的新功能是否值得借鉴。
长时间工作可以增加输出量,却不会自动保证方向正确,有可能最终生成的是一大堆无用的内容。我们的做法应该是提前写好要求,然后要求模型在我们指定的框架下填充内容,这样整体会更可控。
Carbon 的五小时长任务,也出现了交付问题
FrontierCS 的评测让模型每项任务最多运行五小时,并需要补回论文实现中移除的方法,或者提交一个更好的方法。
| 指标 | Gemini 4 Carbon | Gemini 4 Argon |
|---|---|---|
| 通过任务 | 24 / 48 | 26 / 48 |
| 平均每次运行费用 | $36.90 | $19.52 |
| 运行时间中位数 | 3.2 小时 | 2.4 小时 |
在这项第三方测试中,有几次运行因为 Agent 处理后台任务的方式,尚未提交结果就提前结束了。
两者在共同提交结果的任务上,Carbon 的平均得分更高;这里只是提醒大家,一个能运行数小时的 Agent,可能误判目标、或者没有完成最终交付。
写文章、做网站:公开案例能说明什么?
同一份资料:Fable 的结构更好,Astra 的工作流更快
我们在调研工作中曾把同一份 20 页资料的 PDF 分别交给 Fable 5.1 和 Astra,要求整理成长文。
Fable 的开头和文章组织结构更符合我们的偏好,条理清晰、逻辑严谨,但 Astra 完成整个流程更快。
我们建议用户用模型写文章时,先准备一份整理好的材料,或者至少确定大致的大纲和结构,这样才能评判输出是否符合要求。
网页制作:得分不能直接当成流量和转化
WebDev Arena 在 2026 年 10 月 27 日的页面快照中给出以下分数:
| 模型设置 | WebDev Arena 得分 |
|---|---|
| Astra Max | 1773 ± 10 |
| Carbon High | 1768 ± 15(Preliminary) |
| Fable 5.1 Max | 1746 ± 9 |
网页制作其实是开发,文章撰写,搜索引擎规则适配等叠加在一起的混合任务,所以虽然我们拿了WebDev Arena的分数作为展示,但是我们API Hop作为本身就有非常丰富的网页制作经验的组织,向大家推荐的用法是Fable规划文章 + Astra开发。
价格比较:同样的 Token 单价,不同的最终账单
我们经常遇到一种比较方式:直接拿每百万 token 的单价,谁低就选谁。这个数字当然重要,但对有多轮推理、工具调用、重试的复杂任务来说,直接看每百万 token 的单价来决定谁便宜确实不太合理。
先看官方普通 API 费率
下表单位为 美元 / 百万 tokens;不是 API Hop 平台售价。
| 计费项目 | Astra | Fable 5.1 | Carbon 发布期 | Carbon 后续标准价 |
|---|---|---|---|---|
| 非缓存输入 | $10 | $10 | $2 | $4 |
| 输出 | $50 | $50 | $10 | $20 |
| 缓存读取 | $1 | $0.25 | $0.10 | $0.20 |
还有两个容易影响账单的细节:
- Astra:单次请求的输入超过 272K tokens 时,整个请求的输入与缓存费率按 2 倍、输出按 1.5 倍计价,不只是超过门槛的部分加价。
- Fable 5.1:官方说明其 1M 上下文使用标准输入和输出费率;缓存写入另有费用和保存时长区别。
如果我们长期把大仓库、很长的资料或大量对话历史塞进上下文,就需要特别注意这些规则,不然账单会让你大吃一惊。
一个固定用量的计算例子
假设某个请求恰好使用 100,000 个非缓存输入 tokens,并产生 10,000 个总计费输出 tokens。暂时不考虑工具费、缓存写入费、重试和特殊套餐价格。
| 模型及计价阶段 | 输入成本 | 输出成本 | 合计 |
|---|---|---|---|
| Astra | $1.00 | $0.50 | $1.50 |
| Fable 5.1 | $1.00 | $0.50 | $1.50 |
| Carbon 发布期 | $0.20 | $0.10 | $0.30 |
| Carbon 后续标准价 | $0.40 | $0.20 | $0.60 |
100,000 输入 + 10,000 计费输出 tokens · 美元 · 刻度 $0–$1.50;按上表官方费率计算,不是实测账单或平台售价。
- Astra$1.50
- Fable 5.1$1.50
- Carbon · 发布期$0.30
- Carbon · 后续标准价$0.60
这张表的运算非常简单:输入 tokens / 1,000,000 × 输入单价 + 输出 tokens / 1,000,000 × 输出单价。
虽然这里我们运算时固定了 token 数量;但实际运行时,不同模型可能思考和输出不同长度的内容,也可能重试不同次数。
“每个合格交付的成本”,一个更好的评判标准
如果任务有清楚的边界和验收条件,我们可以这样做:
每个合格交付的平均成本 = 全部运行的 API 与工具费用 ÷ 通过验收的任务数量
这里的全部费用要包含失败和重试。然后再单独记录每个成功结果需要多少人工修改时间;如果一款模型便宜 $2,但需要我们多改半小时,实际选择可能完全不一样。
API Hop 的模型页面会列出平台价格和官方参考价格。我们建议分别看两者,并以实际结算规则为准;平台价格不等于官方 API 价格。API Hop Astra 页面 · API Hop Fable 页面 · API 比较页
我们会怎样用自己的任务验证这三款模型?
我们建议把实际工作拆成几个有明确验收条件的小任务,从一个小的BUG或者小的需求开始进行测试。
为了让过程能复现,我们会先准备以下三类任务。这里是测试方案,不是我们已经完成的实验结果。
| 任务 | 统一提供的材料 | 验收条件 |
|---|---|---|
| 写一篇普通用户文章 | 同一份事实表、采访记录和风格要求 | 不能捏造事实,不能漏掉关键点,统计修改时间 |
| 修改一张产品落地页 | 同一份初始代码、品牌约束和三个明确修改需求 | 功能正常、手机可用、不破坏原有品牌和业务逻辑 |
| 修复一个跨文件 Bug | 同一仓库版本、复现步骤和独立测试 | 修复问题、没有回归、给出真实执行的测试记录 |
每个可访问的模型、每类任务各运行三次。Astra 和 Fable 可以先完成一轮;Carbon 尚未确认具备可复现的公开测试入口时,我们会把对应结果留空,绝不拿 Argon 代替 Carbon。
为了让数据有用,我们会固定材料版本、任务说明、时间和预算上限。每次使用新会话,记录精确模型 ID、推理设置、工具版本、是否回退、费用、耗时和最终产物。写文章时重点统计事实错误和人工修改;修 Bug 时重点看测试和修改范围。
如果你也想做文字类对比,可以从这个简单模板开始:
我们需要根据下面的事实材料,给普通用户写一篇易读的文章。
读者:第一次了解这个问题的人
任务:说明问题、给出可操作的方案,并解释适用条件
必须覆盖:[列出 3—5 个关键点]
不可做的事:添加材料里没有的数据、虚构测试经历、夸大结论
输出:正文、对应事实出处、仍需要确认的信息
材料:
[粘贴同一份材料]
有一条原则很重要:不要只保留最好看的一次输出。失败的任务、重复调用和人工补救,都是使用模型时真实会发生的成本。
常见问题
Gemini 4 Carbon 现在所有人都能使用吗?
截至 2026 年 10 月 30 日,不能这样理解。Google 表示首先向部分网络防御机构开放,并逐步向受信任伙伴扩展。研究机构已有测试,不等于所有开发者都有普通公开 API 权限。我们会根据官方开放进度和实际平台模型目录更新说明。Google 官方公告
Astra 和 Fable 的输入、输出单价相同,为什么任务费用可能差很多?
因为模型用掉的 token 数量、缓存命中、推理强度、工具调用次数和重试次数并不相同。两款每百万 tokens 都写着 $10 输入、$50 输出,也不能保证修同一个 Bug 的费用相同。Gradle 案例中的账单就分别是 $3.54 和 $4.34。Gradle 实测
Fable 5.1 的 Max 一定比更低的推理强度好?
我们没有看到支持这个绝对判断的证据。CodeRabbit 对同一批代码审查任务的测试反而发现,高推理配置更慢,整体召回率也更低。我们建议先使用满足验收条件的配置,再判断是否值得提高推理强度。CodeRabbit 实测
三款模型谁更适合中文长文?
目前我们不打算给出确定的三方排名。已有写作案例和知识工作基准,但它们没有构成统一材料、统一环境、统一中文写作标准的三方实测。我们建议拿同一份中文材料,比较事实准确性、结构、语气和修改时间。
为什么不同评测网站给出的排名不同?
因为任务集、评分方式、推理配置、Agent 工具和计费口径可能不一样。综合知识测试、修复真实仓库、整理业务文档,本来就不是同一件事。我们建议至少检查榜单版本、测试日期、模型设置与通过条件,再决定是否采用结论。
能在 API Hop 直接完成这三款模型的同题对比吗?
可以先从 API Hop 当前列出的 GPT-6 Astra、Claude Fable 5.1 和 模型目录 核对实际可用的模型及价格,再使用同一份文字任务比较输出。我们目前不把 Carbon 宣称为普通账号可直接调用的型号。同时,在线文字工具不等于具备执行代码、上传文件或浏览网页的完整 Agent 环境;做编程 Agent 对比时要另外确认工具能力。
最后,我们会怎么选?
把这些公开数据放在一起后,我们的选择方法反而更简单了。
如果我们是要在已有仓库中修 Bug,会优先拿 Astra 和 Fable 在自己的项目里做同题测试:我们会检查完成情况、回归测试和后续维护成本,而不只是比谁先输出代码。
如果我们是要整理资料、写报告或做长期研究,会更关注 Fable 在知识工作任务上的表现,也会把 Carbon 的新评估作为后续测试方向;但任何一款都需要事实核查和明确的交付验收。
如果我们是要持续生产文章或落地页,会首先计算能否满足内容要求、每篇需要改多久,而不是依赖综合能力榜决定全部内容流程。
我们认为最实用的比较公式是:交付是否合格 + 全部费用 + 等待时间 + 人工修改量。
如果你想先用一份真实的文字任务试试,我们在 API Hop 提供 Astra 和 Fable 5.1 的模型说明、定价与试用入口,也可以通过 API 比较页面 查看当前型号与条件。我们提供模型服务,但本文引用的第三方测试并不是 API Hop 的自有实验;我们会持续保留来源和测试限制,方便大家自己判断。
资料来源与更新记录
资料核对日期:2026-10-29。本文引用的榜单为当时可查的版本;价格、模型权限和评估结果可能变化。后续有新的官方开放信息或自有可复现测试时,我们会分别记录变化,不用新数据悄悄覆盖旧测试条件。
官方模型与价格
- OpenAI:GPT-6 Astra 模型规格与计费
- Anthropic:Claude Fable 5.1 官方模型页
- Google:Introducing Gemini 4 Carbon,2026-10-28
独立评测与案例
- Artificial Analysis:Carbon 在 Intelligence Index v5.0 的结果
- Artificial Analysis:Astra 与 Fable 的综合/知识工作比较
- Artificial Analysis:Antigravity CLI 与 Codex
- Artificial Analysis:Claude Code 与 Codex(含 Fable 5.1 版本结果)
- imec/aistack:64 个编程任务与实际账单
- Gradle 工程博客:同一个文档 Bug 的两种修法
- CodeRabbit:Fable 5.1 代码审查实测
- CRUX:Astra 与 Fable 的开放式研究任务
- FrontierCS:Gemini 4 Carbon 五小时研究代码任务
- Aaron Makelky:Astra 与 Fable 写作/网站体验
- WebDev Arena:网页制作榜单
编辑说明:文中“我们”代表 API Hop 团队的资料核对、分析与使用建议,不代表已经亲自重复第三方实验。所有示例费用计算都明确写出假设;不同评估体系的分数与费用不直接相加或换算。