Esc
↑↓ 选择↵ 打开
返回文章存档
约 12 分钟读完15 个小节

GPT-6.1 Sol 和 Sonnet 5.5 来了,再跑一次鹈鹕测试

继续用鹈鹕骑自行车的 HTML 与 SVG 动画任务,记录 GPT-6.1 Sol 和 Sonnet 5.5 的生成结果与本次使用成本。

GPT-6.1 Sol 和 Sonnet 5.5 来了,再跑一次鹈鹕测试封面

上次测试完 Opus 5.5、GPT-6-Astra 和 GPT-6-Sol,没过多久,OpenAI 又更新了 GPT-6.1 Sol,Anthropic 也推出了 Sonnet 5.5。

新模型来了,我还是想用同一道题试试。官方的分数可以参考,但拿到一个能打开的网页,看它画成什么样、动起来是否自然,对我来说更直观。

这次继续让鹈鹕骑自行车。

还是那句提示词

创建一个 HTML 文件,用 SVG 画一只鹈鹕骑自行车的 2D 动画。

和上一次的测试一样,我关心的是生成出来的实际页面:鹈鹕和自行车有没有画清楚,车轮、脚踏和身体的动作是否配合,以及页面上的交互能不能用。

两边都选了 High 档位,名字相同,计算量不一定一样。

这次的花费,得分开看

GPT-6.1 Sol 这次用的是 Plus 订阅,跑完后消耗了五小时额度的大约 2%。这个比例只记录本次使用,后续任务的消耗还会变。

Sonnet 5.5 走的是第三方中转,这次实际扣费 0.8793 元,不到一元。

模型 档位 使用方式 本次消耗
GPT-6.1 Sol High Plus 订阅 五小时额度约 2%
Claude Sonnet 5.5 High 第三方中转 0.8793 元

一边扣订阅额度,一边按请求收费,这次没法直接按人民币比高低。我更关心额度够不够日常用,以及这次扣费换来的页面值不值。

官方这次更新了什么

OpenAI 把 GPT-6.1 Sol 定位为 Sol 的升级版,重点是编程、计算机使用和专业工作。官方强调,它在部分评估中更接近 Astra,同时保持较低的成本。我想看看这些改进在这道动画题里是什么样。来源:GPT-6.1 Sol 发布介绍

Sonnet 5.5 的更新同样强调编程能力和效率。Anthropic 的发布资料说,它比 Sonnet 5 更快,也能用更少的 Token 完成一些任务。官方文档列出的发布时间是 2026 年 9 月 28 日。来源:Sonnet 5.5 发布介绍、模型文档

两款模型的标准 API 价格目前都是每百万输入 Token 2 美元、每百万输出 Token 10 美元。实际总费用还要看上下文、输出长度和返工次数,缓存价格也有区别。OpenAI 定价说明、Sonnet 5.5 定价说明

Sonnet 5.5 的官方基准对比表

Anthropic 官方发布页中的 Sonnet 5.5 基准对比表

这张表截自 Anthropic 的 Sonnet 5.5 发布页,列出了编程、知识工作、计算机使用等测试。看表时要留意推理档位和脚注:这里比较的 OpenAI 模型是 GPT-6 Sol,并不是这次测试的 GPT-6.1 Sol,不能拿这一列直接替新模型下结论。

Sonnet 的性能与成本曲线

Anthropic 官方 Terminal-Bench 4.0 性能与成本曲线

同一发布页还给出了 Terminal-Bench 4.0 的曲线。横轴是每次尝试的美元成本,纵轴是得分,图例列出了参与比较的模型。它比较的是基准任务中的表现和花费,不是我这次生成动画的中转账单;图中的 GPT-5.6 Sol 也不是 GPT-6.1 Sol。图表来源

再看三张成本曲线

Sonnet 5.5 官方 FrontierCode 编程性能与成本曲线

FrontierCode 是另一种编程任务评估。它和上面的 Terminal-Bench 不是同一道题,放在一起看,可以避免只挑一个榜单。图例里的 GPT-6 Sol 是上一代 Sol。官方图表来源

Sonnet 5.5 官方 CursorBench 性能与成本曲线

CursorBench 更接近代码库里的工作。读这张图时,我会同时看得分、成本和推理档位;图中比较的是 GPT-5.6 Sol,而不是本次测试的 GPT-6.1 Sol。官方图表来源

Sonnet 5.5 官方 AA-Briefcase 知识工作性能与成本曲线

最后这张测的是知识工作,补充了动画题之外的表现。官方图表来源

GPT-6.1 Sol:编程和专业工作

下面六张图来自 OpenAI 的 GPT-6.1 Sol 发布页,由我截取后放到这里。曲线里的成本是官方评估任务的美元花费,与这次 Plus 额度消耗分开看。

GPT-6.1 Sol 官方 DeepSWE 编程性能与成本曲线

DeepSWE 对应真实代码库里的软件工程任务。我关注的是新 Sol 相对旧 Sol 的位置,以及接近 Astra 的得分要付出多少成本。它测的任务比这次单文件动画复杂得多。

GPT-6.1 Sol 官方 GDP.pdf 专业文档评估曲线

GDP.pdf 看的是复杂 PDF 文档中的专业问题。图例特意标出了 Opus 5.5 的回退机制,比较时不能忽略这个条件。

业务流程和计算机使用

GPT-6.1 Sol 官方 AutomationBench 性能与成本曲线

AutomationBench 看多步骤业务工作流。除了模型名称,图中也标出了回退机制。看这张图时,我会把任务完成率和总花费放在一起比。

GPT-6.1 Sol 官方 OSWorld 2.0 离线集性能与成本曲线

OSWorld 是计算机使用任务;这里明确写的是 2.0 离线集。前面 Anthropic 的表格列的是 OSWorld 2.1,两个版本的分数不能直接拿来排高低。

科研任务和事实错误

GPT-6.1 Sol 官方 Terminal-Bench Science 0.1 性能与成本曲线

Terminal-Bench Science 对应科研工作流。它与 Sonnet 图表里的 Terminal-Bench 4.0 是不同评估,名字相似,不代表分数能互相比较。

GPT-6.1 Sol 官方高难度提示下的事实错误率与成本曲线

最后这张的纵轴是事实错误率,越低越好。这些提示经过特意挑选,不代表日常所有回答的出错概率。我把它放在最后,是想在看完能力曲线后,也看看模型回答是否可靠。

以上图表来源:OpenAI:推出 GPT-6.1 Sol。

补充:GPT-6.1 Sol 的官方价格

OpenAI GPT-6.1 Sol 官方模型文档中的 Token 定价

这张截自 OpenAI 的 GPT-6.1 Sol 模型文档,单位是每百万 Token 的美元价格。这里列的是 API 费用;我这次使用 Plus 消耗的 2% 额度不能直接按它换算成人民币。

GPT-6.1 Sol:海边骑行,连小页面也一起做了

Sol 这版的配色很轻。浅蓝色的海、薄荷绿的自行车,加上一条珊瑚色围巾,画面没有特别强的对比,看着比较舒服。背景里还有灯塔、海鸟和岸边的小草。

GPT-6.1 Sol 生成的海边骑行页面

它不只交了一张 SVG。页面上方有“海风骑行”的标题和小图标,底下有暂停按钮和分档速度按钮,整个结果比较像一个完整的小网页。自行车的车轮、车架和链罩也都有画出来。

实际打开后,背景和骑行动作都在变化。暂停后按钮变成“继续”,可以再恢复播放。速度控制走的是切换档位的方式,不是滑块。

独立打开 GPT-6.1 Sol 的动画

Sonnet 5.5:画面更直接,骑车的主角更显眼

Sonnet 这版给鹈鹕戴了蓝色头盔,系上红色围巾,骑的是红色自行车。天空、太阳、树和公路的颜色也更鲜明,主角在画面里占的比例比较大。

Sonnet 5.5 生成的公路骑行页面

和 Sol 相比,它没有额外的页面标题区,主要就是动画画面和下面的控制区。暂停按钮旁边放了速度滑块,可以连续调整速度。车架、辐条和链条都比较显眼,方便直接观察自行车的结构。

这一版同样能运行,暂停按钮也能切换到“继续”。如果只看截图,头盔和长喙会先吸引注意;想看脚踏和腿的配合,还是直接打开动画更清楚。

独立打开 Sonnet 5.5 的动画

看结果时,我更在意这些细节

截图能看到配色和构图,但这次交付的是动画。车轮在转,脚却没踩到踏板,或者脚踏和身体各动各的,这些问题需要让页面跑起来才看得清楚。

交互也一样。暂停按钮能不能同时停下所有动作,改变速度后动作是否还同步,手机上有没有被裁掉的控制区,都是我想实际检查的地方。

本轮两个生成结果已经放进文章,可以自己操作。上一篇的三个演示也能直接打开,想比较新旧结果,可以回去一起看。

这次先留下什么印象

这两份结果都把题目做成了能运行的页面。Sol 的页面包装更完整,海边的配色也更柔和;Sonnet 则把注意力更多地放在主角和自行车上,颜色更醒目,速度滑块也很直接。

如果只按这两份成品选视觉风格,我更容易把 Sol 这版当成一个可以继续完善的小网页,把 Sonnet 这版当成一个直接展示骑行动画的作品。这次就按成品的画风和交互聊,不给模型整体能力排座次。

两份原始页面和费用都留在这里了。以后再跑同一道题,正好回来看看画面和消耗有什么变化。

参考资料

返回全部文章

打开大图 ↗