网站搜索

我让Claude、ChatGPT和Gemini构建了一个模拟,其中一个赢家显而易见


大型语言模型正在以惊人的速度发展,根据你的立场,这要么是末日的,要么是极好的。人工智能代理如今非常流行,但任何代理最终都受限于支撑它的模型。因此,无论你运行什么样的设置,你最终使用哪个模型显然都很重要。

我听说过很多关于Claude的事情,你可能也听说过。似乎Claude总是那些真正想要完成事情的人首选的语言模型——不仅仅是把照片变成卡通或向聊天机器人发泄。但我在ChatGPT刚推出时就订阅了,而且一直没有勇气离开。除此之外,我还有一个附带Gemini的Google One订阅。再为第三个语言模型付费感觉有点……奢侈。

但我们就在这里。关于Claude的讨论非常热烈,所以我决定最终尝试一下它。还有什么比用一个太阳系模拟器让它们正面交锋更好的方式呢?

让我们建造一个太阳系探测器

它测试的远不止代码输出







我尝试过很多关于合适的大型语言模型(LLM)基准测试的想法。既然这些是大型语言模型,测试它们的最好方式就是让它们使用一种语言,而没有哪种语言比编程语言的文档更详尽了。自然地,我首先考虑了常见的选择:制作一个网站、一个《Flappy Bird》克隆版,也许还有一个交通模拟器。但我想要一些更多物理、更有规则的东西,而且最好是还没有被做烂的。我最终选择了一个完整的太阳系探索器。

一个3D太阳系模拟将迫使大型语言模型同时处理物理、图形、模拟逻辑、用户体验和架构。这个项目将基于网页,包含在一个单独的文件中,我不会指定技术栈。我曾经想强制使用Babylon.js而不是Three.js,只是为了让事情更有趣,但选择技术栈本身就是挑战的一部分。我还增加了一条规则:不允许重试、不允许修改、不允许补丁。第一次结果就是最终结果。

以下是我对所有三个使用的提示。我尽量保持它尽可能具有氛围代码感,并避免给出任何硬性的技术限制。这个提示几乎完全关注形式和功能。我还在它们的主要网页版聊天界面中运行了所有三个,而不是它们的桌面应用程序或特定编码工具。

构建一个基于浏览器的太阳系探索器,可以在本地网页浏览器中运行,并且感觉像一个真正的交互式模拟,而不是玩具演示。它应准确表现太阳系的结构和运动,行星的大小、轨道行为、光照、旋转和空间比例都应可信,同时仍保持可用性和视觉清晰度。体验应看起来真实、精致、美观,具有顺畅的导航、直观的缩放和相机移动,并呈现出广阔而细致的太空感。最终结果必须完全可用,视觉上令人印象深刻,科学上有依据,并且可以直接在浏览器中运行,无需任何后端或外部服务。

我也将所有三个结果托管在 Vercel 上,所以你可以自己试试。

双子座很快,看起来几乎令人印象深刻

当我靠近时,那种光彩就消失了






双子座3号思考最先完成,速度上甚至没有悬念。它也是唯一一个没有意识到要以 Canvas 风格界面输出结果的模型,不过这是一个小问题。我拿了代码并运行了它。

双子座选择了Three.js,从远处看,它看起来很不错。行星围绕太阳运行,光照感觉真实,而且还有真实的阴影。在其中一张截图中,你可以看到行星彼此遮掩,这是一个不错的细节,让整体感觉更扎实。至少,这可以作为一个非常好的Wallpaper Engine壁纸。

当你放大时,裂缝就出现了。屏幕上的提示说“点击行星以聚焦”,但实际上点击并没有任何作用。而且首先点击一个运动中的行星比应有的还要令人沮丧。行星的纹理也是一个弱点——简单的渐变,没有真正的表面细节,也无法判断任何行星是否在旋转。从菜单中选择行星确实触发了不错的跟随摄像机效果,但它带来了一个错误:一旦锁定,就无法再缩回去。你必须刷新页面才能恢复。有趣的功能,糟糕的实现。

你可以在这个 Vercel 页面上查看 Gemini 的输出。

ChatGPT 长时间思考

然后弄错了

ChatGPT 是最后完成的。我使用了 ChatGPT 5.4 思考,它在生成代码前思考了相当长的一段时间。不幸的是,结果一开始就严重出错了。所有的行星都堆在了太阳的位置——没有轨道,没有间距,没有旋转,只是一堆在原点重叠的球体。

我们说过不打补丁,也不重试,所以这是我们评判的结果。这正是测试的意义。如果一个代理依赖这个模型在没有提示的情况下生成可用代码,这就是你会得到的结果。

有趣的是,我确实让 ChatGPT 审查它自己的代码并找出问题。它列出了大约十几个潜在问题,但完全错过了实际的问题。经过更仔细的人工检查,原因发现很简单,几乎像人类犯的错误:模拟把轨道距离存储为天文单位(AU),而渲染器期待的是公里。所以当代码打算把水星放在距离太阳 0.5 AU 的位置时,它实际上是放在距离 0.5 公里——实际上就在太阳里面。

值得注意的是:ChatGPT 完全跳过了 Three.js,选择了二维俯视图界面。界面比 Gemini 的控件更多,看起来相当精致,但当模拟本身无法正常工作时,这些都无关紧要。

你可以在这个 Vercel 页面上查看 ChatGPT 的输出。

克洛德达到了另一个层次

这是唯一一个感觉像成品的







Claude 完成得比 Gemini 晚,但比 ChatGPT 早。我使用的是 Claude Sonnet 4.6,这是最新的免费层模型,因为我没有订阅。Claude 的输出与其他模型之间的质量差距非常明显。光年之遥,如果你能原谅这个说法的话。

像Gemini一样,它选择了Three.js,但实施得更加彻底。最引人注目的是它包含了小行星带。Gemini甚至都没有费心去做这些。然后是那些纹理!Claude的行星实际上看起来像行星。地球看起来明显像地球。木星有它的巨大的红斑。土星,尽管只是单个HTML文件的限制下,看起来却出奇地接近真实的样子。

最后这一部分值得强调。这仍然只是一个独立的文件。通常,你会期望适当的纹理贴图或外部图像资源被单独加载。但这里什么都没有。Claude 在文件内部用 JavaScript 程序化生成了所有这些纹理,而且做得非常出色。

行星的间距更符合现实,它们以合理的相对速度旋转,并且它们围绕太阳的轨道也感觉更接近现实。有一个速度控制按钮,默认设置为每秒一天,同时还有轨道路径、小行星带和其他视觉元素的切换选项。

Claude 只是比其他人走得更远。图形更好,用户体验更好,整体在形式和功能上都感觉更精致。最重要的是,它感觉像一个真正的产品,而不是一个有趣的初稿。而且它只用了一个提示和一次尝试就做到了这一点。

你可以在这个 Vercel 页面上看到 Claude 的输出。

Claude 是为真正想完成工作的人设计的大型语言模型

这个小实验花了我 20 美元,因为现在我几乎肯定会订阅 Claude。为了平衡开支,我可能最终会取消我的 ChatGPT 订阅。更尴尬的是,在三个参赛者中,我已经为其中两个付费了。获胜者使用的是免费的版本。至少在这个测试中,不付费使用 Claude 的效果比付费使用 Gemini 和 ChatGPT 更高效。

Claude 没有视频通话模式。它不会试图成为你的最佳朋友,也不会把让你感觉良好放在首位。这些都告诉你产品是为谁而设计的,以及公司真正重视的是什么。

大型语言模型表面上看起来都很相似。但值得问的是,某个模型实际上是为了什么而优化的。它是为了在演示中给你留下深刻印象吗?为了让你保持参与感吗?为了让它显得像人类吗?还是为了完成任务本身?

很显然,克洛德属于最后一类。

相关文章