配套视频

为任务选择合适的模型——配套视频

文章介绍如何在结果可核查的任务上比较符合条件的模型。视频中的模型和套餐选择是当时的例子,不是当前供应商的排名。

首选视频

2:11:12
我是如何使用LLM的

Andrej Karpathy

把视频中的模型和套餐选择作为文章所述受控比较的背景。在自己的任务上测试符合条件的候选模型;产品名称和套餐应视为当时的例子。

您应该从中获得什么: 学会在快速、低成本、深度推理和基于来源的工具之间分配任务,而不是凡事都使用同一个模型。

先观看或了解: 能够熟练使用至少一款主流聊天机器人,并针对同一任务比较不同输出。

AI Expert 注释: 选择模型的习惯很有价值;具体的模型名称、价格、上下文限制和排名则并不稳定。在为团队制定统一建议前,请先用自己的任务重新进行比较。

打开视频页面

也值得关注

16:50
全新最强AI:Claude 3——与Gemini 1.5和GPT-4实测对比

AI Explained

这段视频早于文章(发布于2024年3月),但真正有用的是其中的方法:一位严谨的评估者让三个前沿模型并排完成相同的高难度任务——OCR、心智理论、指令遵循和数学——并准确展示每个模型在什么地方出错。模型名称已经过时,比较模型的框架却没有过时。

您应该从中获得什么: 了解一套可重复使用的结构化比较方法,以判断某个模型是否足以胜任任务。

先观看或了解: 知道Claude 3、Gemini 1.5和GPT-4已不再是前沿模型的基准。

AI Expert 注释: 请把它当作测试方法视频,而不是当前排名。具体的胜出者已成为历史;真正有用的是用相同示例进行测试、检查失败模式,并对含糊的“最佳模型”说法保持审慎。

打开视频页面