设计Skill时需不需要给出大量具体的示例?

设计Skill时需不需要给出大量具体的示例?
开发者WeZZard确认是需要的。并给出了基于J-space的原理说明。之前发过这个大佬复现Anthropic提出的J-space的事: http://t.cn/AXpzHTmE

作者最初的问题来自输出风格控制。即使明确要求模型“少用黑话、不要自行发明术语”,模型(fable5)仍会经常回到默认表达习惯;但一旦让模型检查自己是否违反规则,它又能立即修正。这说明 prompt 中的抽象规则并不会稳定地覆盖模型经过后训练形成的默认行为倾向,而更像是在生成过程中施加一个偏置,其有效程度受到 instruction salience 等因素影响。
文章借助 Anthropic 的 J-Space / J-lens 思路进行了一个实验。J-lens 可以把模型某一层、某个 token position 的内部状态投射到 token 空间,从而观察哪些概念当前更容易被“读出来”。它不是读心术,也不能证明模型有意识,只是一种内部状态观察工具。

原文发在x上,不太好发链接。总结下对 AI Skill 设计而言,文章实际上给出了一个比较明确的方法:
🌟规则负责定义边界。 用抽象原则描述目标、禁止事项和适用条件。
🌟Examples 负责定义行为。 给模型展示实际应该怎样回答,而不只是告诉它原则。
🌟积累 good / bad cases。 从真实运行 trace 和失败案例中持续收集例子。
🌟按任务动态召回 examples。 不必把所有案例塞进 prompt,而是根据当前任务检索最相关的案例。
🌟形成持续学习循环。 bad case → 人工或自动修正 → 形成 good/bad 对照 → 加回 Skill → 提高后续成功率。
🌟Evals 也可以 example 化。 对“有没有 AI 味”“表达是否自然”等难以写成确定规则的审美指标,用 good/bad examples 比抽象评分标准更容易定义和评估。
#How I AI#
分类