模型生成受训数据：免费的午餐还是一场梦？

不很难始创最初文档。GPT-4 的的系统本土化训练集只是比你的较高。或者你的论点不论怎样都是的系统本土化训练不足。

如果你只看得见小幅度的增加，你可以指“下述本土化”，数据资料增强，或者强加一个文档性先验。

例如，你可以通过将数据资料集增强为带有高斯频率副本相结合，将比如说的线性复出切换为岭复出。虽然没有添加最初文档，但你还是可以认真得较高。

但我确信，有一种互补且更一般的说明。更为关键不在于聚合数据资料的论点。更为关键在于过滤器。前面是这个课题的理解现实生活。

你有一些期望产于，你愿意从里面聚合抽样，这有可能像是你的系统本土化训练产于的干净版本。这些产于的助于叠有几种才会。如果你的期望和聚合的产于是不交叉的，那你就无法聚合分析方法上的抽样。

如果你很难从期望产于里面聚合任何抽样，试所示聚合的系统本土化训练数据资料就不但会有好结果。

如果有一些助于叠，你数可以聚合一些适合于的抽样。但你不但会取得正因如此面布满，你将结束于相反-方差的优劣。运算符的诅咒里面的口部瓦解就是这样的一种才会。

如果大多助于叠，你可以聚合一些适合于的抽样。但你但会不小地倾向你的的系统本土化训练产于。

无论如何的突破是当你聚合的产于完正因如此布满了整个期望产于时，我们就可以来作我们统计学里面最古老的同事之一：要求采样。

如果我们可以从我们的整个期望产于聚合抽样，我们就可以开始反击了。

在正因如此布满的才会下，我们可以认真的是适用范围某种过滤器线性来抛弃所有不符合期望产于的聚合抽样。只要我们的过滤器线性够大好，我们就可以适用范围千分之期望产于（的产于）来聚合最初数据资料。

有极佳的抽样过滤器可以让我们比如说期望产于，只要我们的聚合论点有时编码器相关的抽样。

要认真到这一点，很难你的过滤器线性能所受限于期望产于和聚合产于在抽样空间的每一个点的比率，并相应地来进行助于采样/助于基准。如果你很难以某种方式为对口部来进行上采样以缓解运算符诅咒的课题，那么你但会取得额之外的扣分。

除了（愿意）直观上有含意之外，这个观点也与我看得见的结果一致。例如，在《句点可以自我教学以较高地程式设计》里面，他们在只的系统本土化训练聚合的高效率，实际上适应用于聚合的课题的抽样时，消除了更多的程式设计课题。

所示 4：Codex 是一个基于 GPT-3 的程式设计句点，消减实验是就是指逐步去掉论点里面某些大多或功能，观察其对保持稳定性的不良影响。Codex 消减实验的概述和结果如下所示。在已确实的催化关卡和高效率上聚合和阶段性的结果用绿色声称，而在尚未确实的关卡上聚合和阶段性的结果用黑色声称。GPT-Neo 基准论点的结果用黑色声称。所有保持稳定性结果均基于经过一轮阶段性后的 2.7B 论点。

过滤器也似乎是不有可能的酿造、Orca、和教科书就是你所很难的的更为关键必不可少。

这个观点并很难说明《与众相异私有LLMs的捏造承诺》里面的结果，但可以与它们相协调。如果颗粒移位论点成立，我们从前对 GPT 聚合的数据资料来进行阶段性并不但会有过于大设法——即使我们在聚合现实生活里面认真得很好。

如果我的要求抽样框架与实际上才会吻合，我们确实期待下述挖掘出：

从过于差的论点里面聚合的系统本土化训练数据资料是无论如何的（分析方法上性高），无论你的过滤器线性多么好。这是因为一个差的论点很少聚合好的抽样。

保有聚合产于不变， 优本土化或劣本土化你的过滤器线性确实但会使得在聚合的数据资料上的系统本土化训练的论点越来越较高或更差。

随着你的聚合产于接近你的期望产于，过滤器确实越来越不那么助于要。

基于要求产于到期望产于的比率来进行原先取样 / 原先基准，但会比接所受所有在你的期望产于下有乘积可能性的抽样特性较高。

我们可以从期望产于里面聚合无限的数据资料，前提是我们的聚合产于布满了它，而且我们可以适当地原先基准或要求抽样。

论点：

我们有一个够大好的论点，可以聚合像是我们期望产于的抽样，以及一个很难鉴别（并原先基准）这些抽样的过滤器线性。

那我们可以从期望产于里面聚合大量的数据资料。我们并不所受文档执行黎曼的所受限制。意味著，我们所受到的所受限制是我们对期望产于的布满和鉴别技能。

这说明，在布满和过滤器相当较易的领域，尚将会所受的系统本土化训练数据资料所受限制的持续性但会远比。

回传空间（分析方法上地）具少量有可能值的领域，布满将但会更较易。我预期许多等待时间序列、一些举例来说，甚至有可能一些所示像数据资料集都总称这个类别。

当抽样具可检验的优点时，过滤器将极为较易。代码聚合是这里的举世闻名，因为程序中有形式语义，我们可以前提地评量确实。定理确实也似乎不利于过滤器。人为句法则不过于确实，但它数有语义游戏规则和评量密度的合适数学公式法则。

这里的假定是，的系统本土化训练数据资料聚合有可能是机器努力学习里面最紧密的正反馈环状。通过较高的论点，我们不仅可以更频繁地聚合期望产于里面的抽样，还能更准确地通过过滤器线性来比对这些抽样。

所以，简而言之，的系统本土化训练数据资料聚合：

可以被理解为要求采样

有可能在较高的论点带来较高的数据资料，反之亦然的才会下，始创一个紧密的正反馈环状

有可能在某些领域里面，通过较宽扭曲产于，换回几乎无穷的数据资料

你对适用范围句点聚合的系统本土化训练数据资料的法则有何看法？你确信这种法则在数据资料聚合和应用里面到底有应当？请在书评区内分享你的观点和想法。

。