开源LLMs大模型目前能力比不过闭源的怎么办？模仿chatgpt可行吗？

2023年5月25日，美国加州大学伯克利分校的研究团队在国际开源论文网站arxiv提交了一篇学术论文。论文题目是《TheFalsePromiseofImitatingProprietaryLLMs》

论文主要内容：

开源LLMs大模型目前能力比不过闭源的，怎么办？

其次，拿出行动思路：

在最新的研究中，研究团队试图通过让开源语言模型模仿闭源语言模型(比如，ChatGPT)，来提高开源大模型的能力。

于是，描述观察：

初步的结果看上去很好，模仿大模型在某些方面的能力与ChatGPT相当。然而，经过深入地分析发现，这些“模仿者”只模仿到表面，缺乏核心的能力。

第四，结论如下：

最有效的方式是，直面ChatGPT的挑战，从根本上提升开源模型的能力，而非简单地模仿。

历史反复证明，学术论文又证明，科研没有近路可抄，唯有脚踏实地，埋头苦干。

这篇文章主要讨论了使用强大的专有语言模型来提高较弱的开源语言模型的方法的问题。

作者通过对一系列使用不同基础模型大小、数据来源和模仿数据量的语言模型进行微调来评估该方法的效果，并使用人工评估和标准自然语言处理基准来对其进行验证。

结果发现，虽然这些模仿模型在遵循指令方面表现不错，但在其他任务方面与专有模型的差距仍然很大。

作者认为，这种模仿方法存在本质缺陷，不能真正弥补开源与专有语言模型之间的能力差距，应该通过发展更好的基础语言模型来提高开源语言模型的性能。