代码模型自我进化超越GPT-4o蒸馏！UIUC伯克利等提出自对齐方法

研究人员提出SelfCodeAlign，一种无需人工注释或蒸馏即可生成强大代码模型的新方法。通过自对齐过程，SelfCodeAlign使用模型自动生成的数据进行指令调优，效果超过GPT-4直接蒸馏。实验表明，SelfCodeAlign在多个基准测试中表现出色，特别是在代码生成、数据科学编程和代码编辑方面。该方法适用于不同规模的LLM，如CodeQwen1.5-7B和StarCoder2-15B。
来源：https://mp.weixin.qq.com/s/ohOhU9QhJpe6bQNZsbp-kg