小巧而强大:微软Phi-2发布,27亿参数创新助力语言模型
11月17日消息,微软 Ignite 2023 大会于近日盛大开幕,为观众呈现了令人瞩目的技术创新。在本次盛会上,微软发布了全新的语言模型 Phi-2,成为其旗下规模最小但性能最优越的成果,拥有惊人的27亿参数,相较于先前版本实现了显著的性能提升。
微软在今年6月曾发布过 Phi-1,该模型仅搭载13亿参数,主要应用于QA问答、聊天和代码等场景。Phi-1的特色在于完全基于高质量数据训练,其在基准测试中表现超越同类模型,达到了10倍的提升。 随后,在今年9月,微软又升级发布了Phi-1.5版本,同样携带13亿参数,不仅能够涵盖写诗、写电子邮件和故事等多样化任务,还能够总结文本。在常识、语言理解和推理等基准测试中,Phi-1.5在某些领域甚至能够与规模高达100亿参数的模型媲美。 而微软最新发布的Phi-2,不仅参数规模达到27亿,而且在逻辑推理和安全性方面实现了显著改进。微软强调,通过正确的微调和定制,小型语言模型将成为云和边缘应用程序的强大工具,为用户带来更加高效的使用体验。
据本站了解,微软Research机器学习基础小组负责人Sebastien Bubeck在Twitter上分享了“MT-Bench”基准测试的屏幕截图,该测试涵盖了大型和小型语言模型,Phi-2在实际功能上在某些方面甚至超越了meta的Llama-2-7B模型。此外,Phi-2的聊天版本也正酝酿中,有望解决目前在这些领域存在的一些问题。这次发布将进一步推动微软在人工智能领域的技术领先地位。 |