近日，全球著名开源平台HuggingFace（笑脸）联合创始人兼首席执行官Clem在社交平台宣布，阿里最新开源的Qwen2-72B指令微调版本卫冕冠军，继续位列全球开源模型排行榜第一名。

  第一，中国开发者从OpenAI集体“回家”，国内大模型供应商纷纷推出迁移方案迎接。雷科技在《OpenAI拒绝中国开发者，“百模大战”全方面进入下半场》一文已盘点，超过10家大模型供应商推出各种服务来“抢客”。

  不过，在很多人固有印象中，中国大模型供应商只是“平替版本”，是实在没得用了，勉强能用的。更不可思议的是人说GPT是高铁，国产大模型就是拖拉机，虽然都能跑，但其实不一样。

  其实这是偏见，在很多领域，国内大模型都已经具有世界级竞争力了，特别是开源大模型。

  一种是每次发布会都号称全面碾压GPT4的玩家，参数没输过，评测没赢过，这是自卖自夸，自吹自擂。

  还有一类，是在权威榜单上拿到名次的。HuggingFace是全球最权威的开源模型榜单，它给阿里云的Qwen2“正名”，或者说给了“权威认证”。

  为什么HuggingFace能做全球最权威的开源模型榜单？这个定义不是随便给的，而是跟这样的平台的背景有关系。HuggingFace不是大模型供应商，而是全球最受欢迎的大模型和数据集开源社区，开发的人能在这里获取大模型开源代码、获取数据集进行训练。可以说，做AI开发，基本绕不过HuggingFace，因此它也被称为大模型/机器学习的GitHub。

  有海量开源大模型以及数据集，有海量AI开发者以及使用数据，因此HuggingFace能做出行业最权威的开源模型榜单。这跟媒体或者专门的第三方评测机构做的榜单有本质不同。很多评测榜单源自这样的“第三方”，姑且不说权威性、客观性、中立性，恐怕专业性也会大打折扣。

  好了，说清楚HuggingFace榜单的权威性后，我们再看阿里云的Qwen2有多强？

  其实今年6月7日，HuggingFace也发过一次榜单，当时第一也是Qwen2。为何需要更新榜单到V2呢？HuggingFace说是，“榜单内的测试集，更难、更好、更快、更强（Harder, better, faster, stronger）。”因此，对模型的考察也更有说服力。

  其实对大模型基于测试数据集进行评测的过程，形象点说就是“做题考分”，跟我们考试一样。但问题是，这个题目是开放的。因此就出现了一种情况：很多大模型会“刷题”，就是让大模型先训练几波，进而拿到好的评测分数，有的公司会雇佣人类“数据标注员”来做题将答案给到大模型，还有的公司会让GPT-4来答题再将答案用来训练自家大模型，大模型做题就可以“满分”了。许多大模型刚推出就可以拿满分“排第一”碾压GPT-4，玄妙正在于这里。

  也就是说，开源评测数据集相当于高考搞“开卷考试”一样，除非是特别开放的问题（如职场面试），否则被试者可完全提前针对性地刷题背答案，最终得分自然完全没有办法反映出其真实水平。

  HuggingFace也在技术博文指出，“过去一年，Open LLM Leaderboard的基准指标已经被过度使用，出现几个问题：题目对模型来说变得太简单；一些新近出现的模型出现数据污染迹象；有些测评基准存在错误。因此，平台提出了更有挑战性的V2榜单，基于未受污染、高质量数据集的新基准，运用可靠的度量标准。”（HuggingFace技术博文链接：）

  好了，现在测试数据集（题目）大更新，最新的试卷、最新的考试，阿里云的Qwen2还是第一。也正是因为此，Huggingface联合发起人兼首席执行官Clem才会公开发文称“Qwen2-72B是王者，中国在全球开源大模型领域处于领导地位。”假如没有严格、充分的测试，他不可能公开进行这样的“点赞”。

  期待以后HuggingFace的榜单可以升级更快，测试数据集可以更新更快，阿里云的Qwen2以及国产大模型能够继续拥有更好的名次。

  OpenAI不支持中国开发者，开源大模型厂商必须要快速精进，勇敢补位。现在，是国产大模型、国产开源大模型生态被倒逼加速进步的绝佳时机，也是验证自己的好时机。