公开课内容节选自《大模型与Agent开发》完整版付费课程！

公开课时间有限，若想深度学习大模型技术，欢迎大家报名由我主讲的《大模型与Agent开发实战课》：

《大模型与Agent开发实战课》为【100+小时】体系大课，总共20大模块精讲精析，零基础直达大模型企业级应用！

公开课直播特惠，全年最低价！低至 5 折！扫码咨询课程信息哦👇

QWQ--Qwen团队开源推理大模型

本内容包括对Qwen团队最新开源的推理大模型（LRM）--QWQ进行快速介绍、模型部署使用办法、模型性能的多维度测试。

模型速递

QWQ模型相关链接信息：

Blog: https://qwenlm.github.io/blog/qwq-32b-preview/
HuggingFace: https://huggingface.co/Qwen/QwQ-32B-Preview
线上Demo: https://modelscope.cn/studios/Qwen/QwQ-32B-preview

就在今天凌晨（2024.11.28），Qwen团队发布了类o1推理大模型--QWQ。

本次开源的是一款32B级别的模型，主要聚焦于提升AI的推理能力。该模型属于实验性研究阶段，目前仍处于预览版本，并且正在进行积极的迭代和优化。随着后续版本的发布，我们期待能看到更强大的模型开源，以满足更广泛的应用需求和提升AI系统的整体性能。这一版本的推出不仅展示了当前技术的最新进展，也为未来更高效、更强大的推理模型奠定了基础。

线上测试

线上demo网址：https://modelscope.cn/studios/Qwen/QwQ-32B-preview

S先生、P先生、Q先生他们知道桌子的抽屉里有16张扑克牌：红桃A、Q、4 黑桃J、8、4、2、7、3 草花K、Q、5、4、6 方块A、5。约翰教授从这16张牌中挑出一张牌来，并把这张牌的点数告诉 P先生，把这张牌的花色告诉Q先生。这时，约翰教授问P先生和Q 先生：你们能从已知的点数或花色中推知这张牌是什么牌吗？于是，S先生听到如下的对话：

P先生：我不知道这张牌。

Q先生：我知道你不知道这张牌。

P先生：现在我知道这张牌了。

Q先生：我也知道了。

请问：这张牌是什么牌？

部分答案：

看看花色：

如果花色是红桃，可能的牌是红桃Q、红桃4
如果花色是方块，可能的牌是方块5

所以，如果Q先生的花色是红桃，还有两张牌；如果是方块，只有一张牌。

但是，Q先生现在能确定是哪张牌，说明花色是方块，因为只有方块5。

如果花色是红桃，还有红桃Q和红桃4两种可能性，Q先生不能确定是哪一张。

所以，只有当花色是方块时，Q先生才能确定是方块5。

因此，这张牌是方块5。

最终答案

[ \boxed{\text{方块5}} ]

部署使用流程

本流程使用Ollama在Linux环境下通过命令行进行部署，如果对ollama安装和使用方式（如API调用、高级对话形式、模型管理等）有不熟悉的可以参考前面的视频内容【Ollama-v0.4最新版本入门指南 | 从硬件支持到API调用全解】进行学习。

本地部署硬件推荐

Linux系统：

操作系统：推荐Ubuntu 22.04或更高版本，或其他支持的Linux发行版。
显卡:推荐使用 NVIDIA GPU（如 T4、V100、A10 等），或 AMD GPU，在本流程中至少需要 22GB 的显存。
内存：至少 16GB 的 RAM，在运行更大的模型的时候需要更多内存。
硬盘空间：在每个模型的支持列表中会显示安装所需的空间大小，在本流程中最少20GB用于模型下载。

下载&更新Ollama

首先我们在命令行中输入以下信息实现进行Ollama的安装（如已经按照执行该命令会实现软件更新）。

下载Ollama的指令如下：

FENCE0

下载完成后检测,如果返回版本号则说明成功下载： FENCE0

下载模型QWQ

在终端中执行命令 ollama run qwq ，即可下载该模型。模型下载完成后，会自动启动大模型，进入命令行交互模式，直接输入指令，就可以和模型进行对话了对应参数的模型的下载方式可以通过在Ollama官网查看到下载指令。

模型挂载网址：https://ollama.com/library/qwq

完成下载后会直接进入模型启动状态，如果退出或刷新界面，再次输入指令 ollama run qwq 即可启动对应模型。

当命令行中返回>>>即可进行对话,实测通过Ollama启动这种方式，单张24G显卡即可满足使用要求。

模型效果测试

我从以下维度对模型进行了测试：机器翻译、推理能力、数学能力、代码能力、开放式问题。

先上结论：

QWEN--QWQ推理大模型在应对机器翻译类任务的时候表现优秀，可以做到很好理解语句的深层含义，并翻译成对应语言中符合语言文化的句子，故QWQ可以作为翻译类大模型应用于海外商务英语、字幕翻译等需要考虑文化背景和上下文信息的环境中。
另外，QWQ模型表现出了不错的推理能力，相较于同参数的大模型可以很好的解决推理问题（如数字母和比较数字），对于较复杂的推理问题，QWQ可以实现问题拆解后分步骤推理，并在完成一轮推理后检验结果，通过尝试使用多种方式去验证。展现出的MCTS和反思机制是QWQ这类LRM实现有效推理的关键。
在数学和代码任务中，本质上也要求LLM具有较强的推理能力才能更好的分析问题并灵活的给出答案，QWQ在这类问题上展现出了良好的问题拆分和按步骤做答的习惯，在解决问题的时候按照严谨的步骤去推结论，并尝试验证；对于代码生成，会较全面的去生成代码并解答每个模块的功能，同时具有良好的人类意图识别能力。
开放式问题是LRM比较擅长的领域，这类问题没有具体的答案，需要分析并适当推理然后向合适的方向进行思考，也就是说，如果一个模型能够实现创新，那它一定会擅长回答开放式问题。在这类任务中，QWQ分析问题时会先进行详细的问题理解，然后尝试使用各种工具辅助其解决问题（如有需要），然后会进行反思，通过多种可行的解决方案进行验证，最后得出答案，总的来说，QWQ在处理此类开放式问题的时候表现出不错的解决能力，具有一定的解决复杂的、未见过的问题的素质。

那么接下来我分别展示QWQ在不同领域下的测试结果：

机器翻译

这个领域可以很好的落地于海外电商、字幕翻译、宣传等场景，翻译的最高境界是：信、达、雅。即翻译要尽可能忠实于原文的内容和意义，同时内容要通顺易懂，语言要优美、得体，不仅要准确和流畅，还要符合目标语言的文化习惯和审美标准。

帮我将这句话翻译成合适的英文：这双鞋踩起来有踩屎感。

家人们谁懂啊，这个口红真的是绝绝子

姐妹们，这个糯叽叽的真的很懂我们芋泥脑袋

识时务者为俊杰

好风凭借力，送我上青云

推理测试

推理能力本身就是目前各大大模型研究团体正在突破的方向，具有更强推理能力的模型在面对复杂问题时才能展现出更好的适应能力。在想面对编程问题、数学问题的时候才会展现出更优的性能。

在大模型领域一直有这样一个难题，那就是很难数清一个单词里面对应的字母，即“strawberry”难题。这是由于大模型本身的机制导致的：LLM在识别字词的时候都是以token的形式进行理解的，一个token所涵盖的往往不是一整个单词（如下图所示），因此通常的大模型不能很好的理解单词的本质，进而无法正确数出“strawberry”中r的数量。而QWQ在这个领域表现的就很好，这也是由于其推理能力的增强导致的。