Qwen3编程

admin

JAVA：

1. import com.openai.client.OpenAIClient;
   
2. import com.openai.client.okhttp.OpenAIOkHttpClient;
   
3. import com.openai.models.ChatCompletion;
   
4. import com.openai.models.ChatCompletionCreateParams;
   
5. 
   
6. import java.util.List;
   
7. 
   
8. // OpenAI Java SDK 目前为 beta 阶段，此代码实例所使用的SDK版本号为0.32.0
   
9. public class Main {
   
10.     public static void main(String[] args) {
    
11.             // 创建 OpenAI 客户端，连接 DashScope 的兼容接口
    
12.             OpenAIClient client = OpenAIOkHttpClient.builder()
    
13.                     .apiKey(System.getenv("DASHSCOPE_API_KEY"))  // 或替换为 .apiKey("sk-xxx")
    
14.                     .baseUrl("https://dashscope.aliyuncs.com/compatible-mode/v1")
    
15.                     .build();
    
16. 
    
17.             // 创建 ChatCompletion 参数
    
18.             ChatCompletionCreateParams params = ChatCompletionCreateParams.builder()
    
19.                     .model("qwen-plus")  // 指定模型
    
20.                     .addSystemMessage("You are a helpful assistant.")
    
21.                     .addUserMessage("你是谁？")
    
22.                     .build();
    
23. 
    
24.             // 发送请求并获取响应
    
25.             ChatCompletion chatCompletion = client.chat().completions().create(params);
    
26. 
    
27. 
    
28.             // 提取并打印 content 字段内容
    
29.             List<ChatCompletion.Choice> choices = chatCompletion.choices();
    
30.             if (!choices.isEmpty()) {
    
31.                 String content = choices.get(0).message().content().orElse("无响应内容");
    
32.                 System.out.println(content);
    
33.             }
    
34.     }
    
35. }

复制代码

ref：百炼控制台-文本生成

admin

如何在 vLLM 中取消 Qwen3 的 Thinking 模式

1. Python:
   
2. prompt = "Who are you."
   
3. messages = [{"role": "user", "content": prompt}]
   
4. text = tokenizer.apply_chat_template(
   
5.     messages,
   
6.     tokenize=False,
   
7.     add_generation_prompt=True,
   
8.     enable_thinking=False  # 关键参数，禁用 Thinking 模式
   
9. )
   

复制代码

vLLM 提供了另一种更简单的方式：在用户输入的末尾添加 /no_think 标记。
通过 API 参数禁用 Thinking 模式（推荐）
如果你是通过 API 调用 Qwen3（如使用 vLLM 搭建的服务），可以在请求中通过 extra_body 字段设置 enable_thinking=False。

示例代码

1. response = client.chat.completions.create(
   
2.     model="chat",
   
3.     messages=[{"role": "user", "content": "Why is the sky blue?"}],
   
4.     extra_body={"chat_template_kwargs": {"enable_thinking": False}},
   
5. )
   

复制代码

extra_body 是一个 扩展参数字段，用于传递模型服务端支持的非标准参数。
chat_template_kwargs 是控制 chat_template 行为的参数。
enable_thinking: False 表示 不输出“思考”提示。

适用场景建议
推荐方法三：如果你是通过 API 调用模型，推荐使用 extra_body 设置 enable_thinking=False，这是最推荐的方式。
推荐方法一：如果你是本地部署模型并控制代码，建议使用 enable_thinking=False。
推荐方法二：如果你希望快速实现且不介意少量 token 输出，可以使用 /no_think 标记。

                        
原文链接：https://blog.csdn.net/qq_55666050/article/details/147893161