--- title: "chat - 支持哪些模型？及方言定制" --- ### 1、支持哪些聊天模型？ 支持聊天模型，其实是支持接口风格。比如 DeepSeek-V3 官网的接口兼容 openai；在 ollama 平台是另一种接口风格；在阿里百炼则有两种接口风格，一种兼容 openai，另一种则是百炼专属风格；在模力方舟（ai.gitee）则是兼容 openai。 聊天模型的这种接口风格，称为聊天方言（简称，方言）。ChatConfig 通过 `standard` 或 `apiUrl`识别模型服务是由谁提供的。并自动选择对应的聊天方言适配。 框架内置的方言适配有： | 言方 | 配置要求 | 描述 | | ----------- | ------------------ | -------- | | openai | 默认
或者
`apiUrl=.../chat/completions` | 兼容 openai 的接口规范（默认） | | openai-responses | `standard=openai-responses`
或者
`apiUrl=.../v1/responses` | 兼容 openai-responses 的接口规范 | | ollama | `standard=ollama` | 兼容 ollama 的接口规范 | | gemini | `standard=gemini`
或者
`apiUrl=.../v1beta/models/*` | 兼容 google gemini 的接口规范（v3.8.1 后可试用） | | gemini | `standard=gemini-interactions`
或者
`apiUrl=.../v1beta/interactions/*` | 兼容 google gemini-interactions 的接口规范（v4.0.3 后可试用） | | anthropic | `standard=anthropic`
或者
`apiUrl=.../v1/messages` | 兼容 anthropic claude 的接口规范（v3.9.1 后可试用）。
claude 还有个 openai 的兼容模式（使用 openai 方言） | | dashscope | `standard=dashscope`
或者
`apiUrl=.../v1/services/*` | 兼容 dashscope （阿里云的平台百炼）的接口规范。
dashscope 还有个 openai 的兼容模式（使用 openai 方言） | 重要提醒： * solon-ai 支持 `apiUrl` 为完整地址（curl 地址）形式，自动通过尾段识别方言。 * solon-ai 支持 `apiUrl` 为基地址（baseUrl）形式 + `standard`（声明接口规范），识别方言并“自动补全”地址。 * 部分内网部署的地址，可能不需要自动补全，请以 "`#`"结尾（表示完整地址，不需要自动补全）。 那支持哪些聊天模型？ * 所有兼容 openai 的模型或平台服务（比如："DeepSeek"、"QWen"、"GLM"、"Kimi"、"MiniMax"、“Claude（openai 兼容模式）”、"Gemini（openai 兼容模式）"、"DashScope（openai 兼容模式）"、"GPT"、“模力方舟”、“硅基流动”、“魔搭社区（魔力空间）”、“Xinference”、“火山引擎”、“智谱”、“讯飞火星”、“百度千帆”、“阿里百炼”、"MiniMax" 等），都兼容 * 所有兼容 anthropic 的模型或平台服务，都兼容 * 所有 ollama 平台上的模型，都兼容 * 所有 gemini 相关模型，都兼容 * 所有 阿里百炼 平台上的模型（同时提供有 “百炼” 和 “openai” 两套接口），都兼容 构建示例： ```java ChatModel chatModel = ChatModel.of("http://127.0.0.1:11434/api/chat") //使用完整地址（而不是 api_base） .headerSet("x-demo", "demo1") .standard("ollama") .model("llama3.2") .build(); ``` ### 2、自带的方言依赖包 | 方言依赖包 | 描述 | | ------------------------------- | -------------------------------- | | org.noear:solon-ai | 包含 solon-ai-core 和下面所有的方言包。一般引用这个 | | org.noear:solon-ai-dialect-openai | 兼容 openai 的方言包 | | org.noear:solon-ai-dialect-ollama | 兼容 ollama 的方言包 | | org.noear:solon-ai-dialect-dashscope | 兼容 dashscope 的方言包 | | org.noear:solon-ai-dialect-gemini | 兼容 gemini 的方言包 | 提醒：一般匹配不到方言时？要么是 standard 配置有问题，要么是 pom 缺少相关的依赖包。 ### 3、聊天方言接口定义 ```java package org.noear.solon.ai.chat.dialect; import org.noear.snack4.ONode; import org.noear.solon.ai.AiModelDialect; import org.noear.solon.ai.chat.ChatConfig; import org.noear.solon.ai.chat.ChatResponseDefault; import org.noear.solon.ai.chat.message.ToolMessage; import org.noear.solon.ai.chat.tool.ToolCallBuilder; import org.noear.solon.ai.chat.message.AssistantMessage; import org.noear.solon.ai.chat.message.ChatMessage; import org.noear.solon.ai.chat.ChatOptions; import org.noear.solon.lang.Preview; import org.noear.solon.net.http.HttpUtils; import java.util.List; import java.util.Map; public interface ChatDialect extends AiModelDialect { /** * 是否为默认 */ default boolean isDefault() { return false; } /** * 匹配检测 * * @param config 聊天配置 */ boolean matched(ChatConfig config); /** * 创建 http 工具 * * @param config 聊天配置 * @param isStream 是否流式获取 */ HttpUtils createHttpUtils(ChatConfig config, boolean isStream); /** * 准备输出架构 */ void prepareOutputSchemaInstruction(String outputSchema, StringBuilder instructionBuilder); void prepareOutputFormatOptions(ChatOptions options); /** * 构建请求数据 * * @param config 聊天配置 * @param options 聊天选项 * @param messages 消息 * @param isStream 是否流式获取 */ ONode buildRequestJson(ChatConfig config, ChatOptions options, List messages, boolean isStream); /** * 构建助理消息节点 * * @param toolCallBuilders 工具调用构建器集合 */ ONode buildAssistantToolCallMessageNode(ChatResponseDefault resp, Map toolCallBuilders); /** * 构建助理消息根据直接返回的工具消息 * * @param toolMessages 直接返回的工具消息 */ AssistantMessage buildAssistantMessageByToolMessages(AssistantMessage toolCallMessage, List toolMessages); /** * 分析响应数据 * * @param config 聊天配置 * @param resp 响应体 * @param respJson 响应数据 */ boolean parseResponseJson(ChatConfig config, ChatResponseDefault resp, String respJson); /** * 分析工具调用 * * @param resp 响应体 * @param oMessage 消息节点 */ List parseAssistantMessage(ChatResponseDefault resp, ONode oMessage); } ``` ### 3、OllamaChatDialect 定制参考 如果方言有组件注解，会自动注册。否则，需要手动注册： ```java ChatDialectManager.register(new OllamaChatDialect()); ``` 方言定制参考： ```java package org.noear.solon.ai.llm.dialect.ollama; import org.noear.snack4.Feature; import org.noear.snack4.ONode; import org.noear.snack4.Options; import org.noear.snack4.json.JsonReader; import org.noear.solon.Utils; import org.noear.solon.ai.chat.content.ContentBlock; import org.noear.solon.ai.AiUsage; import org.noear.solon.ai.chat.content.AudioBlock; import org.noear.solon.ai.chat.ChatChoice; import org.noear.solon.ai.chat.ChatConfig; import org.noear.solon.ai.chat.ChatException; import org.noear.solon.ai.chat.ChatResponseDefault; import org.noear.solon.ai.chat.dialect.AbstractChatDialect; import org.noear.solon.ai.chat.message.AssistantMessage; import org.noear.solon.ai.chat.message.UserMessage; import org.noear.solon.ai.chat.tool.ToolCall; import org.noear.solon.ai.chat.tool.ToolCallBuilder; import org.noear.solon.ai.chat.content.ImageBlock; import org.noear.solon.ai.chat.content.VideoBlock; import org.noear.solon.core.util.Assert; import org.noear.solon.core.util.DateUtil; import org.slf4j.Logger; import org.slf4j.LoggerFactory; import java.util.Date; import java.util.List; import java.util.Map; /** * Ollama 聊天模型方言 */ public class OllamaChatDialect extends AbstractChatDialect { private static final Logger LOG = LoggerFactory.getLogger(OllamaChatDialect.class); private static OllamaChatDialect instance = new OllamaChatDialect(); public static OllamaChatDialect getInstance() { return instance; } /** * 匹配检测 * * @param config 聊天配置 */ @Override public boolean matched(ChatConfig config) { String standard = config.getStandardOrProvider(); return "ollama".equalsIgnoreCase(standard) || (Assert.isEmpty(standard) && config.getApiUrl().endsWith("/api/chat")); } @Override protected String getApiUrl(ChatConfig config) { //处理后缀# int index = config.getApiUrl().indexOf('#'); if (index > 0) { return config.getApiUrl().substring(0, index); } //自动补全地址 if (config.getApiUrl().endsWith("/api/chat")) { return config.getApiUrl(); } else { if (config.getApiUrl().endsWith("/")) { return config.getApiUrl() + "api/chat"; } else { return config.getApiUrl() + "/api/chat"; } } } @Override protected void buildUserMessageNodeDo(ChatConfig config, ONode oNode, UserMessage msg) { oNode.set("role", msg.getRole().name().toLowerCase()); if (msg.isMultiModal() == false) { //单模态 oNode.set("content", msg.getContent()); } else { //多模态 oNode.set("content", msg.getContent()); for (ContentBlock block1 : msg.getBlocks()) { if (block1 instanceof ImageBlock) { oNode.getOrNew("images").add(block1.toDataString(false)); } else if (block1 instanceof AudioBlock) { oNode.getOrNew("audios").add(block1.toDataString(false)); } else if (block1 instanceof VideoBlock) { oNode.getOrNew("videos").add(block1.toDataString(false)); } } } } @Override public ONode buildAssistantToolCallMessageNode(ChatResponseDefault resp, Map toolCallBuilders) { ONode oNode = new ONode(); oNode.set("role", "assistant"); oNode.set("content", resp.getAggregationContent()); oNode.getOrNew("tool_calls").asArray().then(n1 -> { for (Map.Entry kv : toolCallBuilders.entrySet()) { //有可能没有 n1.addNew().set("id", kv.getValue().idBuilder.toString()) .set("type", "function") .getOrNew("function").then(n2 -> { n2.set("name", kv.getValue().nameBuilder.toString()); n2.set("arguments", ONode.ofJson(kv.getValue().argumentsBuilder.toString())); }); } }); return oNode; } @Override public boolean parseResponseJson(ChatConfig config, ChatResponseDefault resp, String json) { //解析 ONode oResp = ONode.ofJson(json); if (oResp.isObject() == false) { return false; } if (oResp.hasKey("error")) { resp.setError(new ChatException(oResp.get("error").getString())); } else { resp.setModel(oResp.get("model").getString()); resp.setFinished(oResp.get("done").getBoolean()); String done_reason = oResp.get("done_reason").getString(); String createdStr = oResp.get("created_at").getString(); if (createdStr != null) { createdStr = createdStr.substring(0, createdStr.indexOf(".") + 4); } Date created = DateUtil.parseTry(createdStr); List messageList = parseAssistantMessage(resp, oResp.get("message")); for (AssistantMessage msg1 : messageList) { resp.addChoice(new ChatChoice(0, created, done_reason, msg1)); } if (Utils.isNotEmpty(done_reason)) { resp.lastFinishReason = done_reason; } if (resp.isFinished()) { long promptTokens = oResp.get("prompt_eval_count").getLong(); long completionTokens = oResp.get("eval_count").getLong(); long totalTokens = promptTokens + completionTokens; resp.setUsage(new AiUsage(promptTokens, 0L, completionTokens, totalTokens, oResp)); if (resp.hasChoices() == false) { resp.addChoice(new ChatChoice(0, created, resp.getLastFinishReasonNormalized(), new AssistantMessage(""))); } } } return true; } @Override protected ToolCall parseToolCall(ChatResponseDefault resp, ONode n1) { String callId = n1.get("id").getString();//可能是空的 ONode n1f = n1.get("function"); String name = n1f.get("name").getString(); ONode n1fArgs = n1f.get("arguments"); String argStr = n1fArgs.getString(); String index = name; if (n1fArgs.isValue()) { //有可能是 json string（还可能只是流的中间消息） if (hasNestedJsonBlock(argStr)) { JsonReader reader = new JsonReader(argStr, Options.of(Feature.Read_AutoRepair)); n1fArgs = reader.readLast(); if (n1fArgs == null) { LOG.warn("Parse tool arguments failed: {}", argStr); } } } Map argMap = null; if (n1fArgs != null) { if (n1fArgs.isObject()) { argMap = n1fArgs.toBean(Map.class); } } return new ToolCall(index, callId, name, argStr, argMap); } } ```