Solon v3.0.3

::ollama

</> markdown

Ollama 是一个专注于“本地部署”大型语言模型的工具。

1、官网与下载

https://ollama.com/

可以在官网下载对应的版本并安装（有 mac, linux, window）：

https://ollama.com/download

2、运行

命令运行格式：ollama run {model}，示例：

ollama run llama3.2

运行后，命令行界面可以做简单的互动：

3、调用 web api(http + post + json-body)

运行后也同时提供 http 服务。默认的 http 服务地址为： http://127.0.0.1:11434/api/generate 。更多内容，可搜索网上资料。

  • 使用 PostMan 测试

  • 使用 HttpUtils 工具调用
return HttpUtils.http("http://127.0.0.1:11434/api/generate")
                .bodyOfJson(
                        new ONode()
                                .set("prompt", prompt)
                                .set("model", "llama3.2")
                                .set("stream", "false")
                                .toJson()
                ).post();