Solon v3.2.0

chat - Vision（理解）图片、声音、视频

</> markdown

理解（或感知）多媒体内容的能力，需要大模型支持

1、理解图片（图像）

就是把图片和提示语一起提交给大模型。需要用到 Image 接口

接口描述
Image.ofUrl(String)根据 url 创建 Image
Image.ofBase64(String)根据 base64 String 创建 Image
Image.ofBase64(byte[])根据 base64 byte[] 创建 Image

示例（有些模型需要提交 url ，有些需要提交 b64。按模型要求使用）：

chatModel.prompt(ChatMessage.ofUser("这个图上有人像吗？", 
                    Image.ofUrl("http://.../demo.jpg")))
            .call();

2、理解声音（音频）

就是把声音和提示语一起提交给大模型。需要用到 Audio 接口

接口描述
Audio.ofUrl(String)根据 url 创建 Audio

示例：

chatModel.prompt(ChatMessage.ofUser("这里讲了什么？", 
                    Audio.ofUrl("http://.../demo.jpg")))
            .call();

3、理解视频

就是把视频和提示语一起提交给大模型。需要用到 Video 接口

接口描述
Video.ofUrl(String)根据 url 创建 Video

示例：

chatModel.prompt(ChatMessage.ofUser("这里讲了什么？", 
                    Video.ofUrl("http://.../demo.jpg")))
            .call();