2024年4月9日
聊聊ChatGLM3多用户并发API调用的问题
摘要： 转载请备注出处：/zhiyong-ITNote 背景 目前在公司内部4张A10的GPU服务器上部署了ChatGLM3开源模型；然后部署了官方默认的web_demo、api_demo两种模式；重新设计了前端，支持H5和安卓两个客户端调用。但却发现了不能并发 阅读全文
posted @ 2024-04-09 10:29 又见阿郎 阅读(457) 评论(1) 推荐(1) 编辑