聊聊ChatGLM3多用户并发API调用的问题

转载请备注出处：/zhiyong-ITNote 背景 目前在公司内部4张A10的GPU服务器上部署了ChatGLM3开源模型；然后部署了官方默认的web_demo、api_demo两种模式；重新设计了前端，支持H5和安卓两个客户端调用。但却发现了不能并发
posted @ 2024-04-09 10:29  又见阿郎  阅读(174)  评论(1)  编辑  收藏  举报