-
Notifications
You must be signed in to change notification settings - Fork 939
New issue
Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.
By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.
Already on GitHub? Sign in to your account
[功能]: 提供对外的OPENAI兼容API服务 #661
Comments
不是太懂,cherry是一个AI前端应用,需要它同时做后端转发服务,也不是不行,总有些会弄复杂。用win版的one-api是不是更好。 |
可能描述的不清楚,希望实现的功能是这样的:cherry对外服务的API接口的模型参数可以固定,但是可以随时通过cherry设置该接口转发cherry中已经设置好的各种模型,这样配置使用cherry接口服务的软件切换模型就非常方便了,甚至可以在一个对话中切换不同的模型,cherry作为前端应用且已经处理好了各种接口,关键是有良好的gui,使用起来可比one-api这种web应用方便多了,而且one-api是纯粹的api转发,无法实现上面描述的快速的模型切换,只能在软件中调整url和模型,而很多软件是不支持即时的调整的,关键是开了one-api不还得再开一个cherry做客户端么,最不能忍的是还要在cherry里把所有的服务与模型再设置一遍。 |
附议,可以为其他应用提供中转接口 |
感觉会比较奇怪,这个交给one-api这种专门做转发的软件更合适些吧。 |
完全没有,cherry 只是做好了一个客户端会做的事。如果要转发,相当于要完完全全新增一个服务端,要做的事也是不同的。比如对 OpenAI 接口结构的解析和转义、各种接口的支持以及对请求的路由和负载均衡等等,这些现在都没有,都得从头开始做。 当然,如果开发者有精力的话,倒是也可以做,也没什么不好,相当于变成了像 ChatNio 那样的一站式平台(本地版)。但可想而知,确实会很复杂,现有的客户端功能开发也会停滞。
不太理解,如果已经有 API 网关了,就不需要再区分服务重新填写了吧,直接一个服务全囊括即可。很省力啊。 |
您的功能建议是否与某个问题相关?
cherry studio已经是聚合了多个服务的客户端了,如果能够加上API分发的功能,可为其它应用提供一个统一的接口并处理诸如代理与多模型切换等功能,将对专业用户有更大吸引力,进一步提升软件的使用范围与用户粘性。
请描述您希望实现的解决方案
提供对外的OPENAI兼容API服务,用户可以设置API KEY、可以选择转发服务商与模型。
请描述您考虑过的其他方案
open-webui有类似功能,其基于web的形式不利于本地使用。
其他补充信息
No response
The text was updated successfully, but these errors were encountered: