Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

help request: 不能添加私有化部署的大模型服务 #194

Open
TigerYangYang opened this issue Feb 13, 2025 · 4 comments
Open

help request: 不能添加私有化部署的大模型服务 #194

TigerYangYang opened this issue Feb 13, 2025 · 4 comments

Comments

@TigerYangYang
Copy link

Description

不能添加私有化部署的大模型服务,比如本地部署了deepseek-r1大模型,在AI 模型中如何切换,能调用本地部署的大模型?

Environment

  • APIPark version:
  • Operating system (run uname -a):
@jeak01
Copy link
Contributor

jeak01 commented Feb 13, 2025

Description

不能添加私有化部署的大模型服务,比如本地部署了deepseek-r1大模型,在AI 模型中如何切换,能调用本地部署的大模型?

Environment

  • APIPark version:
  • Operating system (run uname -a):

本周的新版本先上一键部署开源模型并接入到apipark的功能,特别是deepseek-r1。然后已经部署好了的私有化模型的话,再下一个版本支持。

@TigerYangYang
Copy link
Author

Description

不能添加私有化部署的大模型服务,比如本地部署了deepseek-r1大模型,在AI 模型中如何切换,能调用本地部署的大模型?

Environment

  • APIPark version:
  • Operating system (run uname -a):

本周的新版本先上一键部署开源模型并接入到apipark的功能,特别是deepseek-r1。然后已经部署好了的私有化模型的话,再下一个版本支持。

感谢回复,目前有其它办法添加私有化模型吗?比如通过修改配置之类的?谢谢🙏

@jeak01
Copy link
Contributor

jeak01 commented Feb 13, 2025

Description

不能添加私有化部署的大模型服务,比如本地部署了deepseek-r1大模型,在AI 模型中如何切换,能调用本地部署的大模型?

Environment

  • APIPark version:
  • Operating system (run uname -a):

本周的新版本先上一键部署开源模型并接入到apipark的功能,特别是deepseek-r1。然后已经部署好了的私有化模型的话,再下一个版本支持。

感谢回复,目前有其它办法添加私有化模型吗?比如通过修改配置之类的?谢谢🙏

要支持的话不仅仅需要修改配置,还需要修改底层网关的代码(Go语言),所以还是等我们一下哈。下个版本也是这个月之内更新

@Crescentz
Copy link

私有化模型是指本地部署的xinference ,提供的模型吗

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

3 participants