帖子

Conrad · 2026-04-28T17:35:00+08:00

公司主要接入bedrock，openai，Anthropic，Openrouter,火山方舟，deepseek，google vertex，都是通过官渠接入主要需求：- 通过key或者认证文件接入后可以在通过自定义key分发- 控制key可以使用的模型- 调用方式统一- 可以看到自定义key的token用量信息，费用信息- 最好还可以看到调用请求的日志（请求内容/大模型回复内容）因为是公司内部用公司已经在用litellm了，没用newAPI是因为统计用量信息太少求推荐其他好用的开源平台手里还有一个两个月到期的^-^，每月800G流量，问题一经采纳，赠送以作感谢 ^-^

类似litellm、newapi平台求推荐

13811

Conrad2026-04-28
36868
公司主要接入bedrock，openai，Anthropic，Openrouter,火山方舟，deepseek，google vertex，都是通过官渠接入
主要需求：
- 通过key或者认证文件接入后可以在通过自定义key分发
- 控制key可以使用的模型
- 调用方式统一
- 可以看到自定义key的token用量信息，费用信息
- 最好还可以看到调用请求的日志（请求内容/大模型回复内容）因为是公司内部用
公司已经在用litellm了，没用newAPI是因为统计用量信息太少
求推荐其他好用的开源平台
手里还有一个两个月到期的^-^，每月800G流量，问题一经采纳，赠送以作感谢 ^-^
主楼
11 138
Alixy2026-04-28
24337
Helicone、Portkey、Bifrost ^-^
#1
lekai2026-04-28
29347
自建 axonhub 感觉不错。—— 主要是我挺喜欢他的追踪功能。
#2
Conrad2026-04-28
36868
收到，感谢，体验后反馈，大概看了一下，感觉Helicone还不错，部署一下，体验后反馈
#3
applefood2026-04-28
34887
佬可以试试这个还在开发中但偏向个人使用【开源】LLMRelayService —— Docker 部署个人大模型网关
#4
不会敲代码的ai程序员2026-04-28
42783
sub2api?cliproxyapi?
#5
Conrad2026-04-29
36868
cpa和sub2api能接入的都太少了，我们也主要是通过apikey的方式接入
#6
freeagentic2026-05-12
59778
用litellm 得自己做网关，否则litellm 统计出来是一坨。不知道有没有什么好用的第三方开源的网关呢
#7
sugarbliss2026-05-14
10768
佬，Helicone 体验的怎么样？
#8
Conrad2026-05-14
36868
docker镜像挺大的，下了挺长时间，起来之后，没找到我想要的需求点，可能是项目默认配置不支持这些功能，没细研究，手头有别的活就搁置了，记得当时docker compose up -d的时候，项目也有一点问题，用ai改了改才启动起来
#9
MingShun2026-05-16
59779
litellm因为啥想换了
感觉推荐的很多
#10
HshavHsuzg2026-08-18
59780
Helicone
我们现在内部使用，接入不同厂商的API或者token plan,希望对多个token进行轮询，也想搞个开源或商业的网关。那我最后选择哪个工具呢？
#11

发表回复

登录后回复