找回密码
 立即注册

QQ登录

只需一步,快速开始

搜索
热搜: 活动 交友 discuz
查看: 29|回复: 0

基于 deno 的免配置 gemini 轮询以及转OpenAI API格式

[复制链接]

1

主题

0

回帖

3

积分

新手上路

积分
3
发表于 7 天前 | 显示全部楼层 |阅读模式
基于 deno 部署的 Gemini 轮询,将多个 Google AI Studio API KEY 合并为一个API使用
API KEY 会按顺序轮流切换,报错(不包括空回复)就尝试下一个
轮询策略是按照 rpm 最小值稳定排序,不检查额度,失败就用下一个,直到全部 API KEY 都试过为止
支持内置(在deno环境变量里)/外置 API KEY(在你的 LLM web UI)里面,多个 API KEY 用半角逗号,分隔
服务端只存储 hash 后的 API 密钥用作轮询选择,不用担心 API 密钥泄漏
模型列表是从 google 的 API 获取的,新模型出了会自动更新列表
支持文件上传,不过还没测试过能不能用,文件不能大于20M
建议自己 fork 一份来用,别直接用我的,毕竟 deno 免费版有额度限制,我的号里面还部署了挺多东西的
可选功能
如果打算在 deno 上面托管 API 密钥的话,要设置两个环境变量
API_KEY: 密码,就是在你的 LLM web UI 里填的 API KEY
TOKENS: Google AI Studio API KEY 列表,半角逗号分隔
提示词功能
在传入的提示词里包含以下内容能够调整提示词处理的设定
设置 role 前缀:
<roleInfo>
user: Human
assistant: Model
system: System
<roleInfo>
禁用 role 前缀:
<|removeRole|>

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver|手机版|小黑屋|一起港湾 ( 青ICP备2025004122号-1 )

GMT+8, 2025-4-8 03:40 , Processed in 0.080812 second(s), 20 queries .

Powered by Discuz! X3.5

© 2001-2025 Discuz! Team.

快速回复 返回顶部 返回列表