Compare commits
9 Commits
| Author | SHA1 | Date | |
|---|---|---|---|
|
|
f93dde43df | ||
|
|
84a2874c7b | ||
|
|
c10f8ae2e2 | ||
|
|
17363edf25 | ||
|
|
486cd4c343 | ||
|
|
25feceb783 | ||
|
|
d26752250d | ||
|
|
b15453c369 | ||
|
|
04ba8c8bc3 |
343
API_USAGE.md
Normal file
343
API_USAGE.md
Normal file
@@ -0,0 +1,343 @@
|
|||||||
|
# CLIProxyAPI 호출 가이드
|
||||||
|
|
||||||
|
## 접속 정보
|
||||||
|
|
||||||
|
| 항목 | 값 |
|
||||||
|
|------|-----|
|
||||||
|
| 외부 URL | `https://cliproxy.gru.farm` |
|
||||||
|
| 내부 URL | `http://192.168.0.17:8317` |
|
||||||
|
| API 키 | `Jinie4eva!` |
|
||||||
|
| 인증 방식 | `Authorization: Bearer <API키>` |
|
||||||
|
|
||||||
|
## 엔드포인트
|
||||||
|
|
||||||
|
| 용도 | 경로 |
|
||||||
|
|------|------|
|
||||||
|
| Claude 네이티브 (권장) | `/api/provider/claude/v1/messages` |
|
||||||
|
| OpenAI 호환 | `/v1/chat/completions` |
|
||||||
|
| 모델 목록 | `/v1/models` |
|
||||||
|
|
||||||
|
## 사용 가능한 모델
|
||||||
|
|
||||||
|
| 모델 ID | 설명 |
|
||||||
|
|---------|------|
|
||||||
|
| `claude-sonnet-4-6` | Claude Sonnet 4.6 (최신, 권장) |
|
||||||
|
| `claude-opus-4-6` | Claude Opus 4.6 (최고 성능) |
|
||||||
|
| `claude-sonnet-4-5-20250929` | Claude Sonnet 4.5 |
|
||||||
|
| `claude-opus-4-5-20251101` | Claude Opus 4.5 |
|
||||||
|
| `claude-haiku-4-5-20251001` | Claude Haiku 4.5 (경량/빠름) |
|
||||||
|
| `claude-sonnet-4-20250514` | Claude Sonnet 4 |
|
||||||
|
| `claude-opus-4-20250514` | Claude Opus 4 |
|
||||||
|
| `claude-3-7-sonnet-20250219` | Claude 3.7 Sonnet |
|
||||||
|
| `claude-3-5-haiku-20241022` | Claude 3.5 Haiku |
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## 1. curl
|
||||||
|
|
||||||
|
### 기본 호출
|
||||||
|
|
||||||
|
```bash
|
||||||
|
curl -X POST https://cliproxy.gru.farm/api/provider/claude/v1/messages \
|
||||||
|
-H "Authorization: Bearer Jinie4eva!" \
|
||||||
|
-H "anthropic-version: 2023-06-01" \
|
||||||
|
-H "Content-Type: application/json" \
|
||||||
|
-d '{
|
||||||
|
"model": "claude-sonnet-4-6",
|
||||||
|
"max_tokens": 1024,
|
||||||
|
"messages": [
|
||||||
|
{"role": "user", "content": "안녕! 간단히 소개해줘"}
|
||||||
|
]
|
||||||
|
}'
|
||||||
|
```
|
||||||
|
|
||||||
|
### 스트리밍
|
||||||
|
|
||||||
|
```bash
|
||||||
|
curl -X POST https://cliproxy.gru.farm/api/provider/claude/v1/messages \
|
||||||
|
-H "Authorization: Bearer Jinie4eva!" \
|
||||||
|
-H "anthropic-version: 2023-06-01" \
|
||||||
|
-H "Content-Type: application/json" \
|
||||||
|
-d '{
|
||||||
|
"model": "claude-sonnet-4-6",
|
||||||
|
"max_tokens": 1024,
|
||||||
|
"stream": true,
|
||||||
|
"messages": [
|
||||||
|
{"role": "user", "content": "안녕!"}
|
||||||
|
]
|
||||||
|
}'
|
||||||
|
```
|
||||||
|
|
||||||
|
### 모델 목록 조회
|
||||||
|
|
||||||
|
```bash
|
||||||
|
curl https://cliproxy.gru.farm/v1/models \
|
||||||
|
-H "Authorization: Bearer Jinie4eva!"
|
||||||
|
```
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## 2. Python — Anthropic SDK
|
||||||
|
|
||||||
|
### 설치
|
||||||
|
|
||||||
|
```bash
|
||||||
|
pip install anthropic
|
||||||
|
```
|
||||||
|
|
||||||
|
### 기본 호출
|
||||||
|
|
||||||
|
```python
|
||||||
|
from anthropic import Anthropic
|
||||||
|
|
||||||
|
client = Anthropic(
|
||||||
|
base_url="https://cliproxy.gru.farm/api/provider/claude",
|
||||||
|
api_key="Jinie4eva!"
|
||||||
|
)
|
||||||
|
|
||||||
|
response = client.messages.create(
|
||||||
|
model="claude-sonnet-4-6",
|
||||||
|
max_tokens=1024,
|
||||||
|
messages=[
|
||||||
|
{"role": "user", "content": "안녕! 간단히 소개해줘"}
|
||||||
|
]
|
||||||
|
)
|
||||||
|
|
||||||
|
print(response.content[0].text)
|
||||||
|
```
|
||||||
|
|
||||||
|
### 스트리밍
|
||||||
|
|
||||||
|
```python
|
||||||
|
from anthropic import Anthropic
|
||||||
|
|
||||||
|
client = Anthropic(
|
||||||
|
base_url="https://cliproxy.gru.farm/api/provider/claude",
|
||||||
|
api_key="Jinie4eva!"
|
||||||
|
)
|
||||||
|
|
||||||
|
with client.messages.stream(
|
||||||
|
model="claude-sonnet-4-6",
|
||||||
|
max_tokens=1024,
|
||||||
|
messages=[
|
||||||
|
{"role": "user", "content": "안녕! 간단히 소개해줘"}
|
||||||
|
]
|
||||||
|
) as stream:
|
||||||
|
for text in stream.text_stream:
|
||||||
|
print(text, end="", flush=True)
|
||||||
|
```
|
||||||
|
|
||||||
|
### 시스템 프롬프트 + 멀티턴
|
||||||
|
|
||||||
|
```python
|
||||||
|
from anthropic import Anthropic
|
||||||
|
|
||||||
|
client = Anthropic(
|
||||||
|
base_url="https://cliproxy.gru.farm/api/provider/claude",
|
||||||
|
api_key="Jinie4eva!"
|
||||||
|
)
|
||||||
|
|
||||||
|
response = client.messages.create(
|
||||||
|
model="claude-sonnet-4-6",
|
||||||
|
max_tokens=1024,
|
||||||
|
system="당신은 친절한 한국어 AI 어시스턴트입니다.",
|
||||||
|
messages=[
|
||||||
|
{"role": "user", "content": "파이썬이 뭐야?"},
|
||||||
|
{"role": "assistant", "content": "파이썬은 프로그래밍 언어입니다."},
|
||||||
|
{"role": "user", "content": "그럼 자바스크립트는?"}
|
||||||
|
]
|
||||||
|
)
|
||||||
|
|
||||||
|
print(response.content[0].text)
|
||||||
|
```
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## 3. Python — OpenAI SDK (호환 모드)
|
||||||
|
|
||||||
|
### 설치
|
||||||
|
|
||||||
|
```bash
|
||||||
|
pip install openai
|
||||||
|
```
|
||||||
|
|
||||||
|
### 기본 호출
|
||||||
|
|
||||||
|
```python
|
||||||
|
from openai import OpenAI
|
||||||
|
|
||||||
|
client = OpenAI(
|
||||||
|
base_url="https://cliproxy.gru.farm/v1",
|
||||||
|
api_key="Jinie4eva!"
|
||||||
|
)
|
||||||
|
|
||||||
|
response = client.chat.completions.create(
|
||||||
|
model="claude-sonnet-4-6",
|
||||||
|
messages=[
|
||||||
|
{"role": "user", "content": "안녕!"}
|
||||||
|
]
|
||||||
|
)
|
||||||
|
|
||||||
|
print(response.choices[0].message.content)
|
||||||
|
```
|
||||||
|
|
||||||
|
### 스트리밍
|
||||||
|
|
||||||
|
```python
|
||||||
|
from openai import OpenAI
|
||||||
|
|
||||||
|
client = OpenAI(
|
||||||
|
base_url="https://cliproxy.gru.farm/v1",
|
||||||
|
api_key="Jinie4eva!"
|
||||||
|
)
|
||||||
|
|
||||||
|
stream = client.chat.completions.create(
|
||||||
|
model="claude-sonnet-4-6",
|
||||||
|
messages=[{"role": "user", "content": "안녕!"}],
|
||||||
|
stream=True
|
||||||
|
)
|
||||||
|
|
||||||
|
for chunk in stream:
|
||||||
|
if chunk.choices[0].delta.content:
|
||||||
|
print(chunk.choices[0].delta.content, end="", flush=True)
|
||||||
|
```
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## 4. Node.js — Anthropic SDK
|
||||||
|
|
||||||
|
### 설치
|
||||||
|
|
||||||
|
```bash
|
||||||
|
npm install @anthropic-ai/sdk
|
||||||
|
```
|
||||||
|
|
||||||
|
### 기본 호출
|
||||||
|
|
||||||
|
```javascript
|
||||||
|
import Anthropic from "@anthropic-ai/sdk";
|
||||||
|
|
||||||
|
const client = new Anthropic({
|
||||||
|
baseURL: "https://cliproxy.gru.farm/api/provider/claude",
|
||||||
|
apiKey: "Jinie4eva!",
|
||||||
|
});
|
||||||
|
|
||||||
|
const response = await client.messages.create({
|
||||||
|
model: "claude-sonnet-4-6",
|
||||||
|
max_tokens: 1024,
|
||||||
|
messages: [{ role: "user", content: "안녕!" }],
|
||||||
|
});
|
||||||
|
|
||||||
|
console.log(response.content[0].text);
|
||||||
|
```
|
||||||
|
|
||||||
|
### 스트리밍
|
||||||
|
|
||||||
|
```javascript
|
||||||
|
import Anthropic from "@anthropic-ai/sdk";
|
||||||
|
|
||||||
|
const client = new Anthropic({
|
||||||
|
baseURL: "https://cliproxy.gru.farm/api/provider/claude",
|
||||||
|
apiKey: "Jinie4eva!",
|
||||||
|
});
|
||||||
|
|
||||||
|
const stream = client.messages.stream({
|
||||||
|
model: "claude-sonnet-4-6",
|
||||||
|
max_tokens: 1024,
|
||||||
|
messages: [{ role: "user", content: "안녕!" }],
|
||||||
|
});
|
||||||
|
|
||||||
|
for await (const chunk of stream) {
|
||||||
|
if (
|
||||||
|
chunk.type === "content_block_delta" &&
|
||||||
|
chunk.delta.type === "text_delta"
|
||||||
|
) {
|
||||||
|
process.stdout.write(chunk.delta.text);
|
||||||
|
}
|
||||||
|
}
|
||||||
|
```
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## 5. Node.js — OpenAI SDK (호환 모드)
|
||||||
|
|
||||||
|
### 설치
|
||||||
|
|
||||||
|
```bash
|
||||||
|
npm install openai
|
||||||
|
```
|
||||||
|
|
||||||
|
### 기본 호출
|
||||||
|
|
||||||
|
```javascript
|
||||||
|
import OpenAI from "openai";
|
||||||
|
|
||||||
|
const client = new OpenAI({
|
||||||
|
baseURL: "https://cliproxy.gru.farm/v1",
|
||||||
|
apiKey: "Jinie4eva!",
|
||||||
|
});
|
||||||
|
|
||||||
|
const response = await client.chat.completions.create({
|
||||||
|
model: "claude-sonnet-4-6",
|
||||||
|
messages: [{ role: "user", content: "안녕!" }],
|
||||||
|
});
|
||||||
|
|
||||||
|
console.log(response.choices[0].message.content);
|
||||||
|
```
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## 6. Claude Code CLI
|
||||||
|
|
||||||
|
```bash
|
||||||
|
export ANTHROPIC_BASE_URL=https://cliproxy.gru.farm/api/provider/claude
|
||||||
|
export ANTHROPIC_API_KEY=Jinie4eva!
|
||||||
|
|
||||||
|
claude
|
||||||
|
```
|
||||||
|
|
||||||
|
영구 적용 (`~/.zshrc` 또는 `~/.bashrc`):
|
||||||
|
|
||||||
|
```bash
|
||||||
|
echo 'export ANTHROPIC_BASE_URL=https://cliproxy.gru.farm/api/provider/claude' >> ~/.zshrc
|
||||||
|
echo 'export ANTHROPIC_API_KEY=Jinie4eva!' >> ~/.zshrc
|
||||||
|
source ~/.zshrc
|
||||||
|
```
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## 7. 환경변수로 관리
|
||||||
|
|
||||||
|
`.env` 파일:
|
||||||
|
|
||||||
|
```env
|
||||||
|
ANTHROPIC_BASE_URL=https://cliproxy.gru.farm/api/provider/claude
|
||||||
|
ANTHROPIC_API_KEY=Jinie4eva!
|
||||||
|
```
|
||||||
|
|
||||||
|
Python에서 `.env` 사용:
|
||||||
|
|
||||||
|
```python
|
||||||
|
from dotenv import load_dotenv
|
||||||
|
from anthropic import Anthropic
|
||||||
|
|
||||||
|
load_dotenv()
|
||||||
|
|
||||||
|
# base_url, api_key 자동으로 환경변수에서 읽음
|
||||||
|
client = Anthropic()
|
||||||
|
|
||||||
|
response = client.messages.create(
|
||||||
|
model="claude-sonnet-4-6",
|
||||||
|
max_tokens=1024,
|
||||||
|
messages=[{"role": "user", "content": "안녕!"}]
|
||||||
|
)
|
||||||
|
print(response.content[0].text)
|
||||||
|
```
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## 주의사항
|
||||||
|
|
||||||
|
- **내부망 접근 시** URL을 `http://192.168.0.17:8317`로 변경
|
||||||
|
- **OpenAI 호환 모드**는 `/v1/chat/completions`를 사용하지만, Claude 네이티브 기능(extended thinking 등)은 `/api/provider/claude/v1/messages` 사용 권장
|
||||||
|
- **타임아웃** 설정: 긴 응답의 경우 클라이언트 타임아웃을 600초 이상으로 설정
|
||||||
212
DOCKER_DEPLOY.md
Normal file
212
DOCKER_DEPLOY.md
Normal file
@@ -0,0 +1,212 @@
|
|||||||
|
# CLIProxyAPI Docker 배포 가이드
|
||||||
|
|
||||||
|
NAS(nas.gru.farm)에 Docker로 CLIProxyAPI를 배포하는 방법을 정리합니다.
|
||||||
|
|
||||||
|
## 사전 조건
|
||||||
|
|
||||||
|
| 항목 | 내용 |
|
||||||
|
|------|------|
|
||||||
|
| NAS 접속 | `ssh airkjw@nas.gru.farm -p 22` |
|
||||||
|
| Docker | `sudo /usr/local/bin/docker` (NOPASSWD) |
|
||||||
|
| Docker Compose | `sudo /usr/local/bin/docker compose` |
|
||||||
|
| NAS 내부 IP | 192.168.0.17 |
|
||||||
|
|
||||||
|
## 1. 배포 디렉토리 준비
|
||||||
|
|
||||||
|
```bash
|
||||||
|
ssh airkjw@nas.gru.farm
|
||||||
|
|
||||||
|
# 배포 디렉토리 생성
|
||||||
|
mkdir -p ~/docker/cli-proxy-api
|
||||||
|
cd ~/docker/cli-proxy-api
|
||||||
|
```
|
||||||
|
|
||||||
|
## 2. 필요 파일 구성
|
||||||
|
|
||||||
|
NAS에 아래 파일들이 필요합니다:
|
||||||
|
|
||||||
|
```
|
||||||
|
~/docker/cli-proxy-api/
|
||||||
|
├── docker-compose.yml # 컨테이너 설정
|
||||||
|
├── config.yaml # 서비스 설정 (API 키, 포트 등)
|
||||||
|
├── auths/ # OAuth 인증 데이터 (자동 생성)
|
||||||
|
└── logs/ # 로그 디렉토리 (자동 생성)
|
||||||
|
```
|
||||||
|
|
||||||
|
## 3. docker-compose.yml
|
||||||
|
|
||||||
|
로컬 빌드 방식 (소스에서 직접 빌드):
|
||||||
|
|
||||||
|
```yaml
|
||||||
|
services:
|
||||||
|
cli-proxy-api:
|
||||||
|
build:
|
||||||
|
context: .
|
||||||
|
dockerfile: Dockerfile
|
||||||
|
container_name: cli-proxy-api
|
||||||
|
ports:
|
||||||
|
- "8317:8317" # 메인 API 포트
|
||||||
|
# 필요시 추가 포트 오픈
|
||||||
|
# - "8085:8085"
|
||||||
|
volumes:
|
||||||
|
- ./config.yaml:/CLIProxyAPI/config.yaml
|
||||||
|
- ./auths:/root/.cli-proxy-api
|
||||||
|
- ./logs:/CLIProxyAPI/logs
|
||||||
|
environment:
|
||||||
|
- TZ=Asia/Seoul
|
||||||
|
restart: unless-stopped
|
||||||
|
```
|
||||||
|
|
||||||
|
또는 공식 이미지 사용:
|
||||||
|
|
||||||
|
```yaml
|
||||||
|
services:
|
||||||
|
cli-proxy-api:
|
||||||
|
image: eceasy/cli-proxy-api:latest
|
||||||
|
container_name: cli-proxy-api
|
||||||
|
ports:
|
||||||
|
- "8317:8317"
|
||||||
|
volumes:
|
||||||
|
- ./config.yaml:/CLIProxyAPI/config.yaml
|
||||||
|
- ./auths:/root/.cli-proxy-api
|
||||||
|
- ./logs:/CLIProxyAPI/logs
|
||||||
|
environment:
|
||||||
|
- TZ=Asia/Seoul
|
||||||
|
restart: unless-stopped
|
||||||
|
```
|
||||||
|
|
||||||
|
## 4. config.yaml 설정
|
||||||
|
|
||||||
|
`config.example.yaml`을 기반으로 작성합니다.
|
||||||
|
|
||||||
|
### 최소 설정 예시
|
||||||
|
|
||||||
|
```yaml
|
||||||
|
# 서버 바인딩
|
||||||
|
host: ""
|
||||||
|
port: 8317
|
||||||
|
|
||||||
|
# API 키 (클라이언트 인증용, 원하는 값으로 설정)
|
||||||
|
api-keys:
|
||||||
|
- "my-secret-api-key-1"
|
||||||
|
|
||||||
|
# 디버그 (초기 설정 시 true 권장, 안정화 후 false)
|
||||||
|
debug: false
|
||||||
|
|
||||||
|
# 로그를 파일로 기록
|
||||||
|
logging-to-file: true
|
||||||
|
logs-max-total-size-mb: 100
|
||||||
|
|
||||||
|
# 재시도 설정
|
||||||
|
request-retry: 3
|
||||||
|
```
|
||||||
|
|
||||||
|
### Claude API 키 사용 시 추가
|
||||||
|
|
||||||
|
```yaml
|
||||||
|
claude-api-key:
|
||||||
|
- api-key: "sk-ant-xxxxx"
|
||||||
|
# base-url: "https://api.anthropic.com" # 기본값이므로 생략 가능
|
||||||
|
```
|
||||||
|
|
||||||
|
### Gemini API 키 사용 시 추가
|
||||||
|
|
||||||
|
```yaml
|
||||||
|
gemini-api-key:
|
||||||
|
- api-key: "AIzaSy..."
|
||||||
|
```
|
||||||
|
|
||||||
|
### Management UI 활성화 (웹 관리 패널)
|
||||||
|
|
||||||
|
```yaml
|
||||||
|
remote-management:
|
||||||
|
allow-remote: true
|
||||||
|
secret-key: "my-management-password"
|
||||||
|
disable-control-panel: false
|
||||||
|
```
|
||||||
|
|
||||||
|
## 5. 배포 실행
|
||||||
|
|
||||||
|
```bash
|
||||||
|
cd ~/docker/cli-proxy-api
|
||||||
|
|
||||||
|
# 공식 이미지 사용 시
|
||||||
|
sudo /usr/local/bin/docker compose up -d
|
||||||
|
|
||||||
|
# 소스 빌드 시 (Gitea에서 소스 가져와서)
|
||||||
|
git clone http://nas.gru.farm:3001/airkjw/CLIProxyAPI.git src
|
||||||
|
sudo /usr/local/bin/docker compose -f src/docker-compose.yml up -d --build
|
||||||
|
```
|
||||||
|
|
||||||
|
## 6. 확인
|
||||||
|
|
||||||
|
```bash
|
||||||
|
# 컨테이너 상태 확인
|
||||||
|
sudo /usr/local/bin/docker ps | grep cli-proxy-api
|
||||||
|
|
||||||
|
# 로그 확인
|
||||||
|
sudo /usr/local/bin/docker logs cli-proxy-api
|
||||||
|
|
||||||
|
# API 응답 테스트
|
||||||
|
curl http://localhost:8317/
|
||||||
|
curl http://192.168.0.17:8317/
|
||||||
|
|
||||||
|
# 모델 목록 확인 (API 키 인증)
|
||||||
|
curl -H "Authorization: Bearer my-secret-api-key-1" http://localhost:8317/v1/models
|
||||||
|
```
|
||||||
|
|
||||||
|
## 7. 클라이언트 연결
|
||||||
|
|
||||||
|
CLIProxyAPI가 실행되면 각 AI CLI 도구에서 프록시 주소로 연결합니다.
|
||||||
|
|
||||||
|
### Claude Code에서 사용
|
||||||
|
|
||||||
|
```bash
|
||||||
|
# 환경변수 설정
|
||||||
|
export ANTHROPIC_BASE_URL=http://192.168.0.17:8317
|
||||||
|
export ANTHROPIC_API_KEY=my-secret-api-key-1
|
||||||
|
```
|
||||||
|
|
||||||
|
### OpenAI 호환 클라이언트에서 사용
|
||||||
|
|
||||||
|
```bash
|
||||||
|
export OPENAI_BASE_URL=http://192.168.0.17:8317/v1
|
||||||
|
export OPENAI_API_KEY=my-secret-api-key-1
|
||||||
|
```
|
||||||
|
|
||||||
|
## 8. 관리 & 운영
|
||||||
|
|
||||||
|
```bash
|
||||||
|
# 컨테이너 중지
|
||||||
|
sudo /usr/local/bin/docker compose down
|
||||||
|
|
||||||
|
# 설정 변경 후 재시작
|
||||||
|
sudo /usr/local/bin/docker compose restart
|
||||||
|
|
||||||
|
# 이미지 업데이트 (공식 이미지 사용 시)
|
||||||
|
sudo /usr/local/bin/docker compose pull
|
||||||
|
sudo /usr/local/bin/docker compose up -d
|
||||||
|
|
||||||
|
# 로그 실시간 모니터링
|
||||||
|
sudo /usr/local/bin/docker logs -f cli-proxy-api
|
||||||
|
```
|
||||||
|
|
||||||
|
## 포트 목록
|
||||||
|
|
||||||
|
| 포트 | 용도 | 필수 여부 |
|
||||||
|
|------|------|-----------|
|
||||||
|
| 8317 | 메인 API | 필수 |
|
||||||
|
| 8085 | 추가 API | 선택 |
|
||||||
|
| 1455 | 추가 서비스 | 선택 |
|
||||||
|
| 54545 | 추가 서비스 | 선택 |
|
||||||
|
| 51121 | 추가 서비스 | 선택 |
|
||||||
|
| 11451 | 추가 서비스 | 선택 |
|
||||||
|
|
||||||
|
> 기본적으로 8317 포트만 열면 됩니다. 나머지는 특정 기능 사용 시 필요합니다.
|
||||||
|
|
||||||
|
## 주의사항
|
||||||
|
|
||||||
|
- `config.yaml`은 `.gitignore`에 포함되어 있어 Git에 커밋되지 않음 (API 키 보호)
|
||||||
|
- OAuth 인증(Claude, Gemini 등)은 최초 1회 브라우저 로그인 필요
|
||||||
|
- `auths/` 디렉토리를 볼륨으로 마운트하면 컨테이너 재생성 시에도 인증 유지
|
||||||
|
- NAS 외부 접근 시 방화벽/포트포워딩 설정 필요
|
||||||
@@ -126,10 +126,6 @@ Browser-based tool to translate SRT subtitles using your Gemini subscription via
|
|||||||
|
|
||||||
CLI wrapper for instant switching between multiple Claude accounts and alternative models (Gemini, Codex, Antigravity) via CLIProxyAPI OAuth - no API keys needed
|
CLI wrapper for instant switching between multiple Claude accounts and alternative models (Gemini, Codex, Antigravity) via CLIProxyAPI OAuth - no API keys needed
|
||||||
|
|
||||||
### [ProxyPal](https://github.com/heyhuynhgiabuu/proxypal)
|
|
||||||
|
|
||||||
Native macOS GUI for managing CLIProxyAPI: configure providers, model mappings, and endpoints via OAuth - no API keys needed.
|
|
||||||
|
|
||||||
### [Quotio](https://github.com/nguyenphutrong/quotio)
|
### [Quotio](https://github.com/nguyenphutrong/quotio)
|
||||||
|
|
||||||
Native macOS menu bar app that unifies Claude, Gemini, OpenAI, Qwen, and Antigravity subscriptions with real-time quota tracking and smart auto-failover for AI coding tools like Claude Code, OpenCode, and Droid - no API keys needed.
|
Native macOS menu bar app that unifies Claude, Gemini, OpenAI, Qwen, and Antigravity subscriptions with real-time quota tracking and smart auto-failover for AI coding tools like Claude Code, OpenCode, and Droid - no API keys needed.
|
||||||
|
|||||||
@@ -125,10 +125,6 @@ CLIProxyAPI 已内置对 [Amp CLI](https://ampcode.com) 和 Amp IDE 扩展的支
|
|||||||
|
|
||||||
CLI 封装器,用于通过 CLIProxyAPI OAuth 即时切换多个 Claude 账户和替代模型(Gemini, Codex, Antigravity),无需 API 密钥。
|
CLI 封装器,用于通过 CLIProxyAPI OAuth 即时切换多个 Claude 账户和替代模型(Gemini, Codex, Antigravity),无需 API 密钥。
|
||||||
|
|
||||||
### [ProxyPal](https://github.com/heyhuynhgiabuu/proxypal)
|
|
||||||
|
|
||||||
基于 macOS 平台的原生 CLIProxyAPI GUI:配置供应商、模型映射以及OAuth端点,无需 API 密钥。
|
|
||||||
|
|
||||||
### [Quotio](https://github.com/nguyenphutrong/quotio)
|
### [Quotio](https://github.com/nguyenphutrong/quotio)
|
||||||
|
|
||||||
原生 macOS 菜单栏应用,统一管理 Claude、Gemini、OpenAI、Qwen 和 Antigravity 订阅,提供实时配额追踪和智能自动故障转移,支持 Claude Code、OpenCode 和 Droid 等 AI 编程工具,无需 API 密钥。
|
原生 macOS 菜单栏应用,统一管理 Claude、Gemini、OpenAI、Qwen 和 Antigravity 订阅,提供实时配额追踪和智能自动故障转移,支持 Claude Code、OpenCode 和 Droid 等 AI 编程工具,无需 API 密钥。
|
||||||
|
|||||||
@@ -126,10 +126,6 @@ CLIProxyAPI経由でGeminiサブスクリプションを使用してSRT字幕を
|
|||||||
|
|
||||||
CLIProxyAPI OAuthを使用して複数のClaudeアカウントや代替モデル(Gemini、Codex、Antigravity)を即座に切り替えるCLIラッパー - APIキー不要
|
CLIProxyAPI OAuthを使用して複数のClaudeアカウントや代替モデル(Gemini、Codex、Antigravity)を即座に切り替えるCLIラッパー - APIキー不要
|
||||||
|
|
||||||
### [ProxyPal](https://github.com/heyhuynhgiabuu/proxypal)
|
|
||||||
|
|
||||||
CLIProxyAPI管理用のmacOSネイティブGUI:OAuth経由でプロバイダー、モデルマッピング、エンドポイントを設定 - APIキー不要
|
|
||||||
|
|
||||||
### [Quotio](https://github.com/nguyenphutrong/quotio)
|
### [Quotio](https://github.com/nguyenphutrong/quotio)
|
||||||
|
|
||||||
Claude、Gemini、OpenAI、Qwen、Antigravityのサブスクリプションを統合し、リアルタイムのクォータ追跡とスマート自動フェイルオーバーを備えたmacOSネイティブのメニューバーアプリ。Claude Code、OpenCode、Droidなどのコーディングツール向け - APIキー不要
|
Claude、Gemini、OpenAI、Qwen、Antigravityのサブスクリプションを統合し、リアルタイムのクォータ追跡とスマート自動フェイルオーバーを備えたmacOSネイティブのメニューバーアプリ。Claude Code、OpenCode、Droidなどのコーディングツール向け - APIキー不要
|
||||||
|
|||||||
104
REVERSE_PROXY_SETUP.md
Normal file
104
REVERSE_PROXY_SETUP.md
Normal file
@@ -0,0 +1,104 @@
|
|||||||
|
# CLIProxyAPI 역방향 프록시 & HTTPS 설정 가이드
|
||||||
|
|
||||||
|
외부에서 `https://cliproxy.gru.farm`으로 CLIProxyAPI에 접근하기 위한 설정입니다.
|
||||||
|
|
||||||
|
## 1단계: DNS 레코드 추가
|
||||||
|
|
||||||
|
hostcocoa.com DNS 관리에서 A 레코드를 추가합니다.
|
||||||
|
|
||||||
|
| 타입 | 호스트 | 값 |
|
||||||
|
|------|--------|-----|
|
||||||
|
| A | cliproxy | 125.188.185.74 |
|
||||||
|
|
||||||
|
> 기존 `nas.gru.farm`, `haesol.gru.farm` 등과 같은 IP입니다.
|
||||||
|
|
||||||
|
## 2단계: Synology DSM 역방향 프록시 설정
|
||||||
|
|
||||||
|
1. DSM 웹 UI 접속 (보통 `https://nas.gru.farm:5001`)
|
||||||
|
2. **제어판** → **로그인 포털** → **고급** 탭 → **역방향 프록시** 클릭
|
||||||
|
3. **생성** 버튼 클릭
|
||||||
|
4. 아래와 같이 입력:
|
||||||
|
|
||||||
|
### 일반 설정
|
||||||
|
|
||||||
|
| 항목 | 값 |
|
||||||
|
|------|-----|
|
||||||
|
| 설명 | `CLIProxyAPI` |
|
||||||
|
| **소스 (프론트엔드)** | |
|
||||||
|
| 프로토콜 | `HTTPS` |
|
||||||
|
| 호스트 이름 | `cliproxy.gru.farm` |
|
||||||
|
| 포트 | `443` |
|
||||||
|
| HSTS | 비활성화 |
|
||||||
|
| **대상 (백엔드)** | |
|
||||||
|
| 프로토콜 | `HTTP` |
|
||||||
|
| 호스트 이름 | `localhost` |
|
||||||
|
| 포트 | `8317` |
|
||||||
|
|
||||||
|
### 사용자 지정 헤더 (선택)
|
||||||
|
|
||||||
|
필요 시 WebSocket 지원을 위해 사용자 지정 헤더 추가:
|
||||||
|
- `Upgrade` → `$http_upgrade`
|
||||||
|
- `Connection` → `$connection_upgrade`
|
||||||
|
|
||||||
|
### 타임아웃 설정
|
||||||
|
|
||||||
|
AI 요청은 응답이 오래 걸릴 수 있으므로 타임아웃을 늘려주세요:
|
||||||
|
- 연결 타임아웃: `600`
|
||||||
|
- 전송 타임아웃: `600`
|
||||||
|
- 수신 타임아웃: `600`
|
||||||
|
|
||||||
|
5. **저장** 클릭
|
||||||
|
|
||||||
|
## 3단계: SSL 인증서 설정
|
||||||
|
|
||||||
|
Synology DSM에서 `cliproxy.gru.farm` 용 SSL 인증서를 설정합니다.
|
||||||
|
|
||||||
|
### Let's Encrypt 인증서 발급 (권장)
|
||||||
|
|
||||||
|
1. **제어판** → **보안** → **인증서** 탭
|
||||||
|
2. **추가** → **새 인증서 추가** → **Let's Encrypt에서 인증서 가져오기**
|
||||||
|
3. 도메인: `cliproxy.gru.farm`
|
||||||
|
4. 이메일: 본인 이메일
|
||||||
|
5. 발급 완료 후, **설정** 버튼 클릭
|
||||||
|
6. `cliproxy.gru.farm` 역방향 프록시 항목에 방금 발급한 인증서 선택
|
||||||
|
|
||||||
|
### 기존 와일드카드 인증서가 있는 경우
|
||||||
|
|
||||||
|
`*.gru.farm` 와일드카드 인증서가 있다면 별도 발급 없이 해당 인증서를 선택하면 됩니다.
|
||||||
|
|
||||||
|
## 4단계: 공유기 포트 포워딩
|
||||||
|
|
||||||
|
공유기에서 443 포트가 NAS(192.168.0.17)로 포워딩되어 있는지 확인합니다.
|
||||||
|
|
||||||
|
> 기존 `haesol.gru.farm` 등이 HTTPS로 동작 중이라면 이미 설정되어 있을 가능성이 높습니다.
|
||||||
|
|
||||||
|
| 외부 포트 | 내부 IP | 내부 포트 | 프로토콜 |
|
||||||
|
|-----------|---------|-----------|----------|
|
||||||
|
| 443 | 192.168.0.17 | 443 | TCP |
|
||||||
|
|
||||||
|
## 5단계: 확인
|
||||||
|
|
||||||
|
```bash
|
||||||
|
# DNS 전파 확인
|
||||||
|
dig +short cliproxy.gru.farm
|
||||||
|
# 125.188.185.74 가 나오면 성공
|
||||||
|
|
||||||
|
# HTTPS 접속 테스트
|
||||||
|
curl https://cliproxy.gru.farm/
|
||||||
|
# {"endpoints":[...],"message":"CLI Proxy API Server"}
|
||||||
|
|
||||||
|
# 모델 목록 확인
|
||||||
|
curl -H "Authorization: Bearer Jinie4eva!" https://cliproxy.gru.farm/v1/models
|
||||||
|
```
|
||||||
|
|
||||||
|
## 클라이언트 연결 (외부)
|
||||||
|
|
||||||
|
```bash
|
||||||
|
# Claude Code
|
||||||
|
export ANTHROPIC_BASE_URL=https://cliproxy.gru.farm
|
||||||
|
export ANTHROPIC_API_KEY=Jinie4eva!
|
||||||
|
|
||||||
|
# OpenAI 호환
|
||||||
|
export OPENAI_BASE_URL=https://cliproxy.gru.farm/v1
|
||||||
|
export OPENAI_API_KEY=Jinie4eva!
|
||||||
|
```
|
||||||
@@ -123,6 +123,10 @@ func (fh *FallbackHandler) WrapHandler(handler gin.HandlerFunc) gin.HandlerFunc
|
|||||||
return
|
return
|
||||||
}
|
}
|
||||||
|
|
||||||
|
// Sanitize request body: remove thinking blocks with invalid signatures
|
||||||
|
// to prevent upstream API 400 errors
|
||||||
|
bodyBytes = SanitizeAmpRequestBody(bodyBytes)
|
||||||
|
|
||||||
// Restore the body for the handler to read
|
// Restore the body for the handler to read
|
||||||
c.Request.Body = io.NopCloser(bytes.NewReader(bodyBytes))
|
c.Request.Body = io.NopCloser(bytes.NewReader(bodyBytes))
|
||||||
|
|
||||||
@@ -259,10 +263,16 @@ func (fh *FallbackHandler) WrapHandler(handler gin.HandlerFunc) gin.HandlerFunc
|
|||||||
} else if len(providers) > 0 {
|
} else if len(providers) > 0 {
|
||||||
// Log: Using local provider (free)
|
// Log: Using local provider (free)
|
||||||
logAmpRouting(RouteTypeLocalProvider, modelName, resolvedModel, providerName, requestPath)
|
logAmpRouting(RouteTypeLocalProvider, modelName, resolvedModel, providerName, requestPath)
|
||||||
|
// Wrap with ResponseRewriter for local providers too, because upstream
|
||||||
|
// proxies (e.g. NewAPI) may return a different model name and lack
|
||||||
|
// Amp-required fields like thinking.signature.
|
||||||
|
rewriter := NewResponseRewriter(c.Writer, modelName)
|
||||||
|
c.Writer = rewriter
|
||||||
// Filter Anthropic-Beta header only for local handling paths
|
// Filter Anthropic-Beta header only for local handling paths
|
||||||
filterAntropicBetaHeader(c)
|
filterAntropicBetaHeader(c)
|
||||||
c.Request.Body = io.NopCloser(bytes.NewReader(bodyBytes))
|
c.Request.Body = io.NopCloser(bytes.NewReader(bodyBytes))
|
||||||
handler(c)
|
handler(c)
|
||||||
|
rewriter.Flush()
|
||||||
} else {
|
} else {
|
||||||
// No provider, no mapping, no proxy: fall back to the wrapped handler so it can return an error response
|
// No provider, no mapping, no proxy: fall back to the wrapped handler so it can return an error response
|
||||||
c.Request.Body = io.NopCloser(bytes.NewReader(bodyBytes))
|
c.Request.Body = io.NopCloser(bytes.NewReader(bodyBytes))
|
||||||
|
|||||||
@@ -2,6 +2,7 @@ package amp
|
|||||||
|
|
||||||
import (
|
import (
|
||||||
"bytes"
|
"bytes"
|
||||||
|
"fmt"
|
||||||
"net/http"
|
"net/http"
|
||||||
"strings"
|
"strings"
|
||||||
|
|
||||||
@@ -12,32 +13,83 @@ import (
|
|||||||
)
|
)
|
||||||
|
|
||||||
// ResponseRewriter wraps a gin.ResponseWriter to intercept and modify the response body
|
// ResponseRewriter wraps a gin.ResponseWriter to intercept and modify the response body
|
||||||
// It's used to rewrite model names in responses when model mapping is used
|
// It is used to rewrite model names in responses when model mapping is used
|
||||||
|
// and to keep Amp-compatible response shapes.
|
||||||
type ResponseRewriter struct {
|
type ResponseRewriter struct {
|
||||||
gin.ResponseWriter
|
gin.ResponseWriter
|
||||||
body *bytes.Buffer
|
body *bytes.Buffer
|
||||||
originalModel string
|
originalModel string
|
||||||
isStreaming bool
|
isStreaming bool
|
||||||
|
suppressedContentBlock map[int]struct{}
|
||||||
}
|
}
|
||||||
|
|
||||||
// NewResponseRewriter creates a new response rewriter for model name substitution
|
// NewResponseRewriter creates a new response rewriter for model name substitution.
|
||||||
func NewResponseRewriter(w gin.ResponseWriter, originalModel string) *ResponseRewriter {
|
func NewResponseRewriter(w gin.ResponseWriter, originalModel string) *ResponseRewriter {
|
||||||
return &ResponseRewriter{
|
return &ResponseRewriter{
|
||||||
ResponseWriter: w,
|
ResponseWriter: w,
|
||||||
body: &bytes.Buffer{},
|
body: &bytes.Buffer{},
|
||||||
originalModel: originalModel,
|
originalModel: originalModel,
|
||||||
|
suppressedContentBlock: make(map[int]struct{}),
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
|
|
||||||
// Write intercepts response writes and buffers them for model name replacement
|
const maxBufferedResponseBytes = 2 * 1024 * 1024 // 2MB safety cap
|
||||||
|
|
||||||
|
func looksLikeSSEChunk(data []byte) bool {
|
||||||
|
for _, line := range bytes.Split(data, []byte("\n")) {
|
||||||
|
trimmed := bytes.TrimSpace(line)
|
||||||
|
if bytes.HasPrefix(trimmed, []byte("data:")) ||
|
||||||
|
bytes.HasPrefix(trimmed, []byte("event:")) {
|
||||||
|
return true
|
||||||
|
}
|
||||||
|
}
|
||||||
|
return false
|
||||||
|
}
|
||||||
|
|
||||||
|
func (rw *ResponseRewriter) enableStreaming(reason string) error {
|
||||||
|
if rw.isStreaming {
|
||||||
|
return nil
|
||||||
|
}
|
||||||
|
rw.isStreaming = true
|
||||||
|
|
||||||
|
if rw.body != nil && rw.body.Len() > 0 {
|
||||||
|
buf := rw.body.Bytes()
|
||||||
|
toFlush := make([]byte, len(buf))
|
||||||
|
copy(toFlush, buf)
|
||||||
|
rw.body.Reset()
|
||||||
|
|
||||||
|
if _, err := rw.ResponseWriter.Write(rw.rewriteStreamChunk(toFlush)); err != nil {
|
||||||
|
return err
|
||||||
|
}
|
||||||
|
if flusher, ok := rw.ResponseWriter.(http.Flusher); ok {
|
||||||
|
flusher.Flush()
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
log.Debugf("amp response rewriter: switched to streaming (%s)", reason)
|
||||||
|
return nil
|
||||||
|
}
|
||||||
|
|
||||||
func (rw *ResponseRewriter) Write(data []byte) (int, error) {
|
func (rw *ResponseRewriter) Write(data []byte) (int, error) {
|
||||||
// Detect streaming on first write
|
if !rw.isStreaming && rw.body.Len() == 0 {
|
||||||
if rw.body.Len() == 0 && !rw.isStreaming {
|
|
||||||
contentType := rw.Header().Get("Content-Type")
|
contentType := rw.Header().Get("Content-Type")
|
||||||
rw.isStreaming = strings.Contains(contentType, "text/event-stream") ||
|
rw.isStreaming = strings.Contains(contentType, "text/event-stream") ||
|
||||||
strings.Contains(contentType, "stream")
|
strings.Contains(contentType, "stream")
|
||||||
}
|
}
|
||||||
|
|
||||||
|
if !rw.isStreaming {
|
||||||
|
if looksLikeSSEChunk(data) {
|
||||||
|
if err := rw.enableStreaming("sse heuristic"); err != nil {
|
||||||
|
return 0, err
|
||||||
|
}
|
||||||
|
} else if rw.body.Len()+len(data) > maxBufferedResponseBytes {
|
||||||
|
log.Warnf("amp response rewriter: buffer exceeded %d bytes, switching to streaming", maxBufferedResponseBytes)
|
||||||
|
if err := rw.enableStreaming("buffer limit"); err != nil {
|
||||||
|
return 0, err
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
if rw.isStreaming {
|
if rw.isStreaming {
|
||||||
n, err := rw.ResponseWriter.Write(rw.rewriteStreamChunk(data))
|
n, err := rw.ResponseWriter.Write(rw.rewriteStreamChunk(data))
|
||||||
if err == nil {
|
if err == nil {
|
||||||
@@ -50,7 +102,6 @@ func (rw *ResponseRewriter) Write(data []byte) (int, error) {
|
|||||||
return rw.body.Write(data)
|
return rw.body.Write(data)
|
||||||
}
|
}
|
||||||
|
|
||||||
// Flush writes the buffered response with model names rewritten
|
|
||||||
func (rw *ResponseRewriter) Flush() {
|
func (rw *ResponseRewriter) Flush() {
|
||||||
if rw.isStreaming {
|
if rw.isStreaming {
|
||||||
if flusher, ok := rw.ResponseWriter.(http.Flusher); ok {
|
if flusher, ok := rw.ResponseWriter.(http.Flusher); ok {
|
||||||
@@ -59,26 +110,68 @@ func (rw *ResponseRewriter) Flush() {
|
|||||||
return
|
return
|
||||||
}
|
}
|
||||||
if rw.body.Len() > 0 {
|
if rw.body.Len() > 0 {
|
||||||
if _, err := rw.ResponseWriter.Write(rw.rewriteModelInResponse(rw.body.Bytes())); err != nil {
|
rewritten := rw.rewriteModelInResponse(rw.body.Bytes())
|
||||||
|
// Update Content-Length to match the rewritten body size, since
|
||||||
|
// signature injection and model name changes alter the payload length.
|
||||||
|
rw.ResponseWriter.Header().Set("Content-Length", fmt.Sprintf("%d", len(rewritten)))
|
||||||
|
if _, err := rw.ResponseWriter.Write(rewritten); err != nil {
|
||||||
log.Warnf("amp response rewriter: failed to write rewritten response: %v", err)
|
log.Warnf("amp response rewriter: failed to write rewritten response: %v", err)
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
|
|
||||||
// modelFieldPaths lists all JSON paths where model name may appear
|
|
||||||
var modelFieldPaths = []string{"message.model", "model", "modelVersion", "response.model", "response.modelVersion"}
|
var modelFieldPaths = []string{"message.model", "model", "modelVersion", "response.model", "response.modelVersion"}
|
||||||
|
|
||||||
// rewriteModelInResponse replaces all occurrences of the mapped model with the original model in JSON
|
// ensureAmpSignature injects empty signature fields into tool_use/thinking blocks
|
||||||
// It also suppresses "thinking" blocks if "tool_use" is present to ensure Amp client compatibility
|
// in API responses so that the Amp TUI does not crash on P.signature.length.
|
||||||
func (rw *ResponseRewriter) rewriteModelInResponse(data []byte) []byte {
|
func ensureAmpSignature(data []byte) []byte {
|
||||||
// 1. Amp Compatibility: Suppress thinking blocks if tool use is detected
|
for index, block := range gjson.GetBytes(data, "content").Array() {
|
||||||
// The Amp client struggles when both thinking and tool_use blocks are present
|
blockType := block.Get("type").String()
|
||||||
|
if blockType != "tool_use" && blockType != "thinking" {
|
||||||
|
continue
|
||||||
|
}
|
||||||
|
signaturePath := fmt.Sprintf("content.%d.signature", index)
|
||||||
|
if gjson.GetBytes(data, signaturePath).Exists() {
|
||||||
|
continue
|
||||||
|
}
|
||||||
|
var err error
|
||||||
|
data, err = sjson.SetBytes(data, signaturePath, "")
|
||||||
|
if err != nil {
|
||||||
|
log.Warnf("Amp ResponseRewriter: failed to add empty signature to %s block: %v", blockType, err)
|
||||||
|
break
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
contentBlockType := gjson.GetBytes(data, "content_block.type").String()
|
||||||
|
if (contentBlockType == "tool_use" || contentBlockType == "thinking") && !gjson.GetBytes(data, "content_block.signature").Exists() {
|
||||||
|
var err error
|
||||||
|
data, err = sjson.SetBytes(data, "content_block.signature", "")
|
||||||
|
if err != nil {
|
||||||
|
log.Warnf("Amp ResponseRewriter: failed to add empty signature to streaming %s block: %v", contentBlockType, err)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
return data
|
||||||
|
}
|
||||||
|
|
||||||
|
func (rw *ResponseRewriter) markSuppressedContentBlock(index int) {
|
||||||
|
if rw.suppressedContentBlock == nil {
|
||||||
|
rw.suppressedContentBlock = make(map[int]struct{})
|
||||||
|
}
|
||||||
|
rw.suppressedContentBlock[index] = struct{}{}
|
||||||
|
}
|
||||||
|
|
||||||
|
func (rw *ResponseRewriter) isSuppressedContentBlock(index int) bool {
|
||||||
|
_, ok := rw.suppressedContentBlock[index]
|
||||||
|
return ok
|
||||||
|
}
|
||||||
|
|
||||||
|
func (rw *ResponseRewriter) suppressAmpThinking(data []byte) []byte {
|
||||||
if gjson.GetBytes(data, `content.#(type=="tool_use")`).Exists() {
|
if gjson.GetBytes(data, `content.#(type=="tool_use")`).Exists() {
|
||||||
filtered := gjson.GetBytes(data, `content.#(type!="thinking")#`)
|
filtered := gjson.GetBytes(data, `content.#(type!="thinking")#`)
|
||||||
if filtered.Exists() {
|
if filtered.Exists() {
|
||||||
originalCount := gjson.GetBytes(data, "content.#").Int()
|
originalCount := gjson.GetBytes(data, "content.#").Int()
|
||||||
filteredCount := filtered.Get("#").Int()
|
filteredCount := filtered.Get("#").Int()
|
||||||
|
|
||||||
if originalCount > filteredCount {
|
if originalCount > filteredCount {
|
||||||
var err error
|
var err error
|
||||||
data, err = sjson.SetBytes(data, "content", filtered.Value())
|
data, err = sjson.SetBytes(data, "content", filtered.Value())
|
||||||
@@ -86,13 +179,41 @@ func (rw *ResponseRewriter) rewriteModelInResponse(data []byte) []byte {
|
|||||||
log.Warnf("Amp ResponseRewriter: failed to suppress thinking blocks: %v", err)
|
log.Warnf("Amp ResponseRewriter: failed to suppress thinking blocks: %v", err)
|
||||||
} else {
|
} else {
|
||||||
log.Debugf("Amp ResponseRewriter: Suppressed %d thinking blocks due to tool usage", originalCount-filteredCount)
|
log.Debugf("Amp ResponseRewriter: Suppressed %d thinking blocks due to tool usage", originalCount-filteredCount)
|
||||||
// Log the result for verification
|
|
||||||
log.Debugf("Amp ResponseRewriter: Resulting content: %s", gjson.GetBytes(data, "content").String())
|
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
|
|
||||||
|
eventType := gjson.GetBytes(data, "type").String()
|
||||||
|
indexResult := gjson.GetBytes(data, "index")
|
||||||
|
if eventType == "content_block_start" && gjson.GetBytes(data, "content_block.type").String() == "thinking" && indexResult.Exists() {
|
||||||
|
rw.markSuppressedContentBlock(int(indexResult.Int()))
|
||||||
|
return nil
|
||||||
|
}
|
||||||
|
if gjson.GetBytes(data, "delta.type").String() == "thinking_delta" {
|
||||||
|
if indexResult.Exists() {
|
||||||
|
rw.markSuppressedContentBlock(int(indexResult.Int()))
|
||||||
|
}
|
||||||
|
return nil
|
||||||
|
}
|
||||||
|
if eventType == "content_block_stop" && indexResult.Exists() {
|
||||||
|
index := int(indexResult.Int())
|
||||||
|
if rw.isSuppressedContentBlock(index) {
|
||||||
|
delete(rw.suppressedContentBlock, index)
|
||||||
|
return nil
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
return data
|
||||||
|
}
|
||||||
|
|
||||||
|
func (rw *ResponseRewriter) rewriteModelInResponse(data []byte) []byte {
|
||||||
|
data = ensureAmpSignature(data)
|
||||||
|
data = rw.suppressAmpThinking(data)
|
||||||
|
if len(data) == 0 {
|
||||||
|
return data
|
||||||
|
}
|
||||||
|
|
||||||
if rw.originalModel == "" {
|
if rw.originalModel == "" {
|
||||||
return data
|
return data
|
||||||
}
|
}
|
||||||
@@ -104,24 +225,158 @@ func (rw *ResponseRewriter) rewriteModelInResponse(data []byte) []byte {
|
|||||||
return data
|
return data
|
||||||
}
|
}
|
||||||
|
|
||||||
// rewriteStreamChunk rewrites model names in SSE stream chunks
|
|
||||||
func (rw *ResponseRewriter) rewriteStreamChunk(chunk []byte) []byte {
|
func (rw *ResponseRewriter) rewriteStreamChunk(chunk []byte) []byte {
|
||||||
if rw.originalModel == "" {
|
|
||||||
return chunk
|
|
||||||
}
|
|
||||||
|
|
||||||
// SSE format: "data: {json}\n\n"
|
|
||||||
lines := bytes.Split(chunk, []byte("\n"))
|
lines := bytes.Split(chunk, []byte("\n"))
|
||||||
for i, line := range lines {
|
var out [][]byte
|
||||||
if bytes.HasPrefix(line, []byte("data: ")) {
|
|
||||||
jsonData := bytes.TrimPrefix(line, []byte("data: "))
|
i := 0
|
||||||
|
for i < len(lines) {
|
||||||
|
line := lines[i]
|
||||||
|
trimmed := bytes.TrimSpace(line)
|
||||||
|
|
||||||
|
// Case 1: "event:" line - look ahead for its "data:" line
|
||||||
|
if bytes.HasPrefix(trimmed, []byte("event: ")) {
|
||||||
|
// Scan forward past blank lines to find the data: line
|
||||||
|
dataIdx := -1
|
||||||
|
for j := i + 1; j < len(lines); j++ {
|
||||||
|
t := bytes.TrimSpace(lines[j])
|
||||||
|
if len(t) == 0 {
|
||||||
|
continue
|
||||||
|
}
|
||||||
|
if bytes.HasPrefix(t, []byte("data: ")) {
|
||||||
|
dataIdx = j
|
||||||
|
}
|
||||||
|
break
|
||||||
|
}
|
||||||
|
|
||||||
|
if dataIdx >= 0 {
|
||||||
|
// Found event+data pair - process through rewriter
|
||||||
|
jsonData := bytes.TrimPrefix(bytes.TrimSpace(lines[dataIdx]), []byte("data: "))
|
||||||
if len(jsonData) > 0 && jsonData[0] == '{' {
|
if len(jsonData) > 0 && jsonData[0] == '{' {
|
||||||
// Rewrite JSON in the data line
|
rewritten := rw.rewriteStreamEvent(jsonData)
|
||||||
rewritten := rw.rewriteModelInResponse(jsonData)
|
if rewritten == nil {
|
||||||
lines[i] = append([]byte("data: "), rewritten...)
|
// Event suppressed (e.g. thinking block), skip event+data pair
|
||||||
|
i = dataIdx + 1
|
||||||
|
continue
|
||||||
|
}
|
||||||
|
// Emit event line
|
||||||
|
out = append(out, line)
|
||||||
|
// Emit blank lines between event and data
|
||||||
|
for k := i + 1; k < dataIdx; k++ {
|
||||||
|
out = append(out, lines[k])
|
||||||
|
}
|
||||||
|
// Emit rewritten data
|
||||||
|
out = append(out, append([]byte("data: "), rewritten...))
|
||||||
|
i = dataIdx + 1
|
||||||
|
continue
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
// No data line found (orphan event from cross-chunk split)
|
||||||
|
// Pass it through as-is - the data will arrive in the next chunk
|
||||||
|
out = append(out, line)
|
||||||
|
i++
|
||||||
|
continue
|
||||||
|
}
|
||||||
|
|
||||||
|
// Case 2: standalone "data:" line (no preceding event: in this chunk)
|
||||||
|
if bytes.HasPrefix(trimmed, []byte("data: ")) {
|
||||||
|
jsonData := bytes.TrimPrefix(trimmed, []byte("data: "))
|
||||||
|
if len(jsonData) > 0 && jsonData[0] == '{' {
|
||||||
|
rewritten := rw.rewriteStreamEvent(jsonData)
|
||||||
|
if rewritten != nil {
|
||||||
|
out = append(out, append([]byte("data: "), rewritten...))
|
||||||
|
}
|
||||||
|
i++
|
||||||
|
continue
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
// Case 3: everything else
|
||||||
|
out = append(out, line)
|
||||||
|
i++
|
||||||
|
}
|
||||||
|
|
||||||
|
return bytes.Join(out, []byte("\n"))
|
||||||
|
}
|
||||||
|
|
||||||
|
// rewriteStreamEvent processes a single JSON event in the SSE stream.
|
||||||
|
// It rewrites model names and ensures signature fields exist.
|
||||||
|
func (rw *ResponseRewriter) rewriteStreamEvent(data []byte) []byte {
|
||||||
|
// Suppress thinking blocks before any other processing.
|
||||||
|
data = rw.suppressAmpThinking(data)
|
||||||
|
if len(data) == 0 {
|
||||||
|
return nil
|
||||||
|
}
|
||||||
|
|
||||||
|
// Inject empty signature where needed
|
||||||
|
data = ensureAmpSignature(data)
|
||||||
|
|
||||||
|
// Rewrite model name
|
||||||
|
if rw.originalModel != "" {
|
||||||
|
for _, path := range modelFieldPaths {
|
||||||
|
if gjson.GetBytes(data, path).Exists() {
|
||||||
|
data, _ = sjson.SetBytes(data, path, rw.originalModel)
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
|
|
||||||
return bytes.Join(lines, []byte("\n"))
|
return data
|
||||||
|
}
|
||||||
|
|
||||||
|
// SanitizeAmpRequestBody removes thinking blocks with empty/missing/invalid signatures
|
||||||
|
// from the messages array in a request body before forwarding to the upstream API.
|
||||||
|
// This prevents 400 errors from the API which requires valid signatures on thinking blocks.
|
||||||
|
func SanitizeAmpRequestBody(body []byte) []byte {
|
||||||
|
messages := gjson.GetBytes(body, "messages")
|
||||||
|
if !messages.Exists() || !messages.IsArray() {
|
||||||
|
return body
|
||||||
|
}
|
||||||
|
|
||||||
|
modified := false
|
||||||
|
for msgIdx, msg := range messages.Array() {
|
||||||
|
if msg.Get("role").String() != "assistant" {
|
||||||
|
continue
|
||||||
|
}
|
||||||
|
content := msg.Get("content")
|
||||||
|
if !content.Exists() || !content.IsArray() {
|
||||||
|
continue
|
||||||
|
}
|
||||||
|
|
||||||
|
var keepBlocks []interface{}
|
||||||
|
removedCount := 0
|
||||||
|
|
||||||
|
for _, block := range content.Array() {
|
||||||
|
blockType := block.Get("type").String()
|
||||||
|
if blockType == "thinking" {
|
||||||
|
sig := block.Get("signature")
|
||||||
|
if !sig.Exists() || sig.Type != gjson.String || strings.TrimSpace(sig.String()) == "" {
|
||||||
|
removedCount++
|
||||||
|
continue
|
||||||
|
}
|
||||||
|
}
|
||||||
|
keepBlocks = append(keepBlocks, block.Value())
|
||||||
|
}
|
||||||
|
|
||||||
|
if removedCount > 0 {
|
||||||
|
contentPath := fmt.Sprintf("messages.%d.content", msgIdx)
|
||||||
|
var err error
|
||||||
|
if len(keepBlocks) == 0 {
|
||||||
|
body, err = sjson.SetBytes(body, contentPath, []interface{}{})
|
||||||
|
} else {
|
||||||
|
body, err = sjson.SetBytes(body, contentPath, keepBlocks)
|
||||||
|
}
|
||||||
|
if err != nil {
|
||||||
|
log.Warnf("Amp RequestSanitizer: failed to remove thinking blocks from message %d: %v", msgIdx, err)
|
||||||
|
continue
|
||||||
|
}
|
||||||
|
modified = true
|
||||||
|
log.Debugf("Amp RequestSanitizer: removed %d thinking blocks with invalid signatures from message %d", removedCount, msgIdx)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
if modified {
|
||||||
|
log.Debugf("Amp RequestSanitizer: sanitized request body")
|
||||||
|
}
|
||||||
|
return body
|
||||||
}
|
}
|
||||||
|
|||||||
@@ -100,6 +100,44 @@ func TestRewriteStreamChunk_MessageModel(t *testing.T) {
|
|||||||
}
|
}
|
||||||
}
|
}
|
||||||
|
|
||||||
|
func TestRewriteStreamChunk_SuppressesThinkingContentBlockFrames(t *testing.T) {
|
||||||
|
rw := &ResponseRewriter{suppressedContentBlock: make(map[int]struct{})}
|
||||||
|
|
||||||
|
chunk := []byte("event: content_block_start\ndata: {\"type\":\"content_block_start\",\"index\":0,\"content_block\":{\"type\":\"thinking\",\"thinking\":\"\"}}\n\nevent: content_block_delta\ndata: {\"type\":\"content_block_delta\",\"index\":0,\"delta\":{\"type\":\"thinking_delta\",\"thinking\":\"abc\"}}\n\nevent: content_block_stop\ndata: {\"type\":\"content_block_stop\",\"index\":0}\n\nevent: content_block_start\ndata: {\"type\":\"content_block_start\",\"index\":1,\"content_block\":{\"type\":\"tool_use\",\"name\":\"bash\",\"input\":{}}}\n\n")
|
||||||
|
result := rw.rewriteStreamChunk(chunk)
|
||||||
|
|
||||||
|
if contains(result, []byte("\"thinking\"")) || contains(result, []byte("\"thinking_delta\"")) {
|
||||||
|
t.Fatalf("expected thinking content_block frames to be suppressed, got %s", string(result))
|
||||||
|
}
|
||||||
|
if contains(result, []byte("content_block_stop")) {
|
||||||
|
t.Fatalf("expected suppressed thinking content_block_stop to be removed, got %s", string(result))
|
||||||
|
}
|
||||||
|
if !contains(result, []byte("\"tool_use\"")) {
|
||||||
|
t.Fatalf("expected tool_use content_block frame to remain, got %s", string(result))
|
||||||
|
}
|
||||||
|
if !contains(result, []byte("\"signature\":\"\"")) {
|
||||||
|
t.Fatalf("expected tool_use content_block signature injection, got %s", string(result))
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
func TestSanitizeAmpRequestBody_RemovesWhitespaceAndNonStringSignatures(t *testing.T) {
|
||||||
|
input := []byte(`{"messages":[{"role":"assistant","content":[{"type":"thinking","thinking":"drop-whitespace","signature":" "},{"type":"thinking","thinking":"drop-number","signature":123},{"type":"thinking","thinking":"keep-valid","signature":"valid-signature"},{"type":"text","text":"keep-text"}]}]}`)
|
||||||
|
result := SanitizeAmpRequestBody(input)
|
||||||
|
|
||||||
|
if contains(result, []byte("drop-whitespace")) {
|
||||||
|
t.Fatalf("expected whitespace-only signature block to be removed, got %s", string(result))
|
||||||
|
}
|
||||||
|
if contains(result, []byte("drop-number")) {
|
||||||
|
t.Fatalf("expected non-string signature block to be removed, got %s", string(result))
|
||||||
|
}
|
||||||
|
if !contains(result, []byte("keep-valid")) {
|
||||||
|
t.Fatalf("expected valid thinking block to remain, got %s", string(result))
|
||||||
|
}
|
||||||
|
if !contains(result, []byte("keep-text")) {
|
||||||
|
t.Fatalf("expected non-thinking content to remain, got %s", string(result))
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
func contains(data, substr []byte) bool {
|
func contains(data, substr []byte) bool {
|
||||||
for i := 0; i <= len(data)-len(substr); i++ {
|
for i := 0; i <= len(data)-len(substr); i++ {
|
||||||
if string(data[i:i+len(substr)]) == string(substr) {
|
if string(data[i:i+len(substr)]) == string(substr) {
|
||||||
|
|||||||
@@ -330,35 +330,48 @@ func ConvertClaudeRequestToAntigravity(modelName string, inputRawJSON []byte, _
|
|||||||
}
|
}
|
||||||
}
|
}
|
||||||
|
|
||||||
// Reorder parts for 'model' role to ensure thinking block is first
|
// Reorder parts for 'model' role:
|
||||||
|
// 1. Thinking parts first (Antigravity API requirement)
|
||||||
|
// 2. Regular parts (text, inlineData, etc.)
|
||||||
|
// 3. FunctionCall parts last
|
||||||
|
//
|
||||||
|
// Moving functionCall parts to the end prevents tool_use↔tool_result
|
||||||
|
// pairing breakage: the Antigravity API internally splits model messages
|
||||||
|
// at functionCall boundaries. If a text part follows a functionCall, the
|
||||||
|
// split creates an extra assistant turn between tool_use and tool_result,
|
||||||
|
// which Claude rejects with "tool_use ids were found without tool_result
|
||||||
|
// blocks immediately after".
|
||||||
if role == "model" {
|
if role == "model" {
|
||||||
partsResult := gjson.GetBytes(clientContentJSON, "parts")
|
partsResult := gjson.GetBytes(clientContentJSON, "parts")
|
||||||
if partsResult.IsArray() {
|
if partsResult.IsArray() {
|
||||||
parts := partsResult.Array()
|
parts := partsResult.Array()
|
||||||
|
if len(parts) > 1 {
|
||||||
var thinkingParts []gjson.Result
|
var thinkingParts []gjson.Result
|
||||||
var otherParts []gjson.Result
|
var regularParts []gjson.Result
|
||||||
|
var functionCallParts []gjson.Result
|
||||||
for _, part := range parts {
|
for _, part := range parts {
|
||||||
if part.Get("thought").Bool() {
|
if part.Get("thought").Bool() {
|
||||||
thinkingParts = append(thinkingParts, part)
|
thinkingParts = append(thinkingParts, part)
|
||||||
|
} else if part.Get("functionCall").Exists() {
|
||||||
|
functionCallParts = append(functionCallParts, part)
|
||||||
} else {
|
} else {
|
||||||
otherParts = append(otherParts, part)
|
regularParts = append(regularParts, part)
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
if len(thinkingParts) > 0 {
|
|
||||||
firstPartIsThinking := parts[0].Get("thought").Bool()
|
|
||||||
if !firstPartIsThinking || len(thinkingParts) > 1 {
|
|
||||||
var newParts []interface{}
|
var newParts []interface{}
|
||||||
for _, p := range thinkingParts {
|
for _, p := range thinkingParts {
|
||||||
newParts = append(newParts, p.Value())
|
newParts = append(newParts, p.Value())
|
||||||
}
|
}
|
||||||
for _, p := range otherParts {
|
for _, p := range regularParts {
|
||||||
|
newParts = append(newParts, p.Value())
|
||||||
|
}
|
||||||
|
for _, p := range functionCallParts {
|
||||||
newParts = append(newParts, p.Value())
|
newParts = append(newParts, p.Value())
|
||||||
}
|
}
|
||||||
clientContentJSON, _ = sjson.SetBytes(clientContentJSON, "parts", newParts)
|
clientContentJSON, _ = sjson.SetBytes(clientContentJSON, "parts", newParts)
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
}
|
|
||||||
|
|
||||||
// Skip messages with empty parts array to avoid Gemini API error:
|
// Skip messages with empty parts array to avoid Gemini API error:
|
||||||
// "required oneof field 'data' must have one initialized field"
|
// "required oneof field 'data' must have one initialized field"
|
||||||
|
|||||||
@@ -361,6 +361,167 @@ func TestConvertClaudeRequestToAntigravity_ReorderThinking(t *testing.T) {
|
|||||||
}
|
}
|
||||||
}
|
}
|
||||||
|
|
||||||
|
func TestConvertClaudeRequestToAntigravity_ReorderTextAfterFunctionCall(t *testing.T) {
|
||||||
|
// Bug: text part after tool_use in an assistant message causes Antigravity
|
||||||
|
// to split at functionCall boundary, creating an extra assistant turn that
|
||||||
|
// breaks tool_use↔tool_result adjacency (upstream issue #989).
|
||||||
|
// Fix: reorder parts so functionCall comes last.
|
||||||
|
inputJSON := []byte(`{
|
||||||
|
"model": "claude-sonnet-4-5",
|
||||||
|
"messages": [
|
||||||
|
{
|
||||||
|
"role": "assistant",
|
||||||
|
"content": [
|
||||||
|
{"type": "text", "text": "Let me check..."},
|
||||||
|
{
|
||||||
|
"type": "tool_use",
|
||||||
|
"id": "call_abc",
|
||||||
|
"name": "Read",
|
||||||
|
"input": {"file": "test.go"}
|
||||||
|
},
|
||||||
|
{"type": "text", "text": "Reading the file now"}
|
||||||
|
]
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"role": "user",
|
||||||
|
"content": [
|
||||||
|
{
|
||||||
|
"type": "tool_result",
|
||||||
|
"tool_use_id": "call_abc",
|
||||||
|
"content": "file content"
|
||||||
|
}
|
||||||
|
]
|
||||||
|
}
|
||||||
|
]
|
||||||
|
}`)
|
||||||
|
|
||||||
|
output := ConvertClaudeRequestToAntigravity("claude-sonnet-4-5", inputJSON, false)
|
||||||
|
outputStr := string(output)
|
||||||
|
|
||||||
|
parts := gjson.Get(outputStr, "request.contents.0.parts").Array()
|
||||||
|
if len(parts) != 3 {
|
||||||
|
t.Fatalf("Expected 3 parts, got %d", len(parts))
|
||||||
|
}
|
||||||
|
|
||||||
|
// Text parts should come before functionCall
|
||||||
|
if parts[0].Get("text").String() != "Let me check..." {
|
||||||
|
t.Errorf("Expected first text part first, got %s", parts[0].Raw)
|
||||||
|
}
|
||||||
|
if parts[1].Get("text").String() != "Reading the file now" {
|
||||||
|
t.Errorf("Expected second text part second, got %s", parts[1].Raw)
|
||||||
|
}
|
||||||
|
if !parts[2].Get("functionCall").Exists() {
|
||||||
|
t.Errorf("Expected functionCall last, got %s", parts[2].Raw)
|
||||||
|
}
|
||||||
|
if parts[2].Get("functionCall.name").String() != "Read" {
|
||||||
|
t.Errorf("Expected functionCall name 'Read', got '%s'", parts[2].Get("functionCall.name").String())
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
func TestConvertClaudeRequestToAntigravity_ReorderParallelFunctionCalls(t *testing.T) {
|
||||||
|
inputJSON := []byte(`{
|
||||||
|
"model": "claude-sonnet-4-5",
|
||||||
|
"messages": [
|
||||||
|
{
|
||||||
|
"role": "assistant",
|
||||||
|
"content": [
|
||||||
|
{"type": "text", "text": "Reading both files."},
|
||||||
|
{
|
||||||
|
"type": "tool_use",
|
||||||
|
"id": "call_1",
|
||||||
|
"name": "Read",
|
||||||
|
"input": {"file": "a.go"}
|
||||||
|
},
|
||||||
|
{"type": "text", "text": "And this one too."},
|
||||||
|
{
|
||||||
|
"type": "tool_use",
|
||||||
|
"id": "call_2",
|
||||||
|
"name": "Read",
|
||||||
|
"input": {"file": "b.go"}
|
||||||
|
}
|
||||||
|
]
|
||||||
|
}
|
||||||
|
]
|
||||||
|
}`)
|
||||||
|
|
||||||
|
output := ConvertClaudeRequestToAntigravity("claude-sonnet-4-5", inputJSON, false)
|
||||||
|
outputStr := string(output)
|
||||||
|
|
||||||
|
parts := gjson.Get(outputStr, "request.contents.0.parts").Array()
|
||||||
|
if len(parts) != 4 {
|
||||||
|
t.Fatalf("Expected 4 parts, got %d", len(parts))
|
||||||
|
}
|
||||||
|
|
||||||
|
if parts[0].Get("text").String() != "Reading both files." {
|
||||||
|
t.Errorf("Expected first text, got %s", parts[0].Raw)
|
||||||
|
}
|
||||||
|
if parts[1].Get("text").String() != "And this one too." {
|
||||||
|
t.Errorf("Expected second text, got %s", parts[1].Raw)
|
||||||
|
}
|
||||||
|
if parts[2].Get("functionCall.name").String() != "Read" || parts[2].Get("functionCall.id").String() != "call_1" {
|
||||||
|
t.Errorf("Expected fc1 third, got %s", parts[2].Raw)
|
||||||
|
}
|
||||||
|
if parts[3].Get("functionCall.name").String() != "Read" || parts[3].Get("functionCall.id").String() != "call_2" {
|
||||||
|
t.Errorf("Expected fc2 fourth, got %s", parts[3].Raw)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
func TestConvertClaudeRequestToAntigravity_ReorderThinkingAndTextBeforeFunctionCall(t *testing.T) {
|
||||||
|
cache.ClearSignatureCache("")
|
||||||
|
|
||||||
|
validSignature := "abc123validSignature1234567890123456789012345678901234567890"
|
||||||
|
thinkingText := "Let me think about this..."
|
||||||
|
|
||||||
|
inputJSON := []byte(`{
|
||||||
|
"model": "claude-sonnet-4-5-thinking",
|
||||||
|
"messages": [
|
||||||
|
{
|
||||||
|
"role": "user",
|
||||||
|
"content": [{"type": "text", "text": "Hello"}]
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"role": "assistant",
|
||||||
|
"content": [
|
||||||
|
{"type": "text", "text": "Before thinking"},
|
||||||
|
{"type": "thinking", "thinking": "` + thinkingText + `", "signature": "` + validSignature + `"},
|
||||||
|
{
|
||||||
|
"type": "tool_use",
|
||||||
|
"id": "call_xyz",
|
||||||
|
"name": "Bash",
|
||||||
|
"input": {"command": "ls"}
|
||||||
|
},
|
||||||
|
{"type": "text", "text": "After tool call"}
|
||||||
|
]
|
||||||
|
}
|
||||||
|
]
|
||||||
|
}`)
|
||||||
|
|
||||||
|
cache.CacheSignature("claude-sonnet-4-5-thinking", thinkingText, validSignature)
|
||||||
|
|
||||||
|
output := ConvertClaudeRequestToAntigravity("claude-sonnet-4-5-thinking", inputJSON, false)
|
||||||
|
outputStr := string(output)
|
||||||
|
|
||||||
|
// contents.1 = assistant message (contents.0 = user)
|
||||||
|
parts := gjson.Get(outputStr, "request.contents.1.parts").Array()
|
||||||
|
if len(parts) != 4 {
|
||||||
|
t.Fatalf("Expected 4 parts, got %d", len(parts))
|
||||||
|
}
|
||||||
|
|
||||||
|
// Order: thinking → text → text → functionCall
|
||||||
|
if !parts[0].Get("thought").Bool() {
|
||||||
|
t.Error("First part should be thinking")
|
||||||
|
}
|
||||||
|
if parts[1].Get("functionCall").Exists() || parts[1].Get("thought").Bool() {
|
||||||
|
t.Errorf("Second part should be text, got %s", parts[1].Raw)
|
||||||
|
}
|
||||||
|
if parts[2].Get("functionCall").Exists() || parts[2].Get("thought").Bool() {
|
||||||
|
t.Errorf("Third part should be text, got %s", parts[2].Raw)
|
||||||
|
}
|
||||||
|
if !parts[3].Get("functionCall").Exists() {
|
||||||
|
t.Errorf("Last part should be functionCall, got %s", parts[3].Raw)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
func TestConvertClaudeRequestToAntigravity_ToolResult(t *testing.T) {
|
func TestConvertClaudeRequestToAntigravity_ToolResult(t *testing.T) {
|
||||||
inputJSON := []byte(`{
|
inputJSON := []byte(`{
|
||||||
"model": "claude-3-5-sonnet-20240620",
|
"model": "claude-3-5-sonnet-20240620",
|
||||||
|
|||||||
@@ -1734,6 +1734,7 @@ func (m *Manager) MarkResult(ctx context.Context, result Result) {
|
|||||||
}
|
}
|
||||||
} else {
|
} else {
|
||||||
if result.Model != "" {
|
if result.Model != "" {
|
||||||
|
if !isRequestScopedNotFoundResultError(result.Error) {
|
||||||
state := ensureModelState(auth, result.Model)
|
state := ensureModelState(auth, result.Model)
|
||||||
state.Unavailable = true
|
state.Unavailable = true
|
||||||
state.Status = StatusError
|
state.Status = StatusError
|
||||||
@@ -1805,6 +1806,7 @@ func (m *Manager) MarkResult(ctx context.Context, result Result) {
|
|||||||
auth.Status = StatusError
|
auth.Status = StatusError
|
||||||
auth.UpdatedAt = now
|
auth.UpdatedAt = now
|
||||||
updateAggregatedAvailability(auth, now)
|
updateAggregatedAvailability(auth, now)
|
||||||
|
}
|
||||||
} else {
|
} else {
|
||||||
applyAuthFailureState(auth, result.Error, result.RetryAfter, now)
|
applyAuthFailureState(auth, result.Error, result.RetryAfter, now)
|
||||||
}
|
}
|
||||||
@@ -2056,11 +2058,29 @@ func isModelSupportResultError(err *Error) bool {
|
|||||||
return isModelSupportErrorMessage(err.Message)
|
return isModelSupportErrorMessage(err.Message)
|
||||||
}
|
}
|
||||||
|
|
||||||
|
func isRequestScopedNotFoundMessage(message string) bool {
|
||||||
|
if message == "" {
|
||||||
|
return false
|
||||||
|
}
|
||||||
|
lower := strings.ToLower(message)
|
||||||
|
return strings.Contains(lower, "item with id") &&
|
||||||
|
strings.Contains(lower, "not found") &&
|
||||||
|
strings.Contains(lower, "items are not persisted when `store` is set to false")
|
||||||
|
}
|
||||||
|
|
||||||
|
func isRequestScopedNotFoundResultError(err *Error) bool {
|
||||||
|
if err == nil || statusCodeFromResult(err) != http.StatusNotFound {
|
||||||
|
return false
|
||||||
|
}
|
||||||
|
return isRequestScopedNotFoundMessage(err.Message)
|
||||||
|
}
|
||||||
|
|
||||||
// isRequestInvalidError returns true if the error represents a client request
|
// isRequestInvalidError returns true if the error represents a client request
|
||||||
// error that should not be retried. Specifically, it treats 400 responses with
|
// error that should not be retried. Specifically, it treats 400 responses with
|
||||||
// "invalid_request_error" and all 422 responses as request-shape failures,
|
// "invalid_request_error", request-scoped 404 item misses caused by `store=false`,
|
||||||
// where switching auths or pooled upstream models will not help. Model-support
|
// and all 422 responses as request-shape failures, where switching auths or
|
||||||
// errors are excluded so routing can fall through to another auth or upstream.
|
// pooled upstream models will not help. Model-support errors are excluded so
|
||||||
|
// routing can fall through to another auth or upstream.
|
||||||
func isRequestInvalidError(err error) bool {
|
func isRequestInvalidError(err error) bool {
|
||||||
if err == nil {
|
if err == nil {
|
||||||
return false
|
return false
|
||||||
@@ -2072,6 +2092,8 @@ func isRequestInvalidError(err error) bool {
|
|||||||
switch status {
|
switch status {
|
||||||
case http.StatusBadRequest:
|
case http.StatusBadRequest:
|
||||||
return strings.Contains(err.Error(), "invalid_request_error")
|
return strings.Contains(err.Error(), "invalid_request_error")
|
||||||
|
case http.StatusNotFound:
|
||||||
|
return isRequestScopedNotFoundMessage(err.Error())
|
||||||
case http.StatusUnprocessableEntity:
|
case http.StatusUnprocessableEntity:
|
||||||
return true
|
return true
|
||||||
default:
|
default:
|
||||||
@@ -2083,6 +2105,9 @@ func applyAuthFailureState(auth *Auth, resultErr *Error, retryAfter *time.Durati
|
|||||||
if auth == nil {
|
if auth == nil {
|
||||||
return
|
return
|
||||||
}
|
}
|
||||||
|
if isRequestScopedNotFoundResultError(resultErr) {
|
||||||
|
return
|
||||||
|
}
|
||||||
auth.Unavailable = true
|
auth.Unavailable = true
|
||||||
auth.Status = StatusError
|
auth.Status = StatusError
|
||||||
auth.UpdatedAt = now
|
auth.UpdatedAt = now
|
||||||
|
|||||||
@@ -12,6 +12,8 @@ import (
|
|||||||
cliproxyexecutor "github.com/router-for-me/CLIProxyAPI/v6/sdk/cliproxy/executor"
|
cliproxyexecutor "github.com/router-for-me/CLIProxyAPI/v6/sdk/cliproxy/executor"
|
||||||
)
|
)
|
||||||
|
|
||||||
|
const requestScopedNotFoundMessage = "Item with id 'rs_0b5f3eb6f51f175c0169ca74e4a85881998539920821603a74' not found. Items are not persisted when `store` is set to false. Try again with `store` set to true, or remove this item from your input."
|
||||||
|
|
||||||
func TestManager_ShouldRetryAfterError_RespectsAuthRequestRetryOverride(t *testing.T) {
|
func TestManager_ShouldRetryAfterError_RespectsAuthRequestRetryOverride(t *testing.T) {
|
||||||
m := NewManager(nil, nil, nil)
|
m := NewManager(nil, nil, nil)
|
||||||
m.SetRetryConfig(3, 30*time.Second, 0)
|
m.SetRetryConfig(3, 30*time.Second, 0)
|
||||||
@@ -447,3 +449,114 @@ func TestManager_MarkResult_RespectsAuthDisableCoolingOverride(t *testing.T) {
|
|||||||
t.Fatalf("expected NextRetryAfter to be zero when disable_cooling=true, got %v", state.NextRetryAfter)
|
t.Fatalf("expected NextRetryAfter to be zero when disable_cooling=true, got %v", state.NextRetryAfter)
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
|
|
||||||
|
func TestManager_MarkResult_RequestScopedNotFoundDoesNotCooldownAuth(t *testing.T) {
|
||||||
|
m := NewManager(nil, nil, nil)
|
||||||
|
|
||||||
|
auth := &Auth{
|
||||||
|
ID: "auth-1",
|
||||||
|
Provider: "openai",
|
||||||
|
}
|
||||||
|
if _, errRegister := m.Register(context.Background(), auth); errRegister != nil {
|
||||||
|
t.Fatalf("register auth: %v", errRegister)
|
||||||
|
}
|
||||||
|
|
||||||
|
model := "gpt-4.1"
|
||||||
|
m.MarkResult(context.Background(), Result{
|
||||||
|
AuthID: auth.ID,
|
||||||
|
Provider: auth.Provider,
|
||||||
|
Model: model,
|
||||||
|
Success: false,
|
||||||
|
Error: &Error{
|
||||||
|
HTTPStatus: http.StatusNotFound,
|
||||||
|
Message: requestScopedNotFoundMessage,
|
||||||
|
},
|
||||||
|
})
|
||||||
|
|
||||||
|
updated, ok := m.GetByID(auth.ID)
|
||||||
|
if !ok || updated == nil {
|
||||||
|
t.Fatalf("expected auth to be present")
|
||||||
|
}
|
||||||
|
if updated.Unavailable {
|
||||||
|
t.Fatalf("expected request-scoped 404 to keep auth available")
|
||||||
|
}
|
||||||
|
if !updated.NextRetryAfter.IsZero() {
|
||||||
|
t.Fatalf("expected request-scoped 404 to keep auth cooldown unset, got %v", updated.NextRetryAfter)
|
||||||
|
}
|
||||||
|
if state := updated.ModelStates[model]; state != nil {
|
||||||
|
t.Fatalf("expected request-scoped 404 to avoid model cooldown state, got %#v", state)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
func TestManager_RequestScopedNotFoundStopsRetryWithoutSuspendingAuth(t *testing.T) {
|
||||||
|
m := NewManager(nil, nil, nil)
|
||||||
|
executor := &authFallbackExecutor{
|
||||||
|
id: "openai",
|
||||||
|
executeErrors: map[string]error{
|
||||||
|
"aa-bad-auth": &Error{
|
||||||
|
HTTPStatus: http.StatusNotFound,
|
||||||
|
Message: requestScopedNotFoundMessage,
|
||||||
|
},
|
||||||
|
},
|
||||||
|
}
|
||||||
|
m.RegisterExecutor(executor)
|
||||||
|
|
||||||
|
model := "gpt-4.1"
|
||||||
|
badAuth := &Auth{ID: "aa-bad-auth", Provider: "openai"}
|
||||||
|
goodAuth := &Auth{ID: "bb-good-auth", Provider: "openai"}
|
||||||
|
|
||||||
|
reg := registry.GetGlobalRegistry()
|
||||||
|
reg.RegisterClient(badAuth.ID, "openai", []*registry.ModelInfo{{ID: model}})
|
||||||
|
reg.RegisterClient(goodAuth.ID, "openai", []*registry.ModelInfo{{ID: model}})
|
||||||
|
t.Cleanup(func() {
|
||||||
|
reg.UnregisterClient(badAuth.ID)
|
||||||
|
reg.UnregisterClient(goodAuth.ID)
|
||||||
|
})
|
||||||
|
|
||||||
|
if _, errRegister := m.Register(context.Background(), badAuth); errRegister != nil {
|
||||||
|
t.Fatalf("register bad auth: %v", errRegister)
|
||||||
|
}
|
||||||
|
if _, errRegister := m.Register(context.Background(), goodAuth); errRegister != nil {
|
||||||
|
t.Fatalf("register good auth: %v", errRegister)
|
||||||
|
}
|
||||||
|
|
||||||
|
_, errExecute := m.Execute(context.Background(), []string{"openai"}, cliproxyexecutor.Request{Model: model}, cliproxyexecutor.Options{})
|
||||||
|
if errExecute == nil {
|
||||||
|
t.Fatal("expected request-scoped not-found error")
|
||||||
|
}
|
||||||
|
errResult, ok := errExecute.(*Error)
|
||||||
|
if !ok {
|
||||||
|
t.Fatalf("expected *Error, got %T", errExecute)
|
||||||
|
}
|
||||||
|
if errResult.HTTPStatus != http.StatusNotFound {
|
||||||
|
t.Fatalf("status = %d, want %d", errResult.HTTPStatus, http.StatusNotFound)
|
||||||
|
}
|
||||||
|
if errResult.Message != requestScopedNotFoundMessage {
|
||||||
|
t.Fatalf("message = %q, want %q", errResult.Message, requestScopedNotFoundMessage)
|
||||||
|
}
|
||||||
|
|
||||||
|
got := executor.ExecuteCalls()
|
||||||
|
want := []string{badAuth.ID}
|
||||||
|
if len(got) != len(want) {
|
||||||
|
t.Fatalf("execute calls = %v, want %v", got, want)
|
||||||
|
}
|
||||||
|
for i := range want {
|
||||||
|
if got[i] != want[i] {
|
||||||
|
t.Fatalf("execute call %d auth = %q, want %q", i, got[i], want[i])
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
updatedBad, ok := m.GetByID(badAuth.ID)
|
||||||
|
if !ok || updatedBad == nil {
|
||||||
|
t.Fatalf("expected bad auth to remain registered")
|
||||||
|
}
|
||||||
|
if updatedBad.Unavailable {
|
||||||
|
t.Fatalf("expected request-scoped 404 to keep bad auth available")
|
||||||
|
}
|
||||||
|
if !updatedBad.NextRetryAfter.IsZero() {
|
||||||
|
t.Fatalf("expected request-scoped 404 to keep bad auth cooldown unset, got %v", updatedBad.NextRetryAfter)
|
||||||
|
}
|
||||||
|
if state := updatedBad.ModelStates[model]; state != nil {
|
||||||
|
t.Fatalf("expected request-scoped 404 to avoid bad auth model cooldown state, got %#v", state)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|||||||
Reference in New Issue
Block a user