Tính năng nền tảng
Trạng thái tính năng dành cho pilot nội bộ. Mục chưa vận hành được ghi rõ là Chưa mở.
API Key quản lý đầy đủ
CRUD, rotate, revoke (60s có hiệu lực), scope theo model, rate limit riêng, prefix nhận diện. Plaintext hiển thị một lần duy nhất.
Ví credit đa tầng
Tách cash / promo / quota. Promo được trừ trước theo expiry gần nhất. Reservation nguyên tử: khóa allocation từng grant.
Router failover thông minh
Health check + priority/weight + quota group + circuit breaker. Max 2 attempt/deadline chung; retry chỉ khi contract an toàn.
Chat Completions
Văn bản và streaming đã mở. Responses có trạng thái, hosted tools và Messages tool-call: Chưa mở.
Billing chuẩn double-entry
Journal append-only; balance là projection. Correction/refund là bút toán đối ứng — không xóa lịch sử.
Idempotency toàn diện
Scope tenant + endpoint + key + payload fingerprint. Cùng key khác payload → 409. Replay đúng body/content-type.
Usage minh bạch
Mỗi request ghi: model yêu cầu, SKU phục vụ, token input/output/cache, chi phí, latency, số attempt, cache hit, failover.
Prompt cache
Chỉ tính giá cache khi phản hồi usage xác nhận cache hit. Cache ứng dụng chỉ dùng cho yêu cầu exact-match an toàn.
Rate limit + queue công bằng
Redis-backed, công bằng theo tenant. Quá tải trả 429 + Retry-After. Loop-guard chống agent lặp prompt.
Degraded mode rõ ràng
Redis lỗi: chặn inference mới. PG lỗi: dừng inference + mutation tiền. Webhook không được ACK thành công khi thiếu PG.
Kill-switch
Khóa khẩn cấp theo model, key, tài khoản, thanh toán hoặc chiến dịch. Mọi thao tác quản trị đều được ghi audit.
Tích hợp công cụ
Gọi Chat Completions trực tiếp đã mở. Tích hợp agent yêu cầu tool-call nhiều vòng: Chưa mở.
Luồng tiền & billing
Trạng thái settlement request
RESERVED → RUNNING → FINALIZED. Thiếu verified usage/timeout → PENDING_RECONCILIATION (đối soát tối đa 24h). Estimated usage không bao giờ trừ tiền khách.