OpenAI 相容 API 聊天:Python、Node 和 curl
OpenAI 相容的 API 聊天呼叫是一次 POST 請求,包含訊息列表和模型的一次回覆。本指南將以 uncensored 端點為例,逐步說明請求、多輪對話、串流輸出以及可能遇到的錯誤。
更新於

一分鐘內的請求
任何能與 OpenAI 聊天格式溝通的客戶端都能與此服務溝通。你只需更改兩件事:Base URL 和金鑰,其他保持不變。此處的 Base URL 為 https://api.mistralapikey.com/v1,模型 ID 為 uncensored。驗證為標準的 Authorization: Bearer 標頭。
首次請求的範例如下:
curl https://api.mistralapikey.com/v1/chat/completions -H "Authorization: Bearer YOUR_API_KEY" -H "Content-Type: application/json" -d '{
"model": "uncensored",
"messages": [
{"role": "system", "content": "You are a concise assistant."},
{"role": "user", "content": "Explain what an API key is in two sentences."}
]
}'
這是一個獨立服務,運行單一開放權重模型,針對合法成人用途調整為無內容拒絕地回答。它不是 Meta、Mistral、OpenAI 或其他廠商的官方 API。它提供兩種方法:POST /v1/chat/completions 和 GET /v1/models,且僅處理文字。如果你仍需要金鑰,API 金鑰頁面說明了註冊和免費試用額度。
讀取回應
成功的回覆是標準格式的 JSON 物件。文字位於 choices[0].message.content,停止原因位於 choices[0].finish_reason,token 計數位於 usage。
{
"id": "chatcmpl-...",
"object": "chat.completion",
"model": "uncensored",
"choices": [
{
"index": 0,
"message": {"role": "assistant", "content": "An API key is a secret string..."},
"finish_reason": "stop"
}
],
"usage": {"prompt_tokens": 31, "completion_tokens": 48, "total_tokens": 79}
}
finish_reason 為 stop 表示模型已完成回答。值為 length 表示達到 token 限制,因此請提高 max_tokens 或將其保留未設定。標頭也很重要:X-Request-Id 用於支援識別呼叫,X-Balance-USD 顯示剩餘的預付額度,X-RateLimit-Limit-Requests 和 X-RateLimit-Limit-Concurrency 回報你的速率限制。
訊息與角色
messages 陣列是整個對話,依序排列。每個項目都有 role 和 content。
- system 設定行為、語氣和規則。請將其放在最前面。
- user 是使用者輸入的內容。
- assistant 是模型在對話中較早時所說的話。
- tool 攜帶函式呼叫的結果,如果你使用函式呼叫。
模型只知道陣列中的內容。請求之間不會記住任何內容,因此伺服器不會為你保留工作階段。這是理解聊天端點最重要的一件事,也解釋了為什麼每次對話輪次成本更高:你送出的歷史記錄每次都會作為輸入計費。
Python 多輪聊天
要進行對話,請保持一個列表,附加使用者訊息,呼叫 API,附加助手回覆,然後重複。這是一個完整的終端聊天。
from openai import OpenAI
client = OpenAI(
base_url="https://api.mistralapikey.com/v1",
api_key="YOUR_API_KEY",
)
history = [{"role": "system", "content": "You are a friendly, direct assistant."}]
while True:
text = input("you> ").strip()
if not text:
break
history.append({"role": "user", "content": text})
resp = client.chat.completions.create(
model="uncensored",
messages=history,
temperature=0.7,
)
answer = resp.choices[0].message.content
history.append({"role": "assistant", "content": answer})
print("bot>", answer)
print(f" [{resp.usage.prompt_tokens} in / {resp.usage.completion_tokens} out]")
聊天時注意括號中的數字。「in」計數在每輪都會增加,因為它包含之前說的所有內容。這種增長是正常的,也是你控制成本的主要手段,如下所述。
Node 中的串流輸出回覆
對於聊天介面,你希望文字在生成時就顯示出來。設定 stream: true,API 就會傳送伺服器發送的事件。OpenAI Node SDK 將此包裝為非同步迭代器。
import OpenAI from "openai";
const client = new OpenAI({
baseURL: "https://api.mistralapikey.com/v1",
apiKey: process.env.API_KEY,
});
const stream = await client.chat.completions.create({
model: "uncensored",
messages: [{ role: "user", content: "Write a four-line poem about debugging." }],
stream: true,
});
for await (const chunk of stream) {
const piece = chunk.choices[0]?.delta?.content ?? "";
process.stdout.write(piece);
}
process.stdout.write("\n");
用量會在串流結束時回報,因此你仍可在不進行第二次呼叫的情況下記錄 token 計數。一個運作細節:串流請求會佔用其並行槽位,直到串流結束為止。如果使用者關閉分頁,請在您的端取消請求,以便更早釋放槽位。
你可使用的參數
標準的採樣控制會傳遞給模型。這些是你最常調整的參數。
| 欄位 | 它的作用 | 實用技巧 |
|---|---|---|
temperature | 詞語選擇的隨機性 | 提取時設為 0 到 0.3,創意文字設為 0.7 到 1.0 |
top_p | 將採樣限制在最可能的詞語 | 變更此項或 temperature,很少兩者都變 |
max_tokens | 回覆長度的上限 | 可選;在開放式提示詞中設定以控制費用 |
stop | 終止生成的序列 | 對基於行的格式很有用 |
seed | 可重複的採樣 | 對測試很有幫助 |
frequency_penalty、presence_penalty | 減少重複 | 小數值即可產生顯著效果 |
response_format | JSON 模式 | 使用 {"type":"json_object"} 並在提示詞中描述鍵 |
工具呼叫透過 tools 和 tool_choice 提供。快速入門涵蓋了常見 SDK 的設定。
對話的成本
價格為每 1M 輸入 token $0.15,每 1M 輸出 token $0.50,從預付額度扣除。上下文視窗為 100,000 token(提示詞和回覆合計)。由於歷史記錄會重新傳送,對話的成本會比訊息數量增長得更快。
假設一個聊天,每個使用者訊息約 100 token,每個回覆約 200 token,加上 200 token 的系統訊息。第 1 輪發送 300 個輸入 token。第 10 輪發送約 200 + 10 x 100 + 9 x 200 = 3,000 個輸入 token。第 30 輪發送約 200 + 30 x 100 + 29 x 200 = 9,000。
加總所有 30 輪的輸入:總計為 30 x 200 + 100 x (1 + 2 + ... + 30) + 200 x (0 + 1 + ... + 29) = 6,000 + 46,500 + 87,000 = 139,500 個輸入 token。輸出為 30 x 200 = 6,000 token。費用:139,500 / 1M x $0.15 = $0.020925,加上 6,000 / 1M x $0.50 = $0.003。整個 30 輪聊天總計約 $0.024。便宜,但請注意輸入是輸出的 23 倍,如果你從未修剪,它會隨長度的平方增長。
降低費用的方法:一旦歷史記錄超過你選擇的大小,請刪除或摘要舊輪次;保持系統提示詞簡短;當不需要長回覆時設定 max_tokens。失敗或拒絕的請求不會計費。儲值金額和獎勵階層列在 定價頁面上。
在不破壞聊天的情況下修剪歷史記錄
一旦對話變長,你有兩個選擇:每輪為完整歷史記錄付費,或截斷它。一個簡單的規則是保留系統訊息和最後幾輪。此函式會這樣做,且不會改變迴圈的其餘部分。
from openai import OpenAI
client = OpenAI(
base_url="https://api.mistralapikey.com/v1",
api_key="YOUR_API_KEY",
)
def trimmed(history, keep=8):
system = history[:1]
rest = history[1:]
return system + rest[-keep:]
resp = client.chat.completions.create(
model="uncensored",
messages=trimmed(history),
)
修剪的代價是模型會忘記它不再看到的內容。對於支援機器人來說這沒問題。對於長故事,你可能更希望要求模型寫一次舊輪次的簡短摘要,將其儲存為系統註解,並刪除原始內容。這會增加一次呼叫,但能保留劇情。
撰寫有用的系統訊息
保持簡短具體:助手是誰、答案應多長,以及任何格式規則。「你是一家自行車店的支援代理。回答不超過三句話,如果請求不清楚則提問」比一頁的通用美德更有效。它的每個字詞在每輪都會作為輸入計費,因此 1,000 token 的系統訊息每次請求會增加 $0.00015。
錯誤與限制
完整金鑰允許 8 個並行請求和每分鐘 300 個請求;試用金鑰允許 2 個和 60 個。最大請求主體為 8 MB。超過限制時,你會收到 HTTP 429,其含義如下:
- 錯誤代碼
rate_limited:每分鐘請求過多。請拉開請求間距。 - 錯誤代碼
concurrency:同時請求過多。請將請求排隊。 Retry-After: 5標頭:暫時過載。等待 5 秒後重試。
401 錯誤表示金鑰遺失或錯誤。請將金鑰保留在後端程式碼中,並從您的伺服器呼叫 API。如果您正從 Mistral 設定遷移,Mistral API 金鑰頁面涵蓋了此服務的存取方式。
對於生產環境程式碼,請將呼叫包裝在帶有短暫等待的重新嘗試機制中,就像 OpenAI SDK 對某些失敗情況所做的那樣,並在每個錯誤旁記錄 X-Request-Id 值。當出現異常時,該 ID 是讓 支援團隊最快定位確切請求的方式。此外,請設定客戶端超時時間:大型提示詞的長完成時間可能很長,你不希望卡住的連線佔用你的 8 個並行槽位之一。
該服務不產生涉及未成年人的性內容,且提示詞不會用於訓練。
更多指南
問答
什麼是 OpenAI 相容?
這表示端點接受與 OpenAI 聊天完成 API 相同的請求格式,因此當你變更基礎 URL 和金鑰後,OpenAI SDK 和工具即可運作。
伺服器會記住對話嗎?
不會。每次請求時傳送完整的訊息歷史。伺服器在呼叫之間不保留任何會話。
有哪些可用的端點?
POST /v1/chat/completions 和 GET /v1/models。該服務僅支援文字,沒有影像、音訊或嵌入端點。
我如何串流輸出回覆?
將 stream 設為 true。API 會傳送 server-sent events,並在串流結束時報告用量。
我該使用哪個模型名稱?
在每個請求中使用 uncensored 作為模型 ID。
只需填寫表單即可取得金鑰
建立帳號、複製金鑰、更改基礎 URL。這就是整個設定過程。