แชท API ที่เข้ากันได้กับ OpenAI: Python, Node และ curl
การเรียก API chat ที่เข้ากันได้กับ OpenAI คือการ POST หนึ่งครั้งพร้อมรายการข้อความและการตอบกลับหนึ่งครั้งจากโมเดล คู่มือนี้อธิบายคำขอ การสนทนาหลายรอบ การสตรีมมิง และข้อผิดพลาดที่อาจเกิดขึ้น โดยใช้เอนด์พอยต์ uncensored เป็นตัวอย่าง
อัปเดต

คำขอภายในหนึ่งนาที
ไคลเอนต์ใดๆ ที่สามารถคุยกับรูปแบบแชทของ OpenAI ได้ก็สามารถคุยกับบริการนี้ได้ คุณเปลี่ยนสองสิ่ง คือ URL ฐานและคีย์ แล้วเก็บอย่างอื่นไว้เหมือนเดิม ที่นี่ URL ฐานคือ https://api.mistralapikey.com/v1 และรหัสโมเดลคือ uncensored การตรวจสอบสิทธิ์ใช้หัวข้อความมาตรฐาน Authorization: Bearer
คำขอแรกมีลักษณะดังนี้:
curl https://api.mistralapikey.com/v1/chat/completions -H "Authorization: Bearer YOUR_API_KEY" -H "Content-Type: application/json" -d '{
"model": "uncensored",
"messages": [
{"role": "system", "content": "You are a concise assistant."},
{"role": "user", "content": "Explain what an API key is in two sentences."}
]
}'
นี่คือบริการอิสระที่รันโมเดลแบบเปิดน้ำหนักหนึ่งตัว ซึ่งปรับแต่งให้ตอบคำถามโดยไม่มีการปฏิเสธเนื้อหาสำหรับการใช้งานผู้ใหญ่ที่ถูกต้องตามกฎหมาย ไม่ใช่ API ทางการของ Meta, Mistral, OpenAI หรือผู้จัดจำหน่ายรายอื่น บริการนี้เปิดใช้งานสองเมธอด คือ POST /v1/chat/completions และ GET /v1/models และรองรับเฉพาะข้อความ หากยังต้องการคีย์ API โปรดดูที่ หน้าคีย์ API เพื่ออธิบายขั้นตอนการสมัครและเครดิตทดลองใช้
การอ่านการตอบกลับ
การตอบกลับที่สำเร็จจะเป็นวัตถุ JSON ที่มีโครงสร้างตามมาตรฐาน เนื้อหาอยู่ที่ choices[0].message.content เหตุผลการหยุดอยู่ที่ choices[0].finish_reason และจำนวนโทเคนอยู่ที่ usage
{
"id": "chatcmpl-...",
"object": "chat.completion",
"model": "uncensored",
"choices": [
{
"index": 0,
"message": {"role": "assistant", "content": "An API key is a secret string..."},
"finish_reason": "stop"
}
],
"usage": {"prompt_tokens": 31, "completion_tokens": 48, "total_tokens": 79}
}
ค่า finish_reason เป็น stop หมายถึงโมเดลตอบคำถามเสร็จสิ้น ค่า length หมายถึงถึงขีดจำกัดโทเคน จึงควรเพิ่มค่า max_tokens หรือปล่อยไว้เป็นค่าว่าง Header ต่างๆ ก็สำคัญเช่นกัน: X-Request-Id ใช้ระบุการเรียกใช้บริการเพื่อขอการสนับสนุน, X-Balance-USD แสดงเครดิตคงเหลือของคุณ และ X-RateLimit-Limit-Requests กับ X-RateLimit-Limit-Concurrency แสดงขีดจำกัดของคุณ
ข้อความและบทบาท
อาร์เรย์ messages คือการสนทนาทั้งหมดตามลำดับ แต่ละรายการมี role และ content
- system กำหนดพฤติกรรม น้ำเสียง และกฎเกณฑ์ ควรใส่ไว้เป็นรายการแรก
- user คือข้อความที่ผู้ใช้พิมพ์
- assistant คือข้อความที่โมเดลตอบกลับก่อนหน้านี้ในการสนทนา
- tool นำผลลัพธ์ของการเรียกใช้ฟังก์ชัน หากใช้การเรียกใช้ฟังก์ชัน
โมเดลจะรู้เฉพาะสิ่งที่อยู่ในอาร์เรย์เท่านั้น ไม่มีการจดจำระหว่างการเรียกใช้งาน ดังนั้นเซิร์ฟเวอร์จึงไม่เก็บเซสชันไว้ให้ นี่คือสิ่งสำคัญที่สุดที่ต้องเข้าใจเกี่ยวกับเอนด์พอยต์แชท และอธิบายว่าทำไม "แชท" จึงมีค่าใช้จ่ายเพิ่มขึ้นในทุกการสนทนา: ประวัติการสนทนาที่คุณส่งไปจะถูกคิดเป็นอินพุตทุกครั้ง
แชทหลายรอบใน Python
เพื่อรักษาการสนทนา ให้เก็บรายการข้อความ เพิ่มข้อความผู้ใช้ เรียกใช้ API เพิ่มการตอบกลับของผู้ช่วย แล้วทำซ้ำ นี่คือแชทเทอร์มินัลแบบสมบูรณ์
from openai import OpenAI
client = OpenAI(
base_url="https://api.mistralapikey.com/v1",
api_key="YOUR_API_KEY",
)
history = [{"role": "system", "content": "You are a friendly, direct assistant."}]
while True:
text = input("you> ").strip()
if not text:
break
history.append({"role": "user", "content": text})
resp = client.chat.completions.create(
model="uncensored",
messages=history,
temperature=0.7,
)
answer = resp.choices[0].message.content
history.append({"role": "assistant", "content": answer})
print("bot>", answer)
print(f" [{resp.usage.prompt_tokens} in / {resp.usage.completion_tokens} out]")
สังเกตตัวเลขในวงเล็บขณะแชท จำนวน "in" จะเพิ่มขึ้นในทุกการสนทนาเพราะรวมทุกสิ่งที่พูดไปก่อนหน้านี้ การเพิ่มขึ้นนี้เป็นเรื่องปกติและเป็นปัจจัยหลักในการควบคุมค่าใช้จ่าย ซึ่งอธิบายไว้ด้านล่าง
การตอบกลับแบบสตรีมมิงใน Node
สำหรับอินเทอร์เฟซแชท คุณต้องการให้ข้อความปรากฏเมื่อถูกสร้าง ให้ตั้งค่า stream: true และ API จะส่งเหตุการณ์ที่ส่งจากเซิร์ฟเวอร์ SDK โหนดของ OpenAI ห่อหุ้มสิ่งนี้ไว้ในตัววนซ้ำแบบอะซิงโครนัส
import OpenAI from "openai";
const client = new OpenAI({
baseURL: "https://api.mistralapikey.com/v1",
apiKey: process.env.API_KEY,
});
const stream = await client.chat.completions.create({
model: "uncensored",
messages: [{ role: "user", content: "Write a four-line poem about debugging." }],
stream: true,
});
for await (const chunk of stream) {
const piece = chunk.choices[0]?.delta?.content ?? "";
process.stdout.write(piece);
}
process.stdout.write("\n");
การใช้งานจะถูกรายงานที่ท้ายสตรีม ดังนั้นคุณยังสามารถบันทึกจำนวนโทเคนได้โดยไม่ต้องเรียกครั้งที่สอง รายละเอียดการทำงานหนึ่งอย่าง: คำขอที่สตรีมจะถือช่องความพร้อมใช้งานพร้อมกันไว้จนกว่าสตรีมจะเสร็จสิ้น หากผู้ใช้ปิดแท็บ ให้ยกเลิกคำขอฝั่งของคุณเพื่อให้ช่องว่างลงเร็วขึ้น
พารามิเตอร์ที่คุณสามารถใช้ได้
การควบคุมการสุ่มมาตรฐานจะถูกส่งผ่านไปยังโมเดล นี่คือพารามิเตอร์ที่คุณจะปรับแต่งบ่อยที่สุด
| ฟิลด์ | สิ่งที่มันทำ | เคล็ดลับในทางปฏิบัติ |
|---|---|---|
temperature | ความสุ่มของการเลือกคำ | 0 ถึง 0.3 สำหรับการสกัดข้อความ, 0.7 ถึง 1.0 สำหรับข้อความเชิงสร้างสรรค์ |
top_p | จำกัดการสุ่มไปยังคำที่มีความน่าจะเป็นสูงสุด | เปลี่ยนค่านี้หรือ temperature อย่างใดอย่างหนึ่ง แทบไม่เคยเปลี่ยนทั้งสองอย่าง |
max_tokens | ขอบเขตบนของความยาวการตอบกลับ | ไม่บังคับ; ตั้งค่าเพื่อจำกัดค่าใช้จ่ายเมื่อใช้พรอมต์แบบเปิดกว้าง |
stop | ลำดับที่ยุติการสร้าง | มีประโยชน์สำหรับรูปแบบที่ขึ้นกับบรรทัด |
seed | การสุ่มตัวอย่างที่ทำได้ซ้ำ | สะดวกสำหรับการทดสอบ |
frequency_penalty, presence_penalty | ลดการซ้ำ | ค่าเล็กน้อยก็ส่งผลได้มาก |
response_format | โหมด JSON | ใช้ {"type":"json_object"} และอธิบายคีย์ในพรอมต์ |
การเรียกใช้ฟังก์ชันมีให้ผ่าน tools และ tool_choice เช่นกัน quickstart ครอบคลุมการตั้งค่าสำหรับ SDK ทั่วไป
ต้นทุนของบทสนทนา
ราคาอยู่ที่ $0.15 ต่อ 1M input tokens และ $0.50 ต่อ 1M output tokens จากเครดิตแบบเติมเงินล่วงหน้า หน้าต่างบริบทคือ 100,000 tokens สำหรับพรอมต์และการตอบกลับรวมกัน เนื่องจากประวัติถูกส่งใหม่ ต้นทุนของแชทจึงเพิ่มขึ้นเร็วกว่าจำนวนข้อความ
พิจารณาแชทที่ข้อความผู้ใช้แต่ละข้อความมีประมาณ 100 โทเคน และการตอบกลับแต่ละครั้งมีประมาณ 200 โทเคน รวมถึงข้อความระบบขนาด 200 โทเคน รอบที่ 1 ส่ง 300 โทเคนอินพุต รอบที่ 10 ส่งประมาณ 200 + 10 x 100 + 9 x 200 = 3,000 โทเคนอินพุต รอบที่ 30 ส่งประมาณ 200 + 30 x 100 + 29 x 200 = 9,000
รวมรอบอินพุตทั้ง 30 รอบ: ผลรวมคือ 30 x 200 + 100 x (1 + 2 + ... + 30) + 200 x (0 + 1 + ... + 29) = 6,000 + 46,500 + 87,000 = 139,500 โทเคนอินพุต เอาต์พุตคือ 30 x 200 = 6,000 โทเคน ค่าใช้จ่าย: 139,500 / 1M x $0.15 = $0.020925, บวก 6,000 / 1M x $0.50 = $0.003 การสนทนาทั้ง 30 รอบมีค่าใช้จ่ายประมาณ $0.024 ราคาถูก แต่โปรดสังเกตว่าอินพุตมีขนาดใหญ่กว่าเอาต์พุต 23 เท่า และมันจะเติบโตตามกำลังสองของความยาวหากคุณไม่เคยตัดออก
วิธีลดจำนวน: ตัดหรือสรุปความสำคัญของรอบเก่าเมื่อประวัติเกินขนาดที่คุณเลือก รักษาพรอมต์ระบบให้สั้น และตั้งค่า max_tokens เมื่อคุณไม่ต้องการคำตอบยาว คำขอที่ล้มเหลวหรือถูกปฏิเสธจะไม่ถูกเรียกเก็บเงิน จำนวนเงินเติมและระดับโบนัสแสดงอยู่ที่หน้า ราคา
การตัดทอนประวัติโดยไม่ทำลายแชท
เมื่อบทสนทนายาวขึ้น คุณมีสองทางเลือก: จ่ายสำหรับประวัติเต็มรูปแบบในทุกการส่ง หรือตัดทอน กฎง่ายๆ คือเก็บข้อความระบบและข้อความล่าสุดหลายรอบ ฟังก์ชันนี้ทำเช่นนั้นและทำให้ลูปของคุณไม่เปลี่ยนแปลง
from openai import OpenAI
client = OpenAI(
base_url="https://api.mistralapikey.com/v1",
api_key="YOUR_API_KEY",
)
def trimmed(history, keep=8):
system = history[:1]
rest = history[1:]
return system + rest[-keep:]
resp = client.chat.completions.create(
model="uncensored",
messages=trimmed(history),
)
ราคาของการตัดทอนคือโมเดลจะลืมสิ่งที่มันไม่เห็นอีก สำหรับบอทสนับสนุนนั้นไม่เป็นไร สำหรับเรื่องยาว คุณอาจต้องการให้โมเดลเขียนสรุปสั้นๆ ของข้อความเก่าครั้งเดียว เก็บเป็นข้อความระบบ และตัดข้อความต้นฉบับออก วิธีนี้ต้องใช้การเรียกเพิ่มหนึ่งครั้งแต่คงเนื้อเรื่องไว้
การเขียนข้อความระบบที่มีประโยชน์
ทำให้สั้นและชัดเจน: ผู้ช่วยคือใคร คำตอบควรยาวแค่ไหน และกฎรูปแบบใดๆ "คุณเป็นตัวแทนสนับสนุนสำหรับร้านขายจักรยาน ตอบไม่เกินสามประโยคและถามคำถามหากคำขอไม่ชัดเจน" ทำได้ดีกว่าหน้าหนึ่งแห่งคุณธรรมทั่วไป ทุกคำของมันจะถูกเรียกเก็บเป็นอินพุตในทุกการโทร ดังนั้นข้อความระบบ 1,000 โทเคนจะเพิ่ม $0.00015 ต่อคำขอ
ข้อผิดพลาดและขีดจำกัด
คีย์เต็มอนุญาตให้ทำคำขอพร้อมกัน 8 คำขอและ 300 คำขอต่อนาที; คีย์ทดลองอนุญาตให้ทำ 2 และ 60 ขนาดสูงสุดของ body คำขอคือ 8 MB หากเกินขีดจำกัด คุณจะได้รับ HTTP 429 พร้อมความหมายหนึ่งจากเหล่านี้:
- รหัสข้อผิดพลาด
rate_limited: คำขอมากเกินไปต่อนาที ให้เว้นระยะห่าง - รหัสข้อผิดพลาด
concurrency: คำขอมากเกินไปในเวลาเดียวกัน ให้จัดคิว - หัวเรื่อง
Retry-After: 5: โหลดเกินชั่วคราว รอ 5 วินาทีแล้วลองใหม่
401 หมายถึงคีย์หายไปหรือผิด คีย์ต้องไม่อยู่ในโค้ดหน้าบ้าน ให้เรียก API จากเซิร์ฟเวอร์ของคุณ หากย้ายจาก Mistral หน้า คีย์ API ของ Mistral ครอบคลุมการเข้าถึงบริการนี้
สำหรับโค้ดในสภาพแวดล้อมการผลิต ให้ห่อหุ้มการเรียกใช้ด้วยการเรียกซ้ำพร้อมการรอระยะเวลาสั้นๆ เช่นที่ SDK ของ OpenAI ทำสำหรับข้อผิดพลาดบางประเภท และบันทึกค่า X-Request-Id ไว้ข้างข้อผิดพลาดทุกครั้ง เมื่อพบสิ่งผิดปกติ ID นี้จะเป็นวิธีที่เร็วที่สุดในการชี้ฝ่ายสนับสนุนไปยังคำขอที่แน่นอน นอกจากนี้ให้ตั้งค่าเวลาหมดอายุที่ฝั่งไคลเอนต์: การสร้างคำตอบที่ยาวสำหรับพรอมต์ขนาดใหญ่อาจใช้เวลานาน และคุณไม่ต้องการให้การเชื่อมต่อค้างทำให้คุณเสียหนึ่งในช่องความพร้อมใช้งานพร้อมกัน 8 ช่อง
บริการนี้ไม่สร้างเนื้อหาทางเพศที่เกี่ยวข้องกับผู้เยาว์ และพรอมต์ไม่ถูกนำไปใช้ในการฝึกโมเดล
คู่มือเพิ่มเติม
ถาม-ตอบ
ความหมายของ OpenAI compatible คืออะไร?
หมายถึงเอนด์พอยต์นี้ยอมรับรูปแบบคำขอเดียวกับ API chat completions ของ OpenAI ทำให้ SDK และเครื่องมือของ OpenAI ทำงานได้หลังจากที่คุณเปลี่ยน base URL และคีย์
เซิร์ฟเวอร์จำบทสนทนาได้หรือไม่?
ไม่ คุณต้องส่งประวัติข้อความทั้งหมดไปกับแต่ละคำขอ เซิร์ฟเวอร์ไม่เก็บเซสชันระหว่างการเรียกใช้
มีเอนด์พอยต์ใดบ้างที่ใช้งานได้?
POST /v1/chat/completions และ GET /v1/models บริการรองรับเฉพาะข้อความ ไม่มีเอนด์พอยต์สำหรับรูปภาพ เสียง หรือการฝังตัว
ฉันจะสตรีมการตอบกลับได้อย่างไร
ตั้งค่า stream เป็น true API จะส่งเหตุการณ์ที่ส่งจากเซิร์ฟเวอร์ และรายงานการใช้งานที่ท้ายสตรีม
ฉันควรใช้ชื่อโมเดลใด?
ใช้ uncensored เป็น model ID ในทุกคำขอ
คีย์ของคุณอยู่ห่างแค่ขั้นตอนเดียว
สร้างบัญชี คัดลอกคีย์ และเปลี่ยน base URL นั่นคือการตั้งค่าทั้งหมด