OpenAI-संगत API चैट: Python, Node और curl
एक openai compatible api chat कॉल एक POST अनुरोध है जिसमें संदेशों की सूची होती है और मॉडल से एक जवाब आता है। यह गाइड अनुरोध, मल्टी-टर्न संवाद, स्ट्रीमिंग और उन त्रुटियों को समझाती है, एक uncensored एंडपॉइंट को उदाहरण के रूप में उपयोग करते हुए।
अपडेट किया गया

एक मिनट में अनुरोध
कोई भी क्लाइंट जो OpenAI चैट फॉर्मेट से बात कर सकता है, यह सेवा से बात कर सकता है। आपको दो चीज़ें बदलनी होती हैं, बेस URL और कुंजी, और बाकी सब वैसे ही रखना होता है। यहाँ बेस URL https://api.mistralapikey.com/v1 है और मॉडल ID uncensored है। प्रमाणीकरण एक मानक Authorization: Bearer हेडर है।
एक प्रथम अनुरोध इस प्रकार दिखता है:
curl https://api.mistralapikey.com/v1/chat/completions -H "Authorization: Bearer YOUR_API_KEY" -H "Content-Type: application/json" -d '{
"model": "uncensored",
"messages": [
{"role": "system", "content": "You are a concise assistant."},
{"role": "user", "content": "Explain what an API key is in two sentences."}
]
}'
यह एक स्वतंत्र सेवा है जो एक ओपन-वेट मॉडल चलाती है, जिसे कानूनी वयस्क उपयोग के लिए बिना सेंसर उत्तर देने के लिए ट्यून किया गया है। यह मेटा, मिस्ट्रल, ओपनएआई या किसी अन्य वेंडर की आधिकारिक API नहीं है। यह POST /v1/chat/completions और GET /v1/models, दो विधियां प्रकट करती है, और यह केवल पाठ संभालती है। यदि आपको अभी भी कुंजी चाहिए, तो API कुंजी पृष्ठ साइन-अप और मुफ़्त ट्रायल क्रेडिट की व्याख्या करता है।
प्रतिक्रिया पढ़ना
एक सफल प्रतिक्रिया एक JSON ऑब्जेक्ट होती है जो सामान्य आकार में होती है। पाठ choices[0].message.content पर होता है, स्टॉप कारण choices[0].finish_reason में होता है, और टोकन गणनाएँ usage में होती हैं।
{
"id": "chatcmpl-...",
"object": "chat.completion",
"model": "uncensored",
"choices": [
{
"index": 0,
"message": {"role": "assistant", "content": "An API key is a secret string..."},
"finish_reason": "stop"
}
],
"usage": {"prompt_tokens": 31, "completion_tokens": 48, "total_tokens": 79}
}
finish_reason का मान stop का मतलब है कि मॉडल ने अपना उत्तर पूरा कर लिया है। length का मान इसका मतलब है कि यह टोकन सीमा पर पहुँच गया, इसलिए max_tokens बढ़ाएँ या उसे अनसेट छोड़ दें। हेडर भी मायने रखते हैं: X-Request-Id सहायता के लिए कॉल की पहचान करता है, X-Balance-USD आपके शेष क्रेडिट दिखाता है, और X-RateLimit-Limit-Requests और X-RateLimit-Limit-Concurrency आपकी सीमाएँ रिपोर्ट करते हैं।
संदेश और भूमिकाएँ
messages सरणी पूरी बातचीत होती है, क्रम में। प्रत्येक आइटम में एक role और content होता है।
- system व्यवहार, टोन और नियम निर्धारित करता है। इसे पहले रखें।
- user वह है जो व्यक्ति ने टाइप किया।
- assistant वह है जो मॉडल ने बातचीत में पहले कहा था।
- tool फ़ंक्शन कॉलिंग का परिणाम वहन करता है, यदि आप टूल कॉलिंग का उपयोग करते हैं।
मॉडल केवल सरणी में मौजूद चीज़ को जानता है। अनुरोधों के बीच कुछ भी याद नहीं रखा जाता है, इसलिए सर्वर आपके लिए सत्र नहीं रखता है। चैट एंडपॉइंट्स के बारे में समझने के लिए यह सबसे महत्वपूर्ण बात है, और यह समझाता है कि हर चरण में "चैट" का खर्च बढ़ता क्यों जाता है: आपका इतिहास जो आप भेजते हैं, हर बार इनपुट के रूप में बिल किया जाता है।
Python में मल्टी-टर्न चैट
बातचीत बनाए रखने के लिए, एक सूची रखें, उपयोगकर्ता संदेश जोड़ें, API को कॉल करें, असिस्टेंट प्रतिक्रिया जोड़ें, और दोहराएँ। यह एक पूर्ण टर्मिनल चैट है।
from openai import OpenAI
client = OpenAI(
base_url="https://api.mistralapikey.com/v1",
api_key="YOUR_API_KEY",
)
history = [{"role": "system", "content": "You are a friendly, direct assistant."}]
while True:
text = input("you> ").strip()
if not text:
break
history.append({"role": "user", "content": text})
resp = client.chat.completions.create(
model="uncensored",
messages=history,
temperature=0.7,
)
answer = resp.choices[0].message.content
history.append({"role": "assistant", "content": answer})
print("bot>", answer)
print(f" [{resp.usage.prompt_tokens} in / {resp.usage.completion_tokens} out]")
चैट करते समय ब्रैकेट वाले संख्याओं पर नज़र रखें। "इन" गिनती हर चरण में बढ़ती है क्योंकि इसमें अब तक की गई हर बात शामिल है। यह वृद्धि सामान्य है और लागत नियंत्रण के लिए आपका मुख्य हथियार भी है, जिसकी चर्चा नीचे की गई है।
Node में स्ट्रीमिंग प्रतिक्रियाएँ
चैट इंटरफ़ेस के लिए आप चाहते हैं कि टेक्स्ट जनरेट होते ही दिखाई दे। stream: true सेट करें और API सर्वर-सेंट इवेंट्स भेजता है। OpenAI Node SDK इसे एक async iterator में लपेटता है।
import OpenAI from "openai";
const client = new OpenAI({
baseURL: "https://api.mistralapikey.com/v1",
apiKey: process.env.API_KEY,
});
const stream = await client.chat.completions.create({
model: "uncensored",
messages: [{ role: "user", content: "Write a four-line poem about debugging." }],
stream: true,
});
for await (const chunk of stream) {
const piece = chunk.choices[0]?.delta?.content ?? "";
process.stdout.write(piece);
}
process.stdout.write("\n");
उपयोग स्ट्रीम के अंत में रिपोर्ट किया जाता है, इसलिए आप दूसरे कॉल के बिना टोकन गिनती लॉग कर सकते हैं। एक ऑपरेशनल विवरण: एक स्ट्रीम किए गए अनुरोध की concurrency slot तब तक बनी रहती है जब तक स्ट्रीम समाप्त न हो जाए। यदि कोई उपयोगकर्ता टैब बंद कर देता है, तो अपनी ओर से अनुरोध रद्द करें ताकि slot जल्दी खाली हो जाए।
आप जो पैरामीटर उपयोग कर सकते हैं
मानक सैंपलिंग नियंत्रण मॉडल में पास किए जाते हैं। ये वे हैं जिनसे आप सबसे अधिक संपर्क करेंगे।
| फ़ील्ड | यह क्या करता है | व्यावहारिक टिप |
|---|---|---|
temperature | शब्द चयन की यादृच्छिकता | निकासी के लिए 0 से 0.3, रचनात्मक पाठ के लिए 0.7 से 1.0 |
top_p | सबसे संभावित शब्दों तक सैंपलिंग को सीमित करता है | इसे या तापमान बदलें, दुर्लभ ही दोनों |
max_tokens | प्रतिक्रिया की लंबाई की ऊपरी सीमा | वैकल्पिक; ओपन-एंडेड प्रॉम्प्ट्स पर लागत को सीमित करने के लिए इसे सेट करें |
stop | वे अनुक्रम जो जनरेशन समाप्त करते हैं | लाइन-आधारित प्रारूपों के लिए उपयोगी |
seed | पुनरावृत्त नमूनाकरण | परीक्षणों के लिए सुविधाजनक |
frequency_penalty, presence_penalty | पुनरावृत्ति को कम करें | छोटे मान काफी प्रभाव डालते हैं |
response_format | JSON मोड | {"type":"json_object"} का उपयोग करें और प्रॉम्प्ट में कुंजियों का वर्णन करें |
फ़ंक्शन कॉलिंग tools और tool_choice के माध्यम से उपलब्ध है। क्विकस्टार्ट सामान्य SDK के लिए सेटअप कवर करता है।
एक वार्तालाप की लागत
मूल्य 1M इनपुट टोकन के लिए $0.15 और 1M आउटपुट टोकन के लिए $0.50 हैं, प्रीपेड क्रेडिट से। कॉन्टेक्स्ट विंडो प्रॉम्प्ट और जवाब दोनों के लिए 100,000 टोकन है। क्योंकि इतिहास फिर से भेजा जाता है, एक चैट की लागत संदेशों की संख्या से तेज़ी से बढ़ती है।
एक चैट लें जहाँ प्रत्येक उपयोगकर्ता संदेश लगभग 100 टोकन का है और प्रत्येक जवाब लगभग 200 टोकन का है, और एक 200-टोकन सिस्टम संदेश। टर्न 1 में 300 इनपुट टोकन भेजे जाते हैं। टर्न 10 में लगभग 200 + 10 x 100 + 9 x 200 = 3,000 इनपुट टोकन भेजे जाते हैं। टर्न 30 में लगभग 200 + 30 x 100 + 29 x 200 = 9,000 भेजे जाते हैं।
सभी 30 टर्न के इनपुट को जोड़ें: कुल 30 x 200 + 100 x (1 + 2 + ... + 30) + 200 x (0 + 1 + ... + 29) = 6,000 + 46,500 + 87,000 = 139,500 इनपुट टोकन है। आउटपुट 30 x 200 = 6,000 टोकन है। लागत: 139,500 / 1M x $0.15 = $0.020925, जोड़ें 6,000 / 1M x $0.50 = $0.003। पूरी 30-टर्न चैट लगभग $0.024 की आती है। सस्ता, लेकिन ध्यान दें कि इनपुट आउटपुट से 23 गुना बड़ा है, और यह लंबाई के वर्ग के साथ बढ़ता यदि आपने कभी ट्रिम न किया हो।
इसे कम रखने के तरीके: पुराने टर्न को हटा दें या सारांश दें जब इतिहास एक आपकी चुनी हुई सीमा से अधिक हो जाए, सिस्टम प्रॉम्प्ट को छोटा रखें, और max_tokens सेट करें जब आपको लंबे जवाब न चाहिए हों। विफल या अस्वीकृत अनुरोधों के लिए चार्ज नहीं किया जाता है। टॉप-अप राशि और बोनस स्तर मूल्य निर्धारण पृष्ठ पर सूचीबद्ध हैं।
चैट को तोड़े बिना इतिहास को ट्रिम करना
एक बार जब वार्तालाप लंबा हो जाती है तो आपके पास दो विकल्प हैं: हर टर्न पर पूरा इतिहास के लिए भुगतान करें, या इसे काटें। एक सरल नियम है कि सिस्टम संदेश और पिछले कई टर्न को रखें। यह फ़ंक्शन ऐसा करता है और आपके लूप के बाकी हिस्से को अपरिवर्तित छोड़ देता है।
from openai import OpenAI
client = OpenAI(
base_url="https://api.mistralapikey.com/v1",
api_key="YOUR_API_KEY",
)
def trimmed(history, keep=8):
system = history[:1]
rest = history[1:]
return system + rest[-keep:]
resp = client.chat.completions.create(
model="uncensored",
messages=trimmed(history),
)
ट्रिमिंग की कीमत यह है कि मॉडल भूल जाता है जो वह अब नहीं देखता है। सपोर्ट बॉट्स के लिए यह ठीक है। लंबी कहानियों के लिए आप मॉडल से पुराने टर्न का एक छोटा सारांश लिखने के लिए कह सकते हैं, इसे एक सिस्टम नोट के रूप में सहेजें, और मूलों को हटा दें। इसमें एक अतिरिक्त कॉल की लागत आती है लेकिन प्लॉट बनाए रखता है।
एक उपयोगी सिस्टम संदेश लिखना
इसे छोटा और स्पष्ट रखें: असिस्टेंट कौन है, जवाब कितने लंबे होने चाहिए, और कोई भी प्रारूप नियम। "आप एक बाइक शॉप के सपोर्ट एजेंट हैं। अधिकतम तीन वाक्यों में उत्तर दें और अनुरोध स्पष्ट न हो तो एक प्रश्न पूछें" एक पृष्ठ सामान्य गुण से अधिक करता है। इसका हर शब्द हर टर्न पर इनपुट के रूप में बिल किया जाता है, इसलिए एक 1,000-टोकन सिस्टम संदेश प्रत्येक अनुरोध में $0.00015 जोड़ता है।
त्रुटियाँ और सीमाएँ
एक पूर्ण कुंजी 8 समानांतर अनुरोध और प्रति मिनट 300 अनुरोध की अनुमति देती है; एक ट्रायल कुंजी 2 और 60 की अनुमति देती है। अधिकतम अनुरोध बॉडी 8 MB है। एक सीमा से अधिक जाने पर आपको HTTP 429 मिलता है, इनमें से एक अर्थ के साथ:
- त्रुटि कोड
rate_limited: प्रति मिनट बहुत सारे अनुरोध। उन्हें अलग-अलग भेजें। - त्रुटि कोड
concurrency: एक ही समय में बहुत सारे अनुरोध। उन्हें कतार में लगाएं। - एक
Retry-After: 5हेडर: अस्थायी ओवरलोड। 5 सेकंड प्रतीक्षा करें और पुनः प्रयास करें।
401 का अर्थ है कि कुंजी अनुपस्थित है या गलत है। कुंजियों को फ्रंट-एंड कोड से बाहर रखें; API को अपने सर्वर से कॉल करें। यदि आप Mistral सेटअप से इस सेवा पर स्थानांतरित हो रहे हैं, तो Mistral API key page इस सेवा के साथ एक्सेस की व्याख्या करता है।
उत्पादन कोड के लिए, कॉल्स को एक छोटी देरी के साथ रीट्राई में घेरें, जैसा कि कुछ विफलताओं के लिए OpenAI SDKs पहले ही करते हैं, और हर त्रुटि के बगल में X-Request-Id मान लॉग करें। जब कुछ गलत लगे, तो वह ID सहायता को सटीक अनुरोध की ओर इशारा करने का सबसे तेज़ तरीका है। एक क्लाइंट-साइड टाइमआउट भी सेट करें: एक बड़े प्रॉम्प्ट पर लंबी पूर्णता में कुछ समय लग सकता है, और आप नहीं चाहते कि एक फंसी कनेक्शन आपके 8 समानांतर अनुरोध स्लॉट में से एक को पकड़े रखे।
सर्विस नाबालिगों से संबंधित यौन सामग्री उत्पन्न नहीं करती है, और प्रॉम्प्ट को प्रशिक्षण के लिए उपयोग नहीं किया जाता है।
अधिक गाइड
प्रश्न और उत्तर
OpenAI संगत का अर्थ क्या है?
इसका अर्थ है कि एंडपॉइंट OpenAI चैट पूर्णता API के समान अनुरूप प्रारूप स्वीकार करता है, इसलिए Base URL और कुंजी बदलने के बाद OpenAI SDKs और टूल्स काम करते हैं।
क्या सर्वर बातचीत को याद रखता है?
नहीं। प्रत्येक अनुरोध के साथ पूर्ण संदेश इतिहास भेजें। सर्वर कॉल्स के बीच कोई सत्र नहीं रखता है।
कौन से एंडपॉइंट उपलब्ध हैं?
POST /v1/chat/completions और GET /v1/models। सर्विस केवल पाठ के लिए है, बिना छवि, ऑडियो या एम्बेडिंग एंडपॉइंट के।
मैं जवाब कैसे स्ट्रीम करूं?
स्ट्रीम को true सेट करें। API सर्वर-सेंट इवेंट्स भेजता है और स्ट्रीम के अंत में उपयोग की रिपोर्ट करता है।
मुझे किस मॉडल का नाम उपयोग करना चाहिए?
प्रत्येक अनुरोध में मॉडल ID के रूप में uncensored का उपयोग करें।
आपकी कुंजी बस एक फॉर्म दूर है
एक खाता बनाएँ, कुंजी कॉपी करें, बेस URL बदलें। सेटअप यही है।