Mistral API Python में OpenAI SDK के साथ
एक Mistral API Python स्क्रिप्ट इस OpenAI-संगत एंडपॉइंट पर मानक openai पैकेज के साथ चला सकती है: आधार URL सेट करें, अपनी कुंजी पास करें और मॉडल uncensored का उपयोग करें। इस गाइड में चैट, स्ट्रीमिंग, JSON, टूल्स और बैच के लिए कोड है।
अपडेट किया गया

संक्षिप्त संस्करण
इस सेवा के लिए Mistral API Python वर्कफ़्लो का उपयोग करने के लिए, आपको Mistral की अपनी क्लाइंट लाइब्रेरी की आवश्यकता नहीं है। यह एंडपॉइंट OpenAI चैट कंप्लीशन फॉर्मेट का उपयोग करता है, इसलिए मानक openai पैकेज काम करता है: इसे इंस्टॉल करें, बेस URL को https://api.mistralapikey.com/v1 पर सेट करें, अपनी कुंजी पास करें और मॉडल ID uncensored का उपयोग करें।
एक आवश्यक नोट: यह Mistral की आधिकारिक API नहीं है, और यह Mistral से संबद्ध नहीं है। यह एक अलग सेवा है जिसमें एक ओपन-वेट मॉडल है, जो एक स्वतंत्र प्रदाता द्वारा चलाया जाता है और कानूनी वयस्क उपयोग के लिए बिना सेंसर जवाब देने के लिए ट्यून्ड है। Mistral API कुंजी के बारे में पृष्ठ बताता है कि यहाँ की कुंजियाँ अन्य सेवाओं से कैसे संबंधित हैं।
pip install openai
from openai import OpenAI
client = OpenAI(base_url="https://api.mistralapikey.com/v1", api_key="YOUR_KEY")
r = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Write a haiku about retries."}],
)
print(r.choices[0].message.content)Mistral-शैली कोड को पंक्ति-दर-पंक्ति अनुवाद करें
यदि आपके पास Mistral Python क्लाइंट के लिए लिखा गया कोड है, तो मैपिंग छोटी है। अपने इंस्टॉल किए गए संस्करण के लिए क्लाइंट की अपनी दस्तावेज़ीकरण के अनुसार सटीक नाम जाँचें, क्योंकि लाइब्रेरी बदल जाती हैं।
| Mistral-शैली क्लाइंट | इस एंडपॉइंट के खिलाफ OpenAI SDK |
|---|---|
Mistral(api_key=key) | OpenAI(base_url=URL, api_key=key) |
client.chat.complete(...) | client.chat.completions.create(...) |
client.chat.stream(...) | client.chat.completions.create(..., stream=True) |
model="some-model-name" | model="uncensored" |
res.choices[0].message.content | r.choices[0].message.content (समान) |
संदेश role और content के साथ डिक्ट्स की सूची के रूप में रहते हैं। सामान्य फ़ील्ड्स, जैसे choices, usage और finish_reason, के लिए प्रतिक्रिया का आकार भी समान है, इसलिए केवल उन पढ़ने वाले कोड में कोई बदलाव नहीं चाहिए।
साइड बाय साइड, बदलाव इस प्रकार दिखता है:
# before (Mistral-style)
# from mistralai import Mistral
# client = Mistral(api_key=KEY)
# res = client.chat.complete(model="...", messages=msgs)
# after
from openai import OpenAI
client = OpenAI(base_url="https://api.mistralapikey.com/v1", api_key=KEY)
res = client.chat.completions.create(model="uncensored", messages=msgs)
text = res.choices[0].message.contentकुंजी को कोड से बाहर रखें
कुंजी और URL को एन्वायरनमेंट से पढ़ें, और उन्हें वर्जन कंट्रोल से बाहर रखें।
import os
from openai import OpenAI
client = OpenAI(
base_url=os.environ.get("LLM_BASE_URL", "https://api.mistralapikey.com/v1"),
api_key=os.environ["LLM_API_KEY"],
)
शेल के साथ: export LLM_API_KEY=...। OpenAI SDK OPENAI_API_KEY और OPENAI_BASE_URL भी पढ़ता है जब आप उन्हें स्पष्ट रूप से पास नहीं करते, जो आपके लिए क्लाइंट बनाने वाले टूल्स के लिए उपयोगी है, लेकिन शेल में एक पुरानी वैल्यू बैठने पर "गलत कुंजी" बग्स का एक परंपरागत स्रोत भी है। जब 401 के साथ कुछ विफल होता है, तो कुछ भी करने से पहले प्रिंट करें कि कौन से वेरिएबल सेट हैं।
API कुंजी पृष्ठ पर एक कुंजी प्राप्त करें। नए खातों में एक क्लिक से $0.50 का मुफ़्त ट्रायल क्रेडिट क्लेम किया जा सकता है। इसके लिए कार्ड की आवश्यकता नहीं है, यह 7 दिनों के लिए मान्य है और प्रति व्यक्ति एक सीमित है।
स्ट्रीमिंग, JSON और टूल्स
स्ट्रीमिंग जनरेट होते ही टोकन लौटाता है। stream=True सेट करें और इटरेट करें। उपयोग डेटा अंत में आता है।
stream = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Explain list comprehensions in 3 sentences."}],
stream=True,
)
for chunk in stream:
if chunk.choices and chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="", flush=True)
JSON मोड एक मान्य JSON ऑब्जेक्ट मांगता है। अपने प्रॉम्प्ट में JSON शब्द भी कहें, और हमेशा सावधानीपूर्वक पार्स करें।
import json
r = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Return JSON with keys name and tags for a blog post about retries."}],
response_format={"type": "json_object"},
)
data = json.loads(r.choices[0].message.content)
टूल कॉलिंग tools और tool_choice पैरामीटर्स का उपयोग करती है। जब मॉडल tool_calls लौटाता है, तो फ़ंक्शन चलाएं और role: "tool" और मिलते-जुलते tool_call_id के साथ एक संदेश के रूप में परिणाम वापस भेजें।
tools = [{
"type": "function",
"function": {
"name": "get_weather",
"description": "Get weather for a city",
"parameters": {
"type": "object",
"properties": {"city": {"type": "string"}},
"required": ["city"],
},
},
}]
r = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Weather in Oslo?"}],
tools=tools,
)
print(r.choices[0].message.tool_calls)एसिंक्रोनस और समानांतर कॉल्स
बैच के लिए, एसिंक क्लाइंट का उपयोग करें। इन-फ्लाइट अनुरोधों की संख्या को लिमिट से नीचे रखें: एक फुल कुंजी 8 समानांतर अनुरोध और प्रति मिनट 300 की अनुमति देती है, एक ट्रायल कुंजी 2 और 60।
import asyncio
from openai import AsyncOpenAI
client = AsyncOpenAI(base_url="https://api.mistralapikey.com/v1", api_key="YOUR_KEY")
sem = asyncio.Semaphore(6)
async def one(prompt):
async with sem:
r = await client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": prompt}],
max_tokens=200,
)
return r.choices[0].message.content
async def main():
prompts = [f"Give a one-line tip number {i} about Python." for i in range(20)]
results = await asyncio.gather(*(one(p) for p in prompts))
print(len(results))
asyncio.run(main())
6 का सेमाफोर 8 के नीचे सुरक्षित जगह छोड़ता है। इसके बिना, 20 समानांतर अनुरोध HTTP 429 पर हिट करते हैं कोड concurrency के साथ। याद रखें कि स्ट्रीमिंग अपने स्लॉट को समाप्त होने तक पकड़े रखती है।
माइग्रेट करते समय खतरा
अधिकांश समस्याएं नए एंडपॉइंट से नहीं, बल्कि पुरानी व्यवस्था से लाए गए मान्यताओं से आती हैं।
- हार्ड-कोडेड मॉडल नाम। अपने कोड में पुराने मॉडल स्ट्रिंग के लिए खोजें। यहाँ मान्य मॉडल ID केवल
uncensoredहै, और आपclient.models.list()के साथ इसकी पुष्टि कर सकते हैं। - दूसरे मॉडल के लिए लिखे गए प्रॉम्प्ट। एक अलग मॉडल निर्देशों को थोड़ा अलग तरीके से पढ़ता है। यदि सिस्टम प्रॉम्प्ट किसी विशिष्ट वाक्यांश पर निर्भर था, तो उसे परीक्षण करें। आउटपुट प्रारूप का उदाहरण देने वाले छोटे और सीधे निर्देश आमतौर पर सबसे अच्छे काम करते हैं।
- प्रदाता-विशिष्ट पैरामीटर। वे पैरामीटर जो केवल एक वेंडर के क्लाइंट में मौजूद हैं, वे अनदेखे या अस्वीकृत हो सकते हैं। मानक पैरामीटर पर टिकें: temperature, top_p, stop, seed, max_tokens और पेनल्टी पास कर दी जाती हैं।
- सेफ-मोड स्टाइल फ्लैग। यदि आपका पुराना कोड प्रदाता की मॉडरेशन या सुरक्षा विकल्प को चालू करता था, तो यहाँ इसका कोई समकक्ष स्विच नहीं है। यदि आपके उत्पाद को फ़िल्टरिंग की आवश्यकता है, तो कॉल से पहले और बाद में इसे अपने पक्ष पर जोड़ें।
- टोकन अनुमान। अलग-अलग मॉडल टोकन को अलग तरह से गिनते हैं, इसलिए बजट API द्वारा लौटाए गए
usageफ़ील्ड से लगाएं, स्थानीय अनुमान से नहीं।
रीराइट की योजना न बनाएं, एक छोटे परीक्षण पास की योजना बनाएं। अपने लॉग से दस प्रॉम्प्ट लें, उन्हें नए क्लाइंट से चलाएं, जवाब पढ़ें और सिस्टम प्रॉम्प्ट को समायोजित करें जब तक कि टोन आपकी इच्छा के अनुसार न मिल जाए।
त्रुटियाँ और उनका अर्थ
- 401. गलत या अनुपस्थित कुंजी, या किसी अन्य सेवा से कुंजी।
- 404. बेस URL में
/v1अनुपस्थित है। - 429
rate_limitedके साथ। प्रति मिनट सीमा से अधिक। प्रतीक्षा करें और गति कम करें। - 429
concurrencyके साथ। एक साथ बहुत अधिक अनुरोध। अपने समानांतर अनुरोध कम करें। - 429
Retry-After: 5के साथ। अस्थायी ओवरलोड। पाँच सेकंड प्रतीक्षा करें और पुनः प्रयास करें।
import time
from openai import RateLimitError
def safe(prompt):
for _ in range(4):
try:
r = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": prompt}],
)
return r.choices[0].message.content
except RateLimitError:
time.sleep(5)
return None
असफल कॉल से X-Request-Id हेडर सहेजें। विफल या अस्वीकृत अनुरोधों के लिए शुल्क नहीं लिया जाता है।
लागत, सीमाएँ और जिसमें शामिल नहीं है
बिलिंग पे-एज़-यू-गो है: 1M इनपुट टोकन के लिए $0.15 और 1M आउटपुट टोकन के लिए $0.50, प्रीपेड, बिना सब्सक्रिप्शन और बिना समाप्ति के। 1,500 इनपुट और 400 आउटपुट टोकन वाले 1,000 अनुरोध भेजने वाला स्क्रिप्ट 1.5M x $0.15 = $0.225 प्लस 0.4M x $0.50 = $0.20, यानी $0.425 का खर्च करता है। टॉप-अप $20 से $500 तक चलते हैं, $50 से बोनस मिलता है, और मूल्य निर्धारण पृष्ठ विवरण सूचीबद्ध करता है।
कॉन्टेक्स्ट विंडो 100,000 टोकन का है, प्रॉम्प्ट और कंप्लीशन सहित, और बॉडी 8 MB तक हो सकती है। सेवा केवल टेक्स्ट है: कोई इमेज, ऑडियो या वीडियो नहीं, कोई एम्बेडिंग नहीं और कोई फाइन-ट्यूनिंग नहीं, और नाबालिगों से जुड़ी यौन सामग्री कभी भी अनुमति नहीं है। यदि आप अन्य क्लाइंट्स के साथ समान API भी चाहते हैं, तो OpenAI-कम्पैटिबल चैट API पर लेख Python के परे ऐप्स को कवर करता है, और दस्तावेज़ीकरण हर पैरामीटर सूचीबद्ध करता है।
अधिक गाइड
प्रश्न और उत्तर
क्या मुझे Mistral Python क्लाइंट की आवश्यकता है?
नहीं। मानक openai पैकेज https://api.mistralapikey.com/v1. के साथ काम करता है। Mistral-शैली के कॉल chat.completions.create से मैप होते हैं।
क्या यह Mistral की आधिकारिक API है?
नहीं। यह एक अलग सेवा है जिसमें एक ओपन-वेट मॉडल एक स्वतंत्र प्रदाता द्वारा चलाया जाता है, जो Mistral से संबद्ध नहीं है।
बैच में 429 त्रुटियों से कैसे बचें?
सेमाफोर का उपयोग करके समानांतर कॉल को 8 से नीचे सीमित करें, प्रति मिनट 300 अनुरोध से कम रहें और 429 प्रतिक्रिया के बाद प्रतीक्षा करें।
परीक्षण का कोई मुफ्त तरीका है?
हाँ। साइन-अप करने के बाद आप API कुंजी पृष्ठ पर $0.50 का ट्रायल क्रेडिट प्राप्त कर सकते हैं। इसके लिए कार्ड की आवश्यकता नहीं है और यह 7 दिनों के लिए मान्य है।
आपकी कुंजी बस एक कदम दूर है
एक खाता बनाएँ, कुंजी कॉपी करें, बेस URL बदलें। सेटअप यही है।