Mistral API w Pythonie z użyciem SDK OpenAI
Skrypt Pythona do API Mistral może wywoływać ten endpoint kompatybilny z OpenAI przy użyciu standardowego pakietu openai: ustaw bazowy URL, przekaż swój klucz i użyj modelu uncensored. Ten przewodnik zawiera kod do czatu, strumieniowania, JSON, narzędzi i przetwarzania wsadowego.
Zaktualizowano

Krótka wersja
Aby użyć przepływu pracy Python API Mistral z tą usługą, nie potrzebujesz własnej biblioteki klienta Mistral. Ten endpoint obsługuje format uzupełnień czatu OpenAI, więc standardowy pakiet openai działa: zainstaluj go, ustaw bazowy URL na https://api.mistralapikey.com/v1, przekaż swój klucz i użyj identyfikatora modelu uncensored.
Ważna uwaga: to nie jest oficjalne API Mistral i nie jest z nim powiązane. To osobna usługa z jednym modelem o otwartych wagach, prowadzona przez niezależnego dostawcę i dostrojona do odpowiadania bez odmów treści dla legalnego użytku dorosłych. Strona o kluczu API Mistral wyjaśnia, jak klucze tutaj odnoszą się do innych usług.
pip install openai
from openai import OpenAI
client = OpenAI(base_url="https://api.mistralapikey.com/v1", api_key="YOUR_KEY")
r = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Write a haiku about retries."}],
)
print(r.choices[0].message.content)Przetłumacz kod w stylu Mistral linia po linii
Jeśli masz kod napisany dla klienta Python Mistral, mapowanie jest krótkie. Sprawdź dokładne nazwy w dokumentacji samego klienta dla zainstalowanej wersji, ponieważ biblioteki się zmieniają.
| Klient w stylu Mistral | SDK OpenAI przeciwko temu endpointowi |
|---|---|
Mistral(api_key=key) | OpenAI(base_url=URL, api_key=key) |
client.chat.complete(...) | client.chat.completions.create(...) |
client.chat.stream(...) | client.chat.completions.create(..., stream=True) |
model="some-model-name" | model="uncensored" |
res.choices[0].message.content | r.choices[0].message.content (to samo) |
Wiadomości pozostają listą słowników z role i content. Kształt odpowiedzi dla wspólnych pól, w tym choices, usage i finish_reason, jest również taki sam, więc kod, który tylko czyta te pola, nie wymaga zmian.
Obok siebie zmiana wygląda tak:
# before (Mistral-style)
# from mistralai import Mistral
# client = Mistral(api_key=KEY)
# res = client.chat.complete(model="...", messages=msgs)
# after
from openai import OpenAI
client = OpenAI(base_url="https://api.mistralapikey.com/v1", api_key=KEY)
res = client.chat.completions.create(model="uncensored", messages=msgs)
text = res.choices[0].message.contentTrzymaj klucz z dala od kodu
Odczytaj klucz i URL ze środowiska i trzymaj je z dala od kontroli wersji.
import os
from openai import OpenAI
client = OpenAI(
base_url=os.environ.get("LLM_BASE_URL", "https://api.mistralapikey.com/v1"),
api_key=os.environ["LLM_API_KEY"],
)
W powłoce: export LLM_API_KEY=.... SDK OpenAI odczytuje również OPENAI_API_KEY i OPENAI_BASE_URL, jeśli nie przekażesz ich jawnie, co jest przydatne dla narzędzi, które tworzą klienta za Ciebie, ale też klasyczne źródło błędów „zły klucz”, gdy stara wartość siedzi w powłoce. Gdy coś zawiedzie z 401, wydrukuj, które zmienne są ustawione, zanim zrobisz cokolwiek innego.
Pobierz klucz na stronie klucz API. Nowe konta mogą odebrać $0,50 darmowego kredytu próbnego jednym kliknięciem. Nie wymaga karty, jest ważny przez 7 dni i limitowany do jednego na osobę.
Strumieniowanie, JSON i narzędzia
Strumieniowanie zwraca tokeny w miarę ich generowania. Ustaw stream=True i iteruj. Dane o użyciu przychodzą na końcu.
stream = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Explain list comprehensions in 3 sentences."}],
stream=True,
)
for chunk in stream:
if chunk.choices and chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="", flush=True)
Tryb JSON wymaga poprawnego obiektu JSON. Wpisz słowo JSON w swoim promptcie oraz zawsze parsuj defensywnie.
import json
r = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Return JSON with keys name and tags for a blog post about retries."}],
response_format={"type": "json_object"},
)
data = json.loads(r.choices[0].message.content)
Wywoływanie narzędzi używa parametrów tools i tool_choice. Gdy model zwraca tool_calls, uruchom funkcję i wyślij wynik z powrotem jako wiadomość z role: "tool" i pasującym tool_call_id.
tools = [{
"type": "function",
"function": {
"name": "get_weather",
"description": "Get weather for a city",
"parameters": {
"type": "object",
"properties": {"city": {"type": "string"}},
"required": ["city"],
},
},
}]
r = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Weather in Oslo?"}],
tools=tools,
)
print(r.choices[0].message.tool_calls)Wywołania asynchroniczne i równoległe
Do partii użyj klienta asynchronicznego. Utrzymaj liczbę aktywnych zapytań poniżej limitu: pełny klucz pozwala na 8 równoległych zapytań i 300 na minutę, klucz próbny na 2 i 60.
import asyncio
from openai import AsyncOpenAI
client = AsyncOpenAI(base_url="https://api.mistralapikey.com/v1", api_key="YOUR_KEY")
sem = asyncio.Semaphore(6)
async def one(prompt):
async with sem:
r = await client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": prompt}],
max_tokens=200,
)
return r.choices[0].message.content
async def main():
prompts = [f"Give a one-line tip number {i} about Python." for i in range(20)]
results = await asyncio.gather(*(one(p) for p in prompts))
print(len(results))
asyncio.run(main())
Semafor ustawiony na 6 pozostawia zapas poniżej 8. Bez niego 20 jednoczesnych wywołań uderzyłoby w HTTP 429 z kodem concurrency. Pamiętaj, że strumienie zajmują swój slot, aż się zakończą.
Pułapki podczas migracji
Większość problemów wynika z założeń przeniesionych ze starej konfiguracji, a nie z nowego endpointu.
- Zahardkodowane nazwy modeli. Przeszukaj kod pod kątem starego ciągu modelu. Jedynym poprawnym identyfikatorem modelu tutaj jest
uncensored, co możesz potwierdzić za pomocąclient.models.list(). - Prompty napisane dla innego modelu. Inny model czyta instrukcje nieco inaczej. Jeśli prompt systemowy polegał na specyficznej frazeologii, przetestuj go. Krótkie, bezpośrednie instrukcje z przykładem formatu wyjściowego zwykle działają najlepiej.
- Parametry specyficzne dla dostawcy. Parametry istniejące tylko w kliencie jednego dostawcy mogą być ignorowane lub odrzucane. Trzymaj się standardowych: temperature, top_p, stop, seed, max_tokens i kary są przekazywane dalej.
- Flagi stylu trybu bezpiecznego. Jeśli Twój stary kod włączał opcję moderacji lub bezpieczeństwa dostawcy, nie ma tu odpowiedniego przełącznika. Jeśli Twój produkt wymaga filtrowania, dodaj go po swojej stronie przed i po wywołaniu.
- Szacowania tokenów. Różne modele liczą tokeny inaczej, więc budżetuj z pola
usagezwracanego przez API, a nie z lokalnego zgadywania.
Zaplanuj krótkie przejście testowe, a nie przepisanie. Weź dziesięć promptów ze swoich logów, uruchom je przez nowego klienta, przeczytaj odpowiedzi i dostosuj prompt systemowy, aż ton będzie pasował do tego, czego chcesz.
Błędy i ich znaczenie
- 401. Zły lub brakujący klucz, lub klucz z innej usługi.
- 404. W bazowym URL brakuje
/v1. - 429 z
rate_limited. Więcej niż limit na minutę. Poczekaj i zwolnij. - 429 z
concurrency. Zbyt wiele żądań naraz. Zmniejsz swoją równoległość. - 429 z
Retry-After: 5. Tymczasowe przeciążenie. Poczekaj pięć sekund i spróbuj ponownie.
import time
from openai import RateLimitError
def safe(prompt):
for _ in range(4):
try:
r = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": prompt}],
)
return r.choices[0].message.content
except RateLimitError:
time.sleep(5)
return None
Zapisz nagłówek X-Request-Id z nieudanych wywołań. Nieudane lub odrzucone żądania nie są rozliczane.
Koszty, limity i co nie jest uwzględnione
Rozliczenie działa w modelu pay as you go: $0,15 za 1 mln tokenów wejściowych i $0,50 za 1 mln tokenów wyjściowych, przedpłacone, bez subskrypcji i bez wygaśnięcia. Skrypt wysyłający 1 000 zapytań o 1 500 tokenach wejściowych i 400 tokenach wyjściowych kosztuje 1,5M x $0,15 = $0,225 plus 0,4M x $0,50 = $0,20, czyli $0,425. Doładowania wynoszą od $20 do $500, z bonusem od $50, a strona z cenami zawiera szczegóły.
Okno kontekstu wynosi 100 000 tokenów, łącznie z promptem i uzupełnieniem, a ciało zapytania może mieć do 8 MB. Usługa obsługuje tylko tekst: bez obrazów, dźwięku lub wideo, bez embeddingów i bez dostrajania, a treści seksualne z udziałem nieletnich są zawsze zabronione. Jeśli chcesz też tego samego API z innymi klientami, artykuł o chat API kompatybilnym z OpenAI obejmuje aplikacje spoza Pythona, a dokumentacja wymienia każdy parametr.
Więcej przewodników
Pytania i odpowiedzi
Czy potrzebuję klienta Python Mistral?
Nie. Standardowy pakiet openai działa z bazowym URL https://api.mistralapikey.com/v1. Wywołania w stylu Mistral mapują się na chat.completions.create.
Czy to oficjalne API Mistral?
Nie. To osobny serwis z jednym modelem o otwartych wagach, uruchamiany przez niezależnego dostawcę, niepowiązanego z Mistral.
Jak uniknąć błędów 429 w partiach?
Ogranicz równoległe wywołania poniżej 8 za pomocą semafora, trzymaj się poniżej 300 zapytań na minutę i poczekaj po odpowiedzi 429.
Czy jest darmowy sposób na przetestowanie?
Tak. Po rejestracji możesz odebrać $0,50 darmowego kredytu próbnego na stronie klucza API. Nie wymaga karty i jest ważny przez 7 dni.
Twój klucz jest o jeden formularz stąd
Utwórz konto, skopiuj klucz, zmień bazowy URL. To cała konfiguracja.