PL ▾
mistralapikey.com

Alternatywa dla API Mistral bez cenzury

Pobierz klucz API
Bazowy URL
https://api.mistralapikey.com/v1
Model
bez cenzury

Mistral API w Pythonie z użyciem SDK OpenAI

Skrypt Pythona do API Mistral może wywoływać ten endpoint kompatybilny z OpenAI przy użyciu standardowego pakietu openai: ustaw bazowy URL, przekaż swój klucz i użyj modelu uncensored. Ten przewodnik zawiera kod do czatu, strumieniowania, JSON, narzędzi i przetwarzania wsadowego.

Zaktualizowano

Wstęga światła przecinająca szklane bloki kodu w kierunku bramy, reprezentująca Pythona wywołującego API

Krótka wersja

Aby użyć przepływu pracy Python API Mistral z tą usługą, nie potrzebujesz własnej biblioteki klienta Mistral. Ten endpoint obsługuje format uzupełnień czatu OpenAI, więc standardowy pakiet openai działa: zainstaluj go, ustaw bazowy URL na https://api.mistralapikey.com/v1, przekaż swój klucz i użyj identyfikatora modelu uncensored.

Ważna uwaga: to nie jest oficjalne API Mistral i nie jest z nim powiązane. To osobna usługa z jednym modelem o otwartych wagach, prowadzona przez niezależnego dostawcę i dostrojona do odpowiadania bez odmów treści dla legalnego użytku dorosłych. Strona o kluczu API Mistral wyjaśnia, jak klucze tutaj odnoszą się do innych usług.

pip install openai
from openai import OpenAI

client = OpenAI(base_url="https://api.mistralapikey.com/v1", api_key="YOUR_KEY")

r = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Write a haiku about retries."}],
)
print(r.choices[0].message.content)

Przetłumacz kod w stylu Mistral linia po linii

Jeśli masz kod napisany dla klienta Python Mistral, mapowanie jest krótkie. Sprawdź dokładne nazwy w dokumentacji samego klienta dla zainstalowanej wersji, ponieważ biblioteki się zmieniają.

Klient w stylu MistralSDK OpenAI przeciwko temu endpointowi
Mistral(api_key=key)OpenAI(base_url=URL, api_key=key)
client.chat.complete(...)client.chat.completions.create(...)
client.chat.stream(...)client.chat.completions.create(..., stream=True)
model="some-model-name"model="uncensored"
res.choices[0].message.contentr.choices[0].message.content (to samo)

Wiadomości pozostają listą słowników z role i content. Kształt odpowiedzi dla wspólnych pól, w tym choices, usage i finish_reason, jest również taki sam, więc kod, który tylko czyta te pola, nie wymaga zmian.

Obok siebie zmiana wygląda tak:

# before (Mistral-style)
# from mistralai import Mistral
# client = Mistral(api_key=KEY)
# res = client.chat.complete(model="...", messages=msgs)

# after
from openai import OpenAI
client = OpenAI(base_url="https://api.mistralapikey.com/v1", api_key=KEY)
res = client.chat.completions.create(model="uncensored", messages=msgs)
text = res.choices[0].message.content

Trzymaj klucz z dala od kodu

Odczytaj klucz i URL ze środowiska i trzymaj je z dala od kontroli wersji.

import os
from openai import OpenAI

client = OpenAI(
    base_url=os.environ.get("LLM_BASE_URL", "https://api.mistralapikey.com/v1"),
    api_key=os.environ["LLM_API_KEY"],
)

W powłoce: export LLM_API_KEY=.... SDK OpenAI odczytuje również OPENAI_API_KEY i OPENAI_BASE_URL, jeśli nie przekażesz ich jawnie, co jest przydatne dla narzędzi, które tworzą klienta za Ciebie, ale też klasyczne źródło błędów „zły klucz”, gdy stara wartość siedzi w powłoce. Gdy coś zawiedzie z 401, wydrukuj, które zmienne są ustawione, zanim zrobisz cokolwiek innego.

Pobierz klucz na stronie klucz API. Nowe konta mogą odebrać $0,50 darmowego kredytu próbnego jednym kliknięciem. Nie wymaga karty, jest ważny przez 7 dni i limitowany do jednego na osobę.

Strumieniowanie, JSON i narzędzia

Strumieniowanie zwraca tokeny w miarę ich generowania. Ustaw stream=True i iteruj. Dane o użyciu przychodzą na końcu.

stream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Explain list comprehensions in 3 sentences."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Tryb JSON wymaga poprawnego obiektu JSON. Wpisz słowo JSON w swoim promptcie oraz zawsze parsuj defensywnie.

import json

r = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Return JSON with keys name and tags for a blog post about retries."}],
    response_format={"type": "json_object"},
)
data = json.loads(r.choices[0].message.content)

Wywoływanie narzędzi używa parametrów tools i tool_choice. Gdy model zwraca tool_calls, uruchom funkcję i wyślij wynik z powrotem jako wiadomość z role: "tool" i pasującym tool_call_id.

tools = [{
    "type": "function",
    "function": {
        "name": "get_weather",
        "description": "Get weather for a city",
        "parameters": {
            "type": "object",
            "properties": {"city": {"type": "string"}},
            "required": ["city"],
        },
    },
}]

r = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Weather in Oslo?"}],
    tools=tools,
)
print(r.choices[0].message.tool_calls)

Wywołania asynchroniczne i równoległe

Do partii użyj klienta asynchronicznego. Utrzymaj liczbę aktywnych zapytań poniżej limitu: pełny klucz pozwala na 8 równoległych zapytań i 300 na minutę, klucz próbny na 2 i 60.

import asyncio
from openai import AsyncOpenAI

client = AsyncOpenAI(base_url="https://api.mistralapikey.com/v1", api_key="YOUR_KEY")
sem = asyncio.Semaphore(6)

async def one(prompt):
    async with sem:
        r = await client.chat.completions.create(
            model="uncensored",
            messages=[{"role": "user", "content": prompt}],
            max_tokens=200,
        )
        return r.choices[0].message.content

async def main():
    prompts = [f"Give a one-line tip number {i} about Python." for i in range(20)]
    results = await asyncio.gather(*(one(p) for p in prompts))
    print(len(results))

asyncio.run(main())

Semafor ustawiony na 6 pozostawia zapas poniżej 8. Bez niego 20 jednoczesnych wywołań uderzyłoby w HTTP 429 z kodem concurrency. Pamiętaj, że strumienie zajmują swój slot, aż się zakończą.

Pułapki podczas migracji

Większość problemów wynika z założeń przeniesionych ze starej konfiguracji, a nie z nowego endpointu.

  • Zahardkodowane nazwy modeli. Przeszukaj kod pod kątem starego ciągu modelu. Jedynym poprawnym identyfikatorem modelu tutaj jest uncensored, co możesz potwierdzić za pomocą client.models.list().
  • Prompty napisane dla innego modelu. Inny model czyta instrukcje nieco inaczej. Jeśli prompt systemowy polegał na specyficznej frazeologii, przetestuj go. Krótkie, bezpośrednie instrukcje z przykładem formatu wyjściowego zwykle działają najlepiej.
  • Parametry specyficzne dla dostawcy. Parametry istniejące tylko w kliencie jednego dostawcy mogą być ignorowane lub odrzucane. Trzymaj się standardowych: temperature, top_p, stop, seed, max_tokens i kary są przekazywane dalej.
  • Flagi stylu trybu bezpiecznego. Jeśli Twój stary kod włączał opcję moderacji lub bezpieczeństwa dostawcy, nie ma tu odpowiedniego przełącznika. Jeśli Twój produkt wymaga filtrowania, dodaj go po swojej stronie przed i po wywołaniu.
  • Szacowania tokenów. Różne modele liczą tokeny inaczej, więc budżetuj z pola usage zwracanego przez API, a nie z lokalnego zgadywania.

Zaplanuj krótkie przejście testowe, a nie przepisanie. Weź dziesięć promptów ze swoich logów, uruchom je przez nowego klienta, przeczytaj odpowiedzi i dostosuj prompt systemowy, aż ton będzie pasował do tego, czego chcesz.

Błędy i ich znaczenie

  • 401. Zły lub brakujący klucz, lub klucz z innej usługi.
  • 404. W bazowym URL brakuje /v1.
  • 429 z rate_limited. Więcej niż limit na minutę. Poczekaj i zwolnij.
  • 429 z concurrency. Zbyt wiele żądań naraz. Zmniejsz swoją równoległość.
  • 429 z Retry-After: 5. Tymczasowe przeciążenie. Poczekaj pięć sekund i spróbuj ponownie.
import time
from openai import RateLimitError

def safe(prompt):
    for _ in range(4):
        try:
            r = client.chat.completions.create(
                model="uncensored",
                messages=[{"role": "user", "content": prompt}],
            )
            return r.choices[0].message.content
        except RateLimitError:
            time.sleep(5)
    return None

Zapisz nagłówek X-Request-Id z nieudanych wywołań. Nieudane lub odrzucone żądania nie są rozliczane.

Koszty, limity i co nie jest uwzględnione

Rozliczenie działa w modelu pay as you go: $0,15 za 1 mln tokenów wejściowych i $0,50 za 1 mln tokenów wyjściowych, przedpłacone, bez subskrypcji i bez wygaśnięcia. Skrypt wysyłający 1 000 zapytań o 1 500 tokenach wejściowych i 400 tokenach wyjściowych kosztuje 1,5M x $0,15 = $0,225 plus 0,4M x $0,50 = $0,20, czyli $0,425. Doładowania wynoszą od $20 do $500, z bonusem od $50, a strona z cenami zawiera szczegóły.

Okno kontekstu wynosi 100 000 tokenów, łącznie z promptem i uzupełnieniem, a ciało zapytania może mieć do 8 MB. Usługa obsługuje tylko tekst: bez obrazów, dźwięku lub wideo, bez embeddingów i bez dostrajania, a treści seksualne z udziałem nieletnich są zawsze zabronione. Jeśli chcesz też tego samego API z innymi klientami, artykuł o chat API kompatybilnym z OpenAI obejmuje aplikacje spoza Pythona, a dokumentacja wymienia każdy parametr.

Pytania i odpowiedzi

Czy potrzebuję klienta Python Mistral?

Nie. Standardowy pakiet openai działa z bazowym URL https://api.mistralapikey.com/v1. Wywołania w stylu Mistral mapują się na chat.completions.create.

Czy to oficjalne API Mistral?

Nie. To osobny serwis z jednym modelem o otwartych wagach, uruchamiany przez niezależnego dostawcę, niepowiązanego z Mistral.

Jak uniknąć błędów 429 w partiach?

Ogranicz równoległe wywołania poniżej 8 za pomocą semafora, trzymaj się poniżej 300 zapytań na minutę i poczekaj po odpowiedzi 429.

Czy jest darmowy sposób na przetestowanie?

Tak. Po rejestracji możesz odebrać $0,50 darmowego kredytu próbnego na stronie klucza API. Nie wymaga karty i jest ważny przez 7 dni.

Twój klucz jest o jeden formularz stąd

Utwórz konto, skopiuj klucz, zmień bazowy URL. To cała konfiguracja.