Kompatybilny z OpenAI API Chat: Python, Node i curl
Wywołanie chat kompatybilnego z OpenAI API to jedno żądanie POST z listą wiadomości i jedna odpowiedź od modelu. Ten przewodnik omawia żądanie, konwersacje wieloetapowe, strumieniowanie i błędy, używając endpointu uncensored jako przykładu.
Zaktualizowano

Żądanie w ciągu minuty
Klient, który potrafi komunikować się w formacie czatu OpenAI, może korzystać z tej usługi. Zmieniasz dwie rzeczy: base URL i klucz, a resztę pozostawiasz bez zmian. Tutaj base URL to https://api.mistralapikey.com/v1, a ID modelu to uncensored. Autoryzacja to standardowy nagłówek Authorization: Bearer.
Pierwsze zapytanie wygląda następująco:
curl https://api.mistralapikey.com/v1/chat/completions -H "Authorization: Bearer YOUR_API_KEY" -H "Content-Type: application/json" -d '{
"model": "uncensored",
"messages": [
{"role": "system", "content": "You are a concise assistant."},
{"role": "user", "content": "Explain what an API key is in two sentences."}
]
}'
To niezależny serwis, który uruchamia jeden model o otwartych wagach, dostrojony do odpowiadania bez odmów treści dla prawnego użytku przez osoby dorosłe. Nie jest to oficjalne API Meta, Mistral, OpenAI ani żadnego innego dostawcy. Udostępnia dwie metody, POST /v1/chat/completions i GET /v1/models, i obsługuje tylko tekst. Jeśli nadal potrzebujesz klucza, strona klucz API wyjaśnia rejestrację i kredyt próbny.
Odczytywanie odpowiedzi
Pomyślna odpowiedź to obiekt JSON w znanym kształcie. Tekst znajduje się w choices[0].message.content, powód zakończenia w choices[0].finish_reason, a liczniki tokenów w usage.
{
"id": "chatcmpl-...",
"object": "chat.completion",
"model": "uncensored",
"choices": [
{
"index": 0,
"message": {"role": "assistant", "content": "An API key is a secret string..."},
"finish_reason": "stop"
}
],
"usage": {"prompt_tokens": 31, "completion_tokens": 48, "total_tokens": 79}
}
Wartość finish_reason równa stop oznacza, że model zakończył odpowiedź. Wartość length oznacza przekroczenie limitu tokenów, więc zwiększ max_tokens lub zostaw bez ustawienia. Nagłówki mają też znaczenie: X-Request-Id identyfikuje wywołanie dla wsparcia, X-Balance-USD pokazuje pozostały kredyt, a X-RateLimit-Limit-Requests i X-RateLimit-Limit-Concurrency raportują Twoje limity.
Wiadomości i role
Tablica messages to cała konwersacja, w kolejności. Każdy element ma role i content.
- system określa zachowanie, ton i zasady. Umieść go na początku.
- user to to, co wpisał użytkownik.
- assistant to odpowiedź modelu z wcześniejszej części konwersacji.
- tool zawiera wynik wywołania funkcji, jeśli używasz wywoływania funkcji.
Model zna tylko to, co jest w tablicy. Nic nie jest zapamiętywane między żądaniami, więc serwer nie utrzymuje sesji dla Ciebie. To najważniejsza rzecz do zrozumienia w endpointach czatu i wyjaśnia, dlaczego „czat” kosztuje więcej z każdą turą: historia, którą wysyłasz, jest rozliczana jako dane wejściowe przy każdym żądaniu.
Wieloetapowy czat w Pythonie
Aby prowadzić konwersację, utrzymuj listę, dodaj wiadomość użytkownika, wywołaj API, dodaj odpowiedź asystenta i powtórz. To kompletny czat terminalowy.
from openai import OpenAI
client = OpenAI(
base_url="https://api.mistralapikey.com/v1",
api_key="YOUR_API_KEY",
)
history = [{"role": "system", "content": "You are a friendly, direct assistant."}]
while True:
text = input("you> ").strip()
if not text:
break
history.append({"role": "user", "content": text})
resp = client.chat.completions.create(
model="uncensored",
messages=history,
temperature=0.7,
)
answer = resp.choices[0].message.content
history.append({"role": "assistant", "content": answer})
print("bot>", answer)
print(f" [{resp.usage.prompt_tokens} in / {resp.usage.completion_tokens} out]")
Obserwuj liczby w nawiasach podczas czatu. Licznik „in” rośnie z każdą turą, ponieważ obejmuje wszystko, co zostało powiedziane do tej pory. Ten wzrost jest normalny i jest Twoim głównym narzędziem do kontroli kosztów, opisanym poniżej.
Strumieniowanie odpowiedzi w Node
Dla interfejsu czatu chcesz, aby tekst pojawiał się w miarę generowania. Ustaw stream: true, a API wysyła zdarzenia wysyłane przez serwer. SDK Node OpenAI opakowuje to w iterator async.
import OpenAI from "openai";
const client = new OpenAI({
baseURL: "https://api.mistralapikey.com/v1",
apiKey: process.env.API_KEY,
});
const stream = await client.chat.completions.create({
model: "uncensored",
messages: [{ role: "user", content: "Write a four-line poem about debugging." }],
stream: true,
});
for await (const chunk of stream) {
const piece = chunk.choices[0]?.delta?.content ?? "";
process.stdout.write(piece);
}
process.stdout.write("\n");
Użycie jest raportowane na końcu strumienia, więc możesz nadal logować liczbę tokenów bez drugiego zapytania. Jedna uwaga operacyjna: zapytanie strumieniowe zajmuje slot równoległości do momentu zakończenia strumienia. Jeśli użytkownik zamknie kartę, anuluj zapytanie po swojej stronie, aby zwolnić slot szybciej.
Parametry, których możesz użyć
Standardowe kontrolki próbkowania są przekazywane do modelu. To te, których będziesz używać najczęściej.
| Pole | Co to robi | Praktyczna wskazówka |
|---|---|---|
temperature | Losowość wyboru słów | 0 do 0,3 do ekstrakcji, 0,7 do 1,0 dla tekstu kreatywnego |
top_p | Ogranicza próbkowanie do najbardziej prawdopodobnych słów | Zmień to lub temperaturę, rzadko oba |
max_tokens | Górna granica długości odpowiedzi | Opcjonalne; ustaw, aby ograniczyć koszty przy promptach otwartych |
stop | Sekwencje kończące generowanie | Przydatne dla formatów liniowych |
seed | Powtarzalne próbkowanie | Przydatne do testów |
frequency_penalty, presence_penalty | Zmniejsz powtarzalność | Małe wartości mają duże znaczenie |
response_format | Tryb JSON | Użyj {"type":"json_object"} i opisz klucze w promptcie |
Wywoływanie narzędzi jest dostępne przez tools i tool_choice. szybki start omawia konfigurację dla common SDK.
Ile kosztuje konwersacja
Ceny to $0,15 za 1M tokenów wejściowych i $0,50 za 1M tokenów wyjściowych z przedpłacony kredyt. Okno kontekstu wynosi 100 000 tokenów dla prompt i odpowiedzi łącznie. Ponieważ historia jest wysyłana ponownie, koszt czatu rośnie szybciej niż liczba wiadomości.
Rozważ czat, w którym każda wiadomość użytkownika ma około 100 tokenów, a każda odpowiedź około 200 tokenów, plus 200-tokenowy prompt systemowy. Tura 1 wysyła 300 tokenów wejściowych. Tura 10 wysyła około 200 + 10 x 100 + 9 x 200 = 3 000 tokenów wejściowych. Tura 30 wysyła około 200 + 30 x 100 + 29 x 200 = 9 000.
Zsumuj wszystkie 30 tur wejściowych: suma to 30 x 200 + 100 x (1 + 2 + ... + 30) + 200 x (0 + 1 + ... + 29) = 6 000 + 46 500 + 87 000 = 139 500 tokenów wejściowych. Wyjście to 30 x 200 = 6 000 tokenów. Koszt: 139 500 / 1M x $0,15 = $0,020925, plus 6 000 / 1M x $0,50 = $0,003. Całkowity koszt 30-turowej rozmowy wynosi około $0,024. Tanie, ale zauważ, że wejście jest 23 razy większe niż wyjście, a koszt wzrósłby z kwadratem długości, gdybyś nigdy nie przycinał.
Sposoby na obniżenie kosztów: usuń lub podsumuj stare tury, gdy historia przekroczy wybrany rozmiar, trzymaj krótki prompt systemowy i ustaw max_tokens, gdy nie potrzebujesz długich odpowiedzi. Nieudane lub odrzucone żądania nie są rozliczane. Kwoty doładowań i poziomy bonusów są wymienione na stronie cenowej.
Przycinanie historii bez psucia czatu
Gdy konwersacja jest długa, masz dwa wybory: płacić za pełną historię z każdą turą lub ją przyciąć. Prosta zasada to zachowanie promptu systemowego i ostatnich kilku tur. Ta funkcja to robi i pozostawia resztę Twojej pętli bez zmian.
from openai import OpenAI
client = OpenAI(
base_url="https://api.mistralapikey.com/v1",
api_key="YOUR_API_KEY",
)
def trimmed(history, keep=8):
system = history[:1]
rest = history[1:]
return system + rest[-keep:]
resp = client.chat.completions.create(
model="uncensored",
messages=trimmed(history),
)
Ceną przycinania jest to, że model zapamiętuje to, czego już nie widzi. Dla botów wsparcia to w porządku. Przy długich opowieściach możesz woleć poprosić model o napisanie krótkiego streszczenia starych tur raz, zapisanie go jako notatki systemowej i odrzucenie oryginałów. Kosztuje to jedno dodatkowe wywołanie, ale zachowuje fabułę.
Pisanie przydatnego promptu systemowego
Trzymaj się krótko i konkretnie: kim jest asystent, jak długie powinny być odpowiedzi i jakie są reguły formatu. "Jesteś agentem wsparcia dla sklepu rowerowego. Odpowiadaj w co najwyżej trzech zdaniach i zadaj pytanie, jeśli żądanie jest niejasne" robi więcej niż strona ogólnych zalet. Każde słowo z niej jest rozliczane jako wejście przy każdej turze, więc 1000-tokenowy komunikat systemowy dodaje $0,00015 do każdego zapytania.
Błędy i limity
Pełny klucz pozwala na 8 równoległych zapytań i 300 zapytań na minutę; klucz próbny pozwala na 2 i 60. Maksymalny rozmiar ciała żądania to 8 MB. Przekroczenie limitu powoduje HTTP 429 z jednym z tych znaczeń:
- Kod błędu
rate_limited: za dużo zapytań na minutę. Rozłóż je w czasie. - Kod błędu
concurrency: za dużo zapytań jednocześnie. Dodaj je do kolejki. - Nagłówek
Retry-After: 5: tymczasowe przeciążenie. Poczekaj 5 sekund i wyślij zapytanie ponownie.
Kod 401 oznacza, że klucz jest nieobecny lub błędny. Trzymaj klucze z dala od kodu front-end; wywołuj API ze swojego serwera. Jeśli przechodzisz z konfiguracji Mistral, strona klucz API Mistral obejmuje dostęp z tym serwisem.
W kodzie produkcyjnym opakuj wywołania w mechanizm ponawiania z krótkim opóźnieniem, tak jak robią to biblioteki OpenAI w przypadku niektórych błędów, i loguj wartość X-Request-Id przy każdym błędzie. Gdy coś wygląda źle, to ID jest najszybszym sposobem, aby wskazać wsparciu dokładne zapytanie. Ustaw również limit czasu po stronie klienta: długie ukończenie generowania tekstu przy dużym prompcie może zająć sporo czasu, a nie chcesz, aby utknione połączenie blokowało jeden z Twoich 8 slotów współbieżności.
Serwis nie produkuje treści o charakterze seksualnym z udziałem nieletnich, a prompty nie są wykorzystywane do trenowania.
Więcej przewodników
Pytania i odpowiedzi
Co oznacza kompatybilność z OpenAI?
Oznacza to, że endpoint akceptuje ten sam format zapytania co API chat completions OpenAI, dzięki czemu biblioteki i narzędzia OpenAI SDK działają po zmianie adresu bazowego i klucza API.
Czy serwer zapamiętuje konwersację?
Nie. Wysyłaj pełną historię wiadomości przy każdym zapytaniu. Serwis nie przechowuje sesji między wywołaniami.
Które endpointy są dostępne?
POST /v1/chat/completions oraz GET /v1/models. Serwis jest tylko tekstowy, bez endpointów do obrazów, audio ani embeddingów.
Jak włączyć strumieniowanie odpowiedzi?
Ustaw stream na true. API wysyła zdarzenia wysyłane przez serwer i raportuje zużycie na końcu strumienia.
Jakiej nazwy modelu użyć?
Używaj uncensored jako identyfikatora modelu w każdym zapytaniu.
Twój klucz jest o jeden formularz stąd
Utwórz konto, skopiuj klucz, zmień bazowy URL. To cała konfiguracja.