API Mistral di Python dengan SDK OpenAI
Skrip Python API mistral dapat dijalankan terhadap endpoint yang kompatibel dengan OpenAI ini dengan paket openai standar: atur base URL, masukkan kunci Anda, dan gunakan model uncensored. Panduan ini memiliki kode untuk chat, streaming, JSON, alat, dan batch.
Diperbarui

Versi singkatnya
Untuk menggunakan alur kerja Python API mistral terhadap layanan ini, Anda tidak perlu pustaka klien resmi Mistral. Endpoint ini menggunakan format chat completions, sehingga paket openai standar berfungsi: instal, atur base URL ke https://api.mistralapikey.com/v1, masukkan kunci Anda, dan gunakan model ID uncensored.
Catatan penting: ini bukan API resmi Mistral dan tidak berafiliasi dengan Mistral. Ini adalah layanan terpisah dengan satu model bobot terbuka, dijalankan oleh penyedia independen dan disesuaikan untuk menjawab tanpa penolakan konten untuk penggunaan dewasa yang sesuai hukum. Halaman tentang Kunci API Mistral menjelaskan bagaimana kunci di sini berkaitan dengan layanan lain.
pip install openai
from openai import OpenAI
client = OpenAI(base_url="https://api.mistralapikey.com/v1", api_key="YOUR_KEY")
r = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Write a haiku about retries."}],
)
print(r.choices[0].message.content)Terjemahkan kode gaya Mistral baris demi baris
Jika Anda memiliki kode yang ditulis untuk klien Python Mistral, pemetaannya singkat. Periksa nama persisnya terhadap dokumentasi klien sendiri untuk versi yang Anda instal, karena pustaka berubah.
| Klien gaya Mistral | SDK OpenAI terhadap endpoint ini |
|---|---|
Mistral(api_key=key) | OpenAI(base_url=URL, api_key=key) |
client.chat.complete(...) | client.chat.completions.create(...) |
client.chat.stream(...) | client.chat.completions.create(..., stream=True) |
model="some-model-name" | model="uncensored" |
res.choices[0].message.content | r.choices[0].message.content (sama) |
Pesan tetap berupa daftar dicts dengan role dan content. Bentuk respons untuk bidang umum, termasuk choices, usage dan finish_reason, juga sama, sehingga kode yang hanya membaca bidang tersebut tidak perlu diubah.
Bersebelahan, perubahannya terlihat seperti ini:
# before (Mistral-style)
# from mistralai import Mistral
# client = Mistral(api_key=KEY)
# res = client.chat.complete(model="...", messages=msgs)
# after
from openai import OpenAI
client = OpenAI(base_url="https://api.mistralapikey.com/v1", api_key=KEY)
res = client.chat.completions.create(model="uncensored", messages=msgs)
text = res.choices[0].message.contentJauhkan kunci dari kode
Baca kunci dan URL dari lingkungan sistem, dan simpan di luar kontrol versi.
import os
from openai import OpenAI
client = OpenAI(
base_url=os.environ.get("LLM_BASE_URL", "https://api.mistralapikey.com/v1"),
api_key=os.environ["LLM_API_KEY"],
)
Dengan shell: export LLM_API_KEY=.... SDK OpenAI juga membaca OPENAI_API_KEY dan OPENAI_BASE_URL ketika Anda tidak melewatkan parameter tersebut secara eksplisit, yang berguna untuk alat yang membuat klien untuk Anda, tetapi juga merupakan sumber klasik bug "kunci salah" ketika nilai lama ada di shell. Ketika sesuatu gagal dengan 401, cetak variabel mana yang diatur sebelum melakukan apa pun.
Dapatkan kunci di halaman halaman kunci API. Akun baru dapat mengklaim kredit uji coba gratis senilai $0,50 dengan satu klik. Anda tidak perlu kartu, masa berlakunya adalah 7 hari dan dibatasi satu per orang.
Streaming, JSON, dan alat
Streaming mengembalikan token saat dihasilkan. Atur stream=True dan iterasi. Data penggunaan tiba di akhir.
stream = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Explain list comprehensions in 3 sentences."}],
stream=True,
)
for chunk in stream:
if chunk.choices and chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="", flush=True)
Mode JSON meminta objek JSON yang valid. Sebutkan kata JSON dalam prompt Anda juga, dan selalu lakukan parsing secara defensif.
import json
r = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Return JSON with keys name and tags for a blog post about retries."}],
response_format={"type": "json_object"},
)
data = json.loads(r.choices[0].message.content)
Pemanggilan alat menggunakan parameter tools dan tool_choice. Ketika model mengembalikan tool_calls, jalankan fungsi dan kirimkan hasilnya kembali sebagai pesan dengan role: "tool" dan tool_call_id yang sesuai.
tools = [{
"type": "function",
"function": {
"name": "get_weather",
"description": "Get weather for a city",
"parameters": {
"type": "object",
"properties": {"city": {"type": "string"}},
"required": ["city"],
},
},
}]
r = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Weather in Oslo?"}],
tools=tools,
)
print(r.choices[0].message.tool_calls)Panggilan asinkron dan paralel
Untuk batch, gunakan klien asinkron. Jaga jumlah permintaan yang sedang berjalan di bawah batas: kunci penuh memungkinkan 8 permintaan konkuren dan 300 per menit, kunci uji coba 2 dan 60.
import asyncio
from openai import AsyncOpenAI
client = AsyncOpenAI(base_url="https://api.mistralapikey.com/v1", api_key="YOUR_KEY")
sem = asyncio.Semaphore(6)
async def one(prompt):
async with sem:
r = await client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": prompt}],
max_tokens=200,
)
return r.choices[0].message.content
async def main():
prompts = [f"Give a one-line tip number {i} about Python." for i in range(20)]
results = await asyncio.gather(*(one(p) for p in prompts))
print(len(results))
asyncio.run(main())
Semaphore 6 memberikan ruang di bawah 8. Tanpa itu, 20 panggilan simultan akan mengenai HTTP 429 dengan kode concurrency. Ingat bahwa stream memegang slotnya hingga selesai.
Jebakan saat migrasi
Kebanyakan masalah berasal dari asumsi yang dibawa dari pengaturan lama, bukan dari endpoint baru.
- Nama model hard-coded. Cari kode Anda untuk string model lama. Satu-satunya model ID yang valid di sini adalah
uncensored, dan Anda dapat mengonfirmasinya denganclient.models.list(). - Prompt yang ditulis untuk model lain. Model yang berbeda membaca instruksi sedikit berbeda. Jika prompt sistem bergantung pada frasa tertentu, uji. Instruksi singkat dan langsung dengan contoh format output biasanya paling mudah ditransfer.
- Parameter khusus penyedia. Parameter yang hanya ada di klien vendor tertentu mungkin diabaikan atau ditolak. Berpegang pada parameter standar: temperature, top_p, stop, seed, max_tokens dan penalti diteruskan.
- Bendera gaya mode aman. Jika kode lama Anda mengaktifkan opsi moderasi atau keamanan penyedia, tidak ada sakelar setara di sini. Jika produk Anda memerlukan filter, tambahkan di sisi Anda sebelum dan setelah panggilan.
- Estimasi token. Model yang berbeda menghitung token secara berbeda, jadi gunakan bidang
usageyang dikembalikan API untuk anggaran, bukan dari tebakan lokal.
Rencanakan uji coba singkat, bukan penulisan ulang. Ambil sepuluh prompt dari log Anda, jalankan melalui klien baru, baca jawaban dan sesuaikan prompt sistem hingga nada sesuai dengan yang Anda inginkan.
Kesalahan dan artinya
- 401. Kunci salah atau hilang, atau kunci dari layanan lain.
- 404. Base URL hilang
/v1. - 429 dengan
rate_limited. Lebih dari batas per menit. Tunggu dan perlambat. - 429 dengan
concurrency. Terlalu banyak permintaan sekaligus. Turunkan paralelisme Anda. - 429 dengan
Retry-After: 5. Kelebihan beban sementara. Tunggu lima detik dan coba lagi.
import time
from openai import RateLimitError
def safe(prompt):
for _ in range(4):
try:
r = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": prompt}],
)
return r.choices[0].message.content
except RateLimitError:
time.sleep(5)
return None
Simpan header X-Request-Id dari panggilan yang gagal. Permintaan yang gagal atau ditolak tidak dibebankan biaya.
Biaya, batas, dan apa yang tidak termasuk
Penagihan adalah bayar per penggunaan: $0,15 per 1M token input dan $0,50 per 1M token output, saldo prabayar, tanpa langganan dan tidak ada masa berlaku. Skrip yang mengirim 1.000 permintaan dengan 1.500 token input dan 400 token output biaya 1,5M x $0,15 = $0,225 ditambah 0,4M x $0,50 = $0,20, jadi $0,425. Isi ulang berkisar dari $20 hingga $500, dengan bonus dari $50, dan halaman harga mencantumkan detailnya.
Jendela konteks adalah 100.000 token, prompt plus completion, dan isi permintaan dapat hingga 8 MB. Layanan ini hanya teks: tidak ada gambar, audio atau video, tidak ada embedding dan tidak ada fine-tuning, dan konten seksual yang melibatkan anak di bawah umur tidak pernah diizinkan. Jika Anda juga ingin API yang sama dengan klien lain, artikel tentang API obrolan yang kompatibel dengan OpenAI mencakup aplikasi di luar Python, dan dokumentasi mencantumkan setiap parameter.
Panduan lainnya
Tanya jawab
Apakah Anda perlu klien Python Mistral?
Tidak. Paket openai standar berfungsi dengan base URL https://api.mistralapikey.com/v1. Panggilan bergaya Mistral dipetakan ke chat.completions.create.
Apakah ini API resmi dari Mistral?
Tidak. Ini adalah layanan terpisah dengan satu model bobot terbuka yang dijalankan oleh penyedia independen, tidak berafiliasi dengan Mistral.
Bagaimana cara menghindari kesalahan 429 dalam batch-batch?
Batasilah panggilan paralel di bawah 8 dengan semaphore, tetap di bawah 300 permintaan per menit, dan tunggu setelah respons 429.
Apakah ada cara gratis untuk mengujinya?
Ya. Setelah mendaftar, Anda dapat mengklaim kredit uji coba senilai $0,50 di halaman kunci API. Tidak perlu kartu dan berlaku selama 7 hari.
Kunci Anda hanya selangkah lagi dari satu formulir
Buat akun, salin kunci, ubah URL dasar. Itu saja seluruh proses pengaturannya.