ID ▾
mistralapikey.com

Alternatif API Mistral tanpa sensor

Dapatkan kunci API
URL dasar
https://api.mistralapikey.com/v1
Model
tanpa sensor

API Mistral di Python dengan SDK OpenAI

Skrip Python API mistral dapat dijalankan terhadap endpoint yang kompatibel dengan OpenAI ini dengan paket openai standar: atur base URL, masukkan kunci Anda, dan gunakan model uncensored. Panduan ini memiliki kode untuk chat, streaming, JSON, alat, dan batch.

Diperbarui

Pita cahaya yang menenun melalui blok kode kaca menuju gerbang, mewakili Python memanggil API

Versi singkatnya

Untuk menggunakan alur kerja Python API mistral terhadap layanan ini, Anda tidak perlu pustaka klien resmi Mistral. Endpoint ini menggunakan format chat completions, sehingga paket openai standar berfungsi: instal, atur base URL ke https://api.mistralapikey.com/v1, masukkan kunci Anda, dan gunakan model ID uncensored.

Catatan penting: ini bukan API resmi Mistral dan tidak berafiliasi dengan Mistral. Ini adalah layanan terpisah dengan satu model bobot terbuka, dijalankan oleh penyedia independen dan disesuaikan untuk menjawab tanpa penolakan konten untuk penggunaan dewasa yang sesuai hukum. Halaman tentang Kunci API Mistral menjelaskan bagaimana kunci di sini berkaitan dengan layanan lain.

pip install openai
from openai import OpenAI

client = OpenAI(base_url="https://api.mistralapikey.com/v1", api_key="YOUR_KEY")

r = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Write a haiku about retries."}],
)
print(r.choices[0].message.content)

Terjemahkan kode gaya Mistral baris demi baris

Jika Anda memiliki kode yang ditulis untuk klien Python Mistral, pemetaannya singkat. Periksa nama persisnya terhadap dokumentasi klien sendiri untuk versi yang Anda instal, karena pustaka berubah.

Klien gaya MistralSDK OpenAI terhadap endpoint ini
Mistral(api_key=key)OpenAI(base_url=URL, api_key=key)
client.chat.complete(...)client.chat.completions.create(...)
client.chat.stream(...)client.chat.completions.create(..., stream=True)
model="some-model-name"model="uncensored"
res.choices[0].message.contentr.choices[0].message.content (sama)

Pesan tetap berupa daftar dicts dengan role dan content. Bentuk respons untuk bidang umum, termasuk choices, usage dan finish_reason, juga sama, sehingga kode yang hanya membaca bidang tersebut tidak perlu diubah.

Bersebelahan, perubahannya terlihat seperti ini:

# before (Mistral-style)
# from mistralai import Mistral
# client = Mistral(api_key=KEY)
# res = client.chat.complete(model="...", messages=msgs)

# after
from openai import OpenAI
client = OpenAI(base_url="https://api.mistralapikey.com/v1", api_key=KEY)
res = client.chat.completions.create(model="uncensored", messages=msgs)
text = res.choices[0].message.content

Jauhkan kunci dari kode

Baca kunci dan URL dari lingkungan sistem, dan simpan di luar kontrol versi.

import os
from openai import OpenAI

client = OpenAI(
    base_url=os.environ.get("LLM_BASE_URL", "https://api.mistralapikey.com/v1"),
    api_key=os.environ["LLM_API_KEY"],
)

Dengan shell: export LLM_API_KEY=.... SDK OpenAI juga membaca OPENAI_API_KEY dan OPENAI_BASE_URL ketika Anda tidak melewatkan parameter tersebut secara eksplisit, yang berguna untuk alat yang membuat klien untuk Anda, tetapi juga merupakan sumber klasik bug "kunci salah" ketika nilai lama ada di shell. Ketika sesuatu gagal dengan 401, cetak variabel mana yang diatur sebelum melakukan apa pun.

Dapatkan kunci di halaman halaman kunci API. Akun baru dapat mengklaim kredit uji coba gratis senilai $0,50 dengan satu klik. Anda tidak perlu kartu, masa berlakunya adalah 7 hari dan dibatasi satu per orang.

Streaming, JSON, dan alat

Streaming mengembalikan token saat dihasilkan. Atur stream=True dan iterasi. Data penggunaan tiba di akhir.

stream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Explain list comprehensions in 3 sentences."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Mode JSON meminta objek JSON yang valid. Sebutkan kata JSON dalam prompt Anda juga, dan selalu lakukan parsing secara defensif.

import json

r = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Return JSON with keys name and tags for a blog post about retries."}],
    response_format={"type": "json_object"},
)
data = json.loads(r.choices[0].message.content)

Pemanggilan alat menggunakan parameter tools dan tool_choice. Ketika model mengembalikan tool_calls, jalankan fungsi dan kirimkan hasilnya kembali sebagai pesan dengan role: "tool" dan tool_call_id yang sesuai.

tools = [{
    "type": "function",
    "function": {
        "name": "get_weather",
        "description": "Get weather for a city",
        "parameters": {
            "type": "object",
            "properties": {"city": {"type": "string"}},
            "required": ["city"],
        },
    },
}]

r = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Weather in Oslo?"}],
    tools=tools,
)
print(r.choices[0].message.tool_calls)

Panggilan asinkron dan paralel

Untuk batch, gunakan klien asinkron. Jaga jumlah permintaan yang sedang berjalan di bawah batas: kunci penuh memungkinkan 8 permintaan konkuren dan 300 per menit, kunci uji coba 2 dan 60.

import asyncio
from openai import AsyncOpenAI

client = AsyncOpenAI(base_url="https://api.mistralapikey.com/v1", api_key="YOUR_KEY")
sem = asyncio.Semaphore(6)

async def one(prompt):
    async with sem:
        r = await client.chat.completions.create(
            model="uncensored",
            messages=[{"role": "user", "content": prompt}],
            max_tokens=200,
        )
        return r.choices[0].message.content

async def main():
    prompts = [f"Give a one-line tip number {i} about Python." for i in range(20)]
    results = await asyncio.gather(*(one(p) for p in prompts))
    print(len(results))

asyncio.run(main())

Semaphore 6 memberikan ruang di bawah 8. Tanpa itu, 20 panggilan simultan akan mengenai HTTP 429 dengan kode concurrency. Ingat bahwa stream memegang slotnya hingga selesai.

Jebakan saat migrasi

Kebanyakan masalah berasal dari asumsi yang dibawa dari pengaturan lama, bukan dari endpoint baru.

  • Nama model hard-coded. Cari kode Anda untuk string model lama. Satu-satunya model ID yang valid di sini adalah uncensored, dan Anda dapat mengonfirmasinya dengan client.models.list().
  • Prompt yang ditulis untuk model lain. Model yang berbeda membaca instruksi sedikit berbeda. Jika prompt sistem bergantung pada frasa tertentu, uji. Instruksi singkat dan langsung dengan contoh format output biasanya paling mudah ditransfer.
  • Parameter khusus penyedia. Parameter yang hanya ada di klien vendor tertentu mungkin diabaikan atau ditolak. Berpegang pada parameter standar: temperature, top_p, stop, seed, max_tokens dan penalti diteruskan.
  • Bendera gaya mode aman. Jika kode lama Anda mengaktifkan opsi moderasi atau keamanan penyedia, tidak ada sakelar setara di sini. Jika produk Anda memerlukan filter, tambahkan di sisi Anda sebelum dan setelah panggilan.
  • Estimasi token. Model yang berbeda menghitung token secara berbeda, jadi gunakan bidang usage yang dikembalikan API untuk anggaran, bukan dari tebakan lokal.

Rencanakan uji coba singkat, bukan penulisan ulang. Ambil sepuluh prompt dari log Anda, jalankan melalui klien baru, baca jawaban dan sesuaikan prompt sistem hingga nada sesuai dengan yang Anda inginkan.

Kesalahan dan artinya

  • 401. Kunci salah atau hilang, atau kunci dari layanan lain.
  • 404. Base URL hilang /v1.
  • 429 dengan rate_limited. Lebih dari batas per menit. Tunggu dan perlambat.
  • 429 dengan concurrency. Terlalu banyak permintaan sekaligus. Turunkan paralelisme Anda.
  • 429 dengan Retry-After: 5. Kelebihan beban sementara. Tunggu lima detik dan coba lagi.
import time
from openai import RateLimitError

def safe(prompt):
    for _ in range(4):
        try:
            r = client.chat.completions.create(
                model="uncensored",
                messages=[{"role": "user", "content": prompt}],
            )
            return r.choices[0].message.content
        except RateLimitError:
            time.sleep(5)
    return None

Simpan header X-Request-Id dari panggilan yang gagal. Permintaan yang gagal atau ditolak tidak dibebankan biaya.

Biaya, batas, dan apa yang tidak termasuk

Penagihan adalah bayar per penggunaan: $0,15 per 1M token input dan $0,50 per 1M token output, saldo prabayar, tanpa langganan dan tidak ada masa berlaku. Skrip yang mengirim 1.000 permintaan dengan 1.500 token input dan 400 token output biaya 1,5M x $0,15 = $0,225 ditambah 0,4M x $0,50 = $0,20, jadi $0,425. Isi ulang berkisar dari $20 hingga $500, dengan bonus dari $50, dan halaman harga mencantumkan detailnya.

Jendela konteks adalah 100.000 token, prompt plus completion, dan isi permintaan dapat hingga 8 MB. Layanan ini hanya teks: tidak ada gambar, audio atau video, tidak ada embedding dan tidak ada fine-tuning, dan konten seksual yang melibatkan anak di bawah umur tidak pernah diizinkan. Jika Anda juga ingin API yang sama dengan klien lain, artikel tentang API obrolan yang kompatibel dengan OpenAI mencakup aplikasi di luar Python, dan dokumentasi mencantumkan setiap parameter.

Tanya jawab

Apakah Anda perlu klien Python Mistral?

Tidak. Paket openai standar berfungsi dengan base URL https://api.mistralapikey.com/v1. Panggilan bergaya Mistral dipetakan ke chat.completions.create.

Apakah ini API resmi dari Mistral?

Tidak. Ini adalah layanan terpisah dengan satu model bobot terbuka yang dijalankan oleh penyedia independen, tidak berafiliasi dengan Mistral.

Bagaimana cara menghindari kesalahan 429 dalam batch-batch?

Batasilah panggilan paralel di bawah 8 dengan semaphore, tetap di bawah 300 permintaan per menit, dan tunggu setelah respons 429.

Apakah ada cara gratis untuk mengujinya?

Ya. Setelah mendaftar, Anda dapat mengklaim kredit uji coba senilai $0,50 di halaman kunci API. Tidak perlu kartu dan berlaku selama 7 hari.

Kunci Anda hanya selangkah lagi dari satu formulir

Buat akun, salin kunci, ubah URL dasar. Itu saja seluruh proses pengaturannya.