TH ▾
mistralapikey.com

ทางเลือก API Mistral แบบไม่เซ็นเซอร์

รับคีย์ API
URL พื้นฐาน
https://api.mistralapikey.com/v1
โมเดล
ไม่เซ็นเซอร์

ใช้ API Mistral ใน Python ด้วย OpenAI SDK

สคริปต์ Python API Mistral สามารถทำงานกับเอนด์พอยต์ที่เข้ากันได้กับ OpenAI นี้ได้โดยใช้ แพ็คเกจ openai มาตรฐาน: ตั้งค่า URL ฐาน ส่งคีย์ API และใช้โมเดล uncensored คู่มือนี้มีโค้ดสำหรับ chat, streaming, JSON, tools และ batches

อัปเดตล่าสุด

แถบแสงที่ถักทอผ่านบล็อกโค้ดแก้วไปยังประตูทางเข้า แทนการเรียก API ด้วย Python

สรุปสั้นๆ

เพื่อใช้ workflow Python API Mistral กับบริการนี้ คุณไม่จำเป็นต้องใช้ไลบรารีไคลเอนต์ของ Mistral เอง เอนด์พอยต์นี้รองรับรูปแบบการตอบกลับ chat completions ของ OpenAI ดังนั้น แพ็คเกจ openai มาตรฐานจึงใช้งานได้: ติดตั้ง ตั้ง URL ฐานเป็น https://api.mistralapikey.com/v1 ส่งคีย์ของคุณ และใช้โมเดล ID uncensored

ข้อควรจำ: นี่ไม่ใช่ API ทางการของ Mistral และไม่ได้เป็นพันธมิตรกับ Mistral เป็นบริการแยกต่างหากที่มีโมเดลแบบเปิดน้ำหนักเพียงตัวเดียว ดำเนินการโดยผู้ให้บริการอิสระและปรับแต่งให้ตอบโดยไม่มีการปฏิเสธเนื้อหาสำหรับการใช้งานผู้ใหญ่ที่ถูกต้องตามกฎหมาย หน้าเกี่ยวกับ คีย์ API Mistral อธิบายว่าคีย์เหล่านี้สัมพันธ์กับบริการอื่นอย่างไร

pip install openai
from openai import OpenAI

client = OpenAI(base_url="https://api.mistralapikey.com/v1", api_key="YOUR_KEY")

r = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Write a haiku about retries."}],
)
print(r.choices[0].message.content)

แปลโค้ดสไตล์ Mistral ทีละบรรทัด

หากคุณมีโค้ดที่เขียนสำหรับไคลเอนต์ Python ของ Mistral การแมปจะสั้น ตรวจสอบชื่อที่ถูกต้องกับเอกสารของไคลเอนต์สำหรับเวอร์ชันที่คุณติดตั้ง เนื่องจากไลบรารีมีการเปลี่ยนแปลง

ไคลเอนต์สไตล์ MistralSDK ของ OpenAI กับเอนด์พอยต์นี้
Mistral(api_key=key)OpenAI(base_url=URL, api_key=key)
client.chat.complete(...)client.chat.completions.create(...)
client.chat.stream(...)client.chat.completions.create(..., stream=True)
model="some-model-name"model="uncensored"
res.choices[0].message.contentr.choices[0].message.content (เหมือนกัน)

Messages ยังคงเป็นรายการของดิกชันนารีที่มี role และ content รูปแบบการตอบกลับสำหรับฟิลด์ทั่วไป รวมถึง choices, usage และ finish_reason ก็เหมือนกันเช่นกัน ดังนั้นโค้ดที่อ่านเฉพาะฟิลด์เหล่านี้จึงไม่ต้องเปลี่ยนแปลง

เมื่อเปรียบเทียบกัน การเปลี่ยนแปลงมีลักษณะดังนี้:

# before (Mistral-style)
# from mistralai import Mistral
# client = Mistral(api_key=KEY)
# res = client.chat.complete(model="...", messages=msgs)

# after
from openai import OpenAI
client = OpenAI(base_url="https://api.mistralapikey.com/v1", api_key=KEY)
res = client.chat.completions.create(model="uncensored", messages=msgs)
text = res.choices[0].message.content

เก็บคีย์ไว้ภายนอกโค้ด

อ่านคีย์และ URL จากตัวแปรสภาพแวดล้อม และเก็บไว้ภายนอกเวอร์ชันคอนโทรล

import os
from openai import OpenAI

client = OpenAI(
    base_url=os.environ.get("LLM_BASE_URL", "https://api.mistralapikey.com/v1"),
    api_key=os.environ["LLM_API_KEY"],
)

ด้วย shell: export LLM_API_KEY=... SDK ของ OpenAI ยังอ่าน OPENAI_API_KEY และ OPENAI_BASE_URL เมื่อคุณไม่ได้ส่งค่าเหล่านี้โดยชัดเจน ซึ่งจะมีประโยชน์สำหรับเครื่องมือที่สร้างไคลเอนต์ให้คุณ แต่ก็เป็นแหล่งทั่วไปของข้อผิดพลาด "คีย์ผิด" เมื่อค่าเก่าค้างอยู่ใน shell เมื่อมีข้อผิดพลาด 401 ให้พิมพ์ว่าตัวแปรใดถูกตั้งค่าไว้ก่อนที่จะทำอย่างอื่น

รับคีย์ที่ หน้าคีย์ API บัญชีใหม่สามารถรับเครดิตทดลองใช้ $0.50 ได้ด้วยการคลิกหนึ่งครั้ง ไม่ต้องใช้บัตร และใช้ได้เป็นเวลา 7 วัน และจำกัดหนึ่งต่อบุคคล

สตรีมมิง JSON และเครื่องมือ

สตรีมมิงจะส่งโทเคนออกมาเมื่อถูกสร้าง ตั้งค่า stream=True และวนลูป ข้อมูลการใช้งานจะมาถึงในตอนท้าย

stream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Explain list comprehensions in 3 sentences."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

โหมด JSON ขอวัตถุ JSON ที่ถูกต้อง กล่าวคำว่า JSON ในพรอมต์ของคุณด้วย และทำการแยกวิเคราะห์แบบป้องกันเสมอ

import json

r = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Return JSON with keys name and tags for a blog post about retries."}],
    response_format={"type": "json_object"},
)
data = json.loads(r.choices[0].message.content)

การเรียกใช้ฟังก์ชันใช้พารามิเตอร์ tools และ tool_choice เมื่อโมเดลส่งกลับ tool_calls ให้เรียกใช้ฟังก์ชันและส่งผลลัพธ์กลับเป็นข้อความที่มี role: "tool" และ tool_call_id ที่ตรงกัน

tools = [{
    "type": "function",
    "function": {
        "name": "get_weather",
        "description": "Get weather for a city",
        "parameters": {
            "type": "object",
            "properties": {"city": {"type": "string"}},
            "required": ["city"],
        },
    },
}]

r = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Weather in Oslo?"}],
    tools=tools,
)
print(r.choices[0].message.tool_calls)

การเรียกแบบอะซิงโครนัสและแบบขนาน

สำหรับ batches ให้ใช้ไคลเอนต์แบบ async จำกัดจำนวนคำขอที่กำลังดำเนินการไว้ภายใต้ขีดจำกัด: คีย์แบบเต็มอนุญาตคำขอพร้อมกัน 8 ครั้งและ 300 ครั้งต่อนาที คีย์ทดลองใช้ 2 ครั้งและ 60 ครั้ง

import asyncio
from openai import AsyncOpenAI

client = AsyncOpenAI(base_url="https://api.mistralapikey.com/v1", api_key="YOUR_KEY")
sem = asyncio.Semaphore(6)

async def one(prompt):
    async with sem:
        r = await client.chat.completions.create(
            model="uncensored",
            messages=[{"role": "user", "content": prompt}],
            max_tokens=200,
        )
        return r.choices[0].message.content

async def main():
    prompts = [f"Give a one-line tip number {i} about Python." for i in range(20)]
    results = await asyncio.gather(*(one(p) for p in prompts))
    print(len(results))

asyncio.run(main())

Semaphore ขนาด 6 เหลือพื้นที่ใต้ขีดจำกัด 8 หากไม่มี semaphore การเรียก 20 ครั้งพร้อมกันจะเกิด HTTP 429 พร้อมโค้ด concurrency จำไว้ว่า streams จะยึดช่องของมันไว้จนกว่าจะเสร็จสิ้น

จุดบกพร่องเมื่อทำการย้าย

ปัญหาส่วนใหญ่เกิดจากสมมติฐานที่สืบทอดมาจากระบบเดิม ไม่ใช่จากเอนด์พอยต์ใหม่

  • การระบุชื่อโมเดลแบบ hard-coded ค้นหาสตริงชื่อโมเดลเก่าในโค้ดของคุณ โมเดล ID ที่ถูกต้องที่นี่คือ uncensored และคุณสามารถยืนยันได้ผ่าน client.models.list()
  • พรอมต์ที่เขียนสำหรับโมเดลอื่น โมเดลอื่นอ่านคำแนะนำแตกต่างกันเล็กน้อย หากระบบพรอมต์พึ่งพาการลงท้ายเฉพาะ ให้ทดสอบ คำสั่งสั้นๆ และตรงไปตรงมาพร้อมตัวอย่างรูปแบบผลลัพธ์มักจะถ่ายโอนได้ดีที่สุด
  • พารามิเตอร์เฉพาะผู้ให้บริการ พารามิเตอร์ที่มีเฉพาะในไคลเอนต์ของผู้ขายรายหนึ่งอาจถูกละเลยหรือปฏิเสธ ให้ยึดติดกับพารามิเตอร์มาตรฐาน: temperature, top_p, stop, seed, max_tokens และค่าปรับจะถูกส่งผ่าน
  • แฟลกสไตล์ safe-mode หากโค้ดเก่าของคุณเปิดการตรวจสอบหรือตัวเลือกความปลอดภัยของผู้ให้บริการรายหนึ่ง จะไม่มีสวิตช์ที่เทียบเท่าที่นี่ หากผลิตภัณฑ์ของคุณต้องการการกรอง ให้เพิ่มการกรองที่ฝั่งของคุณก่อนและหลังการเรียก
  • การประมาณค่าโทเคน โมเดลต่างกันนับโทเคนต่างกัน ดังนั้นควรคำนวณจากฟิลด์ usage ที่ API ส่งกลับ ไม่ใช่จากการคาดเดาในเครื่อง

วางแผนสำหรับการทดสอบสั้นๆ ไม่ใช่การเขียนใหม่ นำพรอมต์สิบรายการจากบันทึกของคุณ รันผ่านไคลเอนต์ใหม่ อ่านคำตอบ และปรับพรอมต์ระบบจนกว่าโทนเสียงจะตรงกับที่คุณต้องการ

ข้อผิดพลาดและความหมาย

  • 401. คีย์ผิดหรือไม่มี หรือคีย์จากบริการอื่น
  • 404. Base URL ขาด /v1
  • 429 พร้อม rate_limited เกินขีดจำกัดต่อนาที รอและลดความเร็วลง
  • 429 พร้อม concurrency คำขอพร้อมกันมากเกินไป ลดการทำงานพร้อมกันของคุณ
  • 429 พร้อม Retry-After: 5 การโอเวอร์โหลดชั่วคราว รอห้าวินาทีแล้วลองอีกครั้ง
import time
from openai import RateLimitError

def safe(prompt):
    for _ in range(4):
        try:
            r = client.chat.completions.create(
                model="uncensored",
                messages=[{"role": "user", "content": prompt}],
            )
            return r.choices[0].message.content
        except RateLimitError:
            time.sleep(5)
    return None

บันทึกส่วนหัว X-Request-Id จากการเรียกที่ล้มเหลว คำขอที่ล้มเหลวหรือถูกปฏิเสธจะไม่ถูกเรียกเก็บเงิน

ต้นทุน ขีดจำกัด และสิ่งที่ไม่มีรวมอยู่

การเรียกเก็บเงินเป็นแบบจ่ายตามการใช้งาน: $0.15 ต่อ 1M input tokens และ $0.50 ต่อ 1M output tokens แบบเติมเงินล่วงหน้า ไม่มีสมาชิกและไม่มีวันหมดอายุ สคริปต์ที่ส่ง 1,000 คำขอที่มี 1,500 input tokens และ 400 output tokens มีค่าใช้จ่าย 1.5M x $0.15 = $0.225 บวก 0.4M x $0.50 = $0.20 รวมเป็น $0.425 การเติมเงินเริ่มต้นที่ $20 ถึง $500 พร้อมโบนัสจาก $50 และ หน้ากำหนดราคา ระบุรายละเอียด

หน้าต่างบริบทคือ 100,000 โทเคน รวม prompt และ completion และ body สามารถมีขนาดสูงสุด 8 MB บริการเป็นข้อความเท่านั้น: ไม่มีภาพ เสียง หรือวิดีโอ ไม่มี embeddings และไม่มี fine-tuning และเนื้อหาทางเพศที่เกี่ยวข้องกับผู้เยาว์จะไม่อนุญาตเลย หากคุณต้องการ API เดียวกันกับไคลเอนต์อื่น บทความเกี่ยวกับ API แชทที่เข้ากันได้กับ OpenAI ครอบคลุมแอปพลิเคชันนอกเหนือจาก Python และ เอกสารประกอบ ระบุพารามิเตอร์ทั้งหมด

ถาม-ตอบ

ฉันต้องการไคลเอนต์ Python ของ Mistral หรือไม่?

ไม่ แพ็คเกจ openai มาตรฐานทำงานกับ Base URL https://api.mistralapikey.com/v1. การเรียกสไตล์ Mistral จะแมปกับ chat.completions.create

นี่คือ API อย่างเป็นทางการของ Mistral หรือไม่?

ไม่ นี่คือบริการแยกต่างหากที่มีโมเดลแบบเปิดน้ำหนักหนึ่งตัว ดำเนินการโดยผู้ให้บริการอิสระ ซึ่งไม่เกี่ยวข้องกับ Mistral

จะหลีกเลี่ยงข้อผิดพลาด 429 ใน batch ได้อย่างไร

จำกัดจำนวนคำขอแบบขนานให้ต่ำกว่า 8 โดยใช้ semaphore, รักษาจำนวนคำขอให้ต่ำกว่า 300 คำขอต่อนาที และรอหลังจากได้รับการตอบกลับ 429

มีวิธีทดสอบแบบฟรีหรือไม่

ใช่ หลังจากสมัครสมาชิกแล้ว คุณสามารถรับเครดิตทดลองใช้ $0.50 ได้ที่หน้า API key โดยไม่ต้องใช้บัตร และใช้งานได้เป็นเวลา 7 วัน

คีย์ของคุณอยู่ห่างแค่แบบฟอร์มเดียว

สร้างบัญชี คัดลอกคีย์ และเปลี่ยน base URL นั่นคือการตั้งค่าทั้งหมด