VI ▾
mistralapikey.com

Giải pháp thay thế API Mistral không kiểm duyệt

Lấy khóa API
URL gốc
https://api.mistralapikey.com/v1
Mô hình
không kiểm duyệt

API Mistral trong Python với SDK OpenAI

Một tập lệnh API Mistral Python có thể chạy trên endpoint tương thích OpenAI này với gói openai tiêu chuẩn: đặt base URL, truyền khóa của bạn và sử dụng mô hình uncensored. Hướng dẫn này có mã cho chat, streaming, JSON, công cụ và các lô.

Cập nhật

Một dải sáng đan xen qua các khối mã kính hướng về cổng, đại diện cho Python gọi API

Tóm tắt nhanh

Để sử dụng quy trình API Mistral Python trên dịch vụ này, bạn không cần thư viện client của riêng Mistral. Endpoint này sử dụng định dạng hoàn thành trò chuyện OpenAI, vì vậy gói openai tiêu chuẩn hoạt động: cài đặt nó, đặt base URL thành https://api.mistralapikey.com/v1, truyền khóa của bạn và sử dụng ID mô hình uncensored.

Một lưu ý cần thiết: đây không phải là API chính thức của Mistral và nó không liên kết với Mistral. Đây là một dịch vụ riêng với một mô hình trọng số mở, do một nhà cung cấp độc lập vận hành và được tinh chỉnh để trả lời mà không từ chối nội dung cho việc sử dụng hợp pháp của người trưởng thành. Trang về khóa API Mistral giải thích cách các khóa ở đây liên quan đến các dịch vụ khác.

pip install openai
from openai import OpenAI

client = OpenAI(base_url="https://api.mistralapikey.com/v1", api_key="YOUR_KEY")

r = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Write a haiku about retries."}],
)
print(r.choices[0].message.content)

Dịch mã kiểu Mistral từng dòng

Nếu bạn có mã được viết cho client Python của Mistral, việc ánh xạ rất ngắn. Hãy kiểm tra các tên chính xác với tài liệu của chính client cho phiên bản bạn đã cài đặt, vì các thư viện có thể thay đổi.

Client kiểu MistralSDK OpenAI chống lại endpoint này
Mistral(api_key=key)OpenAI(base_url=URL, api_key=key)
client.chat.complete(...)client.chat.completions.create(...)
client.chat.stream(...)client.chat.completions.create(..., stream=True)
model="some-model-name"model="uncensored"
res.choices[0].message.contentr.choices[0].message.content (giống nhau)

Các tin nhắn vẫn là một danh sách các đối tượng dict với role và content. Định dạng phản hồi cho các trường chung, bao gồm choices, usage và finish_reason, cũng giống nhau, vì vậy mã chỉ đọc các trường đó không cần thay đổi.

So sánh, sự thay đổi trông như thế này:

# before (Mistral-style)
# from mistralai import Mistral
# client = Mistral(api_key=KEY)
# res = client.chat.complete(model="...", messages=msgs)

# after
from openai import OpenAI
client = OpenAI(base_url="https://api.mistralapikey.com/v1", api_key=KEY)
res = client.chat.completions.create(model="uncensored", messages=msgs)
text = res.choices[0].message.content

Đặt khóa ra khỏi mã

Đọc khóa và URL từ biến môi trường, và không đưa chúng vào kiểm soát phiên bản.

import os
from openai import OpenAI

client = OpenAI(
    base_url=os.environ.get("LLM_BASE_URL", "https://api.mistralapikey.com/v1"),
    api_key=os.environ["LLM_API_KEY"],
)

Với một shell: export LLM_API_KEY=.... SDK OpenAI cũng đọc OPENAI_API_KEY và OPENAI_BASE_URL khi bạn không truyền chúng rõ ràng, điều này hữu ích cho các công cụ xây dựng client cho bạn, nhưng cũng là một nguồn lỗi "sai khóa" điển hình khi một giá trị cũ nằm trong shell. Khi thứ gì đó thất bại với 401, hãy in các biến được đặt trước khi bạn làm bất cứ điều gì khác.

Bạn lấy khóa trên trang khóa API. Tài khoản mới có thể nhận $0,50 tín dụng dùng thử chỉ với một cú nhấp chuột. Bạn không cần thẻ, nó có hiệu lực trong 7 ngày và giới hạn một lần cho mỗi người.

Truyền phát, JSON và công cụ

Truyền phát trả về token khi chúng được tạo. Đặt stream=True và lặp lại. Dữ liệu sử dụng đến vào cuối.

stream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Explain list comprehensions in 3 sentences."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Chế độ JSON yêu cầu một đối tượng JSON hợp lệ. Hãy nói từ JSON trong prompt của bạn, và luôn phân tích an toàn.

import json

r = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Return JSON with keys name and tags for a blog post about retries."}],
    response_format={"type": "json_object"},
)
data = json.loads(r.choices[0].message.content)

Gọi công cụ sử dụng các tham số tools và tool_choice. Khi mô hình trả về tool_calls, hãy chạy hàm và gửi kết quả lại dưới dạng tin nhắn với role: "tool" và tool_call_id phù hợp.

tools = [{
    "type": "function",
    "function": {
        "name": "get_weather",
        "description": "Get weather for a city",
        "parameters": {
            "type": "object",
            "properties": {"city": {"type": "string"}},
            "required": ["city"],
        },
    },
}]

r = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Weather in Oslo?"}],
    tools=tools,
)
print(r.choices[0].message.tool_calls)

Gọi bất đồng bộ và song song

Đối với các lô, hãy sử dụng client bất đồng bộ. Giữ số lượng yêu cầu đang xử lý dưới giới hạn: khóa đầy đủ cho phép 8 yêu cầu đồng thời và 300 mỗi phút, khóa dùng thử 2 và 60.

import asyncio
from openai import AsyncOpenAI

client = AsyncOpenAI(base_url="https://api.mistralapikey.com/v1", api_key="YOUR_KEY")
sem = asyncio.Semaphore(6)

async def one(prompt):
    async with sem:
        r = await client.chat.completions.create(
            model="uncensored",
            messages=[{"role": "user", "content": prompt}],
            max_tokens=200,
        )
        return r.choices[0].message.content

async def main():
    prompts = [f"Give a one-line tip number {i} about Python." for i in range(20)]
    results = await asyncio.gather(*(one(p) for p in prompts))
    print(len(results))

asyncio.run(main())

Semaphore 6 để lại dung lượng dưới 8. Không có nó, 20 cuộc gọi đồng thời sẽ gặp HTTP 429 với mã concurrency. Hãy nhớ rằng các stream giữ slot của chúng cho đến khi hoàn tất.

Những cạm bẫy khi di chuyển

Hầu hết các vấn đề đến từ các giả định được chuyển từ thiết lập cũ hơn là từ endpoint mới.

  • Tên mô hình được mã hóa cứng. Tìm kiếm mã của bạn cho chuỗi mô hình cũ. ID mô hình hợp lệ duy nhất ở đây là uncensored, và bạn có thể xác nhận điều đó với client.models.list().
  • Prompt được viết cho một mô hình khác. Một mô hình khác đọc hướng dẫn hơi khác. Nếu prompt hệ thống dựa vào cách diễn đạt cụ thể, hãy kiểm tra nó. Các hướng dẫn ngắn gọn, trực tiếp với một ví dụ về định dạng đầu ra thường chuyển đổi tốt nhất.
  • Các tham số cụ thể của nhà cung cấp. Các tham số chỉ tồn tại trong client của một nhà cung cấp có thể bị bỏ qua hoặc từ chối. Hãy bám vào các tham số tiêu chuẩn: temperature, top_p, stop, seed, max_tokens và các hình phạt được chuyển tiếp.
  • Các cờ kiểu chế độ an toàn. Nếu mã cũ của bạn bật tùy chọn kiểm duyệt hoặc an toàn của nhà cung cấp, thì không có công tắc tương đương nào ở đây. Nếu sản phẩm của bạn cần lọc, hãy thêm nó ở phía bạn trước và sau khi gọi.
  • Ước tính token. Các mô hình khác nhau đếm token khác nhau, vì vậy hãy lập ngân sách từ trường usage mà API trả về, không phải từ một phỏng đoán cục bộ.

Hãy lập kế hoạch cho một lần chạy thử ngắn, không phải viết lại. Hãy lấy mười prompt từ nhật ký của bạn, chạy chúng qua client mới, đọc câu trả lời và điều chỉnh prompt hệ thống cho đến khi giọng điệu phù hợp với những gì bạn muốn.

Lỗi và ý nghĩa của chúng

  • 401. Sai hoặc thiếu khóa, hoặc khóa từ một dịch vụ khác.
  • 404. Base URL thiếu /v1.
  • 429 với rate_limited. Vượt quá giới hạn mỗi phút. Hãy chờ và làm chậm lại.
  • 429 với concurrency. Quá nhiều yêu cầu cùng lúc. Giảm độ song song của bạn.
  • 429 với Retry-After: 5. Quá tải tạm thời. Chờ năm giây và thử lại.
import time
from openai import RateLimitError

def safe(prompt):
    for _ in range(4):
        try:
            r = client.chat.completions.create(
                model="uncensored",
                messages=[{"role": "user", "content": prompt}],
            )
            return r.choices[0].message.content
        except RateLimitError:
            time.sleep(5)
    return None

Lưu tiêu đề X-Request-Id từ các lệnh gọi thất bại. Các yêu cầu thất bại hoặc bị từ chối không bị tính phí.

Chi phí, giới hạn và những gì không bao gồm

Thanh toán trả trước theo mức sử dụng: $0,15 cho mỗi 1M token đầu vào và $0,50 cho mỗi 1M token đầu ra, không có đăng ký và không hết hạn. Một script gửi 1.000 yêu cầu với 1.500 token đầu vào và 400 token đầu ra tốn 1.5M x $0,15 = $0,225 cộng 0.4M x $0,50 = $0,20, tức $0,425. Nạp tiền từ $20 đến $500, có bonus từ $50, và trang giá cả liệt kê chi tiết.

Cửa sổ ngữ cảnh là 100.000 token, bao gồm prompt và completion, và phần thân có thể lên đến 8 MB. Dịch vụ chỉ hỗ trợ văn bản: không hình ảnh, âm thanh hoặc video, không embedding và không fine-tuning, và nội dung khiêu dâm liên quan đến người chưa thành niên không bao giờ được phép. Nếu bạn cũng muốn API giống nhau với các client khác, bài viết về API chat tương thích OpenAI bao gồm các ứng dụng ngoài Python, và tài liệu liệt kê mọi tham số.

Hỏi đáp

Tôi có cần dùng Mistral Python client không?

Không. Gói `openai` tiêu chuẩn hoạt động với base URL https://api.mistralapikey.com/v1. Các cuộc gọi theo chuẩn Mistral ánh xạ sang `chat.completions.create`.

Đây có phải là API chính thức của Mistral không?

Không. Đây là một dịch vụ riêng biệt với một mô hình trọng số mở do một nhà cung cấp độc lập vận hành, không liên kết với Mistral.

Làm thế nào để tránh lỗi 429 khi gửi hàng loạt?

Giới hạn số lượng cuộc gọi đồng thời dưới 8 bằng semaphore, duy trì dưới 300 yêu cầu mỗi phút và chờ đợi sau khi nhận phản hồi 429.

Có cách nào dùng thử miễn phí không?

Có. Sau khi đăng ký, bạn có thể nhận $0,50 tín dụng dùng thử trên trang khóa API. Bạn không cần cung cấp thẻ và tín dụng này có hiệu lực trong 7 ngày.

Khóa của bạn chỉ cách một biểu mẫu

Tạo tài khoản, sao chép khóa, thay đổi URL cơ sở. Đó là toàn bộ thiết lập.