VI ▾
mistralapikey.com

Giải pháp thay thế API Mistral không kiểm duyệt

Lấy khóa API
URL gốc
https://api.mistralapikey.com/v1
Mô hình
không kiểm duyệt

Trò chuyện API tương thích OpenAI: Python, Node và curl

Một lệnh gọi chat api tương thích openai là một POST với danh sách tin nhắn và một phản hồi từ mô hình. Hướng dẫn này sẽ đi qua yêu cầu, hội thoại nhiều lượt, streaming và các lỗi bạn có thể gặp, sử dụng endpoint uncensored làm ví dụ.

Cập nhật

Bong bóng chat trao đổi khối sáng giữa thiết bị và tháp máy chủ, minh họa một yêu cầu chat API

Yêu cầu trong một phút

Bất kỳ client nào có thể giao tiếp với định dạng chat của OpenAI đều có thể giao tiếp với dịch vụ này. Bạn thay đổi hai thứ, base URL và key, và giữ nguyên mọi thứ khác. Ở đây base URL là https://api.mistralapikey.com/v1 và model ID là uncensored. Xác thực là tiêu chuẩn Authorization: Bearer header.

Một yêu cầu mẫu trông như thế này:

curl https://api.mistralapikey.com/v1/chat/completions   -H "Authorization: Bearer YOUR_API_KEY"   -H "Content-Type: application/json"   -d '{
    "model": "uncensored",
    "messages": [
      {"role": "system", "content": "You are a concise assistant."},
      {"role": "user", "content": "Explain what an API key is in two sentences."}
    ]
  }'

Đây là dịch vụ độc lập chạy một mô hình open-weight, được tinh chỉnh để trả lời mà không từ chối nội dung cho mục đích người trưởng thành hợp pháp. Nó không phải là API chính thức của Meta, Mistral, OpenAI hoặc bất kỳ nhà cung cấp nào khác. Nó cung cấp hai phương thức, POST /v1/chat/completions và GET /v1/models, và chỉ xử lý văn bản. Nếu bạn vẫn cần key, trang API key giải thích cách đăng ký và tín dụng dùng thử.

Đọc phản hồi

Một phản hồi thành công là một đối tượng JSON theo định dạng thông thường. Văn bản nằm ở choices[0].message.content, lý do dừng nằm ở choices[0].finish_reason, và số lượng token nằm ở usage.

{
  "id": "chatcmpl-...",
  "object": "chat.completion",
  "model": "uncensored",
  "choices": [
    {
      "index": 0,
      "message": {"role": "assistant", "content": "An API key is a secret string..."},
      "finish_reason": "stop"
    }
  ],
  "usage": {"prompt_tokens": 31, "completion_tokens": 48, "total_tokens": 79}
}

finish_reason có giá trị stop nghĩa là mô hình đã hoàn tất câu trả lời. Giá trị length nghĩa là mô hình đã chạm giới hạn token, vì vậy bạn hãy tăng max_tokens hoặc để trống. Các header cũng quan trọng: X-Request-Id xác định yêu cầu để hỗ trợ, X-Balance-USD hiển thị tín dụng còn lại của bạn, và X-RateLimit-Limit-Requests cùng X-RateLimit-Limit-Concurrency báo cáo các giới hạn của bạn.

Tin nhắn và vai trò

Mảng messages là toàn bộ hội thoại, theo thứ tự. Mỗi mục có một role và content.

  • system đặt hành vi, giọng điệu và quy tắc. Đặt nó đầu tiên.
  • user là những gì người dùng đã nhập.
  • assistant là những gì mô hình đã nói trước đó trong hội thoại.
  • tool chứa kết quả của một lệnh gọi hàm, nếu bạn sử dụng tính năng gọi hàm.

Mô hình chỉ biết những gì có trong mảng. Không có gì được ghi nhớ giữa các yêu cầu, vì vậy máy chủ không duy trì phiên cho bạn. Đó là điều quan trọng nhất cần hiểu về các endpoint chat, và nó giải thích tại sao một "phiên chat" tốn nhiều hơn ở mỗi lượt: lịch sử bạn gửi được tính phí là đầu vào mỗi lần.

Chat đa lượt trong Python

Để duy trì hội thoại, hãy giữ một danh sách, thêm tin nhắn của người dùng, gọi API, thêm phản hồi của trợ lý, và lặp lại. Đây là một ứng dụng trò chuyện terminal hoàn chỉnh.

from openai import OpenAI

client = OpenAI(
    base_url="https://api.mistralapikey.com/v1",
    api_key="YOUR_API_KEY",
)

history = [{"role": "system", "content": "You are a friendly, direct assistant."}]

while True:
    text = input("you> ").strip()
    if not text:
        break
    history.append({"role": "user", "content": text})

    resp = client.chat.completions.create(
        model="uncensored",
        messages=history,
        temperature=0.7,
    )
    answer = resp.choices[0].message.content
    history.append({"role": "assistant", "content": answer})

    print("bot>", answer)
    print(f"   [{resp.usage.prompt_tokens} in / {resp.usage.completion_tokens} out]")

Theo dõi các số trong ngoặc vuông khi bạn trò chuyện. Số "đầu vào" tăng lên ở mỗi lượt vì nó bao gồm mọi thứ đã được nói cho đến nay. Sự gia tăng này là bình thường và cũng là công cụ chính để bạn kiểm soát chi phí, được đề cập bên dưới.

Truyền phát phản hồi trong Node

Đối với giao diện chat, bạn muốn văn bản xuất hiện khi nó được tạo ra. Đặt stream: true và API sẽ gửi sự kiện do máy chủ gửi. SDK Node.js của OpenAI đóng gói điều này trong một iterator bất đồng bộ.

import OpenAI from "openai";

const client = new OpenAI({
  baseURL: "https://api.mistralapikey.com/v1",
  apiKey: process.env.API_KEY,
});

const stream = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Write a four-line poem about debugging." }],
  stream: true,
});

for await (const chunk of stream) {
  const piece = chunk.choices[0]?.delta?.content ?? "";
  process.stdout.write(piece);
}
process.stdout.write("\n");

Dữ liệu sử dụng được báo cáo ở cuối luồng, vì vậy bạn vẫn có thể ghi lại số lượng token mà không cần một cuộc gọi thứ hai. Một chi tiết vận hành: một yêu cầu truyền phát giữ slot đồng thời của nó cho đến khi luồng kết thúc. Nếu người dùng đóng một tab, hãy hủy yêu cầu ở phía bạn để slot được giải phóng sớm hơn.

Các tham số bạn có thể sử dụng

Các bộ điều khiển lấy mẫu tiêu chuẩn được chuyển tiếp đến mô hình. Đây là những thứ bạn sẽ sử dụng nhiều nhất.

TrườngNó làm gìMẹo thực tế
temperatureNgẫu nhiên trong việc chọn từ0 đến 0.3 cho trích xuất, 0.7 đến 1.0 cho văn bản sáng tạo
top_pGiới hạn lấy mẫu vào các từ có khả năng cao nhấtThay đổi tham số này hoặc temperature, hiếm khi cả hai
max_tokensGiới hạn trên về độ dài phản hồiTùy chọn; đặt nó để giới hạn chi phí trên các prompt mở
stopCác chuỗi kết thúc quá trình tạoHữu ích cho các định dạng dựa trên dòng
seedLấy mẫu có thể lặp lạiTiện lợi cho các bài kiểm tra
frequency_penalty, presence_penaltyHạn chế lặp lạiCác giá trị nhỏ đi rất xa
response_formatChế độ JSONSử dụng {"type":"json_object"} và mô tả các khóa trong prompt

Gọi hàm có sẵn thông qua tools và tool_choice. quickstart bao gồm thiết lập cho các SDK phổ biến.

Chi phí của một hội thoại

Giá là $0.15 cho mỗi 1M input tokens và $0.50 cho mỗi 1M output tokens, từ tín dụng trả trước. Cửa sổ ngữ cảnh là 100,000 tokens cho prompt và reply cộng lại. Vì lịch sử được gửi lại, chi phí của một hội thoại tăng nhanh hơn số lượng tin nhắn.

Hãy lấy một chat mà mỗi tin nhắn của người dùng là khoảng 100 tokens và mỗi phản hồi khoảng 200 tokens, cộng với một tin nhắn hệ thống 200 tokens. Lượt 1 gửi 300 input tokens. Lượt 10 gửi khoảng 200 + 10 x 100 + 9 x 200 = 3,000 input tokens. Lượt 30 gửi khoảng 200 + 30 x 100 + 29 x 200 = 9,000.

Cộng tất cả 30 lượt input: tổng là 30 x 200 + 100 x (1 + 2 + ... + 30) + 200 x (0 + 1 + ... + 29) = 6,000 + 46,500 + 87,000 = 139,500 input tokens. Output là 30 x 200 = 6,000 tokens. Chi phí: 139,500 / 1M x $0.15 = $0.020925, cộng 6,000 / 1M x $0.50 = $0.003. Toàn bộ chat 30 lượt tốn khoảng $0.024. Rẻ, nhưng lưu ý rằng input lớn hơn output 23 lần, và nó sẽ tăng theo bình phương của độ dài nếu bạn không bao giờ cắt giảm.

Các cách để giữ nó thấp: bỏ qua hoặc tóm tắt các lượt cũ một khi lịch sử vượt quá kích thước bạn chọn, giữ prompt hệ thống ngắn, và đặt max_tokens khi bạn không cần phản hồi dài. Các yêu cầu thất bại hoặc bị từ chối không bị tính phí. Số tiền nạp và các bậc bonus được liệt kê trên trang giá.

Cắt giảm lịch sử mà không làm hỏng chat

Một khi hội thoại trở nên dài, bạn có hai lựa chọn: trả tiền cho toàn bộ lịch sử mỗi lượt, hoặc cắt nó. Một quy tắc đơn giản là giữ tin nhắn hệ thống và vài lượt cuối. Hàm này làm điều đó và giữ nguyên vòng lặp của bạn.

from openai import OpenAI

client = OpenAI(
    base_url="https://api.mistralapikey.com/v1",
    api_key="YOUR_API_KEY",
)

def trimmed(history, keep=8):
    system = history[:1]
    rest = history[1:]
    return system + rest[-keep:]

resp = client.chat.completions.create(
    model="uncensored",
    messages=trimmed(history),
)

Giá của việc cắt giảm là mô hình quên những gì nó không còn thấy. Đối với bot hỗ trợ thì điều đó ổn. Đối với những câu chuyện dài, bạn có thể muốn yêu cầu mô hình viết một bản tóm tắt ngắn gọn về các lượt cũ một lần, lưu nó dưới dạng ghi chú hệ thống, và loại bỏ các bản gốc. Điều đó tốn một cuộc gọi thêm nhưng giữ được cốt truyện.

Viết một tin nhắn hệ thống hữu ích

Giữ nó ngắn và cụ thể: trợ lý là ai, câu trả lời nên dài bao nhiêu, và bất kỳ quy tắc định dạng nào. "Bạn là một đại lý hỗ trợ cho một cửa hàng xe đạp. Trả lời trong tối đa ba câu và hỏi một câu nếu yêu cầu không rõ ràng" làm nhiều hơn một trang về đức hạnh chung. Mọi từ của nó được tính phí là input trên mỗi lượt, vì vậy một tin nhắn hệ thống 1,000 tokens thêm $0.00015 vào mỗi yêu cầu.

Lỗi và giới hạn

Một khóa đầy đủ cho phép 8 yêu cầu đồng thời và 300 yêu cầu mỗi phút; một khóa dùng thử cho phép 2 và 60. Kích thước tối đa của thân yêu cầu là 8 MB. Vượt quá giới hạn và bạn sẽ nhận được HTTP 429, với một trong các ý nghĩa sau:

  • Mã lỗi rate_limited: quá nhiều yêu cầu mỗi phút. Hãy phân bổ chúng ra.
  • Mã lỗi concurrency: quá nhiều yêu cầu cùng lúc. Hãy xếp hàng chờ.
  • Tiêu đề Retry-After: 5: quá tải tạm thời. Hãy đợi 5 giây rồi thử lại.

Mã 401 có nghĩa là khóa bị thiếu hoặc sai. Hãy giữ khóa ra khỏi mã giao diện người dùng; hãy gọi API từ máy chủ của bạn. Nếu bạn đang chuyển từ cấu hình Mistral sang, trang Mistral API key sẽ hướng dẫn cách truy cập dịch vụ này.

Đối với mã sản xuất, hãy bao bọc các lệnh gọi trong một cơ chế thử lại với thời gian chờ ngắn, giống như các SDK OpenAI đã làm đối với một số lỗi, và ghi lại giá trị X-Request-Id bên cạnh mọi lỗi. Khi có gì đó không ổn, ID đó là cách nhanh nhất để chỉ cho hỗ trợ biết chính xác yêu cầu nào. Ngoài ra, hãy đặt thời gian chờ phía máy khách: một quá trình tạo kết quả dài trên một prompt lớn có thể mất một lúc, và bạn không muốn một kết nối bị treo chiếm một trong 8 khe yêu cầu đồng thời của bạn.

Dịch vụ không tạo nội dung tình dục liên quan đến người chưa thành niên, và các prompt không được sử dụng để huấn luyện.

Hỏi đáp

Tương thích OpenAI nghĩa là gì?

Điều đó có nghĩa là endpoint chấp nhận cùng định dạng yêu cầu với API chat completions của OpenAI, vì vậy các SDK và công cụ OpenAI sẽ hoạt động sau khi bạn thay đổi base URL và khóa.

Máy chủ có ghi nhớ cuộc hội thoại không?

Không. Hãy gửi toàn bộ lịch sử tin nhắn với mỗi yêu cầu. Máy chủ không giữ phiên giữa các lệnh gọi.

Các endpoint nào có sẵn?

POST /v1/chat/completions và GET /v1/models. Dịch vụ chỉ hỗ trợ văn bản, không có endpoint hình ảnh, âm thanh hay embedding.

Làm thế nào để truyền phát phản hồi?

Đặt stream thành true. API gửi các sự kiện do máy chủ gửi (SSE) và báo cáo việc sử dụng ở cuối luồng truyền phát.

Tôi nên sử dụng tên mô hình nào?

Sử dụng uncensored làm model ID trong mọi yêu cầu.

Khóa của bạn chỉ cách một bước

Tạo tài khoản, sao chép khóa, thay đổi URL cơ sở. Đó là toàn bộ cài đặt.