TH ▾
mistralapikey.com

ทางเลือก API Mistral แบบไม่เซ็นเซอร์

รับคีย์ API
URL พื้นฐาน
https://api.mistralapikey.com/v1
โมเดล
ไม่เซ็นเซอร์

แชท API ที่เข้ากันได้กับ OpenAI: Python, Node และ curl

การเรียก API chat ที่เข้ากันได้กับ OpenAI คือการ POST หนึ่งครั้งพร้อมรายการข้อความและการตอบกลับหนึ่งครั้งจากโมเดล คู่มือนี้อธิบายคำขอ การสนทนาหลายรอบ การสตรีมมิง และข้อผิดพลาดที่อาจเกิดขึ้น โดยใช้เอนด์พอยต์ uncensored เป็นตัวอย่าง

อัปเดต

ฟองแชทแลกเปลี่ยนลูกบาศก์แสงระหว่างอุปกรณ์และหอคอยเซิร์ฟเวอร์ แสดงคำขอ API chat

คำขอภายในหนึ่งนาที

ไคลเอนต์ใดๆ ที่สามารถคุยกับรูปแบบแชทของ OpenAI ได้ก็สามารถคุยกับบริการนี้ได้ คุณเปลี่ยนสองสิ่ง คือ URL ฐานและคีย์ แล้วเก็บอย่างอื่นไว้เหมือนเดิม ที่นี่ URL ฐานคือ https://api.mistralapikey.com/v1 และรหัสโมเดลคือ uncensored การตรวจสอบสิทธิ์ใช้หัวข้อความมาตรฐาน Authorization: Bearer

คำขอแรกมีลักษณะดังนี้:

curl https://api.mistralapikey.com/v1/chat/completions   -H "Authorization: Bearer YOUR_API_KEY"   -H "Content-Type: application/json"   -d '{
    "model": "uncensored",
    "messages": [
      {"role": "system", "content": "You are a concise assistant."},
      {"role": "user", "content": "Explain what an API key is in two sentences."}
    ]
  }'

นี่คือบริการอิสระที่รันโมเดลแบบเปิดน้ำหนักหนึ่งตัว ซึ่งปรับแต่งให้ตอบคำถามโดยไม่มีการปฏิเสธเนื้อหาสำหรับการใช้งานผู้ใหญ่ที่ถูกต้องตามกฎหมาย ไม่ใช่ API ทางการของ Meta, Mistral, OpenAI หรือผู้จัดจำหน่ายรายอื่น บริการนี้เปิดใช้งานสองเมธอด คือ POST /v1/chat/completions และ GET /v1/models และรองรับเฉพาะข้อความ หากยังต้องการคีย์ API โปรดดูที่ หน้าคีย์ API เพื่ออธิบายขั้นตอนการสมัครและเครดิตทดลองใช้

การอ่านการตอบกลับ

การตอบกลับที่สำเร็จจะเป็นวัตถุ JSON ที่มีโครงสร้างตามมาตรฐาน เนื้อหาอยู่ที่ choices[0].message.content เหตุผลการหยุดอยู่ที่ choices[0].finish_reason และจำนวนโทเคนอยู่ที่ usage

{
  "id": "chatcmpl-...",
  "object": "chat.completion",
  "model": "uncensored",
  "choices": [
    {
      "index": 0,
      "message": {"role": "assistant", "content": "An API key is a secret string..."},
      "finish_reason": "stop"
    }
  ],
  "usage": {"prompt_tokens": 31, "completion_tokens": 48, "total_tokens": 79}
}

ค่า finish_reason เป็น stop หมายถึงโมเดลตอบคำถามเสร็จสิ้น ค่า length หมายถึงถึงขีดจำกัดโทเคน จึงควรเพิ่มค่า max_tokens หรือปล่อยไว้เป็นค่าว่าง Header ต่างๆ ก็สำคัญเช่นกัน: X-Request-Id ใช้ระบุการเรียกใช้บริการเพื่อขอการสนับสนุน, X-Balance-USD แสดงเครดิตคงเหลือของคุณ และ X-RateLimit-Limit-Requests กับ X-RateLimit-Limit-Concurrency แสดงขีดจำกัดของคุณ

ข้อความและบทบาท

อาร์เรย์ messages คือการสนทนาทั้งหมดตามลำดับ แต่ละรายการมี role และ content

  • system กำหนดพฤติกรรม น้ำเสียง และกฎเกณฑ์ ควรใส่ไว้เป็นรายการแรก
  • user คือข้อความที่ผู้ใช้พิมพ์
  • assistant คือข้อความที่โมเดลตอบกลับก่อนหน้านี้ในการสนทนา
  • tool นำผลลัพธ์ของการเรียกใช้ฟังก์ชัน หากใช้การเรียกใช้ฟังก์ชัน

โมเดลจะรู้เฉพาะสิ่งที่อยู่ในอาร์เรย์เท่านั้น ไม่มีการจดจำระหว่างการเรียกใช้งาน ดังนั้นเซิร์ฟเวอร์จึงไม่เก็บเซสชันไว้ให้ นี่คือสิ่งสำคัญที่สุดที่ต้องเข้าใจเกี่ยวกับเอนด์พอยต์แชท และอธิบายว่าทำไม "แชท" จึงมีค่าใช้จ่ายเพิ่มขึ้นในทุกการสนทนา: ประวัติการสนทนาที่คุณส่งไปจะถูกคิดเป็นอินพุตทุกครั้ง

แชทหลายรอบใน Python

เพื่อรักษาการสนทนา ให้เก็บรายการข้อความ เพิ่มข้อความผู้ใช้ เรียกใช้ API เพิ่มการตอบกลับของผู้ช่วย แล้วทำซ้ำ นี่คือแชทเทอร์มินัลแบบสมบูรณ์

from openai import OpenAI

client = OpenAI(
    base_url="https://api.mistralapikey.com/v1",
    api_key="YOUR_API_KEY",
)

history = [{"role": "system", "content": "You are a friendly, direct assistant."}]

while True:
    text = input("you> ").strip()
    if not text:
        break
    history.append({"role": "user", "content": text})

    resp = client.chat.completions.create(
        model="uncensored",
        messages=history,
        temperature=0.7,
    )
    answer = resp.choices[0].message.content
    history.append({"role": "assistant", "content": answer})

    print("bot>", answer)
    print(f"   [{resp.usage.prompt_tokens} in / {resp.usage.completion_tokens} out]")

สังเกตตัวเลขในวงเล็บขณะแชท จำนวน "in" จะเพิ่มขึ้นในทุกการสนทนาเพราะรวมทุกสิ่งที่พูดไปก่อนหน้านี้ การเพิ่มขึ้นนี้เป็นเรื่องปกติและเป็นปัจจัยหลักในการควบคุมค่าใช้จ่าย ซึ่งอธิบายไว้ด้านล่าง

การตอบกลับแบบสตรีมมิงใน Node

สำหรับอินเทอร์เฟซแชท คุณต้องการให้ข้อความปรากฏเมื่อถูกสร้าง ให้ตั้งค่า stream: true และ API จะส่งเหตุการณ์ที่ส่งจากเซิร์ฟเวอร์ SDK โหนดของ OpenAI ห่อหุ้มสิ่งนี้ไว้ในตัววนซ้ำแบบอะซิงโครนัส

import OpenAI from "openai";

const client = new OpenAI({
  baseURL: "https://api.mistralapikey.com/v1",
  apiKey: process.env.API_KEY,
});

const stream = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Write a four-line poem about debugging." }],
  stream: true,
});

for await (const chunk of stream) {
  const piece = chunk.choices[0]?.delta?.content ?? "";
  process.stdout.write(piece);
}
process.stdout.write("\n");

การใช้งานจะถูกรายงานที่ท้ายสตรีม ดังนั้นคุณยังสามารถบันทึกจำนวนโทเคนได้โดยไม่ต้องเรียกครั้งที่สอง รายละเอียดการทำงานหนึ่งอย่าง: คำขอที่สตรีมจะถือช่องความพร้อมใช้งานพร้อมกันไว้จนกว่าสตรีมจะเสร็จสิ้น หากผู้ใช้ปิดแท็บ ให้ยกเลิกคำขอฝั่งของคุณเพื่อให้ช่องว่างลงเร็วขึ้น

พารามิเตอร์ที่คุณสามารถใช้ได้

การควบคุมการสุ่มมาตรฐานจะถูกส่งผ่านไปยังโมเดล นี่คือพารามิเตอร์ที่คุณจะปรับแต่งบ่อยที่สุด

ฟิลด์สิ่งที่มันทำเคล็ดลับในทางปฏิบัติ
temperatureความสุ่มของการเลือกคำ0 ถึง 0.3 สำหรับการสกัดข้อความ, 0.7 ถึง 1.0 สำหรับข้อความเชิงสร้างสรรค์
top_pจำกัดการสุ่มไปยังคำที่มีความน่าจะเป็นสูงสุดเปลี่ยนค่านี้หรือ temperature อย่างใดอย่างหนึ่ง แทบไม่เคยเปลี่ยนทั้งสองอย่าง
max_tokensขอบเขตบนของความยาวการตอบกลับไม่บังคับ; ตั้งค่าเพื่อจำกัดค่าใช้จ่ายเมื่อใช้พรอมต์แบบเปิดกว้าง
stopลำดับที่ยุติการสร้างมีประโยชน์สำหรับรูปแบบที่ขึ้นกับบรรทัด
seedการสุ่มตัวอย่างที่ทำได้ซ้ำสะดวกสำหรับการทดสอบ
frequency_penalty, presence_penaltyลดการซ้ำค่าเล็กน้อยก็ส่งผลได้มาก
response_formatโหมด JSONใช้ {"type":"json_object"} และอธิบายคีย์ในพรอมต์

การเรียกใช้ฟังก์ชันมีให้ผ่าน tools และ tool_choice เช่นกัน quickstart ครอบคลุมการตั้งค่าสำหรับ SDK ทั่วไป

ต้นทุนของบทสนทนา

ราคาอยู่ที่ $0.15 ต่อ 1M input tokens และ $0.50 ต่อ 1M output tokens จากเครดิตแบบเติมเงินล่วงหน้า หน้าต่างบริบทคือ 100,000 tokens สำหรับพรอมต์และการตอบกลับรวมกัน เนื่องจากประวัติถูกส่งใหม่ ต้นทุนของแชทจึงเพิ่มขึ้นเร็วกว่าจำนวนข้อความ

พิจารณาแชทที่ข้อความผู้ใช้แต่ละข้อความมีประมาณ 100 โทเคน และการตอบกลับแต่ละครั้งมีประมาณ 200 โทเคน รวมถึงข้อความระบบขนาด 200 โทเคน รอบที่ 1 ส่ง 300 โทเคนอินพุต รอบที่ 10 ส่งประมาณ 200 + 10 x 100 + 9 x 200 = 3,000 โทเคนอินพุต รอบที่ 30 ส่งประมาณ 200 + 30 x 100 + 29 x 200 = 9,000

รวมรอบอินพุตทั้ง 30 รอบ: ผลรวมคือ 30 x 200 + 100 x (1 + 2 + ... + 30) + 200 x (0 + 1 + ... + 29) = 6,000 + 46,500 + 87,000 = 139,500 โทเคนอินพุต เอาต์พุตคือ 30 x 200 = 6,000 โทเคน ค่าใช้จ่าย: 139,500 / 1M x $0.15 = $0.020925, บวก 6,000 / 1M x $0.50 = $0.003 การสนทนาทั้ง 30 รอบมีค่าใช้จ่ายประมาณ $0.024 ราคาถูก แต่โปรดสังเกตว่าอินพุตมีขนาดใหญ่กว่าเอาต์พุต 23 เท่า และมันจะเติบโตตามกำลังสองของความยาวหากคุณไม่เคยตัดออก

วิธีลดจำนวน: ตัดหรือสรุปความสำคัญของรอบเก่าเมื่อประวัติเกินขนาดที่คุณเลือก รักษาพรอมต์ระบบให้สั้น และตั้งค่า max_tokens เมื่อคุณไม่ต้องการคำตอบยาว คำขอที่ล้มเหลวหรือถูกปฏิเสธจะไม่ถูกเรียกเก็บเงิน จำนวนเงินเติมและระดับโบนัสแสดงอยู่ที่หน้า ราคา

การตัดทอนประวัติโดยไม่ทำลายแชท

เมื่อบทสนทนายาวขึ้น คุณมีสองทางเลือก: จ่ายสำหรับประวัติเต็มรูปแบบในทุกการส่ง หรือตัดทอน กฎง่ายๆ คือเก็บข้อความระบบและข้อความล่าสุดหลายรอบ ฟังก์ชันนี้ทำเช่นนั้นและทำให้ลูปของคุณไม่เปลี่ยนแปลง

from openai import OpenAI

client = OpenAI(
    base_url="https://api.mistralapikey.com/v1",
    api_key="YOUR_API_KEY",
)

def trimmed(history, keep=8):
    system = history[:1]
    rest = history[1:]
    return system + rest[-keep:]

resp = client.chat.completions.create(
    model="uncensored",
    messages=trimmed(history),
)

ราคาของการตัดทอนคือโมเดลจะลืมสิ่งที่มันไม่เห็นอีก สำหรับบอทสนับสนุนนั้นไม่เป็นไร สำหรับเรื่องยาว คุณอาจต้องการให้โมเดลเขียนสรุปสั้นๆ ของข้อความเก่าครั้งเดียว เก็บเป็นข้อความระบบ และตัดข้อความต้นฉบับออก วิธีนี้ต้องใช้การเรียกเพิ่มหนึ่งครั้งแต่คงเนื้อเรื่องไว้

การเขียนข้อความระบบที่มีประโยชน์

ทำให้สั้นและชัดเจน: ผู้ช่วยคือใคร คำตอบควรยาวแค่ไหน และกฎรูปแบบใดๆ "คุณเป็นตัวแทนสนับสนุนสำหรับร้านขายจักรยาน ตอบไม่เกินสามประโยคและถามคำถามหากคำขอไม่ชัดเจน" ทำได้ดีกว่าหน้าหนึ่งแห่งคุณธรรมทั่วไป ทุกคำของมันจะถูกเรียกเก็บเป็นอินพุตในทุกการโทร ดังนั้นข้อความระบบ 1,000 โทเคนจะเพิ่ม $0.00015 ต่อคำขอ

ข้อผิดพลาดและขีดจำกัด

คีย์เต็มอนุญาตให้ทำคำขอพร้อมกัน 8 คำขอและ 300 คำขอต่อนาที; คีย์ทดลองอนุญาตให้ทำ 2 และ 60 ขนาดสูงสุดของ body คำขอคือ 8 MB หากเกินขีดจำกัด คุณจะได้รับ HTTP 429 พร้อมความหมายหนึ่งจากเหล่านี้:

  • รหัสข้อผิดพลาด rate_limited: คำขอมากเกินไปต่อนาที ให้เว้นระยะห่าง
  • รหัสข้อผิดพลาด concurrency: คำขอมากเกินไปในเวลาเดียวกัน ให้จัดคิว
  • หัวเรื่อง Retry-After: 5: โหลดเกินชั่วคราว รอ 5 วินาทีแล้วลองใหม่

401 หมายถึงคีย์หายไปหรือผิด คีย์ต้องไม่อยู่ในโค้ดหน้าบ้าน ให้เรียก API จากเซิร์ฟเวอร์ของคุณ หากย้ายจาก Mistral หน้า คีย์ API ของ Mistral ครอบคลุมการเข้าถึงบริการนี้

สำหรับโค้ดในสภาพแวดล้อมการผลิต ให้ห่อหุ้มการเรียกใช้ด้วยการเรียกซ้ำพร้อมการรอระยะเวลาสั้นๆ เช่นที่ SDK ของ OpenAI ทำสำหรับข้อผิดพลาดบางประเภท และบันทึกค่า X-Request-Id ไว้ข้างข้อผิดพลาดทุกครั้ง เมื่อพบสิ่งผิดปกติ ID นี้จะเป็นวิธีที่เร็วที่สุดในการชี้ฝ่ายสนับสนุนไปยังคำขอที่แน่นอน นอกจากนี้ให้ตั้งค่าเวลาหมดอายุที่ฝั่งไคลเอนต์: การสร้างคำตอบที่ยาวสำหรับพรอมต์ขนาดใหญ่อาจใช้เวลานาน และคุณไม่ต้องการให้การเชื่อมต่อค้างทำให้คุณเสียหนึ่งในช่องความพร้อมใช้งานพร้อมกัน 8 ช่อง

บริการนี้ไม่สร้างเนื้อหาทางเพศที่เกี่ยวข้องกับผู้เยาว์ และพรอมต์ไม่ถูกนำไปใช้ในการฝึกโมเดล

ถาม-ตอบ

ความหมายของ OpenAI compatible คืออะไร?

หมายถึงเอนด์พอยต์นี้ยอมรับรูปแบบคำขอเดียวกับ API chat completions ของ OpenAI ทำให้ SDK และเครื่องมือของ OpenAI ทำงานได้หลังจากที่คุณเปลี่ยน base URL และคีย์

เซิร์ฟเวอร์จำบทสนทนาได้หรือไม่?

ไม่ คุณต้องส่งประวัติข้อความทั้งหมดไปกับแต่ละคำขอ เซิร์ฟเวอร์ไม่เก็บเซสชันระหว่างการเรียกใช้

มีเอนด์พอยต์ใดบ้างที่ใช้งานได้?

POST /v1/chat/completions และ GET /v1/models บริการรองรับเฉพาะข้อความ ไม่มีเอนด์พอยต์สำหรับรูปภาพ เสียง หรือการฝังตัว

ฉันจะสตรีมการตอบกลับได้อย่างไร

ตั้งค่า stream เป็น true API จะส่งเหตุการณ์ที่ส่งจากเซิร์ฟเวอร์ และรายงานการใช้งานที่ท้ายสตรีม

ฉันควรใช้ชื่อโมเดลใด?

ใช้ uncensored เป็น model ID ในทุกคำขอ

คีย์ของคุณอยู่ห่างแค่ขั้นตอนเดียว

สร้างบัญชี คัดลอกคีย์ และเปลี่ยน base URL นั่นคือการตั้งค่าทั้งหมด