RU ▾
mistralapikey.com

Альтернатива API Mistral без цензуры

Получить API-ключ
Базовый URL
https://api.mistralapikey.com/v1
Модель
без цензуры

API Mistral в Python с помощью SDK OpenAI

Скрипт API Mistral на Python может работать с этим эндпоинтом, совместимым с OpenAI, с помощью стандартного пакета openai: установите базовый URL, передайте ключ и используйте модель uncensored. В этом руководстве есть код для чата, потоковой передачи, JSON, инструментов и пакетов.

Обновлено

Лента света, оплетающая блоки кода, ведущая к шлюзу, символизирующая вызов API Python

Краткая версия

Чтобы использовать рабочий процесс API Mistral на Python для этого сервиса, вам не нужна собственная библиотека клиентов Mistral. Этот эндпоинт использует формат завершения чата OpenAI, поэтому работает стандартный пакет openai: установите его, установите базовый URL на https://api.mistralapikey.com/v1, передайте свой ключ и используйте идентификатор модели uncensored.

Необходимое примечание: это не официальный API Mistral, и он не аффилирован с Mistral. Это отдельный сервис с одной моделью с открытыми весами, управляемый независимым провайдером и настроенный на ответы без отказов по контенту для законного использования взрослыми. Страница о ключе API Mistral объясняет, как ключи здесь связаны с другими сервисами.

pip install openai
from openai import OpenAI

client = OpenAI(base_url="https://api.mistralapikey.com/v1", api_key="YOUR_KEY")

r = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Write a haiku about retries."}],
)
print(r.choices[0].message.content)

Переводите код в стиле Mistral построчно

Если у вас есть код, написанный для клиента Mistral на Python, отображение краткое. Проверьте точные имена в собственной документации клиента для установленной у вас версии, так как библиотеки меняются.

Клиент в стиле MistralSDK OpenAI для этого эндпоинта
Mistral(api_key=key)OpenAI(base_url=URL, api_key=key)
client.chat.complete(...)client.chat.completions.create(...)
client.chat.stream(...)client.chat.completions.create(..., stream=True)
model="some-model-name"model="uncensored"
res.choices[0].message.contentr.choices[0].message.content (то же самое)

Сообщения остаются списком словарей с полями role и content. Структура ответа для общих полей, включая choices, usage и finish_reason, также совпадает, поэтому код, который читает только эти поля, не требует изменений.

Рядом изменения выглядят так:

# before (Mistral-style)
# from mistralai import Mistral
# client = Mistral(api_key=KEY)
# res = client.chat.complete(model="...", messages=msgs)

# after
from openai import OpenAI
client = OpenAI(base_url="https://api.mistralapikey.com/v1", api_key=KEY)
res = client.chat.completions.create(model="uncensored", messages=msgs)
text = res.choices[0].message.content

Держите ключ вне кода

Прочитайте ключ и URL из окружения и исключите их из системы контроля версий.

import os
from openai import OpenAI

client = OpenAI(
    base_url=os.environ.get("LLM_BASE_URL", "https://api.mistralapikey.com/v1"),
    api_key=os.environ["LLM_API_KEY"],
)

Через оболочку: export LLM_API_KEY=.... SDK OpenAI также читает OPENAI_API_KEY и OPENAI_BASE_URL, если вы не передаёте их явно, что полезно для инструментов, которые формируют клиента за вас, но является классическим источником ошибок «неверный ключ», если в оболочке остаётся старое значение. Когда что-то завершается ошибкой 401, выведите, какие переменные установлены, прежде чем делать что-либо ещё.

Получите ключ на странице API-ключа. Новые аккаунты могут получить $0,50 пробного баланса в один клик. Для этого не нужна карта, срок действия — 7 дней, и он ограничен одним на человека.

Потоковая передача, JSON и инструменты

Потоковая передача возвращает токены по мере их генерации. Установите stream=True и итерируйте. Данные об использовании поступают в конце.

stream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Explain list comprehensions in 3 sentences."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

JSON-режим запрашивает корректный объект JSON. Также укажите слово JSON в промпте и всегда выполняйте парсинг с проверкой.

import json

r = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Return JSON with keys name and tags for a blog post about retries."}],
    response_format={"type": "json_object"},
)
data = json.loads(r.choices[0].message.content)

Вызов функций использует параметры tools и tool_choice. Когда модель возвращает tool_calls, запустите функцию и отправьте результат обратно как сообщение с role: "tool" и соответствующим tool_call_id.

tools = [{
    "type": "function",
    "function": {
        "name": "get_weather",
        "description": "Get weather for a city",
        "parameters": {
            "type": "object",
            "properties": {"city": {"type": "string"}},
            "required": ["city"],
        },
    },
}]

r = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Weather in Oslo?"}],
    tools=tools,
)
print(r.choices[0].message.tool_calls)

Асинхронные и параллельные вызовы

Для пакетов используйте асинхронный клиент. Держите количество активных запросов в пределах лимита: полный ключ позволяет 8 параллельных запросов и 300 в минуту, пробный ключ — 2 и 60.

import asyncio
from openai import AsyncOpenAI

client = AsyncOpenAI(base_url="https://api.mistralapikey.com/v1", api_key="YOUR_KEY")
sem = asyncio.Semaphore(6)

async def one(prompt):
    async with sem:
        r = await client.chat.completions.create(
            model="uncensored",
            messages=[{"role": "user", "content": prompt}],
            max_tokens=200,
        )
        return r.choices[0].message.content

async def main():
    prompts = [f"Give a one-line tip number {i} about Python." for i in range(20)]
    results = await asyncio.gather(*(one(p) for p in prompts))
    print(len(results))

asyncio.run(main())

Семафор на 6 оставляет запас под 8. Без него 20 одновременных вызовов приведут к HTTP 429 с кодом concurrency. Помните, что потоки удерживают свой слот до завершения.

Подводные камни при миграции

Большинство проблем возникает из-за предположений, перенесенных со старой настройки, а не из-за нового эндпоинта.

  • Жестко закодированные имена моделей. Ищите в коде старую строку модели. Единственный действительный идентификатор модели здесь — uncensored, и вы можете подтвердить это с помощью client.models.list().
  • Промпты, написанные для другой модели. Другая модель немного иначе понимает инструкции. Если системный промпт зависел от конкретной формулировки, протестируйте его. Короткие прямые инструкции с примером формата вывода обычно переносятся лучше всего.
  • Параметры, специфичные для провайдера. Параметры, которые существуют только в клиенте одного поставщика, могут быть проигнорированы или отклонены. Придерживайтесь стандартных: temperature, top_p, stop, seed, max_tokens и штрафы передаются как есть.
  • Флаги безопасного режима. Если ваш старый код включал опцию модерации или безопасности провайдера, здесь нет эквивалентного переключателя. Если вашему продукту нужна фильтрация, добавьте её на своей стороне до и после вызова.
  • Оценки токенов. Разные модели по-разному считают токены, поэтому планируйте бюджет на основе поля usage, которое возвращает API, а не на основе локальных догадок.

Планируйте короткий тестовый запуск, а не переписывание. Возьмите десять промптов из ваших журналов, запустите их через нового клиента, прочитайте ответы и настройте системный промпт, пока тон не совпадет с тем, который вы хотите.

Ошибки и их значение

  • 401. Неверный или отсутствующий ключ, или ключ из другого сервиса.
  • 404. В базовом URL отсутствует /v1.
  • 429 с rate_limited. Превышен лимит запросов в минуту. Подождите и замедлите темп.
  • 429 с concurrency. Слишком много запросов одновременно. Уменьшите количество параллельных запросов.
  • 429 с Retry-After: 5. Временная перегрузка. Подождите пять секунд и попробуйте снова.
import time
from openai import RateLimitError

def safe(prompt):
    for _ in range(4):
        try:
            r = client.chat.completions.create(
                model="uncensored",
                messages=[{"role": "user", "content": prompt}],
            )
            return r.choices[0].message.content
        except RateLimitError:
            time.sleep(5)
    return None

Сохраните заголовок X-Request-Id из неудачных вызовов. Неудачные или отклоненные запросы не оплачиваются.

Стоимость, лимиты и то, что не включено

Биллинг по факту: $0,15 за 1 млн входных токенов и $0,50 за 1 млн выходных токенов, предоплата, без подписки и без срока действия. Скрипт, отправляющий 1000 запросов по 1500 входных и 400 выходных токенов, стоит 1,5 млн x $0,15 = $0,225 плюс 0,4 млн x $0,50 = $0,20, итого $0,425. Пополнения от $20 до $500, с бонусом от $50, а на странице цен указаны детали.

Контекстное окно составляет 100 000 токенов, промпт плюс завершение, а тело запроса может быть до 8 МБ. Сервис только текстовый: без изображений, аудио или видео, без эмбеддингов и без дообучения, и контент сексуального характера с участием несовершеннолетних никогда не разрешен. Если вам также нужен тот же API с другими клиентами, статья о чатовом API, совместимом с OpenAI охватывает приложения помимо Python, а документация перечисляет каждый параметр.

Вопросы и ответы

Нужен ли клиент Mistral для Python?

Нет. Стандартный пакет openai работает с базовым URL https://api.mistralapikey.com/v1. Вызовы в стиле Mistral сопоставляются с chat.completions.create.

Это официальный API Mistral?

Нет. Это отдельный сервис с одной моделью с открытыми весами, запущенный независимым провайдером, не аффилированным с Mistral.

Как избежать ошибок 429 в пакетных запросах?

Ограничьте параллельные вызовы значением ниже 8 с помощью семафора, не превышайте 300 запросов в минуту и ждите после ответа 429.

Есть ли бесплатный способ протестировать?

Да. После регистрации вы можете получить $0,50 пробного баланса на странице API-ключа. Карта не нужна, срок действия — 7 дней.

Ваш ключ — всего в одном клике

Создайте аккаунт, скопируйте ключ, измените базовый URL. Вот и всё.