Выбор провайдера

Провайдеры на странице модели

На странице каждой модели в каталоге в разделе «Цены» есть блок «Провайдеры». Там для каждого провайдера указаны:

• точная цена ввода, вывода и кеша в ₽ за 1M токенов — ровно столько спишется, если запрос обработает этот провайдер;
• задержка до первого токена и скорость генерации (перцентили p50–p99 за последние 30 минут), аптайм за 5 минут, 30 минут и сутки;
• контекст, максимальная длина ответа, квантизация, поддержка tool_choice и встроенного веб-поиска;
• страна, дата-центры, хранит ли провайдер запросы и обучает ли на них модели;
• slug — идентификатор для полей order, only и ignore. Нажмите на строку провайдера и кнопку «Копировать».

Если у провайдеров цены отличаются, карточки цен показывают «от» — минимальную цену среди провайдеров, а скидка на кеш — диапазон «от — до».

Как выбирается провайдер по умолчанию

Без provider запросы распределяются между провайдерами модели: предпочтение получают более дешёвые провайдеры без недавних сбоев. Если провайдер вернул ошибку или не ответил, запрос автоматически повторяется у следующего — вы получаете ответ, а не ошибку.

Как задать

Объект provider в теле запроса. Пример: сначала DeepInfra, потом GMICloud, и больше никого.

curl https://api.aitunnel.ru/v1/chat/completions \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer sk-aitunnel-xxx" \
  -d '{
    "model": "deepseek-v3.2",
    "provider": {
      "order": ["deepinfra", "gmicloud"],
      "allow_fallbacks": false
    },
    "messages": [
      { "role": "user", "content": "Скажи интересный факт" }
    ]
  }'

Поля объекта provider

Поля можно сочетать: например, order + ignore + data_collection. Фильтры (only, ignore, quantizations, data_collection, zdr, require_parameters) сужают список, а order, sort и preferred_* задают порядок внутри оставшихся.

Slug провайдера

• deepinfra — все варианты провайдера для этой модели;
• deepinfra/fp4, google-vertex/global — один конкретный вариант (квантизация или регион).

Slug берите со страницы модели: у разных моделей набор провайдеров разный.

Готовые рецепты

"provider": { "sort": "price" }

"provider": {
  "only": ["deepinfra"],
  "allow_fallbacks": false
}

"provider": { "ignore": ["venice", "baidu"] }

"provider": {
  "data_collection": "deny",
  "zdr": true
}

"provider": { "quantizations": ["fp8", "fp16", "bf16"] }

"provider": {
  "preferred_min_throughput": 50,
  "preferred_max_latency": { "p90": 3 }
}

"provider": { "require_parameters": true }

Значения sort

С sort балансировка выключается: провайдеры пробуются строго по выбранному критерию, при ошибке — следующий по списку. Если важна скорость, но не хочется терять запасных провайдеров, используйте preferred_min_throughput и preferred_max_latency — они только понижают медленных в очереди.

Режимы обслуживания (service_tier)

Некоторые провайдеры предлагают отдельные режимы — Flex (дешевле и медленнее), Priority (быстрее под нагрузкой). На странице модели они показаны отдельной таблицей «Режимы обслуживания». Такие варианты используются, только если в запросе указан service_tier. См. Режимы обслуживания.

Если подходящего провайдера нет

Если после всех фильтров не осталось ни одного провайдера, запрос завершается ошибкой 404 и не списывается. В тексте ошибки перечислены провайдеры, которые обслуживают модель, — сверьте slug:

{
  "error": {
    "code": 404,
    "type": "provider_error",
    "message": "No allowed providers are available for the selected model. Providers serving …: gmicloud, siliconflow, deepinfra, …",
    "request_id": "chat-0J9fQk2vXc8LrT1mNbZa4e"
  }
}

С allow_fallbacks: false ошибку вернёт и недоступность всех разрешённых провайдеров — это плата за жёсткое закрепление.

Где работает

• /chat/completions, /responses, /messages и /embeddings — все поля.
• Batch API — только provider.only (один провайдер на пакет).
• Пресеты и песочница — все поля. В пресете при выключенном «Значения пресета важнее» поля из запроса важнее полей пресета. В Студии — тоже все поля, в параметрах чата.
• Модели с прямым подключением (например, GigaChat) работают через одного провайдера: provider для них не применяется, цена фиксированная. На странице модели это отмечено как «прямое подключение».
• Генерация изображений, видео, речи и распознавание аудио: выбор провайдера не поддерживается, провайдер выбирается автоматически. Параметры конкретного провайдера для изображений и видео передаются через provider.options — см. Изображения и Видео.

Вместе с запасными моделями

provider выбирает провайдера внутри одной модели. Массив models переключает на другую модель, если текущая не ответила. Это разные уровни: их можно сочетать. См. Запасные модели.