Перейти к содержимому
Структурированные ответы

Структурированные ответы

Запросите ответ в виде JSON: любой JSON-объект или JSON, соответствующий отправленной вами схеме. Используйте это, когда ответ читает программа, а не человек.

POST https://api.shannon-ai.com/v1/chat/completions

import json
from openai import OpenAI

client = OpenAI(api_key="YOUR_API_KEY", base_url="https://api.shannon-ai.com/v1")

response = client.chat.completions.create(
    model="Kimi-K3-3BIT-REAP",
    messages=[
        {"role": "user", "content": "Extract the person: John Doe, 30 years old, engineer."}
    ],
    response_format={
        "type": "json_schema",
        "json_schema": {
            "name": "person",
            "strict": True,
            "schema": {
                "type": "object",
                "properties": {
                    "name": {"type": "string"},
                    "age": {"type": "integer"},
                    "occupation": {"type": "string"},
                },
                "required": ["name", "age", "occupation"],
            },
        },
    },
)

# The JSON arrives as text in message.content: parse it, then check it.
try:
    person = json.loads(response.choices[0].message.content)
except json.JSONDecodeError:
    person = None  # ask again, or report the failure

print(person)

JSON — это текст ответа, в choices[0].message.content:

200 JSON
{
  "id": "chatcmpl-0c4e7a1b9d2f4e6a8b3c5d7e9f1a2b3c",
  "object": "chat.completion",
  "created": 1791590400,
  "model": "Kimi-K3-3BIT-REAP",
  "choices": [
    {
      "index": 0,
      "message": {
        "role": "assistant",
        "content": "{\"name\":\"John Doe\",\"age\":30,\"occupation\":\"engineer\"}",
        "reasoning_content": null
      },
      "finish_reason": "stop"
    }
  ],
  "usage": {
    "prompt_tokens": 96,
    "completion_tokens": 19,
    "total_tokens": 115,
    "prompt_tokens_details": {"cached_tokens": 0},
    "completion_tokens_details": {"reasoning_tokens": 0}
  }
}

Режимы response_format

response_format — поле /v1/chat/completions. Без него ответ — обычный текст.

Режим Значение Что вы получаете
JSON-объект {"type": "json_object"} Ответ — JSON без заданной формы. Укажите в промпте, какие ключи вам нужны.
JSON-схема {"type": "json_schema", "json_schema": {"name": "…", "schema": {…}}} Ответ следует отправленной вами схеме: ее ключам, типам и обязательным полям.
Strict "strict": true Поле json_schema, а не третий режим. Равно true, если вы не отправите false.
Поле Тип По умолчанию Описание Применяется на
type string json_object или json_schema. Обязательное поле внутри response_format. text принимается и дает обычный текстовый ответ. Каждая модель, поддерживающая этот режим
json_schema.schema object JSON Schema, которой следует ответ. Отправляйте ее, когда type равен json_schema. Каждая модель, поддерживающая этот режим
json_schema.name string Метка схемы, как в формате OpenAI. Размещенные модели с открытыми весами
json_schema.strict boolean true Должен ли ответ точно следовать схеме. Модели Shannon применяют любую схему как строгую. Размещенные модели с открытыми весами

Режиму JSON-объекта схема не нужна. Назовите ключи в промпте:

Тело запроса
{
  "model": "shannon-3",
  "messages": [
    {
      "role": "user",
      "content": "Name the capital of France. Answer as JSON with the keys city and country."
    }
  ],
  "response_format": {"type": "json_object"}
}

Поддержка по моделям

Модель json_object json_schema
Каждая модель Shannon (shannon-*) Да Да
Размещенные модели с открытыми весами, кроме названных ниже Да Да
Laguna-S-2.1-W4A16-AUTOROUND-REAP — —
inkling-W4A16-AUTOROUND-REAP Да —

GET /v1/models сообщает то же самое для каждого id: capabilities.json_schema у каждой модели и capabilities.response_format у размещенных моделей с открытыми весами. Модели и цены

Поддерживаемые ключевые слова схемы

Что именно модель получает из вашей схемы, зависит от модели и от эндпоинта:

Модели /v1/chat/completions /v1/responses
Модели Shannon Подмножество ключевых слов ниже, применяется как строгое. Схема в том виде, как вы ее отправили, применяется как строгая.
Размещенные модели с открытыми весами Схема в том виде, как вы ее отправили. strict равен true, если вы его не отправили. Схема в том виде, как вы ее отправили. strict равен true, если вы его не отправили.

Подмножество ключевых слов у моделей Shannon на /v1/chat/completions:

Ключевое слово Как читается
Читаемые ключевые слова type, format, title, description, nullable, enum, items, properties, required, minItems, maxItems, minimum, maximum, minLength, maxLength, pattern, anyOf, default
$ref Разрешается из $defs или definitions на верхнем уровне схемы. Ключевые слова, записанные рядом с $ref, например description, сохраняются. Ссылка без подходящего определения читается как {"type": "object"}.
allOf Члены объединяются в одну схему. Если два члена задают одно и то же ключевое слово, действует более поздний.
oneOf Читается как anyOf.
Схемы, ссылающиеся на себя Разворачиваются до 24 уровней. Более глубокий уровень читается как {"type": "object"}.
Вне подмножества Все остальные ключевые слова, например additionalProperties, const, multipleOf, uniqueItems, exclusiveMinimum, exclusiveMaximum, patternProperties, prefixItems, minProperties, maxProperties, not и if / then / else. Они не входят в схему, которую получает модель.

На эндпоинте /v1/responses: формат вывода text.format

/v1/responses записывает тот же запрос как text.format. Схема лежит прямо в format, рядом с name и strict, а не под ключом json_schema. Для режима JSON-объекта отправьте {"format": {"type": "json_object"}}.

Тело запроса
{
  "model": "Kimi-K3-3BIT-REAP",
  "input": "Extract the person: John Doe, 30 years old, engineer.",
  "text": {
    "format": {
      "type": "json_schema",
      "name": "person",
      "strict": true,
      "schema": {
        "type": "object",
        "properties": {
          "name": {"type": "string"},
          "age": {"type": "integer"},
          "occupation": {"type": "string"}
        },
        "required": ["name", "age", "occupation"]
      }
    }
  }
}

JSON — это text части output_text элемента message:

200 JSON
{
  "output": [
    {
      "id": "msg_7e1d3c5b9a2f4d6e8c0b1a3f5e7d9c2b",
      "type": "message",
      "role": "assistant",
      "status": "completed",
      "content": [
        {
          "type": "output_text",
          "text": "{\"name\":\"John Doe\",\"age\":30,\"occupation\":\"engineer\"}",
          "annotations": []
        }
      ]
    }
  ]
}

Поддержка по моделям и ошибки такие же, как на /v1/chat/completions. Responses API

На /v1/messages: инструмент как схема

В формате Messages нет поля для структурированного вывода. Чтобы получить JSON от тех же моделей, вызовите /v1/chat/completions или /v1/responses с тем же ключом.

Чтобы остаться на /v1/messages, опишите объект как инструмент: поместите схему в input_schema и назовите инструмент в tool_choice. Тогда input блока tool_use — это ваш объект, уже разобранный. Именованный tool_choice применяется размещенными моделями с открытыми весами.

Тело запроса
{
  "model": "Kimi-K3-3BIT-REAP",
  "max_tokens": 1024,
  "messages": [
    {
      "role": "user",
      "content": "Extract the person: John Doe, 30 years old, engineer."
    }
  ],
  "tools": [
    {
      "name": "record_person",
      "description": "Record the extracted person.",
      "input_schema": {
        "type": "object",
        "properties": {
          "name": {"type": "string"},
          "age": {"type": "integer"},
          "occupation": {"type": "string"}
        },
        "required": ["name", "age", "occupation"]
      }
    }
  ],
  "tool_choice": {"type": "tool", "name": "record_person"}
}
200 JSON
{
  "stop_reason": "tool_use",
  "content": [
    {
      "type": "tool_use",
      "id": "toolu_4b8d2f6a1c3e4a5b9d7f0e2c4a6b8d1f",
      "name": "record_person",
      "input": {"name": "John Doe", "age": 30, "occupation": "engineer"}
    }
  ]
}

Прежде чем читать блок, убедитесь, что stop_reason равен tool_use. Вызов функций

Как приходит JSON

  • JSON — это строка. Рядом с ответом нет разобранного объекта: запустите свой JSON-парсер на message.content.
  • При stream: true JSON приходит фрагментами delta.content. Склейте их и разберите, когда поток закончится; отдельный фрагмент не является корректным JSON.
  • Размещенная модель с открытыми весами отвечает на запрос с response_format без текста reasoning: reasoning_content равен null.

Проверяйте то, что получаете

Схема направляет модель при написании ответа. API не сверяет готовый ответ с вашей схемой, поэтому итоговую проверку выполняет ваш код:

  • Разбирайте внутри обработчика ошибок, как в примере в начале страницы.
  • Проверьте разобранный объект по той же схеме в своем коде, например с помощью библиотеки JSON Schema, Pydantic или Zod.
  • Длинный ответ может оборваться до того, как JSON будет закончен. Ответ без стриминга сообщает finish_reason только как stop или tool_calls, поэтому сигналом служит ошибка разбора. Повторите запрос или попросите объект поменьше.

Ошибки

Статус Тип Сообщение Когда
400 invalid_request_error <id> does not accept response_format Модель не поддерживает ни один из режимов.
400 invalid_request_error <id> does not accept response_format json_schema; use json_object Модель поддерживает json_object, а вы отправили json_schema.
422 invalid_request_error Failed to deserialize the JSON body into the target type: … В response_format нет type, или это не JSON-объект.

Оба ответа 400 отправляются до того, как с вашего баланса что-либо списано. Обработка ошибок