স্ট্রাকচার্ড আউটপুট
উত্তর JSON হিসেবে চান: যেকোনো JSON অবজেক্ট, অথবা আপনার পাঠানো schema মেনে চলা JSON। কোনো মানুষ নয়, প্রোগ্রাম উত্তর পড়লে এটি ব্যবহার করুন।
POST https://api.shannon-ai.com/v1/chat/completions
import json
from openai import OpenAI
client = OpenAI(api_key="YOUR_API_KEY", base_url="https://api.shannon-ai.com/v1")
response = client.chat.completions.create(
model="Kimi-K3-3BIT-REAP",
messages=[
{"role": "user", "content": "Extract the person: John Doe, 30 years old, engineer."}
],
response_format={
"type": "json_schema",
"json_schema": {
"name": "person",
"strict": True,
"schema": {
"type": "object",
"properties": {
"name": {"type": "string"},
"age": {"type": "integer"},
"occupation": {"type": "string"},
},
"required": ["name", "age", "occupation"],
},
},
},
)
# The JSON arrives as text in message.content: parse it, then check it.
try:
person = json.loads(response.choices[0].message.content)
except json.JSONDecodeError:
person = None # ask again, or report the failure
print(person) import OpenAI from "openai";
const client = new OpenAI({ apiKey: "YOUR_API_KEY", baseURL: "https://api.shannon-ai.com/v1" });
const response = await client.chat.completions.create({
model: "Kimi-K3-3BIT-REAP",
messages: [
{ role: "user", content: "Extract the person: John Doe, 30 years old, engineer." },
],
response_format: {
type: "json_schema",
json_schema: {
name: "person",
strict: true,
schema: {
type: "object",
properties: {
name: { type: "string" },
age: { type: "integer" },
occupation: { type: "string" },
},
required: ["name", "age", "occupation"],
},
},
},
});
// The JSON arrives as text in message.content: parse it, then check it.
let person = null;
try {
person = JSON.parse(response.choices[0].message.content);
} catch {
// ask again, or report the failure
}
console.log(person); curl https://api.shannon-ai.com/v1/chat/completions \
-H "Authorization: Bearer YOUR_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "Kimi-K3-3BIT-REAP",
"messages": [
{"role": "user", "content": "Extract the person: John Doe, 30 years old, engineer."}
],
"response_format": {
"type": "json_schema",
"json_schema": {
"name": "person",
"strict": true,
"schema": {
"type": "object",
"properties": {
"name": {"type": "string"},
"age": {"type": "integer"},
"occupation": {"type": "string"}
},
"required": ["name", "age", "occupation"]
}
}
}
}' JSON হলো উত্তরের টেক্সট, choices[0].message.content-এ:
{
"id": "chatcmpl-0c4e7a1b9d2f4e6a8b3c5d7e9f1a2b3c",
"object": "chat.completion",
"created": 1791590400,
"model": "Kimi-K3-3BIT-REAP",
"choices": [
{
"index": 0,
"message": {
"role": "assistant",
"content": "{\"name\":\"John Doe\",\"age\":30,\"occupation\":\"engineer\"}",
"reasoning_content": null
},
"finish_reason": "stop"
}
],
"usage": {
"prompt_tokens": 96,
"completion_tokens": 19,
"total_tokens": 115,
"prompt_tokens_details": {"cached_tokens": 0},
"completion_tokens_details": {"reasoning_tokens": 0}
}
} response_format-এর মোডসমূহ
response_format হলো /v1/chat/completions-এর একটি ফিল্ড। এটি ছাড়া উত্তর সাধারণ টেক্সট।
| মোড | মান | আপনি কী পান |
|---|---|---|
| JSON অবজেক্ট | {"type": "json_object"} | উত্তর কোনো নির্দিষ্ট আকার ছাড়া JSON। কোন কী চান তা প্রম্পটে বলুন। |
| JSON schema | {"type": "json_schema", "json_schema": {"name": "…", "schema": {…}}} | উত্তর আপনার পাঠানো schema মেনে চলে: তার কী, type এবং আবশ্যক ফিল্ড। |
| Strict | "strict": true | json_schema-এর একটি ফিল্ড, তৃতীয় কোনো মোড নয়। false না পাঠালে এটি true। |
| ফিল্ড | টাইপ | ডিফল্ট | বিবরণ | যারা প্রয়োগ করে |
|---|---|---|---|---|
type | string | json_object বা json_schema। response_format-এর ভেতরে আবশ্যক। text গ্রহণ করা হয় এবং সাধারণ টেক্সট উত্তর দেয়। | যে মডেল মোডটি নেয় তার সবগুলো | |
json_schema.schema | object | উত্তর যে JSON Schema মেনে চলে। type json_schema হলেই এটি পাঠান। | যে মডেল মোডটি নেয় তার সবগুলো | |
json_schema.name | string | schema-র একটি লেবেল, OpenAI ফরম্যাটের মতো। | হোস্টেড ওপেন-ওয়েট মডেল | |
json_schema.strict | boolean | true | উত্তর schema হুবহু মানবে কি না। Shannon মডেল প্রতিটি schema strict হিসেবে প্রয়োগ করে। | হোস্টেড ওপেন-ওয়েট মডেল |
JSON অবজেক্ট মোডে schema লাগে না। প্রম্পটে কী-গুলোর নাম দিন:
{
"model": "shannon-3",
"messages": [
{
"role": "user",
"content": "Name the capital of France. Answer as JSON with the keys city and country."
}
],
"response_format": {"type": "json_object"}
} মডেল অনুযায়ী সমর্থন
| মডেল | json_object | json_schema |
|---|---|---|
প্রতিটি Shannon মডেল (shannon-*) | হ্যাঁ | হ্যাঁ |
| হোস্টেড ওপেন-ওয়েট মডেল, নিচে নাম দেওয়াগুলো বাদে | হ্যাঁ | হ্যাঁ |
Laguna-S-2.1-W4A16-AUTOROUND-REAP | — | — |
inkling-W4A16-AUTOROUND-REAP | হ্যাঁ | — |
GET /v1/models প্রতিটি id-র জন্য একই জানায়: প্রতিটি মডেলে capabilities.json_schema, আর হোস্টেড ওপেন-ওয়েট মডেলে capabilities.response_format। মডেল ও মূল্য
সমর্থিত schema কিওয়ার্ড
আপনার schema-র কতটুকু মডেল পায় তা মডেল ও এন্ডপয়েন্টের ওপর নির্ভর করে:
| মডেল | /v1/chat/completions | /v1/responses |
|---|---|---|
| Shannon মডেল | নিচের কিওয়ার্ড উপসেট, strict হিসেবে প্রয়োগ করা। | schema যেমন পাঠান তেমন, strict হিসেবে প্রয়োগ করা। |
| হোস্টেড ওপেন-ওয়েট মডেল | schema যেমন পাঠান তেমন। না পাঠালে strict হলো true। | schema যেমন পাঠান তেমন। না পাঠালে strict হলো true। |
/v1/chat/completions-এ Shannon মডেলের কিওয়ার্ড উপসেট:
| কিওয়ার্ড | কীভাবে পড়া হয় |
|---|---|
| যে কিওয়ার্ড পড়া হয় | type, format, title, description, nullable, enum, items, properties, required, minItems, maxItems, minimum, maximum, minLength, maxLength, pattern, anyOf, default |
$ref | schema-র শীর্ষস্তরের $defs বা definitions থেকে সমাধান করা হয়। $ref-এর পাশে লেখা কিওয়ার্ড, যেমন description, রাখা হয়। মিলে যাওয়া সংজ্ঞা নেই এমন রেফারেন্স {"type": "object"} হিসেবে পড়া হয়। |
allOf | সদস্যগুলো একটি schema-তে মেশানো হয়। দুই সদস্য একই কিওয়ার্ড দিলে পরেরটি ধরা হয়। |
oneOf | anyOf হিসেবে পড়া হয়। |
| যে schema নিজেকেই উল্লেখ করে | 24 স্তর পর্যন্ত বিস্তৃত করা হয়। এর চেয়ে গভীর স্তর {"type": "object"} হিসেবে পড়া হয়। |
| উপসেটের বাইরে | অন্য সব কিওয়ার্ড, যেমন additionalProperties, const, multipleOf, uniqueItems, exclusiveMinimum, exclusiveMaximum, patternProperties, prefixItems, minProperties, maxProperties, not এবং if / then / else। এগুলো মডেল যে schema পায় তার অংশ নয়। |
/v1/responses এন্ডপয়েন্টে text.format দিয়ে ব্যবহার
/v1/responses একই রিকোয়েস্ট লেখে text.format হিসেবে। schema সরাসরি format-এ থাকে, name ও strict-এর পাশে, json_schema কী-র নিচে নয়। JSON অবজেক্ট মোডের জন্য {"format": {"type": "json_object"}} পাঠান।
{
"model": "Kimi-K3-3BIT-REAP",
"input": "Extract the person: John Doe, 30 years old, engineer.",
"text": {
"format": {
"type": "json_schema",
"name": "person",
"strict": true,
"schema": {
"type": "object",
"properties": {
"name": {"type": "string"},
"age": {"type": "integer"},
"occupation": {"type": "string"}
},
"required": ["name", "age", "occupation"]
}
}
}
} JSON হলো message আইটেমের output_text অংশের text:
{
"output": [
{
"id": "msg_7e1d3c5b9a2f4d6e8c0b1a3f5e7d9c2b",
"type": "message",
"role": "assistant",
"status": "completed",
"content": [
{
"type": "output_text",
"text": "{\"name\":\"John Doe\",\"age\":30,\"occupation\":\"engineer\"}",
"annotations": []
}
]
}
]
} মডেল অনুযায়ী সমর্থন ও এরর /v1/chat/completions-এর মতোই। Responses API
/v1/messages-এ: schema হিসেবে একটি টুল
Messages ফরম্যাটে স্ট্রাকচার্ড-আউটপুট ফিল্ড নেই। একই মডেল থেকে JSON পেতে একই key দিয়ে /v1/chat/completions বা /v1/responses কল করুন।
/v1/messages-এ থাকতে চাইলে অবজেক্টটিকে একটি টুল হিসেবে বর্ণনা করুন: আপনার schema input_schema-তে রাখুন এবং tool_choice-এ টুলের নাম দিন। তখন tool_use ব্লকের input হলো আপনার অবজেক্ট, আগে থেকেই পার্স করা। নাম দেওয়া tool_choice হোস্টেড ওপেন-ওয়েট মডেল প্রয়োগ করে।
{
"model": "Kimi-K3-3BIT-REAP",
"max_tokens": 1024,
"messages": [
{
"role": "user",
"content": "Extract the person: John Doe, 30 years old, engineer."
}
],
"tools": [
{
"name": "record_person",
"description": "Record the extracted person.",
"input_schema": {
"type": "object",
"properties": {
"name": {"type": "string"},
"age": {"type": "integer"},
"occupation": {"type": "string"}
},
"required": ["name", "age", "occupation"]
}
}
],
"tool_choice": {"type": "tool", "name": "record_person"}
} {
"stop_reason": "tool_use",
"content": [
{
"type": "tool_use",
"id": "toolu_4b8d2f6a1c3e4a5b9d7f0e2c4a6b8d1f",
"name": "record_person",
"input": {"name": "John Doe", "age": 30, "occupation": "engineer"}
}
]
} ব্লক পড়ার আগে দেখে নিন stop_reason হলো tool_use। ফাংশন কলিং
JSON কীভাবে আসে
- JSON একটি string। উত্তরে তার পাশে কোনো পার্স করা অবজেক্ট নেই:
message.content-এ আপনার JSON পার্সার চালান। stream: trueহলে JSONdelta.contentটুকরো হিসেবে আসে। টুকরোগুলো জুড়ুন এবং স্ট্রিম শেষ হলে একবারে পার্স করুন; একটি টুকরো একা বৈধ JSON নয়।- হোস্টেড ওপেন-ওয়েট মডেল
response_formatরিকোয়েস্টের উত্তর রিজনিং টেক্সট ছাড়া দেয়:reasoning_contentহলোnull।
যা পান তা যাচাই করুন
schema মডেলের লেখার পথ দেখায়। API সমাপ্ত উত্তরকে আপনার schema-র সাথে মেলায় না, তাই চূড়ান্ত যাচাই আপনার কোড করে:
- এরর হ্যান্ডলারের ভেতরে পার্স করুন, যেমন একদম ওপরের নমুনা করে।
- পার্স করা অবজেক্ট আপনার নিজের কোডে একই schema দিয়ে যাচাই করুন, যেমন JSON Schema লাইব্রেরি, Pydantic বা Zod দিয়ে।
- JSON সম্পূর্ণ হওয়ার আগেই দীর্ঘ উত্তর শেষ হয়ে যেতে পারে। স্ট্রিম না করা উত্তর
finish_reasonশুধুstopবাtool_callsজানায়, তাই পার্স এরর হলো সংকেত। আবার চান, অথবা ছোট অবজেক্ট চান।
এরর
| স্ট্যাটাস | টাইপ | বার্তা | কখন |
|---|---|---|---|
400 | invalid_request_error | <id> does not accept response_format | মডেল কোনো মোডই নেয় না। |
400 | invalid_request_error | <id> does not accept response_format json_schema; use json_object | মডেল json_object নেয় এবং আপনি json_schema পাঠিয়েছেন। |
422 | invalid_request_error | Failed to deserialize the JSON body into the target type: … | response_format-এ type নেই, অথবা এটি JSON অবজেক্ট নয়। |
দুটি 400 উত্তর আপনার ব্যালেন্স থেকে কিছু কাটার আগেই পাঠানো হয়। এরর হ্যান্ডলিং