Mga image at file

POST https://api.shannon-ai.com/v1/chat/completions

Naglalakbay ang image sa loob ng user message, bilang isang bahagi ng content nito. Binabasa ng sample ang isang lokal na file at ipinapadala ito bilang data URL.

import base64
from openai import OpenAI

client = OpenAI(api_key="YOUR_API_KEY", base_url="https://api.shannon-ai.com/v1")

with open("photo.jpg", "rb") as f:
    image = base64.b64encode(f.read()).decode()

response = client.chat.completions.create(
    model="shannon-3",
    messages=[{
        "role": "user",
        "content": [
            {"type": "text", "text": "What is in this picture?"},
            {"type": "image_url", "image_url": {"url": "data:image/jpeg;base64," + image}},
        ],
    }],
)

print(response.choices[0].message.content)

import fs from "node:fs";
import OpenAI from "openai";

const client = new OpenAI({ apiKey: "YOUR_API_KEY", baseURL: "https://api.shannon-ai.com/v1" });

const image = fs.readFileSync("photo.jpg").toString("base64");

const response = await client.chat.completions.create({
  model: "shannon-3",
  messages: [{
    role: "user",
    content: [
      { type: "text", text: "What is in this picture?" },
      { type: "image_url", image_url: { url: "data:image/jpeg;base64," + image } },
    ],
  }],
});

console.log(response.choices[0].message.content);

# Linux: base64 -w0 photo.jpg    macOS: base64 -i photo.jpg
IMAGE=$(base64 -w0 photo.jpg)

curl https://api.shannon-ai.com/v1/chat/completions \
  -H "Authorization: Bearer YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d @- <<EOF
{
  "model": "shannon-3",
  "messages": [{
    "role": "user",
    "content": [
      {"type": "text", "text": "What is in this picture?"},
      {"type": "image_url", "image_url": {"url": "data:image/jpeg;base64,${IMAGE}"}}
    ]
  }]
}
EOF

{
  "id": "chatcmpl-8d1f3a5c7e9b4d2f6a8c0e2b4d6f8a1c",
  "object": "chat.completion",
  "created": 1791590400,
  "model": "shannon-3",
  "choices": [
    {
      "index": 0,
      "message": {
        "role": "assistant",
        "content": "A grey cat asleep on a windowsill, with a potted fern beside it.",
        "reasoning_content": null
      },
      "finish_reason": "stop"
    }
  ],
  "usage": {
    "prompt_tokens": 286,
    "completion_tokens": 19,
    "total_tokens": 305
  }
}

Aling mga model ang tumatanggap ng image

Iniuulat ng GET /v1/models ang image input kada id bilang capabilities.vision. Mga model at presyo

• Binabasa ng mga Shannon model ang mga file ng huling user message. Ilagay ang image sa message na nagtatanong tungkol dito.
• Pinananatili rin ng pamilyang Shannon 3 sa tanaw ang ilang image at dokumento ng mga naunang user message kapag ipinadala ang mga ito inline, at nagbabasa ng itinakdang pinakamataas na bilang ng image kada request, na binibilang mula sa una.
• Binabasa ng mga hosted open-weight model ang mga image ng bawat message ng conversation.

Mga tinatanggap na anyo

Ipinapadala ang file sa isa sa dalawang paraan: sa loob ng request bilang base64, o bilang address na kinukuha ng API. Kasama ng request naglalakbay ang bawat file; walang upload endpoint ang API.

Ang parehong user message sa bawat format:

{
  "role": "user",
  "content": [
    {"type": "text", "text": "What is in this picture?"},
    {
      "type": "image_url",
      "image_url": {
        "url": "data:image/jpeg;base64,/9j/4AAQSkZJRgABAQAAAQABAAD…"
      }
    }
  ]
}

{
  "role": "user",
  "content": [
    {"type": "input_text", "text": "What is in this picture?"},
    {
      "type": "input_image",
      "image_url": "data:image/jpeg;base64,/9j/4AAQSkZJRgABAQAAAQABAAD…"
    }
  ]
}

{
  "role": "user",
  "content": [
    {"type": "text", "text": "What is in this picture?"},
    {
      "type": "image",
      "source": {
        "type": "base64",
        "media_type": "image/jpeg",
        "data": "/9j/4AAQSkZJRgABAQAAAQABAAD…"
      }
    }
  ]
}

• Ang data URL ay may anyong data:<media type>;base64,<data>. Kinakailangan ang bahaging ;base64.
• Sa /v1/chat/completions at /v1/responses, ang image_url ay maaaring mismong string o object na {"url": "…"}.
• Ang uri ng file ay mula sa data URL o sa media_type. Kung wala, binabasa ang image bilang image/png.
• Kasama sa laki ng request body ang mga inline file, na maaaring umabot sa 32 MiB.
• Tinatanggap para sa compatibility: image_url.detail.

Mga limitasyon para sa mga remote file

Kapag nagpadala ka ng address, kinukuha ng API ang file bago tumakbo ang model, sa loob ng mga limitasyong ito:

Paano binibilang sa tokens ang mga image

Sa mga hosted open-weight model, ang image ay binibilang na isang token kada 28 × 28 pixel patch: ang lapad na hinati sa 28, itinataas sa susunod na buong numero, beses ang taas na hinati sa 28, itinataas sa susunod na buong numero. Bahagi ng usage.prompt_tokens ang resulta at sinisingil ito bilang input.

1024 × 1024

1,369 tokens

1920 × 1080

2,691 tokens

512 × 512

361 tokens

• Kinukuha muna ang remote image, kaya binibilang ang tunay na laki nito.
• Ang image na hindi mabasa ang laki ay binibilang na 1,024 token.
• Parehong patakaran ang ginagamit ng mga counting endpoint para sa mga data URL. Hindi nila kinukuha ang remote address at binibilang ito bilang 1,024 token. Pagbibilang ng token
• Para sa Shannon model, basahin sa usage ng reply kung magkano ang naging halaga ng request na may mga image.

Mga dokumento at iba pang file

Nagbabasa rin ng mga dokumento ang pamilyang Shannon 3 (shannon-3, shannon-3-pro, shannon-3.1, shannon-3.1-pro). Kinukuha ang text ng dokumento at ibinibigay sa model kasama ng iyong message.

Ang dokumento ay bahagi ng user message, tulad ng image:

{
  "model": "shannon-3",
  "messages": [
    {
      "role": "user",
      "content": [
        {
          "type": "document",
          "source": {
            "type": "base64",
            "media_type": "application/pdf",
            "data": "JVBERi0xLjcKJeLjz9MK…"
          }
        },
        {"type": "text", "text": "Summarise this report in five points."}
      ]
    }
  ]
}

{
  "model": "shannon-3",
  "input": [
    {
      "role": "user",
      "content": [
        {
          "type": "input_file",
          "file_data": "data:application/pdf;base64,JVBERi0xLjcKJeLjz9MK…"
        },
        {
          "type": "input_text",
          "text": "Summarise this report in five points."
        }
      ]
    }
  ]
}

{
  "model": "shannon-3",
  "messages": [
    {
      "role": "user",
      "content": [
        {
          "type": "document",
          "source": {
            "type": "base64",
            "media_type": "application/pdf",
            "data": "JVBERi0xLjcKJeLjz9MK…"
          }
        },
        {"type": "text", "text": "Summarise this report in five points."}
      ]
    }
  ]
}

• Ibigay ang tunay na media type ng file. Kung wala, binabasa ang dokumento bilang application/pdf.
• Ang plain-text file, gaya ng CSV, ay binabasa bilang text at ikinakabit sa parehong paraan.
• Kapag hindi mabasa ang dokumento, o ibang uri ang file, sinasabihan ang model at maaari nitong sabihin sa sagot nito. 200 pa rin ang status.
• Sa bawat ibang model, inaalis ang document part sa binabasa ng model, at sinasagot ang request mula sa natitira.
• Ang dokumentong ipinadala sa pamamagitan ng address ay kinukuha sa ilalim ng mga limitasyon para sa mga remote file sa itaas.

Mga error

Sumasagot ang Shannon model ng status na 200 anuman ang mga file na dala ng request: inaalis ang part na hindi nito binabasa. Paghawak ng Error