OpenAI-kompatibelt API-hurtigstart

Forudsætninger og miljøopsætning

Du har brug for en API-nøgle og den korrekte base URL for at forbinde din klient. Tilmeld dig med Google eller e-mail på siden 'Get API key' for at modtage dine oplysninger øjeblikkeligt. Prøven giver dig $0.50 i syv dage, og du kan toppede op med USDT eller USDC via krypto. Hold din nøgle sikker, og verificer, at den matcher dine kontoindstillinger.

Sørg for, at dit miljø understøtter standard HTTP-anmodninger. Vores service kører på en enkelt uncensored-model, så du skal ikke administrere flere model-endpoints. Indstil din base URL til HTTPS://api.openaiapicompatibility.com/v1, før du foretager nogen kald. Dette sikrer, at alle anmodninger dirigeres korrekt til vores tilpassede inference-servers.

Installation af den Officielle OpenAI SDK

Brug de officielle SDK'er for at opretholde kompatibilitet med eksisterende OpenAI-arbejdsgange. Python- og Node-bibliotekerne fungerer direkte med vores endpoint, fordi vi følger den standard API-schema. Installer pakken i dit projektmappe med din foretrukne pakkehåndtering. Denne tilgang undgår behovet for tilpasset HTTP-klientkode.

Vi understøtter standardparametre som temperature, top_p og stop-sekvenser. SDK'en håndterer JSON-serialisering og request headers automatisk. Du kan ændre base URL i klientkonfigurationen, så den peger på vores servere. Dette giver dig mulighed for at skifte mellem udbydere uden at ændre din applikationslogik.

Konfigurerer Base URL og API-nøgle

Indstil base URL og API-nøgle i din klientkonfigurationsobjekt. Base URL er HTTPS://api.openaiapicompatibility.com/v1. Overfør din API-nøgle i Authorization-headeren som en Bearer-token. Denne konfiguration sikrer, at dine anmodninger autentificeres og dirigeres til den korrekte tjeneste.

Copycurl https://api.openaiapicompatibility.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "list all python packages for data science"}]
  }'

Verificér din forbindelse ved at kalde GET /v1/models-slutpunktet. Dette returnerer en liste over tilgængelige modeller, herunder identifikatoren for den ubegrænsede model. Brug dette trin til at bekræfte, at din netværksadgang og legitimationsoplysninger er korrekte, før du sender komplekse prompts.

Lav din første chat-completion

Send en POST-anmodning til /v1/chat/completions med dine prompt-beskeder. Definer modellen som uncensored for at få adgang til den ufiltrerede inferensmotor. Inkluder din system prompt for at indstille adfærden, og tilføj brugermeldinger til det indhold, du ønsker genereret.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.openaiapicompatibility.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Svaret indeholder den genererede tekst og tokenforbrugsstatistikker. Du kan justere parametre som temperatur for at kontrollere kreativitet. Modellen nægter ikke lovligt voksen- eller kontroversielt indhold, hvilket gør den velegnet til mange anvendelsesområder. Tjek response-objektet for content-feltet for at få adgang til outputtet.

Streaming-svar med SSE

Aktivér streaming ved at indstille stream-parameteren til true i din request. Dette sender delvise svar som Server-Sent Events (SSE). Det forbedrer brugeroplevelsen ved at vise tekst, mens den genereres.

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Hver chunk indeholder et delta af svaret. Akkumuler disse deltas for at rekonstruere den fulde tekst. Den sidste chunk indeholder den samlede token-forbrug for requestet. Denne metode fungerer med enhver standard SSE-klient eller bibliotek. Den reducerer den opfattede latency for langform-indholdsgenerering.

Håndtering af JSON-tilstand og funktionkald

Brug JSON-tilstand ved at indstille response_format til json_object. Dette tvinger modellen til at outputte gyldig JSON i stedet for fri tekst. Det er nyttigt til udtrækning af strukturerede data eller API-svar. Kombiner dette med funktionskald til scenarier med værktubsbrug.

Definér dine værktøjer i tools-arrayet. Angiv funktionsnavn, beskrivelse og parametre. Modellen vil returnere funktionskaldsdetaljerne i svaret. Du kan derefter udføre funktionen og sende resultatet tilbage til modellen. Dette muliggør komplekse multi-trinns arbejdsgange med den uncensored model.

Node.js

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.openaiapicompatibility.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);