OpenAI Kompatibilis API gyors kezdés

Előfeltételek és környezetbeállítás

Megbízható API kulcsra és a helyes base URL-re van szükséged a kliens csatlakoztatásához. Regisztrálj Google-fiókkal vagy e-mail címmel a 'Get API key' oldalon a hitelesítő adatok azonnali megszerzéséhez. A próbaidőszak alatt $0.50 kreditet kapsz hét napra, és USDT vagy USDC kriptovalutával töltheted fel a számládat. Tartsd biztonságban a kulcsodat, és ellenőrizd, hogy egyezik-e a fiókbeállításaidkal.

Győződjön meg arról, hogy a környezete támogatja a szabványos HTTP kéréseket. Szolgáltatásunk egyetlen uncensored modellen fut, így nem kell több modell végpontot kezelnie. Állítsa be a base URL-t erre: HTTPS://api.openaiapicompatibility.com/v1 a hívások előtt. Ez biztosítja, hogy minden kérés helyesen irányuljon a hangolt inference szervereinkre.

A hivatalos OpenAI SDK telepítése

Használja a hivatalos SDK-kat a meglévő OpenAI-munkafolyamatok kompatibilitásának megőrzéséhez. A Python- és Node-könyvtárak közvetlenül az endpointunkkal működnek, mert követjük a standard API-sémát. Telepítse a csomagot a projekt könyvtárába a preferált csomagkezelőjével. Ez a megközelítés elkerüli a saját HTTP-kliens kód írásának szükségességét.

Támogatjuk a szabványos paramétereket, mint például a temperature, top_p és stop szekvenciák. Az SDK automatikusan kezeli a JSON szerializálást és a kérésfejléceket. A base URL-t a kliens konfigurációjában cserélheti, hogy a szervereinkre mutasson. Ez lehetővé teszi a szolgáltatók közötti váltást az alkalmazás logikájának megváltoztatása nélkül.

Az alap URL-cím és az API-kulcs konfigurálása

Állítsa be a bázis URL-t és az API kulcsot az ügyfél konfigurációs objektumában. A bázis URL a HTTPS://api.openaiapicompatibility.com/v1. Adja át API kulcsát az Authorization fejlécben Bearer tokenként. Ez a konfiguráció biztosítja, hogy a kérések hitelesítve legyenek és a megfelelő szolgáltatáshoz irányítsák őket.

Copycurl https://api.openaiapicompatibility.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "list all python packages for data science"}]
  }'

Ellenőrizze a kapcsolatot a GET /v1/models végpont hívásával. Ez visszaadja az elérhető modellek listáját, beleértve az uncensored modell azonosítót is. Használja ezt a lépést a hálózati hozzáférés és a hitelesítő adatok ellenőrzésére, mielőtt komplex promptokat küldene.

Az első chat kiegészítési kérés végrehajtása

Küldjön egy POST kérést a /v1/chat/completions végpontra a promptüzeneteivel. Határozza meg a modellt uncensored értékre a szűrés nélküli inferencia motor eléréséhez. Adja meg a rendszeri utasítást a viselkedés beállításához, és adjon hozzá felhasználói üzeneteket a generálni kívánt tartalomhoz.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.openaiapicompatibility.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

A válasz tartalmazza a generált szöveget és a token-felhasználási statisztikákat. A temperature paraméterrel szabályozhatja a kreativitást. A modell nem utasít el jogszerű felnőtt vagy vitatott témákat, így sokféle felhasználási esetre alkalmas. A kimenet eléréséhez ellenőrizze a válasz objektum content mezőjét.

Streamelési válaszok SSE-vel

A streamelés engedélyezéséhez állítsa a stream paramétert true értékre a kérésben. Ez részleges válaszokat küld Server-Sent Events (SSE) formátumban. Javítja a felhasználói élményt a generáláskor megjelenülő szövegkel.

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Minden chunk egy delta-t tartalmaz a válaszból. Halmozza fel ezeket a delta-kat a teljes szöveg visszaállításához. A végső chunk tartalmazza a kérés teljes tokenfelhasználását. Ez a módszer bármely szabványos SSE klienssel vagy könyvtárral működik. Csökkenti a felfogott késleltetést a hosszú formátumú tartalomgenerálás során.

JSON mód és függvényhívások kezelése

Használjon JSON módot a response_format json_object értékre állításával. Ez arra kényszeríti a modellt, hogy érvényes JSON-t adjon vissza szabad szöveg helyett. Hasznos strukturált adatok kinyeréséhez vagy API-válaszokhoz. Kombinálja függvényhívással eszközhasználati forgatókönyvekben.

Határozza meg az eszközöket a tools tömbben. Adja meg a függvény nevét, leírását és paramétereit. A modell visszaadja a függvényhívás részleteit a válaszban. Ezután végrehajthatja a függvényt, és visszaadhatja az eredményt a modellnek. Ez lehetővé teszi a komplex, több lépéses munkafolyamatokat az uncensored modellel.

Node.js

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.openaiapicompatibility.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);