Rychlý start API kompatibilní s OpenAI

Požadavky a nastavení prostředí

Potřebujete API klíč a správnou základní URL pro připojení vašeho klienta. Zaregistrujte se přes Google nebo e-mail na stránce Získat API klíč a získejte svůj přihlašovací údaj okamžitě. Zkušební období vám poskytuje $0.50 na sedm dní a můžete doplnit prostřednictvím USDT nebo USDC pomocí kryptoměn. Uchovávejte svůj klíč v bezpečí a ověřte, že odpovídá nastavení vašeho účtu.

Ujistěte se, že vaše prostředí podporuje standardní HTTP požadavky. Naše služba běží na jednom uncensored modelu, takže nemusíte spravovat více endpointů modelů. Nastavte svůj base URL na HTTPS://api.openaiapicompatibility.com/v1 před provedením jakýchkoli volání. To zajistí, že všechny požadavky budou správně směrovány na naše upravené inference servery.

Instalace oficiálního OpenAI SDK

Použijte oficiální SDK pro zachování kompatibility se stávajícími pracovními postupy OpenAI. Knihovny Pythonu a Node.js fungují přímo s naším koncovým bodem, protože dodržujeme standardní schéma API. Nainstalujte balíček do adresáře vašeho projektu pomocí preferovaného správce balíčků. Tento přístup se vyhne potřebě vlastního kódu HTTP klienta.

Podporujeme standardní parametry, jako jsou teplota, top_p a sekvence stop. SDK automaticky serializuje JSON a hlavičky žádosti. Můžete změnit základní URL v konfiguraci klienta tak, aby ukazovala na naše servery. To vám umožní přepínat mezi poskytovateli bez změny logiky aplikace.

Konfigurace základní URL a API klíče

Nastavte základní URL a API klíč v objektu konfigurace klienta. Základní URL je HTTPS://api.openaiapicompatibility.com/v1. Předáte svůj API klíč v hlavičce Authorization jako Bearer token. Tato konfigurace zajišťuje ověření vašich požadavků a jejich směrování ke správné službě.

Copycurl https://api.openaiapicompatibility.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "list all python packages for data science"}]
  }'

Ověřte své připojení voláním koncového bodu GET /v1/models. Tento příkaz vrátí seznam dostupných modelů, včetně identifikátoru modelu bez omezení. Tento krok použijte k potvrzení, že přístup k síti a přihlašovací údaje jsou správné, než začnete odesílat složité příkazy.

Vytvoření prvního chat completion požadavku

Odešlete požadavek POST na /v1/chat/completions se svými zpravami z promptu. Definujte model jako uncensored pro přístup k ne filtrovanému vyvozovacímu enginu. Zahrňte svůj systémový prompt pro nastavení chování a přidejte uživatelské zprávy pro obsah, který chcete vygenerovat.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.openaiapicompatibility.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Odpověď obsahuje vygenerovaný text a statistiky využití tokenů. Parametry jako teplotu můžete upravit pro ovládání kreativity. Model neodepírá zákonná témata pro dospělé nebo kontroverzní témata, což ho činí vhodným pro různé případy použití. Pro přístup k výstupu zkontrolujte pole content v objektu odpovědi.

Streamované odpovědi s SSE

Povolte streamování nastavením parametru stream na true v požadavku. Toto odesílá částečné odpovědi jako Server-Sent Events (SSE). Zlepšuje uživatelský zážinek zobrazením textu, jak je generován.

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Každý chunk obsahuje delta odpovědi. Tyto delty akumulujte pro rekonstrukci plného textu. Poslední chunk obsahuje celkové využití tokenů pro požadavek. Tato metoda funguje s jakýmikoli standardními klienty nebo knihovnami SSE. Snižuje vnímanou latenci při generování dlouhého obsahu.

Zvládání režimu JSON a volání funkcí

Použijte režim JSON nastavením response_format na json_object. To donutí model vracet platný JSON místo volného textu. Je užitečné pro extrakci strukturovaných dat nebo odpovědí API. Kombinujte to s voláním funkcí pro scénáře používání nástrojů.

Definujte své nástroje v poli tools. Uveďte název funkce, popis a parametry. Model vrátí podrobnosti o volání funkce v odpovědi. Poté můžete funkci vykonat a výsledek předat zpět modelu. To umožňuje složité vícekrokové pracovní postupy s modelem bez cenzury.

Node.js

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.openaiapicompatibility.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);