OpenAI-kompatible API-Schnellstart

Voraussetzungen und Umgebungseinrichtung

Sie benötigen einen API-Schlüssel und die korrekte Base URL, um Ihren Client zu verbinden. Melden Sie sich mit Google oder E-Mail auf der Seite 'API-Schlüssel erhalten' an, um Ihre Zugangsdaten sofort zu erhalten. Das Testguthaben gibt Ihnen $0,50 für sieben Tage, und Sie können mit USDT oder USDC via Krypto aufladen. Bewahren Sie Ihren Schlüssel sicher auf und überprüfen Sie, ob er mit Ihren Kontoeinstellungen übereinstimmt.

Stellen Sie sicher, dass Ihre Umgebung Standard-HTTP-Anfragen unterstützt. Unser Dienst läuft mit einem einzelnen uncensored-Modell, sodass Sie keine mehreren Modell-Endpunkte verwalten müssen. Legen Sie Ihre Base URL auf HTTPS://api.openaiapicompatibility.com/v1 fest, bevor Sie Aufrufe tätigen. Dies stellt sicher, dass alle Anfragen korrekt an unsere optimierten Inference-Server geleitet werden.

Installation des offiziellen OpenAI-SDK

Verwenden Sie die offiziellen SDKs, um die Kompatibilität mit bestehenden OpenAI-Workflows aufrechtzuerhalten. Die Python- und Node-Bibliotheken funktionieren direkt mit unserem Endpunkt, da wir dem Standard-API-Schema folgen. Installieren Sie das Paket in Ihrem Projektverzeichnis mit Ihrem bevorzugten Paketmanager. Dieser Ansatz vermeidet die Notwendigkeit von benutzerdefiniertem HTTP-Client-Code.

Wir unterstützen Standardparameter wie temperature, top_p und Stop-Sequenzen. Das SDK übernimmt die JSON-Serialisierung und die Anfrage-Header automatisch. Sie können die Basis-URL in der Client-Konfiguration ändern, um auf unsere Server zu verweisen. Dies ermöglicht es Ihnen, zwischen Anbietern zu wechseln, ohne Ihre Anwendungslogik zu ändern.

Konfigurieren der Basis-URL und des API-Schlüssels

Legen Sie die Basis-URL und den API-Schlüssel in Ihrem Client-Konfigurationsobjekt fest. Die Basis-URL ist HTTPS://api.openaiapicompatibility.com/v1. Übergeben Sie Ihren API-Schlüssel im Authorization-Header als Bearer-Token. Diese Konfiguration stellt sicher, dass Ihre Anfragen authentifiziert und an den richtigen Dienst geleitet werden.

Copycurl https://api.openaiapicompatibility.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "list all python packages for data science"}]
  }'

Überprüfen Sie Ihre Verbindung, indem Sie den Endpunkt GET /v1/models aufrufen. Dieser gibt eine Liste der verfügbaren Modelle zurück, einschließlich der ID des uncensored-Modells. Nutzen Sie diesen Schritt, um zu bestätigen, dass Ihr Netzwerkzugriff und Ihre Anmeldeinformationen korrekt sind, bevor Sie komplexe Prompts senden.

Ihre erste Chat-Antwort erstellen

Sende eine POST-Anfrage an /v1/chat/completions mit deinen Prompt-Nachrichten. Definiere das Modell als uncensored, um auf die ungefilterte Inferenz-Engine zuzugreifen. Füge dein System-Prompt hinzu, um das Verhalten festzulegen, und füge Benutzer-Nachrichten für den zu generierenden Inhalt hinzu.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.openaiapicompatibility.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Die Antwort enthält den generierten Text und die Token-Nutzungsstatistiken. Sie können Parameter wie die Temperatur anpassen, um die Kreativität zu steuern. Das Modell lehnt legale erwachsene oder kontroverse Themen nicht ab, was es für vielfältige Anwendungsfälle geeignet macht. Überprüfen Sie das Antwortobjekt auf das Feld „content“, um auf die Ausgabe zuzugreifen.

Streaming-Antworten mit SSE

Aktivieren Sie das Streaming, indem Sie den Parameter „stream“ auf true in Ihrer Anfrage setzen. Dies sendet teilweise Antworten als Server-Sent Events (SSE). Es verbessert die Benutzererfahrung, indem Text angezeigt wird, während er generiert wird.

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Jeder Chunk enthält eine Delta der Antwort. Akkumulieren Sie diese Deltas, um den vollständigen Text wiederherzustellen. Der letzte Chunk enthält die gesamten Token-Nutzungsdaten für die Anfrage. Diese Methode funktioniert mit jedem Standard SSE-Client oder jeder Bibliothek. Sie reduziert die wahrgenommene Latenz bei der Generierung langer Inhalte.

Verarbeitung von JSON-Modus und Function Calling

Verwenden Sie den JSON-Modus, indem Sie response_format auf json_object setzen. Dies zwingt das Modell, gültiges JSON anstelle von Freitext auszugeben. Dies ist nützlich für die Extraktion strukturierter Daten oder API-Antworten. Kombinieren Sie dies mit Funktionsaufrufen für Szenarien zur Werkzeugnutzung.

Definieren Sie Ihre Tools im tools-Array. Geben Sie den Funktionsnamen, die Beschreibung und die Parameter an. Das Modell gibt die Funktionsaufrufdetails in der Antwort zurück. Sie können dann die Funktion ausführen und das Ergebnis zurück an das Modell senden. Dies ermöglicht komplexe Multi-Step-Workflows mit dem uncensored-Modell.

Node.js

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.openaiapicompatibility.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);