Szybki Start API Kompatybilnego z OpenAI

Wymagania wstępne i konfiguracja środowiska

Potrzebujesz klucza API oraz prawidłowego adresu bazowego, aby połączyć klienta. Zarejestruj się za pomocą Google lub e-maila na stronie Pobierz klucz API, aby natychmiast otrzymać dane logowania. Kredyt próbny daje Ci $0.50 na siedem dni, a doładować możesz USDT lub USDC poprzez kryptowaluty. Chroń swój klucz i upewnij się, że pasuje do ustawień konta.

Upewnij się, że Twoje środowisko obsługuje standardowe żądania HTTP. Nasza usługa działa na jednym modelu uncensored, więc nie musisz zarządzać wieloma punktami końcowymi modeli. Ustaw swój base URL na HTTPS://api.openaiapicompatibility.com/v1 przed wykonaniem jakichkolwiek wywołań. Zapewnia to prawidłowe przekierowanie wszystkich żądań do naszych serwerów wnioskowania.

Instalacja oficjalnego SDK OpenAI

Użyj oficjalnych SDK, aby zachować kompatybilność z istniejącymi przepływami pracy OpenAI. Biblioteki Python i Node działają bezpośrednio z naszym punktem końcowym, ponieważ stosujemy się do standardowego schematu API. Zainstaluj pakiet w katalogu projektu za pomocą preferowanego menedżera pakietów. Podejście to eliminuje potrzebę pisania własnego kodu klienta HTTP.

Obsługujemy standardowe parametry, takie jak temperature, top_p i sekwencje stop. SDK obsługuje automatycznie serializację JSON i nagłówki żądań. Możesz zamienić URL bazowy w konfiguracji klienta, aby wskazać nasze serwery. Pozwala to na przełączanie się między dostawcami bez zmiany logiki aplikacji.

Konfigurowanie bazowego adresu URL i klucza API

Ustaw URL bazowy i klucz API w obiekcie konfiguracji klienta. URL bazowy to HTTPS://api.openaiapicompatibility.com/v1. Przekaż swój klucz API w nagłówku Authorization jako token Bearer. Ta konfiguracja zapewnia, że Twoje żądania są uwierzytelniane i kierowane do odpowiedniej usługi.

Copycurl https://api.openaiapicompatibility.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "list all python packages for data science"}]
  }'

Upewnij się o połączeniu, wywołując endpoint GET /v1/models. Zwraca on listę dostępnych modeli, w tym identyfikator modelu uncensored. Wykorzystaj ten krok, aby potwierdzić poprawność dostępu do sieci i poświadczeń przed wysłaniem złożonych promptów.

Wykonywanie pierwszego uzupełnienia czatu

Wyślij żądanie POST do /v1/chat/completions z wiadomościami promptu. Zdefiniuj model jako uncensored, aby uzyskać dostęp do niesfiltrowanego silnika wnioskowania. Dołącz swój systemowy prompt, aby ustawić zachowanie, i dodaj wiadomości użytkownika dla treści, które chcesz wygenerować.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.openaiapicompatibility.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Odpowiedź zawiera wygenerowany tekst oraz statystyki użycia tokenów. Możesz dostosować parametry, takie jak temperatura, aby kontrolować kreatywność. Model nie odmawia legalnych treści dla dorosłych lub kontrowersyjnych tematów, co czyni go odpowiednim do zróżnicowanych zastosowań. Sprawdź obiekt odpowiedzi w polu content, aby uzyskać dostęp do wyniku.

Odpowiedzi strumieniowe z SSE

Włącz strumieniowanie, ustawiając parametr stream na true w żądaniu. Wysyła to częściowe odpowiedzi jako zdarzenia wysyłane serwerowo (SSE). Poprawia to doświadczenie użytkownika, pokazując tekst, gdy jest generowany.

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Każdy fragment zawiera delta odpowiedzi. Accumuluj te delty, aby zrekonstruować pełny tekst. Ostatni fragment zawiera całkowite zużycie tokenów dla żądania. Ta metoda działa z dowolnym standardowym klientem lub biblioteką SSE. Zmniejsza postrzegane opóźnienia przy generowaniu długich treści.

Obsługa trybu JSON i wywoływania funkcji

Używaj trybu JSON, ustawiając response_format na json_object. To wymusza na modelu generowanie poprawnego JSON zamiast tekstu swobodnego. Jest przydatne do ekstrakcji danych strukturalnych lub odpowiedzi API. Połącz to z wywoływaniem funkcji w scenariuszach używania narzędzi.

Zdefiniuj swoje narzędzia w tablicy tools. Określ nazwę funkcji, opis i parametry. Model zwróci szczegóły wywołania funkcji w odpowiedzi. Możesz następnie wykonać funkcję i przesłać wynik z powrotem do modelu. Umożliwia to złożone wieloetapowe przepływy pracy z modelem uncensored.

Node.js

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.openaiapicompatibility.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);