Passer au contenu principal

Mesurer chaque appel de modèle avec la passerelle IA

Pointez n'importe quel SDK IA vers Yardstick et nous enregistrons le coût de chaque appel.

La passerelle est le moyen le plus simple de capturer le coût. Vous changez l'URL de base de votre SDK IA existant pour celle de la passerelle Yardstick et ajoutez un en-tête. Yardstick transmet la requête au fournisseur sans modification, retransmet la réponse en streaming, et enregistre automatiquement l'usage de tokens & le coût.

  1. Sur la page Connect, ouvrez la carte de la passerelle IA et générez une clé (elle commence par

ysk_). La clé n'est affichée qu'une seule fois, copiez-la donc immédiatement.

  1. Définissez l'URL de base de votre SDK sur l'URL de la passerelle indiquée sur la carte et ajoutez l'en-tête

x-yardstick-key: ysk_.... Continuez à envoyer votre propre clé fournisseur ; Yardstick la transmet.

Anthropic & OpenAI sont pris en charge dès aujourd'hui, et le streaming fonctionne. Le coût de chaque appel alimente vos dépenses & votre ROI.

Avez-vous trouvé la réponse à votre question ?