Respan - Complete AI observability from tracing to deployment

Qu'est-ce que Respan

Dans le domaine de l'intelligence artificielle, les équipes techniques font face à des défis croissants à mesure que leurs applications gagnent en complexité. Le debuggage des agents IA devient rapidement un cauchemar opérationnel : des chaînes d'appels multiples, des modèles variés, des coûts qui s'envolent sans contrôle, et une qualité difficile à mesurer de manière systématique. Respan, anciennement Keywords AI, propose une solution intégrée qui répond à ces problématiques fondamentales.

Respan est une plateforme d'observabilité IA complète, conçue pour accompagner les équipes tout au long du cycle de vie de leurs agents IA. La plateforme offre un flux de travail unifié : du traçage précis des exécutions à l'évaluation objective des performances, en passant par l'optimisation itérative et le déploiement sécurisé en production. Cette approche intégrée permet de réduire considérablement le temps de développement et d'améliorer la fiabilité des systèmes IA.

L'architecture technique de Respan repose sur une intégration de plus de 500 modèles through son AI Gateway, couvrant les principaux fournisseurs comme OpenAI, Anthropic, Google Gemini, Azure et AWS Bedrock. La plateforme prend en charge plus de 40 frameworks主流, notamment LangChain, Vercel AI SDK, OpenAI Agents SDK, Mastra, LlamaIndex et Agno, offrant ainsi une flexibilité d'intégration remarquable.

Soutenue par Y Combinator, la société a traité plus de 80 000 milliards de tokens à ce jour, démontrant une capacité de mise à l'échelle éprouvée. Parmi ses clients de référence figurent Retell AI, Mem0, AlphaSense et Gumloop, des entreprises reconnues dans l'écosystème de l'IA.

Les fonctionnalités principales de Respan

La plateforme Respan se distingue par son architecture modulaire qui couvre l'intégralité du cycle de vie des agents IA. Chaque module a été conçu pour répondre à des besoins opérationnels spécifiques des équipes d'ingénierie.

Tracing - Traçage intelligent : Le module de traçage capture de manière exhaustive chaque prompt, appel d'outil et réponse générée. L'implémentation technique permet d'enregistrer plus d'un million de logs par heure en mode asynchrone, sans impacter les performances de l'application. Les ingénieurs peuvent rechercher et filtrer les traces par contenu, latence, coût, qualité ou métadonnées personnalisées. La fonctionnalité Playground permet de rejouer les traces de production pour un debuggage précis, et il est possible de transformer ces traces en datasets d'évaluation.

Evaluate - Évaluation structurée : Respan intègre des évaluateurs multiples (code, humain, LLM) dans un workflow unifié. Les équipes peuvent définir des métriques personnalisées et construire des datasets versionnés à partir des traces de production. Cette fonctionnalité permet de comparer objectivement prompts, modèles et releases avec des baselines définies.

Optimize - Optimisation itérative : Le versionnage complet des prompts, outils, modèles et workflows offre un contrôle total sur l'évolution du système. Les tests comparatifsagainst des baselines réelles permettent une optimisation guidée par les données, couvrant les prompts, les outils et l'orchestration de manière联合.

Deploy - Déploiement sécurisé : Le AI Gateway centralise l'accès aux 500+ modèles. L'interface permet de déployer directement les versions de prompts et workflows, avec des capacités de release gating, comparaison de comportement et rollback en un clic.

Monitor - Surveillance en temps réel : Plus de 80 types de graphiques personnalisables forment des tableaux de bord adaptés aux besoins spécifiques. Les alertes configurables (Slack, email, SMS) déclenchent des workflows automatisés en cas d'anomalies détectées.

Qui utilise Respan

Respan s'adresse à un large spectre d'équipes techniques, des startups aux grandes entreprises, qui développent et déploient des agents IA en production. Voici les cas d'usage les plus représentatifs.

Plateformes vocales IA à grande échelle : Retell AI, spécialisé dans les appels vocaux IA, utilise Respan pour surveiller plus d'un million de requêtes par heure. En reliant chaque génération LLM à l'appel téléphonique via le thread_identifier, l'équipe obtient une visibilité complète sur chaque conversation. Cette implémentation a permis d'atteindre une capacité de 1M+ logs/heure avec une traçabilité de bout en bout.

Détection rapide des problèmes en production : Les équipes confrontées à la dérive comportementale des agents IA bénéficient des alertes en temps réel. Respan surveille les indicateurs critiques (fallback, retry, JSON invalide, stream timeout) et notifie immédiatement les équipes. Ce système permet de résoudre les problèmes de production 10 fois plus rapidement, comme l'a témoigné Retell AI.

Préparation de données pour l'entraînement : L'exportation massive de logs de production pour construire des datasets d'entraînement devient simple grâce aux exports batch (JSONL, CSV) avec filtrage par attributs personnalisés. Les équipes économisent 90% du temps de préparation des données.

Comparaison inters modèles : Le gateway unifié combinée aux tests comparatifsagainst des baselines permet une sélection de modèle guidée par les données plutôt que par l'intuition.

Gestion et rollback des prompts : L'historique complet des versions de prompts et le rollback en un clic offrent un contrôle sécurisé sur l'itération des prompts.

Conformité enterprise : Les certifications SOC 2, HIPAA (avec BAA) et GDPR permettent de répondre aux exigences de sécurité des grandes organisations.

Caractéristiques techniques et capacités d'intégration

L'architecture technique de Respan a été conçue pour répondre aux exigences des environnements de production les plus exigeants, avec une emphase particulière sur la scalabilité, la flexibilité et la sécurité.

Accès unifié aux modèles : Le AI Gateway de Respan agrège plus de 500 modèles provenant de fournisseurs majeurs. Cette abstraction permet aux équipes de changer de modèle sans modification du code applicatif, tout en bénéficiant de fonctionnalitéscentrales comme le key vault (BYOK), la mise en cache des requêtes, les retry automatiques avec fallback, l'équilibrage de charge et les limites de débit et de dépenses. Le plan Team supporte jusqu'à 8 400 requêtes par minute.

Intégration frameworks : La plateforme est compatible avec plus de 40 frameworks主流, créant un écosystème particulièrement riche pour les développeurs. Les integrations incluent LangChain, Vercel AI SDK, OpenAI Agents SDK, Mastra, LlamaIndex, Google GenAI, Mem0, Cognee et Agno. Cette couverture exhaustive permet d'adopter Respan quel que soit l'écosystème technique choisi.

SDK et protocoles : Respan fournit des SDK officiels en Python et JavaScript/TypeScript pour une intégration rapide. Le support natif d'OpenTelemetry permet l'intégration dans les pipelines d'observabilité existants. La plateforme supporte également les workloads multimodaux, incluant le traitement d'images et de voix.

Performance et fiabilité : Les métriques de performance démontrent une capacité de traitement exceptionnelle : plus de 80 000 milliards de tokens traités à ce jour, avec des clients atteignant 1M+ requêtes par heure. La disponibilité technique est garantie par un SLA de 99,9% pour le plan Team et 99,99% pour le plan Enterprise.

Sécurité et conformité : Les certifications obtenues (ISO 27001, SOC 2, HIPAA avec BAA, GDPR) répondent aux exigences les plus strictes des environnements régulés, permettant le déploiement dans les secteurs financier et santé.

Tarification de Respan

Respan propose une structure tarifaire transparente avec trois offres distinctes, permettant aux équipes de choisir la solution adaptée à leurs besoins et leur volume d'utilisation.

Offre Pro : Cette offre gratuite permet aux développeurs et petites équipes de découvrir la plateforme. Avec 100 000 logs annuels, 1 000 scores, 5 datasets, 2 évaluateurs et 5 prompts, elle couvre les besoins basiques d'observabilité pour les projets en phase initiale.

Offre Team : À 199$ par mois en facturation annuelle, cette offre apporte des capacités illimitées en datasets, évaluateurs et prompts. Les fonctionnalités additionnelles incluent un canal Slack privé pour le support et l'accès aux rapports SOC 2. Le throughput est limité à 8 400 requêtes par minute.

Offre Enterprise : Cette offre personnalisée s'adresse aux grandes organisations avec des besoins spécifiques. Elle inclut des tarifs dégressifs par volume, un SLA personnalisé, un ingénieur support dédié et la possibilité de signer un BAA HIPAA. Les clients Enterprise bénéficient également de flexibilité de déploiement et de conditions de paiement adaptées.

Tarification additionnelle : Au-delà des inclusions de chaque plan, des frais supplémentaires s'appliquent pour les volumes élevés : 8$ par 100 000 logs supplémentaires et 1$ par 1 000 scores additionnels.

Questions fréquentes