Yufeng Huang · Ingénieur logiciel, Cresta

Points clés

  • Cresta, un partenaire de l’écosystème Avaya Infinity, a connecté Cresta AI Agent à Infinity via son interface de streaming média, utilisant une base partagée pour l’audio en temps réel, les messages de contrôle et le contexte conversationnel.
  • La mise en œuvre a révélé des leçons d'ingénierie pratiques concernant la configuration de session, le rythme audio, la livraison de transcription, la résilience et le transfert humain dans un environnement de voix IA de production.

Lorsqu’un client appelle un centre de contact, certains des millisecondes les plus critiques de l’interaction se situent entre le moment où l’appelant cesse de parler et le moment où l’IA commence à répondre. Réduire cet écart nécessite un chemin propre et rapide pour que l’audio quitte le système téléphonique, atteigne un agent IA et revienne pendant que l’appel reste en direct et que le client attend.

Obtenir le bon timing peut faire la différence entre une attente frustrante et une expérience fluide qui construit une confiance immédiate.

Avaya Infinity fournit ce chemin via une interface média WebSocket qui permet à un service externe de diffuser l’audio d’appel dans les deux sens et d’échanger des messages de contrôle en temps réel.

Cresta, un partenaire de l’écosystème Avaya Infinity, a été l’un des premiers à construire sur l’interface, connectant Cresta AI Agent à Infinity.

Dans ce billet, nous partageons ce qui a retenu l’attention de notre équipe d’ingénierie, comment nous avons adapté notre architecture IA vocale existante, et ce que nous avons appris en passant d’un nouveau protocole à une intégration IA de centre de contact fonctionnelle.

Ce que l'intégration Cresta et Avaya prend en charge

Travaillant contre l’interface WebSocket d’Avaya Infinity, l’intégration prend désormais en charge un flux de travail complet d’IA vocale :

  • Conversations vocales IA en temps réel. L’appelant parle à un agent IA Cresta qui écoute, raisonne, recherche des réponses et répond. Même si l’appelant interrompt à mi‑phrase, l’agent IA s’arrête pour écouter, permettant un flux naturel.
  • Transfert vers un agent humain. Lorsque l’IA décide qu’une personne doit prendre le relais, elle dirige l’appel vers la file d’attente d’agent appropriée, tout en conservant tout le contexte de la conversation dans le processus.
  • Transfert d’appel direct. Un transfert direct devient la meilleure option lorsque la demande de l’appelant nécessite un routage vers un département spécialisé, une file d’attente différente ou un service externe plutôt que le pool d’agents en direct standard.
  • Transcription en direct pour l’agent. Lorsqu’une personne prend l’appel, toute la conversation que l’appelant a eue avec l’agent IA est déjà sur son écran.
  • Résumé généré par IA lors du transfert. L’agent obtient également un court résumé écrit par l’IA de l’appel, afin qu’il n’y ait pas de moment « pouvez‑vous répéter tout ce que vous venez de dire ? »

Ce qui a retenu l'attention sur la conception média WebSocket d'Avaya

À travers notre travail avec l’équipe Avaya, nous avons appris que l’interface était conçue pour supporter plus qu’une seule intégration de bot. Le cas d’usage initial était un agent virtuel, mais l’objectif plus large était de fournir une connexion de plateforme réutilisable pour des partenaires et services supplémentaires.

Cette décision de conception apparaît dans toute l’interface. Nous avons connecté l’agent AI Cresta à plusieurs plateformes de centre de contact, ce qui nous donne une vision claire de la façon dont ces intégrations fonctionnent généralement. Voici ce qui nous a marqué dans l’approche Avaya.

La plateforme vous appelle, pas l’inverse

Dans de nombreuses configurations de streaming, votre service ouvre la connexion, et le centre de contact répond. Avaya inverse cette logique. Son système média s’ouvre et ouvre la connexion vers vous.

Cela change votre façon de construire : votre serveur doit être prêt à accepter un afflux de connexions entrantes, et vous suivez chaque appel par sa session plutôt que par la connexion elle‑même, car les connexions peuvent apparaître et disparaître.

Une connexion prend en charge deux niveaux d’utilisation

L'interface est délibérément conçue pour fonctionner à deux niveaux.

  • Si un service n’a besoin que des bases, le protocole transmet le flux média brut et se retire : prenez l’audio et acheminez-le comme vous le souhaitez.
  • Construire à un niveau supérieur, et chaque service est modélisé à partir de la même base sur le même protocole, que ce soit un agent virtuel, la reconnaissance vocale automatique, la synthèse vocale, la transcription, l’assistance à l’agent, la traduction ou l’enregistrement.

Cette conception en couches explique pourquoi la configuration se fait en deux étapes. D'abord, les deux parties conviennent des bases du flux média, comme le format audio et les flux qui circulent. Ensuite, vous activez le service spécifique que vous souhaitez.

La base partagée est le point

Pour les services qu'Avaya construit nativement, tels que la reconnaissance vocale automatique, la synthèse vocale et la transcription, le moteur d'un partenaire peut remplacer celui d'Avaya, et tout le reste fonctionnant sur Infinity continue de fonctionner comme avant.

Pour les capacités qu’Avaya ne construit pas lui‑même, cette interface modélisée est le point d’extension. Notre Agent IA est le premier agent virtuel de son genre sur la plateforme, et il se présente comme un service de premier plan, pas comme un ajout câblé autour des bords.

  • Une base partagée soutient toujours les exigences spécifiques aux services. Rien de cela ne signifie que chaque service est identique, et c’est intentionnel. Chaque service est plus prescriptif au-dessus de la couche média commune, avec un ensemble bien défini de flux et d’événements qui débloquent ce qui rend ce service précieux. L’assistance à l’agent, par exemple, transporte l’audio par participant, ce qui signifie gérer plusieurs flux simultanément.
  • Le contexte de conversation revient à Avaya Infinity. Cependant, lorsqu’un service utilise la connexion, les données se déplacent de la même façon à chaque fois : vers Infinity, qui décide quoi en faire, que ce soit placer une transcription sur le bureau de l’agent lors du transfert ou piloter l’étape suivante de l’appel. Et ce n’est pas seulement l’audio qui voyage. La connexion transporte également la conversation, comme la transcription en cours que nous remettons à l’écran de l’agent lors du transfert.

Un aspect qui nous a marqué est la capacité d’Avaya Infinity à transmettre la conversation en direct sur la même connexion. Cette capacité est devenue le centre de certains des travaux d’ingénierie les plus intéressants.

  • Le son circule dans des paquets étiquetés. Au lieu d’envoyer un flux audio brut, Avaya Infinity encapsule l’audio dans des paquets compacts. Chaque paquet commence par une petite étiquette indiquant à quel flux il appartient, dans quel ordre il se trouve et quand il a été capturé. Cela permet à plusieurs flux audio, tels que les deux côtés d’un appel, de partager une connexion tout en restant clairement séparés, et donne aux deux extrémités ce dont elles ont besoin pour repérer les pertes audio et maintenir une lecture fluide.
  • La résilience est intégrée à chaque session. Avaya Infinity considère chaque session d’appel comme conçue pour résister aux problèmes. Elle dispose de mécanismes intégrés pour se rétablir après une perte de connexion inattendue, d’envois réguliers de messages de vérification pour confirmer que le lien est toujours actif, et d’une façon propre et confirmée de terminer un appel. La connexion est également simple à gérer : chaque connexion présente un jeton signé qui est vérifié avant même que la connexion ne soit acceptée, sans état de connexion partagé à synchroniser entre les systèmes.

Ensemble, la conception est générique lorsqu’un intégrateur souhaite un contrôle brut, prescriptive lorsqu’une structure libère la valeur d’un service, et suffisamment standardisée pour qu’un partenaire intègre une fois et croisse au fil du temps. Être le premier sur l’interface place Cresta dans une position pour tester si cette promesse tient.

Comment Cresta a adapté son architecture d'IA vocale

La philosophie « intégration unique » d’Avaya a un reflet de notre côté.

Le système vocal de Cresta garde trois choses séparées:

  • Comment le son se déplace sur une plateforme donnée
  • Ce que l'IA en fait
  • Comment l’appel est contrôlé

Le pipeline IA gère la conversion parole-texte, détermine quand l'appelant a terminé son tour, traite la demande via l'agent IA et reconvertit la réponse en parole. La couche de contrôle d'appel gère des fonctions telles que le transfert, la mise en attente et le passage.

Chaque nouvelle plateforme n’a besoin que d’une couche fine pour déplacer l’audio, d’un traducteur pour le format de message de cette plateforme, et d’un gestionnaire pour ses commandes de contrôle d’appel. Tout le reste est partagé.

Construire l'Avaya Infinity integration s'est réduit à trois tâches : enseigner à notre traducteur à lire et écrire les paquets audio d'Avaya, ajouter un gestionnaire pour les messages de contrôle d'Avaya et connecter ces composants à notre pipeline existant.

La plomberie sous-jacente avait déjà été construite. Elle nous a permis de passer d’un simple test d’écho à un transfert humain en direct en six semaines, avec un ingénieur consacrant 50 % de sa capacité au travail.

Quatre leçons d’ingénierie de la construction d’une intégration IA vocale en temps réel

Une spécification vous indique ce qui est possible. Les appels en direct vous indiquent ce qui est vrai. Le travail intéressant se trouvait dans l’écart entre les deux.

1. Répondez dès que la plateforme est prête.

Notre première séquence de configuration a retenu ses confirmations pour garder les choses propres, et elle s'est immédiatement bloquée. La plateforme attend notre réponse avant d'envoyer l'étape suivante, donc la solution était de confirmer la session dès son ouverture puis de continuer.

Deux autres éléments ont façonné notre approche de la configuration :

  • La plateforme envoie les messages de configuration ensemble à dessein. Une fois le regroupement activé, le message qui ouvre la session et le message qui démarre le bot arrivent dans un seul paquet. C’est intentionnel, et cela nous avantage : notre côté obtient tout ce dont il a besoin pour mettre la conversation en place en un seul échange au lieu de deux allers-retours, ce qui évite les silences inutiles au début de l’appel. L’effet pratique est qu’un paquet peut contenir plus d’un message, nous avons donc appris à nos lecteurs à ne plus supposer qu’un paquet signifie un message et à les séparer.
  • Nous protégeons les premiers mots du correspondant.La plateforme conserve l’audio du correspondant jusqu’à ce que nous ayons reconnu la configuration, donc avec le regroupement il n’y a rarement rien en attente. Nous conservons le tampon de toute façon comme marge de sécurité, car que les messages de configuration arrivent ensemble ou un à un n’est pas quelque chose que nous contrôlons, et nous ne voulons jamais perdre les premiers mots d’un appel.

2. Le rythme audio affecte la réactivité, pas seulement le son.

Notre premier audio était lent et saccadé, mais la cause n’était pas le format audio. C’était la façon dont nous découpons l’audio sortant. Lorsque nous l’envoyions en petits morceaux, nous comptions sur le minuteur interne du système des centaines de fois par seconde, et ses petites oscillations de timing se transformaient en lacunes dans le discours de l’agent.

La solution évidente, des pièces plus grandes, a un inconvénient : plus la pièce est déjà en vol, plus il faut de temps à l’agent pour arrêter de parler lorsque l’appelant intervient. Nous avons commencé par la plus petite tranche du protocole, 20 ms, avons rencontré des problèmes de performance de notre côté, puis sommes passés au maximum du protocole de 200 ms, ce qui a rendu la parole fluide et a maintenu les interruptions rapides.

Il reste de la marge pour le réduire davantage afin d'obtenir un arrêt encore plus rapide lorsque l'appelant surgit, c'est exactement pourquoi nous avons gardé la taille de bloc comme un réglage ajustable plutôt qu'une valeur codée en dur.

Cette gamme est également un témoignage discret de la conception d’Avaya Infinity. Le protocole d’Avaya Infinity nous permet de sélectionner un point d’exploitation sur la plage de 20 ms à 200 ms.

3. Le bureau de l’agent possède ses propres règles de transcription.

La remise de la transcription en direct à l’agent lors du transfert nous a surpris à plusieurs reprises, car l’écran a ses propres attentes :

  • La conversation est apparue hors séquence. L'écran organise la conversation par horodatage de chaque ligne, et nous envoyions les lignes toutes à la fois sans aucune. Désormais, nous estampillons chaque ligne et laissons l'écran les trier dans l'ordre où l'appel s'est réellement déroulé.
  • Certaines lignes du transcript ont disparu. Même avec l'ordre corrigé, envoyer tout le transcript en une seule rafale a fait perdre certaines lignes. Un tampon plus grand n'était pas la solution. Nous avons arrêté d'envoyer tout à la fois et avons commencé à envoyer chaque tour dès qu'il était final, ce qui répartit naturellement le transcript sur la longueur réelle de l'appel.
  • Les réponses de l’agent IA arrivaient en morceaux. L’IA prononce une phrase petit à petit, et sa réponse s’élargit au fur et à mesure qu’elle est dite, de sorte qu’une seule réponse peut atteindre l’écran sous forme de plusieurs fragments épars. Nous rassemblons désormais les morceaux d’une réponse et les assemblons en une seule ligne propre avant qu’elle ne soit envoyée.

4. L'arrêt est l'endroit où les transcriptions peuvent disparaître.

Envoyer chaque tour dès qu’il est final signifie qu’un travailleur en arrière‑plan continue d’envoyer jusqu’à la fin de l’appel. Cela crée une course : le travailleur essaie toujours d’envoyer des tours alors que l’appel se termine.

Le tournant le plus à risque est celui que vous ne pouvez le moins se permettre de perdre. La dernière ligne avant un transfert est rarement un remplissage. C'est généralement soit l'agent IA indiquant à l'appelant qu'il est en cours de transfert, soit l'appelant disant exactement ce qui a déclenché le transfert. Les deux sont exactement le contexte dont l'agent humain qui prend l'appel a le plus besoin.

Entre nos propres tests et la revue de code, nous avons identifié trois façons dont la dernière étape pourrait mal tourner :

  • La fausse réussite. L'IA a terminé sa dernière ligne juste après que nous ayons arrêté l'expéditeur. Nous avons enregistré le tour comme envoyé, mais il n'a jamais réellement atteint Avaya. C'était le dangereux, car tout semblait correct. Les journaux ont signalé le succès, donc personne ne saurait qu'un tour a disparu.
  • La chute visible. L’IA a terminé sa dernière ligne juste au moment où l’expéditeur se mettait à éteindre, donc le tour a été accepté puis abandonné avant d’être envoyé.
  • Le double démarrage. Une condition interne plus rare aurait pu démarrer l’expéditeur deux fois et consommer des ressources inutiles. Nous avons ajouté une garde pour l’empêcher.

Les corrections sont intervenues en couches. Tout d’abord, nous avons donné au travailleur un état explicite de « arrêt », de sorte qu’une prise qui arrive en plein arrêt est capturée et traitée intentionnellement plutôt que de passer à travers, ce qui clôture les deux premiers scénarios. Ensuite, nous avons fait en sorte que chaque prise abandonnée apparaisse clairement dans les journaux et soit facile à rechercher, afin que si l’une passe à travers, nous la voyions.

Nous avons protégé contre le double démarrage même si cela ne peut pas se produire actuellement, car "ne peut pas se produire aujourd’hui" a l’habitude de devenir "s’est produit en production" après suffisamment de refactorisations. Si une transcription peut disparaître, vous voulez en être informé depuis un tableau de bord, pas d’un client.

Intégrer une tolérance contrôlée dans une interface en développement

Une leçon plus large s’applique à toutes les quatre : avec une interface en développement, intégrez une tolérance contrôlée dans ce que l’intégration accepte.

Nous avons construit l’intégration pour tolérer les détails optionnels manquants, les extras inattendus et les types de messages que nous ne gérons pas encore, de sorte qu’une spécification en évolution puisse ajouter des éléments sans mettre hors ligne nos appels.

Être un bon early adopter consiste surtout à avoir l’humilité intégrée dans vos paramètres par défaut.

Ce que nous explorons ensuite

L’intégration actuelle donne à un agent humain accès au transcript et à un résumé généré par IA lorsqu’un Agent Cresta AI remet l’appel.

Nous explorons maintenant avec Avaya comment cette continuité pourrait s'étendre à la partie humaine de l'interaction. Une prochaine étape potentielle est de connecter l'appel transféré avec Cresta Agent Assist afin que l'agent puisse recevoir des réponses, des prochaines étapes suggérées et des orientations en temps réel.

Nous évaluons également comment la même connexion sous-jacente pourrait soutenir des capacités supplémentaires de Cresta, y compris Traduction en temps réel. D'autres domaines envisagés incluent un son de meilleure qualité, une reconnexion automatique et des contrôles d'appel étendus.

Chaque capacité nécessiterait sa propre mise en œuvre et approbation. L’avantage est que les équipes peuvent construire sur une connexion existante plutôt que de repartir à zéro avec une intégration entièrement séparée.

« Avaya a ouvert la voie à un déploiement évolutif et impactant de l’IA en construisant une plateforme moderne conçue pour fonctionner de façon transparente avec les solutions de Cresta. Nous sommes incroyablement enthousiastes à l’avenir de la plateforme Infinity et du partenariat entre Cresta et Avaya. » Dong Zhao, Tech Lead Manager, Voice AI Infra, Cresta

"En tant que leader de l’IA pour l’expérience client avec des intégrations sur pratiquement toutes les plateformes CCaaS d’entreprise, Cresta a été un partenaire précoce idéal pour l’intégration WebSocket média d’Infinity. Ils ont été avec nous tout au long du processus de conception et ont rapidement fourni des retours pertinents, ont été rigoureux dans les tests, et ont démontré de façon solide que l’approche fonctionne pour l’IA vocale avancée."John Graybill, Directeur de la gestion de produit, Avaya

Explorez l'écosystème des partenaires Avaya Infinity pour en savoir plus.

Remerciements : Dong Zhao, Nick Tomaselli, Nicky Budd-Thanos et Masoud Assali de Cresta ont également contribué à ce texte.