يوفنج هوانغ · مهندس برمجيات، Cresta
الاستنتاجات الرئيسية
- ربط Cresta، شريك نظام بيئي لـ Avaya Infinity، وكيل Cresta AI مع Infinity عبر واجهة وسائط البث، مستخدمًا أساسًا مشتركًا للصوت الحقيقي، رسائل التحكم، وسياق المحادثة.
- أظهرت التنفيذ دروسًا هندسية عملية تتضمن إعداد الجلسة، وتوقيت الصوت، وتسليم النص، والمرونة، والتسليم البشري في بيئة صوتية للذكاء الاصطناعي الإنتاجية.
عندما يتصل عميل بمركز الاتصال، تسقط بعض أكثر المليلي ثانية صعوبة في التفاعل بين لحظة توقف المتصل عن التحدث ولحظة بدء الذكاء الاصطناعي بالرد. إغلاق ذلك الفجوة يتطلب مسارًا نظيفًا وسريعًا للصوت ليغادر نظام الهاتف، يصل إلى وكيل الذكاء الاصطناعي، ويعود بينما يظل الاتصال حيًا والعميل في الانتظار.
يمكن أن يجعل توقيت التوقيت الصحيح الفرق بين انتظار محبط وتجربة سلسة تبني ثقة فورية.
Avaya Infinity يوفر هذا المسار عبر واجهة وسائط WebSocket تسمح لخدمة خارجية بتدفق صوت المكالمة في كلا الاتجاهين وتبادل رسائل التحكم في الوقت الحقيقي.
Cresta، شريك نظام بيئي لـ Avaya Infinity، كان من بين الأوائل الذين بنوا على الواجهة، موصلين Cresta AI Agent إلى Infinity.
في هذه المقالة، نشارك ما لفت انتباه فريق الهندسة لدينا، كيف عدلنا معمارية الذكاء الاصطناعي الصوتية الحالية، وما تعلمناه أثناء الانتقال من بروتوكول جديد إلى تكامل مركز اتصال يعمل بالذكاء الاصطناعي.
ما الذي تدعمه تكامل Cresta و Avaya
يعمل ضد واجهة WebSocket لـ Avaya Infinity، الآن يدعم التكامل سير عمل AI صوتي كامل:
- محادثات صوتية بالذكاء الاصطناعي في الوقت الحقيقي. يتحدث المتصل إلى وكيل Cresta AI يستمع، يتفكّر، يبحث عن إجابات، ويتكلم. حتى لو أوقف المتصل في منتصف الجملة، يتوقف الوكيل الذكي للاستماع، مما يتيح تدفقًا طبيعيًا.
- تسليم الوكيل المباشر. عندما يقرر الذكاء الاصطناعي أن الشخص يجب أن يتولى، يوجه المكالمة إلى قائمة انتظار الوكيل الصحيح، مع الحفاظ على كل سياق المحادثة في العملية.
- نقل مكالمة مباشر. يصبح النقل المباشر خيارًا أفضل عندما يتطلب طلب المتصل توجيهه إلى قسم متخصص، أو قائمة انتظار مختلفة، أو خدمة خارجية بدلاً من مجموعة الوكلاء المباشرين القياسية.
- النسخة الحية للوكيل. عندما يتلقى شخص ما المكالمة، تكون كل المحادثة التي أجراها المتصل مع الوكيل الصوتي موجودة بالفعل على شاشته.
- ملخص مُنشئ بالذكاء الاصطناعي عند التسليم. يحصل الوكيل أيضًا على ملخص قصير مكتوب بالذكاء الاصطناعي للنداء، بحيث لا يحدث لحظة "هل يمكنك تكرار كل ما قلته؟"
ما الذي لفت الانتباه في تصميم وسائط WebSocket من Avaya
من خلال عملنا مع فريق Avaya، تعلمنا أن الواجهة صممت لدعم أكثر من تكامل بوت واحد. كان الاستخدام الأولي هو وكيل افتراضي، لكن الهدف الأوسع كان توفير اتصال منصة قابل لإعادة الاستخدام لشركاء وخدمات إضافية.
يظهر هذا القرار التصميمي في جميع أنحاء الواجهة. لقد ربطنا وكيل Cresta AI مع عدة منصات مركز الاتصال، لذا لدينا فهم واضح لكيفية عمل هذه التكاملات عادةً. إليك ما لفت انتباهنا حول نهج Avaya.
المنصة تتصل بك، وليس العكس
في العديد من إعدادات البث، يفتح خدمتك الاتصال، ويستجيب مركز الاتصال. Avaya تغير ذلك. نظام الوسائط الخاص بها يفتح الاتصال لك.
هذا يغيّر طريقة بناءك: يجب أن يكون خادمك جاهزًا لقبول تدفق الاتصالات الواردة، وتتبّع كل مكالمة حسب الجلسة بدلاً من الاتصال نفسه، لأن الاتصالات قد تأتي وتذهب.
اتصال واحد يدعم مستويين من الاستخدام
تم بناء الواجهة عمدًا لتعمل على مستويين.
- إذا احتاجت الخدمة فقط إلى الأساسيات، يتولى البروتوكول نقل تدفق الوسائط الخام ويخرج من الطريق: خذ الصوت وأوجّهه كما تشاء.
- بناء على مستوى أعلى، وكل خدمة تُنمذج من نفس الأساس على نفس البروتوكول، سواء كان ذلك وكيلًا افتراضيًا، التعرف التلقائي على الكلام، تحويل النص إلى كلام، النسخ، مساعدة الوكيل، الترجمة، أو التسجيل.
هذا التصميم الطبقي هو السبب في أن الإعداد يحدث في خطوتين. أولاً، يتفق الجانبان على أساسيات تدفق الوسائط، مثل تنسيق الصوت وأي تدفقات تتدفق. ثانيًا، تقوم بتشغيل الخدمة المحددة التي تريدها.
الأساس المشترك هو النقطة
لخدمات Avaya التي تُبنى بشكل أصلي، مثل التعرف التلقائي على الكلام، تحويل النص إلى كلام، والترجمة، يمكن لمحرك شريك أن يحل محل محرك Avaya، وكل شيء آخر يعمل على Infinity يظل يعمل كما كان.
بالنسبة للقدرات التي لا يبنيها Avaya بنفسه، فإن واجهة النموذج نفسها هي نقطة التمديد. وكيلنا الذكي هو أول وكيل افتراضي من نوعه على المنصة، ويصل كخدمة من الدرجة الأولى، وليس كإضافة موصولة حول الحواف.
- الأساس المشترك لا يزال يدعم متطلبات الخدمة المحددة. لا يعني ذلك أن كل خدمة تبدو نفسها، وهذا مقصود. كل خدمة أكثر تحديدًا فوق طبقة الوسائط المشتركة، مع مجموعة محددة من التدفقات والأحداث التي تفتح ما يجعل الخدمة ذات قيمة. على سبيل المثال، يساعد الوكيل الصوتي، يحمل صوتًا لكل مشارك، مما يعني التعامل مع تدفقات متعددة في وقت واحد.
- تدفق سياق المحادثة يعود إلى Avaya Infinity. ومع ذلك، عندما يستخدم الخدمة الاتصال، تنتقل البيانات بنفس الطريقة في كل مرة: إلى Infinity، التي تقرر ما تفعل به، سواء كان ذلك وضع نص محادثة على سطح مكتب الوكيل عند التحويل أو قيادة الخطوة التالية للمكالمة. وليس الصوت وحده هو ما يسافر. يحمل الاتصال المحادثة أيضًا، مثل النص الجاري الذي نقدمه إلى شاشة الوكيل عند التحويل.
أحد الجوانب التي لفتت انتباهنا هو قدرة Avaya Infinity على نقل المحادثة الحية عبر نفس الاتصال. أصبحت هذه القدرة محور بعض أكثر الأعمال الهندسية إثارة.
- يقطع الصوت في حزم مُوسومة. بدلاً من إرسال تدفق صوت خام، تغلف Avaya Infinity الصوت في حزم مضغوطة. يبدأ كل حزمة برسم صغير يحدد أي تدفق ينتمي إليه، وما هو ترتيبه، ومتى تم التقاطه. هذا يتيح لعدة تدفقات صوتية، مثل جانبي مكالمة، مشاركة اتصال واحد مع البقاء مفصولًا بوضوح، ويمنح الطرفين ما يحتاجان إليه لاكتشاف فقدان الصوت والحفاظ على تشغيل سلس.
- المرونة مدمجة في كل جلسة. يعامل Avaya Infinity كل جلسة اتصال كشيء مصمم للبقاء على قيد الحياة في وجه المشاكل. يحتوي على طرق مدمجة للتعافي بعد انقطاع الاتصال غير المتوقع، رسائل فحص منتظمة لتأكيد أن الرابط ما زال حيًا، وطريقة نظيفة ومؤكدة لإنهاء المكالمة. تسجيل الدخول سهل أيضًا: كل اتصال يقدم رمزًا موقّعًا يتم فحصه قبل قبول الاتصال، دون وجود حالة تسجيل دخول مشتركة للحفاظ على التزامن بين الأنظمة.
معًا، التصميم عام حيث يرغب المدمج بالتحكم الخام، وصيغي حيث يفتح الهيكل قيمة الخدمة، ومعتمد بما فيه الكفاية بحيث يدمج الشريك مرة واحدة وينمو مع مرور الوقت. كونك الأول على الواجهة يضع Cresta في موقع لاختبار ما إذا كان هذا الوعد قائمًا.
كيف قامت Cresta بتكييف بنية الذكاء الاصطناعي الصوتي الخاصة بها
فلسفة Avaya "التكامل مرة واحدة" لها صورة مرآة على جانبنا.
نظام صوتي لكريستا يحافظ على ثلاثة أشياء منفصلة:
- كيف يتحرك الصوت على منصة معينة
- ما الذي يفعله الذكاء الاصطناعي به
- كيف يتم التحكم في المكالمة
يتعامل خط أنابيب الذكاء الاصطناعي مع تحويل الكلام إلى نص، يحدد متى ينتهي المتصل من دوره، يعالج الطلب عبر وكيل الذكاء الاصطناعي، ويحول الرد مرة أخرى إلى كلام. يتعامل طبقة التحكم في المكالمة مع وظائف مثل النقل، الانقطاع، والتسليم.
كل منصة جديدة تحتاج فقط إلى طبقة رقيقة لنقل الصوت، مترجم لتنسيق رسالة تلك المنصة، ومعالج لأوامر التحكم بالمكالمات. كل شيء بعد ذلك مشترك.
أدى بناء تكامل Avaya Infinity إلى ثلاث مهام: تعليم مترجمنا لقراءة وكتابة حزم صوت Avaya، إضافة معالج لرسائل التحكم Avaya، وربط تلك المكونات بخط أنابيبنا الحالي.
تم بناء الأنابيب الأساسية بالفعل. نقلتنا من اختبار صدى بسيط إلى تحويل بشري مباشر في ستة أسابيع، مع تخصيص مهندس 50٪ من قدرته للعمل.
أربع دروس هندسية من بناء تكامل AI الصوتي في الوقت الحقيقي
يخبرك المعيار بما هو ممكن. تُخبرك المكالمات الحية بما هو صحيح. كان العمل المثير في الفجوة بينهما.
1. الرد فور جاهزية المنصة.
حافظنا على تأكيدات تسلسل الإعداد الأولي لتبقي الأمور مرتبة، ثم تجمدت على الفور. ينتظر النظام ردنا قبل إرسال الخطوة التالية، لذا كان الحل هو تأكيد الجلسة فور فتحها ثم الاستمرار.
اثنان أكثر شكلان كيف نتعامل مع الإعداد:
- المنصة ترسل رسائل الإعداد معًا عن قصد. عند تشغيل التجميع، تصل الرسالة التي تفتح الجلسة والرسالة التي تبدأ البوت في حزمة واحدة. هذا من التصميم، ويعمل لصالحنا: يحصل جانبنا على كل ما يحتاجه لإطلاق المكالمة في تبادل واحد بدلاً من رحلتين، مما يحافظ على عدم وجود أوقات صامتة في مقدمة المكالمة. التأثير العملي هو أن حزمة واحدة يمكن أن تحمل أكثر من رسالة واحدة، لذا علمنا قارئنا بوقف الافتراض بأن حزمة واحدة تعني رسالة واحدة وتقسيمها.
- نحن نحمي كلمات المالك الافتتاحية. يحافظ المنصة على صوت المالك حتى نؤكد الإعداد، لذا مع التجميع نادرًا ما يكون هناك شيء في الانتظار. نحتفظ بالذاكرة المؤقتة على أي حال كحد أمان، لأن ما إذا كانت رسائل الإعداد تصل معًا أو واحدة في كل مرة ليس شيئًا نتحكم فيه، ولا نريد أبدًا فقدان كلمات الافتتاحية للاتصال.
2. يؤثر إيقاع الصوت على الاستجابة، وليس فقط الصوت.
صوتنا الأول خرج بطيئًا ومقطعًا، لكن السبب لم يكن تنسيق الصوت. كان هو كيف قطعنا الصوت الصادر بدقة. عندما أرسلناه في قطع صغيرة، اعتمدنا على المؤقت الداخلي للنظام مئات المرات في الثانية، وأصبح تذبذبات توقيته الصغيرة فجوات في كلام الوكيل.
الحل الواضح، القطع الأكبر، له عائق: كلما كان القطعة أكبر بالفعل في الجو، كلما استغرق الأمر وقتًا أطول حتى يتوقف الوكيل عن التحدث عندما ينضم المتصل. بدأنا بأصغر شريحة في البروتوكول، 20 مللي ثانية، واجهنا مشاكل أداء من جانبنا، وانتقلنا إلى الحد الأقصى للبروتوكول 200 مللي ثانية، مما جعل الكلام سلسًا واحتفظ بالانقطاعات بسرعة.
هناك مجال لتقليلها مرة أخرى للحصول على قطع أسرع عندما يقتحم المتصل، وهو بالضبط السبب الذي جعلنا نحتفظ بحجم الكتلة كمفتاح قابل للتعديل بدلاً من قيمة ثابتة.
هذا النطاق هو أيضًا شهادة هادئة لتصميم Avaya Infinity. بروتوكول Avaya Infinity يتيح لنا اختيار نقطة تشغيل عبر النطاق من 20 ميلي ثانية إلى 200 ميلي ثانية.
3. يحتوي سطح مكتب الوكيل على قواعد نصية خاصة به.
أعجبنا عندما سلمنا النص الحي للوكيل عند الإحالة عدة مرات، لأن الشاشة لديها توقعات خاصة بها:
- ظهر الحوار خارج الترتيب. يرتب الشاشة الحوار حسب توقيت كل سطر، وكنا نرسل الأسطر كلها مرة واحدة بدون أي. الآن نطبع كل سطر ونسمح للشاشة بترتيبها بالترتيب الذي حدث فيه المكالمة فعليًا.
- بعض أسطر النص المترجم ضاعت. حتى مع تصحيح الترتيب، أدى إرسال النص الكامل في دفعة سريعة إلى فقد بعض الأسطر. لم يكن حجم المخزن المؤقت الأكبر هو الحل. أوقفنا إرسال كل شيء مرة واحدة وبدلاً من ذلك بدأنا بإرسال كل دور بمجرد أن يُنهى، مما يوزع النص المترجم طبيعيًا عبر طول المكالمة الحقيقي.
- وصلت ردود الوكيل الذكي في أجزاء. يتحدث الذكاء الاصطناعي جملةً صغيرةً في كل مرة، وتكبر ردوده أثناء التحدث، لذا قد يصل إجابة واحدة إلى الشاشة كقطع متفرقة. الآن نجمع أجزاء رد واحد وننسجها في سطر نظيف واحد قبل الإرسال.
4. الإيقاف هو المكان الذي يمكن أن تختفي فيه النصوص
إرسال كل دور في اللحظة التي ينتهي فيها يعني أن عامل الخلفية يواصل الإرسال حتى تنتهي المكالمة. هذا يخلق سباقاً: العامل لا يزال يحاول إرسال الأدوار بينما تُغلق المكالمة.
التحول الأكثر خطورة هو الذي لا يمكنك تحمل خسارته. السطر الأخير قبل التسليم نادرًا ما يكون ملئًا. غالبًا ما يكون إما وكيل الذكاء الاصطناعي يخبر المتصل أنه سيتم نقله، أو المتصل يقول الشيء نفسه الذي أثار النقل. كلاهما هو بالضبط السياق الذي يحتاجه الوكيل البشري الذي يلتقط المكالمة.
بين اختباراتنا الخاصة ومراجعة الكود، وجدنا ثلاث طرق قد يخطئ فيها الدور الأخير:
- النجاح الكاذب. انتهى الذكاء الاصطناعي سطره الأخير مباشرة بعد أن أوقفنا المرسل. سجلنا الدور كمُرسل، لكنه لم يصل فعليًا إلى Avaya. كان هذا الخطأ الخطير، لأن كل شيء بدا على ما يرام. أبلغت السجلات بالنجاح، لذا لن يدري أحد أن الدور قد ضاع.
- الانخفاض الظاهر. انتهى الذكاء الاصطناعي سطره الأخير حين كان المرسل يغلق، لذا تم قبول الدور ثم تجاهله قبل الإرسال.
- البداية المزدوجة. قد تكون حالة داخلية نادرة قد بدأت المرسل مرتين واستهلكت موارد غير ضرورية. أضفنا حارسًا لمنع ذلك.
جاء الإصلاح في طبقات. أولاً، منحنا العامل حالة "إيقاف" صريحة، بحيث يُلتقط ويُعالج التبديل الذي يصل في منتصف الإيقاف عمدًا بدلاً من المرور به، مما يغلق السيناريو الأول والثاني. ثانيًا، جعلنا كل تبديل مهجور يظهر بصوت عالٍ في السجلات وسهل البحث عنه، بحيث إذا حدث أي تسرب، نراه.
حافظنا على الحماية من البدء المزدوج حتى وإن لم يحدث حاليًا، لأن "لا يحدث اليوم" غالبًا ما يتحول إلى "حدث في الإنتاج" بعد عدد كافٍ من التعديلات. إذا كان يمكن أن يختفي نص، تريد سماع ذلك من لوحة المعلومات، وليس من العميل.
بناء تحمل مُتحكم فيه في واجهة متطورة
درس أوسع يمر عبر الأربعة: مع واجهة متطورة، أضف تحملًا مُتحكمًا في ما تقبله التكامل.
لقد بنينا التكامل لتحمل تفاصيل اختيارية مفقودة، إضافات غير متوقعة، وأنواع رسائل لا نتعامل معها بعد، لذا يمكن لمواصفة ما تزال تتغير إضافة أشياء دون إيقاف مكالماتنا.
الاعتراف المبكر الجيد هو في الغالب تواضع مدمج في إعداداتك الافتراضية.
ما الذي نستكشفه بعد ذلك
يمنح التكامل الحالي وكيلًا بشريًا الوصول إلى النص وتلخيص مُولَّد بالذكاء الاصطناعي عندما يُسلم وكيل Cresta AI المكالمة
نحن الآن نستكشف مع Avaya كيف يمكن أن تمتد هذه الاستمرارية إلى الجزء البشري من التفاعل. خطوة محتملة التالية هي ربط المكالمة المنقولة مع Cresta Agent Assist حتى يتلقى الوكيل إجابات، خطوات مقترحة، وإرشادات في الوقت الحقيقي.
نحن أيضًا نقيّم كيف يمكن للاتصال الأساسي نفسه دعم قدرات Cresta إضافية، بما في ذلك الترجمة الفورية. تشمل المجالات الأخرى التي تُنظر فيها جودة صوت أعلى، إعادة الاتصال التلقائي، وتوسيع تحكمات المكالمات.
كل قدرة ستتطلب تنفيذًا وموافقة خاصة. الميزة هي أن الفرق يمكنها البناء على اتصال قائم بدلاً من البدء من جديد مع تكامل منفصل تمامًا.
"لقد مهدت Avaya الطريق لنشر AI مقاسًا وتأثيرًا من خلال بناء منصة حديثة مصممة للعمل بسلاسة مع حلول Cresta. نحن متحمسون للغاية لمستقبل منصة Infinity والشراكة بين Cresta وAvaya." Dong Zhao, Tech Lead Manager, Voice AI Infra, Cresta
"كقائد في الذكاء الاصطناعي لتجربة العملاء مع التكامل عبر جميع منصات CCaaS المؤسسية تقريباً، كان Cresta شريكاً مبكراً مثالياً لتكامل وسائط WebSocket في Infinity. كانوا معنا طوال عملية التصميم وسرعاءً في تقديم ملاحظات ذات مغزى، صارمين في الاختبار، وأثبتوا بقوة أن النهج يعمل للذكاء الاصطناعي الصوتي المتقدم."جون غرايبيل، مدير إدارة المنتج، Avaya
استكشف نظام شركاء Avaya Infinity لتعلم المزيد.
الشكر: شاركت Cresta’s Dong Zhao, Nick Tomaselli, Nicky Budd-Thanos وMasoud Assali في هذا المقال.
