الورقة البحثية بعنوان “روبوت الدردشة للأسئلة الشائعة حول COVID-19 باستخدام الشبكة العصبية الاصطناعية وحقيبة الكلمات”
“COVID-19 FAQS CHATBOT USING ARTIFICIAL NEURAL NETWORK WITH BAGOF WORDS”
تأليف وتنفيذ: عبد الرحمن المصري، نور عمار، عبد الرحمن المصري، أفق فاتح كوتشوق قله 2022، تمت المشاركة بالورقة البحثية في مجلة EURAS، عام 2022،
(EJAS-2-2-AGUSTOS-2022-3.Makale.pdf ).
ترجمة هدية خليل، وحقوق الترجمة محفوظة.
آخر المقال يحتوي على الورقة البحثية باللغة الإنجليزي
الملخص
كوفيد-19 هو فايروس معاصر يُصيب بمتلازمة فتاكة لم يسبق لها مثيل في القرن الماضي. يصيب الفيروس جميع الأشخاص من جميع الأعمار وفي جميع الأماكن حول العالم، ويزداد عدد المصابين فيه بشكل متسارع في هذه الفترة؛ ويتزايد قلق الناس بشكل كبير، مما يشكل ضغطاً على أقسام الرعاية الصحية والحكومات ويجعلهم غير قادرين على الإجابة على جميع استفسارات الناس. تم اقتراح حلول بواسطة تقنيات الذكاء الاصطناعي، من خلال محاكاة المساعدة عبر مكاتب الاستقبال، تُعتبر روبوتات الدردشة تقنية سهلة في الاستخدام وتحاكي المحادثات البشرية عبر الرسائل النصية من خلال الهواتف الذكية أو الحواسيب الشخصية. يمكن لتطبيقات روبوت الدردشة تحسين معلومات المصابين ومراقبتهم وتذكيرهم بالالتزام بالعلاج.
ABSTRACT– COVID-19 is a contemporary virus with a fatal syndrome that had not been seen in the last century. The virus evolves in people of all ages in all areas around the world. As the increment of cases is growing up rapidly the worry of people is increasing, which makes it very hard for healthcare departments and governments to solve people’s queries. AI solution is suggested, where a simulation of frontdesk assistance. Chatbots are easy to use and simulate a human conversation through text via smartphones or personal computers. Chatbot applications can improve patient information, monitoring, or treatment adherence. The architecture is a simple neural network consisting of a single hidden layer and the sigmoid function is trained by textual data organized by multiple data organization methods. A simple GUI is provided to the classifier to be tested practically. Data used is a collection of questions and their answers about COVID-19. The approach has achieved acceptable results considering speed, and accuracy. Practical predictions were true with acceptable accuracy.
الكلمات المفتاحية: الأسئلة الشائعة، الرعاية الصحية، كوفييد-19 روبوت الدردشة، شبكة عصبية، معالجة اللغات الطبيعية.
1. المقدمة
في العامين 2020 و2021، تم اكتشاف مرض جديد في 31 ديسمبر 2019 ويُدعى فايروس كوفيد-19. وقد انتشر في العالم بأسره، وأعلنته منظمة الصحة العالمية وباءً رسمياً في 11 مارس 2020، مما أدى لانتشار القلق بين الدول. حينها رغب الجميع في معرفة المزيد من المعلومات حول الفايروس المذكور، أعراضه، معدل الوفيات الناجمة عنه، مما شكل ضغطاً هائلاً على موظفي مراكز الرعاية الصحية ومكاتب الاستقبال.
لتوفير المعلومات للعدد الأكبر من الأشخاص حول العالم، يمكن طرح حل بواسطة تقنيات الذكاء الاصطناعي. روبوت الدردشة هو برنامج آلي يتفاعل مع البشر، وهو برنامج حاسوبي ذكي يحاكي بشكل كبير المحادثات البشرية [1 ،2 ،3]. تُظهر تقييمات واجهة المستخدم لروبوت الدردشة الخاص بكوفيد-19 [4] أن النهج الأفضل هو روبوت الدردشة التفاعلي الذي يمكنه الاجابة على أسئلة المستخدم بطريقة المحادثات النصية مع ترك حرية التعبير للمستخدم في صياغة السؤال وهو ما تعتمد عليه تقنيات الذكاء الاصطناعي كما تم التوضيح في مقدمة الورقة.
هنالك هياكل بيانات مختلفة لتصنيف المحادثات النصية، كنموذج تضمين الكلمات (word2vec) [5]، ونموذج تضمين الكلمات (GloVe) [6] اللذان يحتويان على قواميس الكلمات، ومثل نهج مجموعة الكلمات (BoW) [7] ، ونهج (BoW TF-IDF) [8] اللذان يقومان بتحويل البيانات النصية إلى بيانات عددية وعرضها بصورة نواتج رسومية.
تحتوي الشبكات العصبية الذكية (ANN) طبقة واحدة غير مرئية تستخدم الدالة سيجموند والأوزان التشابكية (Synoptic weights). نتيجة النموذج كانت تكفي للقبول نظراً لتعقيد البيانات وعدم تشابهها مع النماذج في المصادر [8، 10، 11] حيث استخدم الباحثون التصنيف الذي يعتمد على فئات متعددة. في النموذج الخاص بهذه الدراسة، هناك فئة واحدة فقط يمكن التنبؤ بها وهي السؤال الصحيح نفسه، وهو يقوم بتنبؤ سؤال المستخدم الى السؤال الصحيح الأكثر تشابهاً مع السؤال المطروح من قِبَل المستخدم في مجموعة البيانات، ثم يتم طباعة الاجابة عبر واجهة المستخدم الرسومية (GUI) لروبوت الدردشة. تمت مقارنة النموذج مع ثلاث نماذج (BERT)، (TF-IDF)، (وGloVe) في القسم الخامس في الورقة البحثية.
2. النظرية
الطريقة المستخدمة للتحويل النصوص الى متجهات هي Bag of Word [7]، وتم استخدام حسابات الحدوث الثنائية حيث يُعبر الرقم (1) الى وجود الكلمة في مجموعة البيانات والرقم (0) ينفي وجود الكلمة، مما يكوِِن قاموساً يتألف من 1688 متجه يشير كلٍ منها الى رمز مختلف، كما هو في الجدول 1.
النموذج Bert [11]، التمثيل بواسطة TF-IDF [8]، وقاموس التضمين GloVe [6] هي نماذج أخرى تُستَخدم لتنظيم البيانات النصية، وفي هذه المقارنة طبقنا مقارنة بينهم.
حقيبة الكلمات هي النهج الأكثر استخدامًا في طريقة تصنيف النصوص نظراً الى نهجه البسيط في حل جميع مشاكل التصنيف [10]، يُمثَل النهج بالجملة xi = {x1, x2, x3} ويحولها الى متجهات من الأصفار والواحدات vi = {x1, x2, x3} ، ثم يُرتبها في مصفوفة vi = {v1, v2, v3}.
عدة معالجة اللغات الطبيعية (NLTK) هي مكتبة برمجية لمعالجة اللغات الطبيعية عالية الوظائف من (TensorFlow) التي تعالج البيانات النصية، استُخدمت هذه المكتبة في المرحلتين تحضير البيانات وفصل الكلمات، والدوال المستخدمة هي : stem() لتجذير النص،lower() لتطبيق الأحرف الصغيرة، و word_tokenize() لتطبيق عملية فصل الكلمات.
يتكون النموذج من طبقة واحدة غير مرئية مضروبة بطبقة التنشيط السيجمويد بالإضافة إلى طبقات الإدخال والإخراج بإجمالي ثلاث طبقات. تحتوي الطبقة غير المرئية على ثلاثين عقدة مخفية ومعلمة معدل التعلم تساوي 0.01 كما هو موضح في الشكل 2.
الوزن المتشابك (synaptic weight) يشير إلى قياس تغير السعة في تكرار واحد من كل مرة تدريب للاتصال بين العقد [14]، حيث يشير yi إلى مخرج طبقة واحدة، wi يشير إلى الاوزان، وxi إلى متجهات حقيبة الكلمات آحادية العد.
يتم استخدام شبكات التعلم ذات الانتشار العكسي [15] لتعلم الانحدارات السليمة (Gradient Decent)، حيث a هي معلمة معدل التعلم ويساوي 0.01، بينما ∆wi تشير إلى الأوزان (yi^ – yi ) هي تقييم الخطأ كما هو محدد في المعادلة (4) .
تمت محاكاة الطبقات في الشكل رقم 2، الطبقة المدخلة هي تسلسل مجموعة من الكلمات بالأبعاد: 642 × 1688، يشير الرقم 642 إلى عدد الجمل، و 1688 يشير الى طول سلسلة شريط ترميز الكلمات. (كل جملة يتم تحويلها الى متجه عددي) يتم ضربها بدالة سجمويد (3).
دالة سجمويد التي تم اقتراحها أول مرة بواسطة [15] وأدت وظيفتها في شبكات التعلم ذات الانتشار العكسي بشكل جيد. في الطريقة الخاصة بنا تم استخدامها توحيد القيم نظراً لكونها دالة تنشيطية ذات فائدة عالية للتنبؤ النصي الذي يطبق اختيار الميزة على احتمال واحد بين 0 و1 كما هو موضح في الشكل3، والدالة 3.
الطبقة الخفية: الطبقة المدخلة مضروبة بدالة التنشيط سيجمويد 1×30 حيث يشير الرقم 30 الى عدد الميزات (العقد العصبية) ويشير الرقم 1 إلى متجه حقيبة الكلمات. يتم ضرب المتجه بدالة سيجمويد م يتم تطبيق (4) دالة المتوسط التربيعي للخطأ (MSE) في هذه الطبقة.
طبقة المخرجات: 1 × 642 حيث الرقم 1 يعني أن هناك سؤال واحد صحيح من المخرجات التي تم التنبؤ بها..
هو الاختيار المناسب لقياس الخطأ في الشبكات العصبية ذات الطبقة الواحدة الغير مرئية، حيث إن n هو عدد متجهات حقيبة الكلمات، و yi هو القيمة المخرجة الفعلي، و yi هو القيمة المخرجة التي تم التنبؤ بها.
تم اعتبار دالة المتوسط التربيعي للخطأ الاختيار المناسب لقياس الخطأ بشكل فردي في خلية عصبية خفية واحدة. كل متجه فعلي يتم طرحه من المتجه المتوقع ثم يتم رفعه للقوة التربيعية الثانية 2(^yi – yi) والنتيجة هي المتوسط الذي يقيس نسبة الخطأ.
دالة المتوسط التربيعي للخطأ (MSE) هي الاختيار المناسب لقياس الخطأ بشكل فردي في خلية عصبية غير مرئية واحدة. حيث n تشير إلى عدة متجهات حقيبة الكلمات، yi هي المخرج الفعلي، yi هي المخرج المتوقع، كل متجه فعلي يتم طرحه من المتجه المتوقع ثم يتم رفعه لتربيع تنبؤ النموذج بالتصنيف الحقيقي، والنتيجة هي المتوسط الذي يقيم نسبة الخطأ.
3. النتائج والنقاش
يُظهر الشكل 4 عينة من البيانات التي تم تدريب النموذج عليها ، البيانات المُستخدمة في هذا النهج هو مجموعة من الأسئلة حول كوفيد-19 [16]، تحتوي مجموعة البيانات على 642 سؤال حول كوفيد-19.عنوان السؤال هو سؤال رئيسي قصير مع أسئلة حول نفس الموضوع بأساليب مختلفة تم إلحاقها بكل عنوان سؤال في حقل السؤال، في نهجنا، يتم تدريب عنوان السؤال.
تمت عملية التدريب على 100,000 حقبة و 10,000 حقبة في كل دورة، حيث يجعل العدد الكبير من الحقب نسبة تصحيح الأخطاء أعلى، والوقت المستهلك في عملية التدريب حوال 30 دقيقة على SSD ، 12 RAM، جهاز حاسوب يعمل بمعالج i7.
تظهر التجارب في الشكل 5 المحاكاة لتدفق العملية في مرحلة التدريب، أولاً يدخل المدخل “covid19” كمدخلات نصية في النموذج. في الخطوة التالية، “nominal to numerical”، يتم تحويل هذه القيمة من نصية إلى متجهات عددية بواسطة نموذج حقيبة الكلمات، في الخطوة التالية، يتم ضرب المتجهات بالطبقة الداخلية، المخرج من “neural net” يتم ربطه مع خطوة “multiply”وينتج عن ذلك النموذج، الذي يتم استخدامه لاختبار البيانات في خطوة “apply model” التي يكون فيها المدخل هو بيانات الاختبار. وأخيراً المخرج يأتي من خطوة “Performance” والتي تمثل تنبؤ السؤال الصحيح ثم يتم إخراج وطباعة الاجابة عبر واجهة روبوت الدردشة كما هو موضح في الشكل 6.
يُظهر الشكل رقم 7 روبوت الدردشة الذي تم اختباره مع المستخدم، تم قياس سرعة الإجابة جزء من ألف من الثانية، في الجدول 2 تظهر نتائج النماذج مقارنةً مع النموذج في الدراسة الخاصة بنا، كما هو ظاهر النتائج تعتمد على قيم صحيحة أو خاطئة، التقنية المستخدمة هي تشابه جيب التمام الذي يظهر احتمال التشابه بين السؤال المتوقع والأسئلة في مجموعة البيانات.
4. الخلاصة والاستنتاج
روبوتات الدردشة سهلة الاستخدام وتحاكي المحادثات البشرية عبر الرسائل النصية من خلال الهاتف الذكي أو الحاسوب الشخصي. يمكن لربوت الدردشة تحسين معلومات المرضى ومراقبتهم ومراقبة التزامهم بالعلاج. تتكون بنية الخوارزمية من شبكة عصبية بسيطة تحتوي على طبقة واحدة غير مرئية ويتم تدريب وظيفة سجمويد باستخدام البيانات النصية التي يتم تنظيمها بواسطة تقنيات تنظيم البيانات المختلفة. في نهاية هذه الورقة، استُخدِم النموذج كطبقة واحدة من شبكة عصبية اصطناعية باستخدام أسلوب تنظيم النصوص حقيبة الكلمات مع استخدام التجذير والترميز.
النتائج مقبولة بدرجة جيدة، ولكن مجموعة البيانات ليست كبيرة بما يكفي للحصول على دقة عالية، حيث تظهر النتائج النهائية أنه تمت الاجابة على ثلاثة أسئلة بشكل صحيح من خمسة أسئلة تم توجيهها لروبوت الدردشة، كما هو موضح في الجدول 2. في التحسينات المستقبلية من المُخطط زيادة دقة النموذج عن طريق توسيع عصب الشبكة العصبية لتصبح شبكة عصبية عميقة تحتوي على أكثر من طبقة غير مرئية (خفية)، بالإضافة الى تجربة طريقة أخرى لتنظيم النصوص مثل قاموس GloVe لتضمين الكلمات.
المصادر
- Kumar, A., Meena, P. K., Panda, D., & Sangeetha, Ms. (2019). Chatbot in Python. International Research Journal of Engineering and Technology. Volume 6, issue 11. 391-395. e-ISSN: 2395-0056. https://www.irjet.net/archives/V6/i11/IRJET-V6I1174.pdf .
- Park, H., Moon, G., & Kim, K. (2021). Classification of Covid-19 Symptom For Chatbot Using Bert. Advances In Mathematics: Scientific Journal. Volume 10. 2. 1857-8438 (electronic). ISSN: 1857-8365 (printed). https://doi.org/10.37418/amsj.10.2.34 .
- Lei, H., Lu, W., Ji, A., Bertram, E., Gao, P., Jiang, X., & Barman, A. (2021). COVID-19 Smart Chatbot Prototype for Patient Monitoring. arXiv preprint arXiv:2103.06816. https://arxiv.org/abs/2103.06816 .
- Höhn S., Bongard-Blanchy K. (2021). Heuristic Evaluation of COVID-19 Chatbots. In: Følstad A. et al. (eds) Chatbot Research and Design. CONVERSATIONS 2020. Lecture Notes in Computer Science, vol 12604. Springer, Cham. https://doi.org/10.1007/978-3-030-68288-0_9 .
- Mikolov, T., Chen, K., Corrado, G., & Dean, J. (2013). Efficient estimation of word representations in vector space. https://arxiv.org/abs/1301.3781 .
- Pennington, J., Socher, R., & Manning, C. (2014). Glove: Global Vectors for Word Representation. EMNLP. 14. 1532-1543. 10.3115/v1/D14-1162, https://doi.org/3115/v1/D14-1162.
- Joachims T. (1998). Text categorization with Support Vector Machines: Learning with many relevant features. In: Nédellec C., Rouveirol C. (eds) Machine Learning: ECML-98. ECML 1998. Lecture Notes in Computer Science (Lecture Notes in Artificial Intelligence), vol 1398. Springer, Berlin, Heidelberg. https://doi.org/10.1007/BFb0026683.
- Harrag, F., El-Qawasmeh, E., & Pichappan, P. (2009). Improving arabic text categorization using decision trees. 110 – 115. 10.1109/NDT.2009.5272214.
- Van T. P., Thanh, M. (2017). “Vietnamese news classification based on BoW with keywords extraction and neural network,” 2017 21st Asia Pacific Symposium on Intelligent and Evolutionary Systems (IES), pp. 43-48, doi: 10.1109/IESYS.2017.8233559.
- Sukhbaatar, S., Szlam, A., Weston, J., & Fergus, R. (2015). End-to-end memory networks. arXiv preprint arXiv:1503.08895.
- Devlin, J., Chang, M. W., Lee, K., & Toutanova, K. (2018). Bert: Pre-training of deep bidirectional transformers for language understanding. https://arxiv.org/abs/1810.04805 .
- Naik, C., Kothari, V., & Rana, Zankhana. (2015). Document Classification using Neural Networks Based on Words. International Journal of Advanced Research in Computer Science. Volume 6, No.2 ISSN: 0976-5697. https://doi.org/10.26483/ijarcs.v6i2.2429 .
- Iyer, R., Menon, V., Buice, M,. Koch, C., Mihalas, S. (2013). The Influence of Synaptic Weight Distribution on Neuronal Population Dynamics. PLoS Comput Biol 9(10): e1003248. https://doi.org/10.1371/journal.pcbi.1003248 .
- David, E., James, L. M. (1987). “Learning Internal Representations by Error Propagation,” in Parallel Distributed Processing: Explorations in the Microstructure of Cognition: Foundations, MIT Press, pp.318-362.
- Han, J., Moraga, C. (1995). The influence of the sigmoid function parameters on the speed of backpropagation learning. Lecture Notes in Computer Science, vol 930. Springer, Berlin, Heidelberg. https://doi.org/10.1007/3-540-59497-3_175.
- QOVID-19 csv format dataset, https://www.kaggle.com/xhlulu/covidqa . accessed [June 16, 2021].
