معالجة اللغة الطبيعية (1)

July 4, 2023

في هذا المقال، سنستعرض المفاهيم الأساسية لمعالجة اللغة الطبيعية (Natural Language Processing) باعتباره أحد فروع الذكاء االصطناعي  (AI)والأساس الذي تبني عليه العديد من تطبيقات العصر. سنستعرض أيضا أهم المهام التي تتعلق بهذا المجال بالإضافة لبعض التطبيقات الحياتية له. 

مفهوم اللغة الطبيعية ومعالجة اللغة الطبيعية:

           اللغات الطبيعية هي بمثابة اللغات البشرية السائدة كالعربية والإنجليزية وغيرها من اللغات، وتوصف بالطبيعية لانها نتاج تطور طبيعي وبدون تخطيط مدروس مسبق لوضع قواعدها . في المقابل يوجد العديد من اللغات الإصطناعية أي التي تم بنائها وصناعتها و وضع قواعدها بتخطيط مسبق لاداء مهمة معينة مثل لغات البرمجة . أما مفهوم معالجة اللغة الطبيعية (Natural Language Processing)  فهو المعالجة التلقائية للنصوص المكتوبة باللغة الطبيعية في محاولة لفهم النص وهو بمثابة أحد فروع الذكاء الإصطناعي [2][1] . لا يقتصر هذا التخصص علي النصوص المكتوبة فقط ولكن الكلام أيضا.

مهام معالجة اللغة الطبيعية:

           لدي هذا الفرع من علوم الحاسب وبالأخص الذكاء الأصطناعي العديد من المهام التي تعتمد عليه وعلي سبيل المثال: 

1- تصنيف النص (Text Classification):

           تختص هذه المهمة  بتنصيف النص بناء علي محتواه الي مجموعة من الفئات [3] . تظهر الأستفادة من هذه المهمة في العديد من التطبيقات والتوجهات البحثية . علي سبيل المثال ، في محركات البحث، حيث يمكن تصنيف المستدات المختلفة وفقا للمحتوى الداخلي لها بحيث يتم تسهيل مهمة البحث وتوفير الوقت وعرض أقرب النتائج للمستخدم .

2- تلخيص النص (Text Summarization):

          وهو عملية إنتاج ملخصات قصيرة للمستندات بحيث تمكن المستخدم من تحديد المستند المناسب لما يبحث عنه دون الحاجه لقراءة أو النظر في محتو المستندات ككل [3].علي سبيل المثال ، تكوين ملخص طبي عن حالة مرضية ، أو تكوين ملخصات عن الأخبار الجارية للمستخدمين ، أو في محركات البحث.

3- الإجابة عي السؤال (Question Answering):

          هي مهمة بناء الأنظمة الذكية القادرة علي الإجابة التلقائية عن أسئلة المستخدمالذتي يقوم بطرحها بلغته البشرية سواء عن طريق البحث أو المحاداثات كما هو ملاحظ في محركات البحث عند وظقع سؤال عن عمر أحد الفنانين .

4-  الترجمة الآلية (Machine Translation) :

           وهي مهمة تهتم بتحويل نصوص اللغة البشرية من لغة إلى لغة أخري كما هو الحال في ترجمة جوجل .

5- نمذجة الموضوع (Topic Modeling) :

           نمذجة الموضوع هي نوع من النمذجة الإحصائية التي تستخدم التعلم الآلي غير الخاضع للإشراف لتحديد مجموعات من الكلمات المتشابهة (clusters) داخل النص [4]. تقوم نمذجة الموضوعات بتحليل المستندات لتحديد الموضوعات المشتركة. على سبيل المثال ، يمكن لخوارزمية نمذجة الموضوع تحديد ما إذا كانت المستندات الواردة عبارة عن عقود أو فواتير أو شكاوى أو أكثر بناءً على فهم ونمذجة محتوياتها النصية.

6- إسترجاع المعلومات (Information Retrieval): 

           تتعلق هذه المهمة بمعالجة محتوى المستندات التي تحتوي على نصوص غير مهيكلة أو منتظمة  (Free Text)، بحيث يمكن ارجاع هذه المستندات ًللمستخدم بناء على الكلمات الرئيسية المحددة في استعلام المستخدم بسرعة [5].علي سبيل المثال ، Google Search.

7- استخراج المعلومات (Information Extraction):

          هو الاسترداد الآلي لمعلومات محددة تتعلق بموضوع محدد من نص أو نصوص. تتيح أدوات استخراج المعلومات إمكانية سحب المعلومات من المستندات النصية أو قواعد البيانات أو مواقع الويب أو المصادر المتعددة [6]. 

علي سبيل المثال، عندما يستخرج بريدك الإلكتروني البيانات فقط من الرسالة لتضيفها إلى التقويم الخاص بك ، وأيضا في مجال ذكاء الأعمال (Business intelligence) لتمكين المحللين من جمع معلومات منظمة من مصادر متعددة.

التطبيقات الحياتية لمعالجة اللغة الطبيعية (NLP): 

العديد من التطبيقات ذات الإستخدام اليومي والشائع في عالمنا الحالي تعتمد في عملها علي مجال معالجة اللغة الطبيعية علي سبيل المثال لا الحصر :

1- المساعدات الصوتية الأفتراضية  ، مثل SIRI و Alexa.  تعتمد هذه التطبيقات على تقنيات معالجة اللغة الطبيعية للتفاعل مع المستخدمين وفهم أوامرهم النصية أو المنطوقة والإستجابة وفقا لهذا الفهم.

2- محركات البحث الحديثة : تطوير محركات البحث هو أمر مبني بشكل أساسي علي معالجة اللغة الطبيعية لتحسين قدرة النظام علي فهم استعلامات المستخدمين بدقة وتحسين نتائج الإسترجاع وترتيب النتائج حسب أهميتها ومدي صلتها .

3- الترجمة الآلية : تحسين الترجمة الألية الذي نلمسه يوما بعد يوما في Google Translate  والعديد من تطبيقات الترجمة هو بفضل تقنيات معالجة اللغة الطبيعة لجعل الترجمة صحيحة ومعبرة عن المقصود.

الخاتمة:

مما لا شك فيه أن الأستفادة من مجال معالجة اللغة الطبيعية في صنع أنظمة ذكية قادرة علي أداء المهام التي تتطلب فهما للغة البشرية يساهم في توفير الوقت والجهد وتحسين جودة الحياة البشرية .يتطور هذا المجال بشكل سريع محدثا تقدما ملحوظا ومستفيدا من الذكاء الذكاء الإصطناعي في في التعامل مع كم البيانات النصية والمنطوقة الضخم  والغير منظم . تساهم مهام معالجة اللغة الطبيعة المختلفة في حل العديد من المشاكل ومساعدة الباحثين والطلاب والمؤسسات علي انجاز العديد من المهام بجودة أفضل و في وقت أقل . 

المراجع :

[1]:https://www.morganclaypoolpublishers.com/catalog_Orig/samples/9781627056328_sample.pdf

[2]:https://www.tutorialspoint.com/natural_language_processing/natural_language_processing_tutorial.pdf

[3]:  http://languagetechnologies.uohyd.ac.in/knm-publications/nlp-book.pdf

[4]: https://levity.ai/blog/what-is-topic-modeling#:~:text=Topic%20modeling%20analyzes

[5]:https://www.researchgate.net/publication/259590363_Information_Retrieval_An_Overview

[6]: https://www.techtarget.com/whatis/definition/information-extraction-