Một số phương pháp xác định chủ đề của câu văn bản trong hệ tư vấn

g để học thông tin ngữ nghĩa thứ tự các từ theo ngữ cảnh. Ravuri và 
cộng sự [22] đã sử dụng RNN và LSTM (Long Short Term Memory) giải quyết bài toán 
phân loại chủ đề. Các thí nghiệm chỉ ra rằng RNN cho kết quả tốt với câu văn bản ngắn 
và LSTM cho kết quả tốt với câu văn bản dài. Hiện tại, một số công ty như Google, 
Microsoft, đã xây dựng các API sử dụng phương pháp học truyền thống và học sâu 
để hỗ trợ người sử dụng trong bài toán xử lý ngôn ngữ nói chung và xác định chủ đề 
của câu văn bản nói riêng như Dialogflow, Rasa, Luis,... Nghiên cứu [6] sử dụng công 
cụ Dialogflow để xác định chủ đề của thông điệp người dùng đưa vào dưới dạng câu 
văn bản tiếng việt trong hệ trợ lý ảo hỗ trợ học và quản lý sinh viên của một trường Đại 
học. 
Xét thấy, mỗi mô hình học sâu đều có ưu điểm và nhược điểm riêng, các nhà 
nghiên cứu thường đưa ra phương pháp kết hợp giữa các mô hình. Chẳng hạn, Tran OT 
và cộng sự [23] đã đưa ra một phương pháp học sâu sử dụng hai kiến trúc mạng LSTMs 
và CNNs để trích chọn các đặc trưng ngữ nghĩa một cách tự động. Các đặc trưng này 
được sử dụng để phân loại chủ đề văn bản. Các tác giả trong bài báo [24] đã đưa ra 
framework TOP-ID (Towards OPen Intent Discovery) với cách tiếp cận 2 giai đoạn, sử 
dụng mô hình gồm LSTM hai chiều và CRF. Hệ thống tự động xác định các chủ đề không 
cần tri thức của lớp chủ đề được định nghĩa trong tập ngữ liệu huấn luyện. Điều này có 
nghĩa TOP-ID không bị giới hạn bởi tập các chủ đề được định nghĩa trước, hệ thống có 
thể nhận ra các chủ đề chưa từng gặp trước đó. 
3. SO SÁNH VÀ ĐÁNH GIÁ CÁC CÁCH TIẾP CẬN 
Phương pháp đối sánh chuỗi khá đơn giản và dễ cài đặt, chúng ta có thể thấy 
ngay nhược điểm của phương pháp này là việc đối sánh chuỗi dễ dàng dẫn đến việc 
nhận dạng sai nếu trong hai chuỗi đang so sánh có ký tự hay từ không giống nhau dẫn 
đến hai chuỗi đó khác nhau. Với ví dụ tập mẫu của chủ đề “Chào hỏi” như trên, nếu 
thông điệp đầu vào của người dùng là “Chào”, thì hệ thống không nhận diện được chủ 
đề. Ngoài ra, đối với phương pháp này, chương trình cần phải lưu nhiều câu văn bản 
mẫu tương ứng với mỗi chủ đề để hệ thống có thể đưa ra câu trả lời đúng. 
Trong khi đó, các phương pháp dựa trên luật đòi hỏi bộ cơ sở tri thức được xây 
dựng sẵn, bao gồm các mẫu câu và câu trả lời (chủ đề) tương ứng. Cơ chế làm việc của 
các phương pháp này là tìm mẫu câu phù hợp nhất ứng với thông điệp đầu vào để đưa 
ra chủ đề tương ứng đã được xác định trước. Các phương pháp này cho ra kết quả chính 
TẠP CHÍ KHOA HỌC VÀ CÔNG NGHỆ, Trường Đại học Khoa học, ĐH Huế Tập 18, Số 1 (2021) 
53 
xác nếu thông điệp đầu vào có mẫu trùng khớp với mẫu trong cơ sở tri thức. Các hệ 
thống dựa trên luật không có khả năng học mà chỉ thực hiện theo ngữ cảnh hay kịch bản 
được thiết kế sẵn, do đó hệ thống sẽ không đưa ra được câu trả lời trong trường hợp 
thông điệp đầu vào không có dạng mẫu trong cơ sở tri thức. Thật vậy, giả sử chúng ta 
có cơ sở tri thức chỉ chứa luật với mẫu “Hi” như trong Hình 2. Như vậy, nếu người sử 
dụng nhập vào thông điệp “Hello” thì chương trình sẽ không đưa ra được câu trả lời 
tương ứng bởi vì mẫu của thông điệp này không có trong cơ sở tri thức. Do đó, các hệ 
thống này sẽ cho kết quả tốt nếu cơ sở tri thức chứa nhiều luật. Hiện nay, công nghệ 
AIML vẫn được sử dụng phổ biến trong các hệ trợ lý ảo. Cụ thể, hệ trợ lý ảo Mitsuku[25] 
được xây dựng bằng công nghệ AIML đã 5 lần giành giải Loebner Prize vào những năm 
2013, 2016, 2017, 2018 và 2019. Ngoài ra, công nghệ AIML được phát triển thành các gói 
mã nguồn mở[26] thuận tiện cho người sử dụng. Với đặc điểm này, các phương pháp 
dựa trên luật được sử dụng để xây dựng các trợ lý ảo dạng kịch bản mà trong đó các câu 
hỏi và câu trả lời được thiết kế sẵn một cách có trình tự, người sử dụng có thể lựa chọn 
câu hỏi có sẵn hoặc trả lời các câu hỏi mà chương trình đưa ra. Các mô hình trợ lý ảo này 
thường được sử dụng trong lĩnh vực thương mại điện tử như đặt hàng, giao tiếp với 
khác hàng hay đưa ra các khuyến nghị khi mua hàng. 
Hai phương pháp vừa trình bày ở trên chỉ thực hiện việc đối sánh chuỗi và mẫu 
của thông điệp đầu vào sao cho trùng khớp với cơ sở tri thức đã xây dựng sẵn và hoàn 
toàn không hiểu được ngôn ngữ tự nhiên của câu văn bản. Trong khi đó, các phương 
pháp học máy kết hợp sử dụng ngôn ngữ tự nhiên cho phép xây dựng các trợ lý ảo thông 
minh, có khả năng hiểu được thông điệp đầu vào bất kỳ thông qua việc trích xuất thông 
tin bằng các phương pháp xử lý ngôn ngữ tự nhiên và huấn luyện (training). Tuy nhiên, 
những phương pháp học máy này đòi hỏi tập dữ liệu huấn luyện (training data) đầu 
vào là tập ngữ liệu gồm các mẫu câu được gán lớp chủ đề tương ứng. Các phương pháp 
học máy truyền thống cho ra kết quả tốt khi có đủ tập dữ liệu huấn luyện và tập đặc 
trưng dữ liệu được lựa chọn tốt. Thông thường tập các đặc trưng được trích chọn bằng 
tay, phụ thuộc vào các chuyên gia nên đòi hỏi chi phí cao. Ngoài ra, đối với các thông 
điệp đầu vào không chuẩn và nhập nhằng, phương pháp học truyền thống không đưa 
ra được kết quả chính xác vì không hiểu sâu ngữ nghĩa bên trong của câu văn bản. Trong 
khi đó, các phương pháp học sâu cho ra kết quả tốt hơn hẳn khi tập dữ liệu đủ lớn. Bên 
cạnh đó, các phương pháp học sâu tự trích chọn đặc trưng trong quá trình học (học biểu 
diễn đặc trưng) trước khi tham gia vào quá trình phân lớp. Tuy nhiên, các thực nghiệm 
chỉ ra rằng, trong trường hợp dữ liệu không đủ lớn thì phương pháp học truyền thống 
cho ra kết quả tốt hơn. 
Tóm lại, phương pháp dựa vào luật có nhược điểm ít linh hoạt nghĩa là nếu mẫu 
câu đầu vào không tồn tại trong cơ sở tri thức thì hệ thống sẽ không đưa ra kết quả. Tuy 
nhiên ưu điểm của phương pháp này cho ra kết quả khá chính xác khi mẫu câu thông 
điệp đầu vào khớp với mẫu câu trong cơ sở tri thức. Ưu điểm của các phương pháp học 
Một số phương pháp xác định chủ đề của câu văn bản trong hệ tư vấn 
54 
máy là khả năng hiểu ngữ nghĩa thông điệp người sử dụng đưa vào, có khả năng học từ 
dữ liệu mới. Tuy nhiên các phương pháp học máy đòi hỏi dữ liệu huấn luyện phải đủ 
lớn, cần thời gian huấn luyện. Trong trường hợp tập huấn luyện không đầy đủ, hệ thống 
có thể cho ra kết quả sai. 
4. KẾT LUẬN 
Bài báo trình bày một số cách tiếp cận được sử dụng cho bài toán xác định chủ 
đề của thông điệp người dùng dưới dạng câu văn bản. Trong bài báo này, chúng tôi 
cũng đã đưa ra so sánh, đánh giá ưu và nhược điểm của mỗi phương pháp. Tùy theo dữ 
liệu đầu vào, yêu cầu trợ lý ảo được thiết kế kiểu gì mà chúng ta chọn phương pháp cho 
phù hợp. 
Bài toán xác định chủ đề của một câu văn bản được áp dụng trong trong nhiều 
lĩnh vực xử lý ngôn ngữ tự nhiên nói chung và trợ lý ảo nói riêng. Các trợ lý ảo thông 
thường hướng đến việc xác định chủ đề người dùng trên một lĩnh vực cụ thể chẳng hạn 
như thương mại điện tử, y tế, giáo dục, Việc xây dựng trợ lý ảo linh hoạt, có thể hiểu 
được hầu hết các thông điệp người dùng dưới dạng câu văn bản thậm chí câu văn bản 
không đầy đủ (ngôn nghữ chat) để đưa ra chủ đề hay ý định người dùng muốn nói gì 
(đặc biệt là câu văn bản có nhiều chủ đề trong đó) là một bài toán vẫn đang còn nhiều 
thách thức. Dựa vào các phân tích đánh giá một số cách tiếp cận đã trình bày ở đây, 
chúng tôi hướng đến xây dựng hệ trợ lý ảo tư vấn thông tin đào tạo Đại học cho các sinh 
viên trong trường vào thời gian đến. 
TÀI LIỆU THAM KHẢO 
[1]. Laranjo L, Dunn AG, Tong HL, et al (2018). Conversational agents in healthcare: a systematic 
review, J Am Med Inform Assoc., Vol 25, pp. 1248–1258 
[2]. Kim J, Park SY, Lionel P R (2013). Conversational Agents for Health and Wellbeing: Review 
and Future Agendas, Proc. Identifying Challenges and Opportunities in Human–AI Collaboration 
in Healthcare. Austin, Texas USA 
[3]. Schaffer S, Gustke O, Oldemeier J, Reithinger N (2018). Towards Chatbots in the museum, 
Proc. CEUR Workshop., pp. 1–7 
[4]. Varitimiadis S, Kotis K, Tzortzakakis A, et al (2020). Towards implementing an AI chatbot 
platform for museums, Pro. 2nd International Conference on Cultural Informatics, 
Communication & Media Studies., Vol 1, p. 1-15 
[5]. [Quoc Nguyen D, Quoc Nguyen D, Bao Pham S (2012). A Vietnamese Text-Based 
Conversational Agent, (eds) Advanced Research in Applied Artificial Intelligence. Springer, 
Berlin, Heidelberg. pp 699–708 
[6]. Hien H, Pham-Nguyen C, Nam L, et al (2018). Intelligent Assistants in Higher-Education 
Environments: The FIT-EBot, a Chatbot for Administrative and Learning Support, Proc. of 
TẠP CHÍ KHOA HỌC VÀ CÔNG NGHỆ, Trường Đại học Khoa học, ĐH Huế Tập 18, Số 1 (2021) 
55 
the Ninth International Symposium on Information and Communication Technology. Danang City, 
Vietnam, pp. 69–76 
[7]. Boundris D, Atwell E (2005). "Using FAQs and Chatbots for e-learning at the University of 
Leeds", Master Thesis, Information Systems, University of Leeds, West Yorkshire, England 
[8]. Anusha Vegesna, Pranjal Jain, Dhruv Porwal (2018). Ontology based Chatbot (For E-
commerce Website)., Int J Comput Appl., Vol. 179, pp. 51–55 
[9]. Chai J, Horvath V, Nicolov N, et al (2001). Natural Language Sales Assistant -- A Web-Based 
Dialog System for Online Sales, Proc. the Thirteenth Innovative Applications of Artificial 
Intelligence Conference, Seattle, Washington, USA, pp. 19–26 
[10]. Weizenbaum J (1966). ELIZA—a computer program for the study of natural language 
communication between man and machine, Comun ACM., Vol 9, pp. 36–45. 
[11]. Bruno Marietto M das G, Aguiar RV, Barbosa G de O, et al (2013). Artificial Intelligence 
Markup Language: A Brief Tutorial, Int J Comput Sci Eng Surv., Vol 4, pp. 1–20 
[12]. Shah H (2006). A.L.I.C.E.: an ACE in Digitaland, tripleC., Vol 4, pp. 284–292 
[13]. O’Shea K, Bandar Z, Crockett K (2010). A Conversational Agent Framework using Semantic 
Analysis, Int J Intell Comput Res., Vol 1, pp. 10–19 
[14]. Graesser A, Lu S, Jackson G, et al (2004). AutoTutor: a Tutor with Dialogue in Natural 
Language, Behav Res Methods,. Vol 36, pp. 180–192. 
[15]. Traum D (2008). Talking to Virtual Humans: Dialogue Models and Methodologies for 
Embodied Conversational Agents, Proc. Modeling Communication with Robots and Virtual 
Humans. Lecture Notes in Computer Science. Springer, Berlin, Heidelberg, pp. 296–309 
[16]. [McGill M, Sammut C, Westendorp J, Kadous M. FrameScript: A Multi-modal Scripting 
Language, Sch Comput Sci Eng UNSW Copyr © 2003-2008 
[17]. McCallum A, Nigam K (1998). A Comparison of Event Models for Naive Bayes Text 
Classification, Proc. AAAI Workshop., pp. 41–48 
[18]. Mendoza M, Zamora J (2009). Identifying the Intent of a User Query Using Support Vector 
Machines, Proc. Karlgren J, Tarhio J, Hyyrö H (eds) String Processing and Information Retrieval. 
Springer, Berlin, Heidelberg, pp. 131–142 
[19]. Genkin A, Lewis D, Madigan D (2007). Large-Scale Bayesian Logistic Regression for Text 
Categorization, Technometrics,. Vol. 49, pp. 291–304 
[20]. [Ngo L (2016). Identifying User Intents in Vietnamese Spoken Language Commands and Its 
Application in Smart Mobile Voice Interaction, Intelligent Information and Database Systems. 
ACIIDS 2016. Lecture Notes in Computer Science, Springer, Berlin, Heidelberg. 
[21]. Hashemi HB, Asiaee A, Kraft R (2016). Query Intent Detection using Convolutional Neural 
Networks. Proc. International Conference on Web Search and Data Mining, Workshop on Query 
Understanding. ACM. 
[22]. Ravuri S, Stolcke A (2015). Recurrent Neural Network and LSTM Models for Lexical 
Utterance Classification, Proc. Interspeech. International Speech Communication Association, 
Dresden., pp 135–139 
Một số phương pháp xác định chủ đề của câu văn bản trong hệ tư vấn 
56 
[23]. Tran OT, Luong TC (2020). Understanding what the users say in chatbots: A case study for 
the Vietnamese languag, Eng Appl Artif Intell,. Vol. 87, pp. 1–10 
[24]. [Vedula N, Lipka N, Maneriker P, Parthasarathy S (2019) Towards Open Intent Discovery 
for Conversational Text. ArXiv190408524 Cs 
[25]. https://www.pandorabots.com/mitsuku/ 
[26]. [https://www.devdungeon.com/content/ai-chat-bot-python-aiml#enter-python 
A REVIEW OF METHODS FOR DETECTING INTENT OF A TEXT MESSAGE 
IN CHATBOTS 
Doan Thi Hong Phuoc, Nguyen Van Trung, Le Van Tuong Lan 
Faculty of Information Technology, University of Sciences, Hue University 
Email: dthphuoc@husc.edu.vn; nvtrung@husc.edu.vn; lvtlan@husc.edu.vn 
ABSTRACT 
Chatbots, are known as virtual assistants, have been investigated and developed in 
recent decades because of their benefits in the interaction between human and 
machine. Nowadays, these virtual assistants have been applied in many fields such 
as e-commerce, health care, tourism or education. One of the first and most 
important phases that affects to the outcome’s quality of these systems is how to 
understand the intent of user’s text message. Therefore, in this paper, we studied 
methods for detecting intent of a given text message and proposed an evaluation of 
the effect between these methods. 
Keywords: chatbot, intent detection, , text message. 
TẠP CHÍ KHOA HỌC VÀ CÔNG NGHỆ, Trường Đại học Khoa học, ĐH Huế Tập 18, Số 1 (2021) 
57 
Đoàn Thị Hồng Phước sinh ngày 12/07/1977 tại Thừa Thiên Huế. Năm 
1999, bà tốt nghiệp cử nhân chuyên ngành Tin học tại trường Đại học 
Khoa học, Đại học Huế. Năm 2004, bà nhận bằng thạc sĩ chuyên ngành 
Công nghệ thông tin tại trường Đại học Khoa học, Đại học Huế. Năm 
2019, bà nhận học vị tiến sĩ chuyên ngành Khoa học máy tính tại Đại học 
KhonKaen, Thái Lan. Hiện nay, bà là giảng viên của khoa Công nghệ 
thông tin, trường Đại học Khoa học, Đại học Huế. 
Lĩnh vực nghiên cứu: Học máy, Xử lý ngôn ngữ tự nhiên và Khai phá dữ 
liệu văn bản. 
Nguyễn Văn Trung sinh ngày 25/10/1981 tại Thừa Thiên Huế. Năm 2003 
ông tốt nghiệp cử nhân chuyên ngành Tin học tại trường Đại học Khoa 
học, Đại học Huế. Năm 2006 ông nhận bằng thạc sĩ chuyên ngành Công 
nghệ Thông tin tại trường Đại học Khoa học, Đại học Huế. Năm 2018 ông 
nhận học vị Tiến sĩ chuyên ngành Khoa học Máy tính tại trường Đại học 
Khoa học, Đại học Huế. Hiện nay ông công tác tại Khoa Công nghệ 
Thông tin, trường Đại học Khoa học, Đại học Huế. 
Lĩnh vực nghiên cứu: Các hệ thống thông tin, Quản lý và biểu diễn tri thức, 
Web ngữ nghĩa, Linked Data, Công nghệ phần mềm. 
Lê Văn Tường Lân sinh ngày 10/11/1974 tại Thừa Thiên Huế. Năm 1996, 
ông tốt nghiệp Đại học ngành Toán - Tin tại Trường Đại học Khoa học, 
Đại học Huế. Ông nhận bằng thạc sỹ Công nghệ thông tin tại Trường Đại 
học Bách Khoa Hà Nội năm 2002 và nhận học vị Tiến sĩ ngành Khoa học 
máy tính tại Trường Đại học Khoa học, Đại học Huế năm 2018. Hiện ông 
công tác tại Trường Đại học Khoa học, Đại học Huế. 
Lĩnh vực nghiên cứu: Lập trình ứng dụng, Cơ sở dữ liệu, Công nghệ phần 
mềm, Khai phá dữ liệu. 
Một số phương pháp xác định chủ đề của câu văn bản trong hệ tư vấn 
58