Chuyển đổi cây cú pháp cụm danh từ tiếng Anh theo tiếng Việt
Transferring syntax trees is one of the
key tasks of machine translation systems. To transfer
syntax trees, they can be performed by different
models of the statistical translation method, rulebased translation method, or a hybrid of statistics and
rule-based translation method [9]. In this paper we
present a combination of bilingual corpus and
knowledge-based method, which transfers syntax trees
of English Base Noun Phrases via the Vietnamese
syntax from a pair of bilingual sentences to identify
anchor points. Our combination technique can help to
invert word order in noun phrases of the source
language to suit those of target language and improve
the performance of miss-alignment, null-alignment,
overlap and conflict projection of the existing
methods. The proposed technique can be easily
applied to other language pairs. Experiment on pairs
of sentences in the English-Vietnamese bilingual
corpus showed that our proposed method is
satisfactory.
Trang 1
Trang 2
Trang 3
Trang 4
Trang 5
Trang 6
Trang 7
Trang 8
Trang 9
Tóm tắt nội dung tài liệu: Chuyển đổi cây cú pháp cụm danh từ tiếng Anh theo tiếng Việt
ừ cơ sở tiếng Việt Phương pháp: Bước 1: Thực hiện các giải thuật 1, 2 và 3 để phân tích chuỗi nhập thành các thành phần chức năng ở các vị trí tương ứng. Bước 2: Sắp xếp lại các thành phần này vào các vị trí tương ứng trong cấu trúc cụm danh từ cơ sở tiếng Việt như sau: cất Y1 vào X1, cất Y2a hoặc Y3b, hoặc Y6a vào vị trí X2, cất Y5 vào vị trí X5, cất Y4, Y6b, Y3a vào vị trí X6 theo hai cấu trúc “Y3a Y4 Y6b” và “Y4 Y3a Y6b”, cất Y2b vào vị trí X7; Xếp các vị trí này theo thứ tự tăng dần của X; Các thành tố trong chuỗi mới X1 X2 X5 X6 X7 là cấu trúc cụm danh từ cơ sở tiếng Anh đã chuyển đổi trật tự theo cấu trúc cụm danh từ cơ sở tiếng Việt; Ví dụ 2 mô tả quy trình chuyển đổi trật tự từ tiếng Anh theo tiếng Việt. Ví dụ 2: a) [her1/PRP$ first2/JJ six3/CD Vietnamese4/JJ dresses5/NNS] Sáu/CD cái/CL áo dài/NN Việt Nam/JJ đầu tiên/JJ của/PRO cô/NN ta/NN Sau khi phân tích ví dụ 2( a) chúng ta được Y2= her/PRP$, Y3a = first/JJ, Y3b = six/CD, Y4 = Vietnamese/JJ, Y5 = dresses/NNS và sắp xếp lại theo trật tự từ tiếng Việt là “Y3b Y5 Y4 Y3a Y2” chúng ta có trật tự như ví dụ 2(b). (b) [six1/CD dresses2/NNS Vietnamese3/JJ first4/JJ her5/PRP$] Sáu/CD (cái/CL) áo dài/NN Việt Nam/JJ đầu tiên/JJ (của/PRO) cô/NN ta/NN CL là từ loại của từ “cái” và POS là từ loại của từ “của”. Quan sát bảng cấu trúc cụm danh từ cơ sở tiếng Việt trên hình 4, chúng ta thấy rằng: ngoại trừ các thành phần X2, X3, X4, X6, các thành phần khác đều có sự tương đương chức năng là 1-1 (X1 ↔ Y1, X5 ↔ Y5, X7 ↔ Y2b). Thành phần X3 và X4 là hai thành phần đặc trưng của cụm danh từ cơ sở tiếng Việt. X3, X4 không có thành phần tương đương chức năng bên cụm danh từ cơ sở tiếng Anh (X3 → φ, X4 → φ). Ở vị trí của thành phần X2 xuất hiện thành phần Các công trình nghiên cứu, phát triển và ứng dụng CNTT-TT Tập V-1, Số 9 (29), tháng 6/2013 - 53 - Y2a hoặc thành phần Y3b hoặc thành phần Y6a là những thành phần tương đương chức năng với X2. Ở vị trí của thành phần X6, nếu có nhiều thành phần của cụm danh từ cơ sở tiếng Anh cùng xuất hiện ở vị trí này, thì thứ tự xuất hiện của chúng là X6 = {Y4 Y6b Y3a} như ví dụ 3 (b), hoặc X6 = {Y4 Y3a Y6b} như ví dụ 3 (c), phụ thuộc vào ngữ cảnh của câu tiếng Việt. Ví dụ 3: (a) [the/DT first/JJ three/CD young/JJ man/NN Y2 Y3a Y3b Y4 Y5 absent/JJ] will/MD be/VB punished/VBN Y6b (b) ba/CD thanh niên/NN trẻ/JJ vắng mặt/JJ đầu X2 X5 tiên/JJ sẽ/MD bị phạt/VB. X6 (c) ba/CD thanh niên/NN trẻ/JJ đầu tiên/JJ vắng X2 X5 mặt/JJ sẽ/MD bị phạt/VB. X6 Hình 4. Mô hình chuyển đổi trật tự từ tiếng Anh theo tiếng Việt Trong đó: - wk: Từ thứ k trong cụm danh từ tiếng Anh - Ck: Mã từ loại của từ thứ k - X1 đến X7: là các thành tố trong cụm danh từ tiếng Việt - Y1 đến Y6: là các thành tố của cụm danh từ tiếng Anh Phân tích các thành phần của ví dụ 3 bằng các giải thuật 1, 2 và 3. Chúng ta có Y2 = the/DT, Y3a = first/JJ, Y3b = three/CD, Y4 = young/JJ, Y5 = man/NN, Y6 = absent/JJ. Sắp xếp lại chúng theo trật tự của tiếng Việt theo giải thuật 4 cho câu trong ví dụ 3(b) là “Y3b Y5 Y4 Y3a Y6b” và cho câu trong ví dụ 3(c) là “Y3b Y5 Y3a Y4 Y6b”. Như vậy, trật tự của Y3a và Y4 có thể thay đổi cho nhau phụ thuộc vào câu dịch tiếng Việt. Tuy khác nhau về trật tự khi được sắp xếp theo thứ tự của cụm danh từ cơ sở tiếng Việt tương ứng, nhưng cả Y3a và Y4 trong cụm danh từ cơ sở tiếng Anh đều có chức năng tương đương với thành phần X6 trong cụm danh từ tiếng Việt. IV. KẾT QUẢ THỰC NGHIỆM Dữ liệu đánh giá Để đảm bảo tính bao phủ của mô hình chuyển đổi trật tự từ trong cụm danh từ cơ sở tiếng Anh theo tiếng Việt, chúng tôi đã chuẩn bị bộ ngữ liệu mẫu. Bộ ngữ liệu này bao gồm 174 mẫu cụm danh từ cơ sở tiếng Anh. Những mẫu này có số từ lớn hơn 2 từ trở lên và có tần suất xuất hiện hơn 10 lần trong ngữ liệu của Penn Treebank [16]. Phần dịch ra tiếng Việt của 174 mẫu cụm danh từ cơ sở tiếng Anh cũng như việc tách các cụm danh từ cơ sở tiếng Anh thành các thành phần từ Y1 đến Y6, các cụm danh từ cơ sở tiếng Việt từ X1 đến X7 do Trung tâm nghiên cứu ngôn ngữ - Viện KHXH tại thành phố Hồ Chí Minh thực hiện. Penn Treebank Dự án Penn Treebank được thực hiện trong 8 năm (1989-1996), đã gán nhãn bằng tay từ loại cho khoảng 7 triệu lượt từ, 3 triệu từ được phân tính cú pháp và hơn 2 triệu từ trong câu được phân tích cấu trúc với Bảng cấu trúc cụm danh từ cơ sở tiếng Việt X1 X2 X3 X4 X5 X6 X7 Y1 Y2a/ Y3b/ Y6a φ φ Y5 Y4 Y6b Y3a Y2b Chuỗi từ có gán từ loại của cụm danh từ cơ sở tiếng Anh sắp xếp theo cấu trúc tiếng Việt Chương trình chuyển đổi trật tự từ w1/C1 w2/C2 wk/Ck $ Các công trình nghiên cứu, phát triển và ứng dụng CNTT-TT Tập V-1, Số 9 (29), tháng 6/2013 - 54 - các chức năng ngữ pháp cho văn bản và 1,6 triệu từ phiên âm cho tiếng nói. Tài liệu dùng để chú giải là các tài liệu về máy tính của hãng IBM, ghi chú của y tá, các bài báo trong Tạp chí Phố Uôn (Wall Street Journal), các cuộc hội thoại qua điện thoại[17]. Tiêu chuẩn đánh giá Trong đó: - A: Số NPbase do con người đánh giá lại từ kết quả đưa ra bởi máy tính - B: Số NPbase đưa ra bởi máy tính - C: Số NPbase do con người xác định từ dữ liệu đánh giá - Pre: Độ chính xác (precision) - Rec: Độ thu hồi (Recall) - AER: là tỷ số lỗi - Fβ: là trọng số điều hòa - β: Thông số cho trước, chúng tôi chọn β = 1 Chúng tôi sử dụng tiêu chuẩn về đánh giá cụm từ (chunker) của Jurafsky và Matin [3] bao gồm các phép đo về độ chính xác Pre, độ thu hồi Rec, trọng số điều hòa Fβ theo các công thức (1), (2), (3). Chúng tôi cũng sử dụng công thức đánh giá tỷ suất lỗi đối sánh AER của Och [8] (công thức (4) để đánh giá cho các đối tượng trong chương này. (i) Phân tích cụm danh từ cơ sở tiếng Anh thành các thành phần từ Y1 đến Y6 Để thực nghiệm cho mục này, chúng tôi sử dụng các giải thuật 1, 2 và 3 để phân tích 174 mẫu đã chọn vào các thành phần từ Y1 đến Y6. Sau đó lấy kết quả thu được từ máy tính để so trùng với các thành phần đã được thực hiện bởi các chuyên gia ngôn ngữ, cụ thể với 174 mẫu thu được như Bảng 5. Bảng 5. Kết quả phân tích cụm danh từ tiếng Anh Thành tố A B C Pre (A,B) Rec(A,C) AER Fβ Y1 13 13 13 100% 100% 0% 100% Y2a 73 75 75 97,3% 97,3% 2,7% 97,3% Y2b 16 16 16 100% 100% 0% 100% Y3a 2 2 2 100% 100% 0% 100% Y3b 25 26 26 96,2% 96,2% 3,8% 96,2% Y4 145 147 147 98,6% 98,6% 1,4% 98,6% Y5 173 174 174 99,4% 99,4% 0,6% 99,4% Y6a 3 3 3 100% 100% 0% 100% Y6b 3 3 3 100% 100% 0% 100% Trong Bảng 5: - Cột A là thống kê kết quả đánh giá lại của con người về các thành phần từ Y1 đến Y6 (của cụm danh từ cơ sở tiếng Anh) do máy tính đưa ra. - Cột B là thống kê ghi lại tổng số các thành phần từ Y1 đến Y6 do các giải thuật 1, 2 và 3 mà máy tính xác định được. - Cột C là thống kê số thành phần được phân tích trong bộ mẫu chuẩn do con người xác định trước. - Pre là độ chính xác đạt được của các giải thuật phân tích cụm danh từ cơ sở tiếng Anh - Rec là độ thu hồi đạt được của các giải thuật phân tích cụm danh từ cơ sở tiếng Anh Fβ là độ đo trọng số điều hòa - AER là tỷ suất lỗi Khi phân tích 174 mẫu thành các thành phần từ Y1 đến Y6, chúng tôi thấy thành phần Y5 có 10 mẫu có liên từ, chiếm tỷ lệ là 10/174, các thành phần khác như Y6 có tỷ lệ là 1/9, Y4 có tỷ lệ là 6/147 và Y3 có tỷ lệ là 1/26. (ii) Chuyển đổi trật tự từ và xác định điểm neo Bảng 6 thống kê các điểm neo xác định được nhờ quá trình phân tích cụm danh từ cơ sở tiếng Anh và sắp xếp lại các thành phần này theo tiếng Việt bằng giải thuật 4. Sau đó, chúng tôi xác định các điểm neo trái và neo phải của cụm danh từ cơ sở tiếng Anh đã được sắp xếp để phục vụ cho bài toán chiếu tìm cụm danh từ tiếng Việt tương ứng. Điểm neo được xác định là từ nằm ở tận cùng bên trái làm điểm neo trái, từ nằm ở tận cùng bên phải làm điểm neo phải. Biên trái Pre(A,B) = A B Rec(A,C) = C A (1) (2) Fβ(Pre,Rec) = (β2+1)*Pre*Rec β2*(Pre+Rec) (3) AER(A,B,C) = 1 - B + C 2*A (4) Các công trình nghiên cứu, phát triển và ứng dụng CNTT-TT Tập V-1, Số 9 (29), tháng 6/2013 - 55 - và biên phải này là của cụm danh từ cơ sở tiếng Anh đã chuyển đổi trật tự từ theo tiếng Việt (đã loại bỏ stopword trong cụm danh từ cơ sở tiếng Anh). Bảng 6. Kết quả chuyển đổi trật tự từ và xác định điểm neo Điểm neo D E F Pre(D,F) Rec(D,F) AER Fβ L (trái) 173 174 174 99,4% 99,4% 0,6% 99,4% R (phải) 172 174 174 98,8% 98,8% 1,2% 98,8% NPed 171 174 174 98,3% 98,3% 1,7% 98,3% Trong Bảng 6: - Cột D là số điểm neo hoặc luật được thẩm định lại bởi con người từ kết quả đưa ra bởi máy tính - Cột E là số điểm neo hoặc luật do máy tính đưa ra. - Cột F là số điểm neo hoặc luật được định trước bởi con người trong mẫu thẩm định. - Cột Pre là độ chính xác đạt được (công thức (1)) - Cột Rec là độ thu hồi tính theo công thức (2). - AER là tỷ suất lỗi tính theo công thức (4). - Cột Fβ là độ đo trọng số điều hòa tính theo công thức (3) với β=1. - Hàng L là tổng số điểm neo trái của các mẫu đánh giá. - Hàng R là tổng điểm neo phải của các mẫu đánh giá. - Nped là luật sinh cụm danh từ cơ sở tiếng Anh đã chuyển đổi theo trật tự từ của cụm danh từ cơ sở tiếng Việt. V. KẾT LUẬN Bài báo đã trình bày mô hình chuyển đổi trật tự từ cụm danh từ cơ sở tiếng Anh theo tiếng Việt, để xác định điểm neo trong cụm danh từ tiếng Anh. Điểm neo trong bài toán này được định nghĩa là từ tận cùng bên trái và từ tận cùng bên phải của cụm danh từ tiếng Anh sau khi đã chuyển đổi trật tự từ theo tiếng Việt. Kết quả của nghiên cứu này phục vụ cho bài toán nhận biết cụm danh từ cơ sở tiếng Việt thông qua đối sánh điểm neo trong cặp câu song ngữ [5]. Mặc dù kết quả khá khả quan, nhưng đây mới chỉ là kết quả thực nghiệm trên 174 mẫu nghiên cứu do Trung tâm nghiên cứu ngôn ngữ - Viện KHXH tại thành phố Hồ Chí Minh thực hiện biên dịch và đánh giá so sánh. Cho dù số mẫu này thống kê có tần suất xuất hiện thường xuyên trong Penn Treebank và chúng chiếm tỷ lệ đến 92% số luật sinh về cụm danh từ cơ sở trong các chương từ 15 đến 18 của Penn Treebank, chúng tôi vẫn cần khảo sát, nghiên cứu thêm nhiều mẫu cụm danh từ cơ sở khác nữa. TÀI LIỆU THAM KHẢO [1] M.Collins (1999), Head driven statistical models for natural language parsing, PhD dissertation, University of Pennsylvania. [2] Dinh Dien, Thuy Ngan, Xuan Quang, Chi Nam, “The Parallel Corpus Approach to Building the Syntactic Tree Transfer Set in the English-to- Vietnamese Machine Translation”, International Conference on Electronics, Informations and Commumications. Hanoi, 16-18/08/2004. [3] D.Jurafsky and J.Matin (2006), Speech and Language Processing, ~martin/slp2.html [4] NGUYỄN CHÍ HIẾU, Mô hình khai thác đặc tính ngôn ngữ đích nhằm xác định các cụm danh từ cơ sở tương ứng Anh-Việt, Luận án Tiến sĩ, Đại học Bách khoa – Thành phố Hồ Chí Minh, 2008. [5] NGUYỄN CHÍ HIẾU, “A Combination System for Identifying Base Noun Phrase”, Advanced Methods for Computational Collective Intelligence, SCI 457, pp. 13- 23, ©Springer-Verlag Berlin Heidelberg, 2012. [6] Y.S.Hwang, K.Paik, Y.Sasaki, “Bilingual Knowledge Extraction Using Chunk Alignment”, PACLIC 18, December 8th-10th, 2004, Waseda University, Tokyo. [7] J.Kupiec, “An Algorithm for finding Noun phrase Correspondences in Bilingual Corpora”, Proceedings of the 31st annual meeting on Association for Computational Linguistics, Columbus, Ohio, USA, Pages: 17 – 22, 1993. [8] F.J.Och, H.Ney, “A Systematic Comparision of Various Statistical Alignment Models”, Association for Computational Linguistics, 2003. Các công trình nghiên cứu, phát triển và ứng dụng CNTT-TT Tập V-1, Số 9 (29), tháng 6/2013 - 56 - [9] M. Popel, “English-Czech Machine Translation Using TectoMT”, WDS'10 Proceedings of Contributed Papers, Part I, pages: 88–93, 2010. [10] VŨ NGỌC TÚ, Nghiên cứu đối chiếu trật tự từ Anh- Việt trên một số cấu trúc cú pháp cơ bản, Luận án PTS Ngữ văn, ĐHQG Hà nội, 1996. [11] N.H.Tuong, The structure of the Vietnamese Noun Phrase, Ph.D. dissertation, Boston University Graduate School of Arts and Sciences, 2004. [12] N.P.Thai and A.Shimazu, “Improving Phrase- Based SMT with Morpho-Syntactic Analysis and Transformation”, Proceedings of the 7th Conference of the Association for Machine Translation in the Americas, pages 138-147, Cambridge, August-2006. [13] W.Wang and M.Zhou, “Structure Alignment Using Bilingual Chunking”, The 19th International Conference on Computational Linguistics (Coling 2002). [14] H. Wantanabe, S. Kurohashi and E. Aramaki, Finding Structural Correspondences from Bilingual Parsed Corpus, IBM Research, Tokyo Research Laboratory, 1999. [15] D.Yarowsky, G.Ngai and R.Wicentowski, “Inducing Multilingual Text Analysis Tools via Robust Projection across Aligned Corpora”, Proceedings of NAACL-2001. [16] [17] A.Taylor, M.Marcus, B.Santorini, The Penn Treebank: An Overview, PHỤ LỤC A BẢNG KÝ HIỆU MÃ TỪ LOẠI Nhãn Mô tả CC Coordinating conjunction (liên từ) CD Cardinal number (số từ) CD Determiner (định từ) EX Existential “there” (“có”) FW Foreign word (từ nước ngoài) IN Preposition (giới từ) JJ Adjective (tính từ) JJR Adjective, comparative JJS Adjective, superlative NN Noun, singular / mass NNS Noun, plural (danh từ số nhiều) NP Proper noun, singular (danh từ riêng số ít) NPS Proper noun, plural (danh từ riêng số nhiều) PDT Pre-determiner (tiền chỉ định từ) POS Possessive ending PRO Personal pronoun (đại từ nhân xưng) PRP$ Possessive pronoun (đại từ sở hữu) RB Adverb (trạng từ) RB Adverb, comparative (trạng từ so sánh hơn) RBS Adverb, superlative (trạng từ so sánh nhất) VB Verb, base form (động từ nguyên thể) VBD Verb, past tense (động từ quá khứ) VBG Verb, gerund or present participle VBN Verb, past participle (động từ quá khứ) VBP Verb, non 3rd person singular present VBZ Verb, 3rd person singular present WDT Wh-determiner (định từ bắt đầu bằng Wh) WP Wh-pronoun (đại từ bắt đầu bằng Wh) WP$ Possessive Wh-pronoun CL từ phân lớp CA tiểu từ “cái” PL “những”, “các” BA “bằng”, “từ” $ “đô la Mỹ” # “bảng Anh” Nhận bài ngày: 14/03/2013 SƠ LƯỢC VỀ CÁC TÁC GIẢ NGUYỄN CHÍ HIẾU Sinh ngày 27/12/1959. Tốt nghiệp đại học ngành Chế tạo máy- Đại học Bách Khoa Hà Nội, năm 1981; đại học ngành CNTT - Đại học Bách Khoa TP. Hồ Chí Minh, năm 1998; Tốt nghiệp Thạc sỹ Khoa học máy tính- Đại học Bách Khoa TP. Hồ Chí Minh, năm 2002; Nhận bằng Tiến sĩ Kỹ thuật ngành Khoa học máy tính - Đại học Bách Khoa TP. Hồ Chí Minh, năm 2008. Hiện đang công tác tại Đại học Công nghiệp Thành phố Hồ Chí Minh. Hướng nghiên cứu chính : Xử lý ngôn ngữ tự nhiên E-mail: nchieu@hui.edu.vn
File đính kèm:
- chuyen_doi_cay_cu_phap_cum_danh_tu_tieng_anh_theo_tieng_viet.pdf