Giám sát và đánh giá chất lượng trải nghiệm (QoE) cho ứng dụng web

ính QoE = f(KPI, KQI)
Tính khoảng cách D
So sánh mức ngưỡng
Kết quả đánh giá QoE
Ref-QoE
Hình 5. Giám sát và đánh giá QoE theo khoảng cách và mức ngưỡng 
Mạng thử nghiệm
CP2 CP1
Client Browser Web Server
Hình 6. Sơ đồ thử nghiệm QoE cho ứng dụng Web với hai điểm đo giám sát 
Hoàng Mạnh Quang, Hoàng Đăng Hải 
Lưu lượng Web ứng với các dịch vụ mạng mới được 
mô tả trong [41]. Theo [35], phân mức các lớp QoS với 
các tham số trễ, độ rung trễ, tỷ lệ mất gói như trên Bảng 3. 
Thực hiện thử nghiệm với việc đặt lần lượt các giá trị 
sau cho Delay, Jitter, PLR 
- Delay: 0, 100, 150, 200, 250, 300, 350 và 400 ms 
- Jitter: 0, 100, 150, 200, 250, 300, 350 ms 
- PLR: 0, 0.025, 0.05, 0.075, 0.10, 0.125, 0.15, 0.175, 
0.20, 0.225, 0.25 
Mục đích của việc thử nghiệm là xem xét mối quan hệ 
giữa QoE và QoS. Do đó, ta sử dụng phương pháp tính 
thống kê đơn giản cho QoE theo các tham số QoS như đã 
chỉ ra trong [39] như sau: 
cQoSbaQoE )*exp(* (6) 
Trong đó a và b là các hệ số, QoS là các giá trị trễ, độ 
rung trễ và tỷ lệ mất gói. 
Các công thức tương ứng biểu thị mối quan hệ giữa 
MOS với trễ (Delay), độ rung trễ (Jitter) và tỷ lệ mất gói 
(PLR) được đưa ra trong [39] là: 
MOS = 13.96*exp(-1.133*Delay) – 8.783 
MOS = 98.78*exp(-0.1219*JItter) – 94.21 
MOS = 2.198*exp(-11.06*PLR) + 1.391 
Bảng 4 và đồ thị hình 7 là kết quả khảo sát mối quan 
hệ giữa MOS và Delay (tính bằng giây). Bảng 5 và đồ thị 
hình 8 là kết quả khảo sát mối quan hệ giữa MOS và Jitter 
(tính bằng giây). Bảng 6 và đồ thị hình 9 là kết quả khảo 
sát mối quan hệ giữa MOS và tỷ lệ mất gói (Packet Loss 
Rate). 
Bảng 3. Phân mức các lớp QoS với các tham số 
Lớp 
QoS 
Delay Jitter PLR Ví dụ các ứng dụng 
0 100 ms 50 ms 1 x 10
–3
 Real-time, nhạy cảm với jitter, độ trễ thấp, có tính tương tác cao 
1 400 ms 50 ms 1 x 10
–3
 Real-time, nhạy cảm với jitter, trễ trung bình, có tính tương tác 
2 100 ms 50 ms 1 x 10
–3
 Trao đổi dữ liệu, độ trễ thấp, có tính tương tác cao 
3 400 ms 50 ms 1 x 10
–3
 Trao đổi dữ liệu, trễ trung bình, có tính tương tác 
4 1 s 50 ms 1 x 10
–3
 Mất gói thấp 
5 U U U Best effort (U = undefined) 
6 100 ms 50 ms 1 x 10
–5
 Tốc độ bit cao, yêu cầu khắt khe mất gói thấp, độ trễ thấp, có tính 
tương tác cao 
7 400 ms 50 ms 1 x 10
–5
 Tốc độ bit cao, yêu cầu khắt khe mất gói thấp, trễ trung bình, có 
tính tương tác 
Bảng 4. Tính giá trị MOS theo Delay 
Delay 0 0.1 0.15 0.2 0.25 0.3 0.35 0.4 
MOS 5.177 3.6816 2.9951 2.3465 1.7335 1.1543 0.6070 0.0899 
Bảng 5. Tính giá trị MOS theo Jitter 
Jitter 0 0.1 0.15 0.2 0.25 0.3 0.35 
MOS 4.5700 3.3732 2.7802 2.1909 1.6051 1.0229 0.4442 
Bảng 6. Tính giá trị MOS theo Pakcet Loss Rate (PLR) 
PLR 0 0.025 0.05 0.075 0.10 0.125 0.15 0.175 0.20 0.225 0.25 
MOS 3.59 3.06 2.66 2.35 2.12 1.95 1.81 1.71 1.64 1.58 1.53 
GIÁM SÁT VÀ ĐÁNH GIÁ CHẤT LƯỢNG TRẢI NGHIỆM (QoE) CHO ỨNG DỤNG WEB 
Hình 7. Quan hệ giữa MOS và Delay 
Hình 8. Quan hệ giữa MOS và Jitter 
Hình 9. Quan hệ giữa MOS và PLR 
V. KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN TIẾP 
Mạng Internet ngày càng phát triển, có thêm nhiều 
dịch vụ ứng dụng mới đa dạng trên nền tảng IP và di 
động. Các ứng dụng Web được sử dụng rộng rãi, có độ 
phức tạp ngày càng cao và nội dung đa dạng, đặc biệt là 
các nội dung đa phương tiện. Đáp ứng yêu cầu chất lượng 
dịch vụ (QoS) và chất lượng trải nghiệm (QoE) cho người 
dùng là vấn đề quan trọng đối với các nhà cung cấp dịch 
vụ ứng dụng, điển hình là các ứng dụng Web trực tuyến 
như Youtube, MyTV, IPTV,. 
QoS và QoE đã được quan tâm từ nhiều năm, song 
vẫn chưa có một mô hình phù hợp cho định lượng QoE. 
Các mô hình đánh giá QoE có thể rất khác nhau cho mỗi 
loại dịch vụ, ứng dụng Web. 
Để theo dõi chất lượng trải nghiệm QoE cho ứng dụng 
Web theo thời gian thực, cần có một mô hình giám sát và 
đánh giá QoE trực tuyến, xem xét mối quan hệ giữa QoS 
và QoE, mối quan hệ giữa QoE và MOS. 
Bài báo đã đề xuất một mô hình tham chiếu cho giám 
sát và đánh giá QoE cho ứng dụng Web dựa trên cơ sở các 
tham số theo tiêu chuẩn của ITU. Mô hình tham chiếu 
WebQoE-RefMod được đề xuất với các đặc trưng: xác 
định một tập hồ sơ tham chiếu QoE phục vụ cho việc so 
sánh, đánh giá định lượng QoE trên cơ sở so sánh với mức 
QoE tham chiếu; xác định một tập các điểm tham chiếu để 
đo QoE; tính giá trị QoE theo các chỉ số KPI và KQI; 
giám sát và đánh giá QoE theo công thức thống kê khoảng 
cách tới giá trị Ref-QoE. 
Bài báo đã đưa ra thử nghiệm khảo sát mối quan hệ 
giữa MOS với các tham số QoS (xấp xỉ cho chỉ tiêu KPI) 
gồm: trễ (Delay), độ rung trễ (Jitter), tỷ lệ mất gói (PLR). 
Trong khuôn khổ bài báo, những công việc cụ thể về 
thu thập dữ liệu tại các điểm đo giám sát, phương pháp đo 
thu thập dữ liệu, cách thức tính KPI và KQI từ các dữ liệu 
đo được, cách so sánh QoE và Ref-QoE với mức ngưỡng 
vẫn còn chưa được trình bày chi tiết. Đó là các chủ đề 
nghiên cứu tiếp theo. 
LỜI CẢM ƠN 
Các tác giả trân trọng cảm ơn nguồn tài trợ của đề tài 
cấp Nhà nước mã số KC.01.08/16-20 của Bộ KH&CN 
cho nhóm nghiên cứu. 
TÀI LIỆU THAM KHẢO 
[1] R.Schatz, S. Schwarzmann, T. Zinner, et.al. QoE 
Management for Future Networks. Autonomous Control 
for a Reliable Internet of Services. Lecture Notes in 
Computer Science (LNCS), Vol.10768, May 2018, pp. 49-
80. 
[2] L. Kosskimies, T. Taleb, M. Bagaa. QoE Estimation–based 
Server Benchmarking for virtual Video Delivery Platform. 
Proc. of 2017 IEEE International Conference on 
Communications (ICC), July 2017 
[3] Enrico, Bocchi. Network Traffic Measurements, 
Applications to Internet Services and Security. PhD thesis. 
Politecnico Di Torino, Telecom ParisTech. 2017. 
[4] Qualinet White Paper on Definitions of Quality of 
Experience, 2012, March 2013 
[5] Elias Allayiotis. Characterization of Mobile Web Quality 
of Experience using a non-intrusive, context-aware, 
mobile-to-cloud system approach. PhD Thesis. University 
of Central Lansashire. UK. June 2017. 
[6] A.S. Asrese, E.A. Walelgne, V. Bajpai, et.al. Measuring 
Web Quality of Experience in Cellular Networks. Proc of 
Internl. Conference on Passive and Active Network 
Measurement (PAM 2019), LNCS 11419, 2019. pp.18-33. 
[7] T. Hossfeld, F. Metzger, D. Rossi. Speed Index: Relating 
the Industrial Standard for User Perceived Web 
Hoàng Mạnh Quang, Hoàng Đăng Hải 
Performance to Web QoE. Proc. of 10th Internl. 
Conference on Quality of Multimedia Experience 
(QoMEX). 29th May-1st June 2018. 
[8] T. Hossfeld, P.E. Heegaard, L.S. Kapov, M. Varela. 
Fundamental Relationships for Deriving QoE in Systems. 
Proc. of 11th Internl. Conference on Quality of Multimedia 
Experience (QoMEX). June 2019. 
[9] A. Asrese, E.S. Jacob, B. Vaibhav, et.al. Measuring Web 
Latency and Rendering Performance: Method, Tools & 
Longitudinal Dataset. IEEE Transactions on Network and 
Service Management. 16(2), pp.535-549. June 2019. 
[10] D.d. Hora, D. Rossi, V. Christophides, R. Teixeira. A 
practical method for measuring Web above-the-fold time. 
Proc. of ACM SIGCOMM 2018, Aug. 2018. 
[11] M. Lycett, O. Radwan. Developing a Quality of 
Experience (QoE) model for Web Applications. Journal of 
Information Systems, 05 Mar. 2018, 
https://doi.org/10.1111/isj.12192. Vol.29, pp. 175-199. 
[12] Google Inc. (2013) SPDY: An experimental protocol for a 
faster web, Spdy. Available at:  chromium. 
org/spdy/spdy-whitepaper. 
[13] Google Inc. (2016) WebP — A new image format for the 
Web, WebP. Available at: https://developers. 
google.com/speed/webp/. 
[14] ITU-T P.800. Methods for subjective determination of 
transmission quality. 1996. 
[15] R. Schatz, S. Egger. On the Impact of Terminal 
Performance and Screen Size on QoE. in proc of ETSI 
Workshop on Selected Items on Telecommunication 
Quality Matters. Vienna, Austria: ETSI. 2012. 
[16] Rehman K. Laghari, K. Connelly. Toward total quality of 
experience: A QoE model in a communication ecosystem. 
IEEE Communications Magazine, 50(4), pp. 58–65. doi: 
10.1109/MCOM. 2012.6178834 
[17] S. Egger, T. Hossfeld, R. Schatz, M. Fiedler. Waiting 
Times in Quality of Experience For Web Based Services. 
Proc of QoMEX 2012, pp. 86–96. 
[18] A. Saverimoutou, B. Mathieu, S. Vaton. Web Browsing 
Measurements: An Above-The-Fold Browser-Based 
Technique. Proc of IEEE Internl. Conference on 
Distributed Computing Systems (ICDCS), Mar. 2019. 
[19] A. Balachandran, V. Aggarwal, E. Halepovic, J. Pang, S. 
Seshan, S. Venkataraman, and H. Yan, “Modeling web 
quality-of-experience on cellular networks,” in 
Proceedings of the 20th annual international conference on 
Mobile computing and networking. ACM, 2014, pp. 213–
224 
[20] S. Barakovic and L. Skorin-Kapov, “Survey of research on 
quality of ´ experience modelling for web browsing,” 
Quality and User Experience, vol. 2, no. 1, p. 6, 2017. 
[21] A. Sackl, S. Egger, and R. Schatz, “The influence of 
network quality fluctuations on web qoe,” in Quality of 
Multimedia Experience (QoMEX). IEEE, 2014, pp. 123–
128 
[22] A. Sackl, P. Casas, R. Schatz, L. Janowski, and R. Irmer, 
“Quantifying the impact of network bandwidth 
fluctuations and outages on web qoe,” in Quality of 
Multimedia Experience (QoMEX). IEEE, 2015, pp. 1–6 
[23] M. Varela, T. Mäki, L. Skorin-Kapov, and T. Hoßfeld, 
“Towards an understanding of visual appeal in website 
design,” in Quality of Multimedia Experience (QoMEX). 
IEEE, 2013, pp. 70–75 
[24] M. Varela, L. Skorin-Kapov, T. Mäki, and T. Hoßfeld, 
“Qoe in the web: A dance of design and performance,” in 
Quality of Multimedia Experience (QoMEX). IEEE, 2015, 
pp. 1–7 
[25] E. Bocchi, L. De Cicco, and D. Rossi, “Measuring the 
quality of experience of web users,” ACM SIGCOMM 
Computer Communication Review, vol. 46, no. 4, pp. 8–
13, 2016 
[26] S. Egger, T. Hoßfeld, R. Schatz, and M. Fiedler, “Waiting 
times in quality of experience for web based services,” in 
Quality of Multimedia Experience (QoMEX). IEEE, 2012, 
pp. 86–96 
[27] D. Da Hora, A. Asrese, V. Christophides, R. Teixeira, and 
D. Rossi, “Narrowing the gap between qos metrics and 
web qoe using above-thefold metrics,” in PAM 2018-
International Conference on Passive and Active Network 
Measurement, 2018, pp. 1–13 
[28] T. Hoßfeld, S. Biedermann, R. Schatz, A. Platzer, S. 
Egger, and M. Fiedler, “The memory effect and its 
implications on web qoe modeling,” in Teletraffic 
Congress (ITC), 2011 23rd International. IEEE, 2011, pp. 
103–110 
[29] D. Strohmeier, S. Jumisko-Pyykkö, and A. Raake, 
“Toward taskdependent evaluation of web-qoe: Free 
exploration vs. “who ate what?”,” in Globecom 
Workshops (GC Wkshps), 2012 IEEE. IEEE, 2012, pp. 
1309–1313 
[30] S. Egger, P. Reichl, T. Hoßfeld, and R. Schatz, ““Time is 
bandwidth”? Narrowing the gap between subjective time 
perception and Quality of Experience,” in 
Communications (ICC), 2012 IEEE International 
Conference on. IEEE, 2012, pp. 1325–1330 
[31] E. Ibarrola, I. Taboada, R. Ortega et al., “Web qoe 
evaluation in multi-agent networks: Validation of itu-t g. 
1030,” in Autonomic and Autonomous Systems, 2009. 
ICAS’09. Fifth International Conference on. IEEE, 2009, 
pp. 289–294 
[32] Q. Gao, P. Dey, and P. Ahammad, “Perceived performance 
of top retail webpages in the wild: Insights from large-
scale crowdsourcing of above-the-fold qoe,” in Workshop 
on QoE-based Analysis and Management of Data 
Communication Networks. ACM, 2017, pp. 13–18 
[33] A. Balachandran, V. Aggarwal, E. Halepovic, J. Pang, S. 
Seshan, S. Venkataraman, and H. Yan, “Modeling web 
quality-of-experience on cellular networks,” in 
Proceedings of the 20th annual international conference on 
Mobile computing and networking. ACM, 2014, pp. 213–
224 
[34] ISO 9241‐ 11:1998, Ergonomic requirements for office 
work with visual display terminals (VDTs)—Part 11: 
Guidance on usability. https://www.iso.org/obp/ui/ #iso: 
std: iso:9241:‐ 11:ed‐ 1:v1:en 
[35] ITU‐ T. Recommendation P. 800.1: Mean opinion score 
(MOS) terminology. ITU‐ T P‐ Series, The International 
Telecommunication Union (ITU). 2006. 
[36] ITU‐ T. (2014). Recommendation G.1031: QoE factors in 
web‐ browsing. ITU‐ T G‐ Series, The International 
Telecommunication Union (ITU). 2014. 
[37] ITU-T G.1080 (Quality of Experience Requirements for 
IPTV services). 2008. 
[38] ISO/IEC TR 9126‐ 3. (2002). Software engineering—
Product quality—Part 3: Internal metrics. 2002. 
[39] A. Vizzarri, F. Davide. Simulation of VoLTE Services for 
QoE Estimation. Proceedings of the 9th EUROSIM & the 
57th SIMS. Pp.388-394. 
[40] Richard A. Johnson, Dean W.Wichern, Applied 
Multivariate Statistical Analysis (6th Edition). Pearson 
Publisher 2007. ISBN-10: 0131877151. 
[41] S. Ihm and V. S. Pai, “Towards Understanding Modern 
Web Traffic,”ser. ACM IMC, 2011. [Online]. Available: 
ttp://doi.acm.org/10.1145/2068816.2068845 
GIÁM SÁT VÀ ĐÁNH GIÁ CHẤT LƯỢNG TRẢI NGHIỆM (QoE) CHO ỨNG DỤNG WEB 
MONITORING AND EVALUATION OF QUALITY 
OF EXPERIENCE (QoE) FOR WEB 
APPLICATIONS 
Abstract: Providing Quality of Experience (QoE) for 
satisfying user’s requests is being an essential demand 
for Web applications and service providers. Several 
challenges have been posed to QoE monitoring and 
evaluating, since there is still no suitable model for 
quantifying QoE. Until now, research work has mainly 
focused on improving QoE regarding time related 
parameters, the interactive relationship between QoS and 
QoE, the relationship between QoE and MOS (Mean 
Opinion Scores). However, the problem of real-time QoE 
monitoring still not receives adequate attention. On the 
other hand, most QoE models to date are based on 
parameters proposed by the ITU for networks and 
multimedia applications. There is still no model for Web 
applications. Based on parameters according to ITU 
standards, this paper proposes a reference model for 
monitoring and evaluation of QoE for Web applications. 
This reference model WebQoE-RefMod has following 
properties: 1) Determining a reference profile for QoE 
comparison and evaluation, 2) Determining a set of 
reference measurement points, 3) Calculating QoE as a 
function of KPI and KQI metrics, 4) Monitoring and 
evaluating QoE using a formula for the statistical 
distance to the Ref-QoE values. 
Keywords: Web Applications, QoS, QoE, QoE 
monitoring, quantified QoE assessment. 
Hoàng Mạnh Quang. ThS. tại Đại 
học Bách Khoa Hà Nội. 
Học viện Công nghệ Bưu chính 
Viễn thông. Lĩnh vực nghiên cứu: 
Chất lượng dịch vụ (QoS), chất 
lượng trải nghiệm (QoE), mạng 
máy tính, mạng viễn thông, đo 
kiểm mạng lưới. 
Hoàng Đăng Hải, TS. (1999), 
TSKH. (2002) tại CHLB Đức, PGS 
(2009). Hiện đang đang công tác 
tại Học viện Công nghệ Bưu 
chính Viễn thông. Lĩnh vực nghiên 
cứu: Mạng và hệ thống thông tin, 
các giao thức truyền thông, chất 
lượng dịch vụ, mạng IoT, an toàn 
thông tin