Bài giảng Công tác triển khai truyền nhận, quản trị hệ thống, kiểm duyệt dữ liệu khai thác và công bố thông tin

 TỔNG CỤC MÔI TRƯỜNG
 TRUNG TÂM QUAN TRẮC MÔI TRƯỜNG MIỀN BẮC
 NỘICÔNG DUNG TÁC TRÌNHTRIỂN KHAI BÀY 
TRUYỀN NHẬN, QUẢN TRỊ HỆ THỐNG, KIỂM DUYỆT DỮ LIỆU 
 KHAI THÁC VÀ CÔNG BỐ THÔNG TIN
 Tp. HCM, tháng 11/2020 1
 NỘI DUNG TRÌNH BÀY
Hoạt động quản lý truyền nhận dữ liệu
 Công tác kiểm soát dữ liệu
Khai thác và công bố thông tin
 2
 1
 I.Hoạt động quản lý truyền nhận dữ liệu
1. Quy trình, yêu cầu kĩ thuật:
 5 phút 60 phút
 DOANH NGHIỆP SỞ TNMT BỘ TNMT
 Chương II Thông tư số 43/2015/TT-BTNMT 
 Chương V của Thông tư số 24/2017/TT-BTNMT
 1
 I.Hoạt động quản lý truyền nhận dữ liệu
Một số yêu cầu kĩ thuật cần được lưu ý:
 1. Truyền đúng định dạng file
 2. File dữ liệu phải được lưu giữ và quản lý theo 
 cấu trúc thư mục
 3. Số lượng file đầy đủ (~288 file/ngày)
 4. Xem được các file dữ liệu (*.txt) đã truyền trên 
 máy chủ FTP
 5. Đặt tên thông số, đơn vị đo đúng theo quy định
 6. Bảo mật dữ liệu theo địa chỉ IP tĩnh
 7. Bảo mật tài khoản truy cập Dataloger
 1
 I.Hoạt động quản lý truyền nhận dữ liệu
Một số yêu cầu kĩ thuật cần được lưu ý:
 Sở TNMT
 Nhà máy 
 Tường lửa/lọc địa 
 chỉ theo IP tĩnh Hệ thống máy chủ FTP 
 file (*.txt)
 119.17.192.11
 Chỉ cho phép tiếp nhận 
 dữ liệu từ địa chỉ IP tĩnh: 
125.253.112.34 119.17.192.11
 Mô hình bảo mật theo địa chỉ IP tĩnh
 I.Hoạt động quản lý truyền nhận dữ liệu
2. Tổ chức truyền nhận:
 Năm 2018: Bộ TNMT đã xây dựng phần mềm (EnviSoft) dùng chung trên cả
 nước để quản lý dữ liệu quan trắc tự động.
 Đã tổ chức hội thảo toàn quốc góp ý cho phần mềm.
 Hoàn thành phiên bản thứ nhất và triển khai cho các địa phương.
 Năm 2019 - 2020: Nâng cấp 1 số tính năng phục vụ tra cứu, thống kê, báo
 cáo và kiểm duyệt chất lượng số liệu và sẽ cập nhật cho các địa phương.
 Phần mềm được phát triển trên 2 nền tảng là Web và di động.
 Xây dựng ứng dụng trên nền tảng di động:
 ➢ Ứng dụng công bố chất lượng không khí cho cộng đồng (VN Air).
 ➢ Ứng dụng quản lý dữ liệu quan trắc tự động phục vụ quản lý nhà nước
 (EnviSoft).
 I.Hoạt động quản lý truyền nhận dữ liệu
2. Tổ chức truyền nhận:
  Phần mềm sử dụng các công nghệ mới và hiện đại cho phép thu thập và xử
 lý dữ liệu lớn(bigdata) cho số lượng trạm quan trắc tự động, tích hợp camera
 và điều khiển lấy mẫu trên cùng 1 phần mềm.
  Tích hợp được các dữ liệu đã có của các đại phương từ những năm trước,
 với nhiều định dạng cấu trúc khác nhau.
  Có khả năng mở rộng để quản lý dữ liệu thuộc các lĩnh vực khác như: Tài
 nguyên nước, Khí tượng thủy văn, Viễn thám,
  Phần mềm cung cấp chức năng kiểm duyệt dữ liệu chặt chẽ qua 2 mức độ:
 tự động và thủ công.
8
 I.Hoạt động quản lý truyền nhận dữ liệu
3. Kết quả chuyển giao phần mềm:
  Đã chuyển giao và tập huấn cho 62 tỉnh/TP.
  Hỗ trợ cho 28 tỉnh dùng chung hạ tầng CNTT ở Bộ TNMT để cài đặt phần
 mềm do chưa có đủ hạ tầng CNTT.
  Các Sở TNMT đang sử dụng để tiếp nhận dữ liệu, quản lý và truyền số liệu
 về Bộ TNMT.
  Thường xuyên phối hợp và tương tác trong quá trình sử dụng, vận hành.
  Phục vụ hiệu quả cho các đơn vị trong Bộ trong công tác QLNN.
 I.Hoạt động quản lý truyền nhận dữ liệu
3. Kết quả chuyển giao phần mềm:
 Tổng số 848/1397 trạm quan trắc, tự động được kết nối 
 từ 53/63 tỉnh/TP về Bộ TNMT
  05 Tỉnh/TP chưa truyền về Bộ TNMT:  Hà Nội, Đồng Nai: Chưa truyền dữ
 liệu phát thải về Bộ TNMT
 1. Hồ Chí Minh
 
 2. Bà Rịa - Vũng Tầu Ninh Bình, Hưng Yên, Thái Bình,
 Yên Bái: Dừng truyền về Bộ TNMT
 3. Phú Yên
 4. Vĩnh Long  Bắc Kạn, An Giang, Quảng Bình,
 5. Thanh Hóa Hà Giang: Chưa truyền về Sở TNMT
  Điện Biên: Chưa có trạm
 I.Hoạt động quản lý truyền nhận dữ liệu
4. Kết quả kết nối:
  Đánh giá tỷ lệ đã kết nối trên toàn quốc:
 Loại trạm Trạm đã lắp đặt Trạm đã kết nối Tỷ lệ
 Không khí 108 100 92.5%
 Nước mặt 87 82 94.2%
 Nước ngầm 25 25 100%
 Khí thải 522 284 54.4%
 Nước thải 655 357 54.5%
 Tổng 1397 848 60.7%
 I.Hoạt động quản lý truyền nhận dữ liệu
4. Kết quả kết nối:
 Đánh giá tỷ lệ đã kết nối của Trung ương:
 Loại trạm Trạm đã lắp đặt Trạm đã kết nối Tỷ lệ
 Không khí 7 7 100%
 Nước mặt 22 22 100%
 Tổng 29 29 100%
 I.Hoạt động quản lý truyền nhận dữ liệu
4. Kết quả kết nối:
  Đánh giá tỷ lệ đã kết nối của địa phương:
 Loại trạm Trạm đã lắp đặt Trạm đã kết nối Tỷ lệ
 Không khí 101 93 92.1%
 Nước mặt 65 60 92.3%
 Nước ngầm 25 25 100%
 Khí thải 522 284 54.4%
 Nước thải 655 357 54.5%
 Tổng 1368 819 59.8%
 13
 I.Hoạt động quản lý truyền nhận dữ liệu
4. Kết quả kết nối:
 Kết quả cho thấy tỉ lệ nhận dữ liệu theo loại hình Không khí là cao nhất, 
 tiếp đến là Khí thải, Nước mặt, Nước thải 
 14
 I.Hoạt động quản lý truyền nhận dữ liệu
4. Kết quả kết nối:
 15
 I.Hoạt động quản lý truyền nhận dữ liệu
4. Kết quả kết nối:
 16
 I.Hoạt động quản lý truyền nhận dữ liệu
4. Kết quả kết nối:
 Top 20 doanh nghiệp 
 có tần suất mất kết nối 
 cao nhất trong năm 
 2020
 17
 I.Hoạt động truyền nhận dữ liệu
5. Quản trị hệ thống:
  Đảm bảo máy chủ hoạt động ổn định và online
  Nên cài đặt hệ thống trên 02 máy chủ vật lý để đảm bảo tính sẵn sàng 
 cao, phòng sự cố khi có 01 máy chủ hỏng
  Máy chủ cần cài đặt chương trình diệt Virus
  Có hệ thống tường lửa bảo vệ các máy chủ
  Có hệ thống sao lưu dữ liệu(backup)
  Kiểm tra lỗi mất kết nối của các trạm QT online:
 ➢ Xem file dữ liệu đã truyền về máy chủ ftp chưa
 ➢ Kiểm tra dịch vụ đọc dữ liệu từ phần mềm
 18
 I.Hoạt động truyền nhận dữ liệu
5. Quản trị hệ thống:
 Số liệu thống kê hạ tầng tại các tỉnh đã chuyển giao: đa phần chỉ có 1 
 máy chủ và thiếu backup
 19
 I.Hoạt động truyền nhận dữ liệu
5. Quản trị hệ thống:
Cần biết cách xem file dữ 
liệu (*.txt) đã truyền về trên 
máy chủ FTP của Sở 
TNMT:
Ví dụ: Sở TNMT cung cấp 
địa chỉ máy chủ để truyền 
nhận dữ liệu 
là:119.17.195.18
Gõ: ftp://119.17.195.18
 20
 I.Hoạt động truyền nhận dữ liệu
 5. Quản trị hệ thống:
Hoặc có thể 
xem file dữ liệu 
(*.txt) trên phần 
mềm EnviSoft:
 21
 II. Công tác kiểm soát dữ liệu
1. Đánh giá chất lượng số liệu:
 ▪ Trạm không khí: Đã thực hiện kiểm duyệt số liệu
 ▪ Trạm phát thải: Đã có chương trình phân tích thử nghiệm, tuy nhiên 
 còn nhiều Cơ sở không tham gia, một số Cơ sở chưa đáp ứng kết quả 
 thử nghiệm.
 ▪ Công tác kiểm duyệt cần đầy đủ hơn nữa
 ▪ Còn một số trường hợp có giá trị số liệu bất thường, số liệu âm, số liệu 
 bằng nhau liên tiếp,
 22
 II. Công tác kiểm soát dữ liệu
2. Kiểm duyệt dữ liệu trên phần mềm:
 ▪ Kiểm duyệt tự động: 
 ▪ Cấu hình, lựa chọn các thông số cần kiểm duyệt
 ▪ Cập nhật các giải đo của thiết bị, giới hạn phát hiện, hệ số vùng,
 (Ví dụ theo QCVN40: COD cột A thì C=75, áp dụng Kq=1,2,Kf=1,2 thì C=108)
 ▪ Thiết lập các điều kiện để loại bỏ dữ liệu bất thường
 ▪ Kiểm duyệt thủ công:
 ▪ Rà soát các dữ liệu nghi ngờ
 ▪ Tìm hiểu các thông tin liên quan: điều kiện thời tiết, thiết bị,
 ▪ Phê duyệt các dữ liệu
 23
 II. Công tác kiểm soát dữ liệu
Thống kê số lượng dữ liệu vượt QCVN theo loại hình Nước thải
 24
 II. Công tác kiểm soát dữ liệu
Thống kê số lượng dữ liệu vượt QCVN theo loại hình Khí thải
 25
 II. Công tác kiểm soát dữ liệu
Top 20 doanh nghiệp có số lần báo lỗi thiết bị nhiều nhất
 Qua công tác kiểm soát 
 dữ liệu chúng ta cần loại 
 bỏ những dữ liệu này
 26
 II. Công tác kiểm soát dữ liệu
Top 20 doanh nghiệp có số lần báo có thông số vượt chuẩn nhiều nhất
 Qua công tác kiểm soát dữ 
 liệu chúng ta cần rà soát lại 
 quy trình vận hành và tìm 
 nguyên nhân khắc phục
 27
 III. Khai thác và công bố thông tin
1. Khai thác dữ liệu:
  Đối tượng dữ liệu được khai thác:
 ❖Thông tin chung về Trạm QT, thiết bị, QCVN, thông số,
 ❖Kết quả quan trắc theo thời gian thực
 ❖Kết quả trung bình 1h, 8h, 24h
 ❖Hình ảnh camera, tủ lấy mẫu tự động
 ❖Chỉ số chất lượng môi trường (AQI)
  Đối tượng người sử dụng:
 ❖Cơ quan quản lý nhà nước
 ❖Viện nghiên cứu, tổ chức quốc tế
 ❖Cộng đồng
 28
 III. Khai thác và công bố thông tin
1. Khai thác dữ liệu:
  Phạm vi:
 ❖Theo cơ chế phân quyền cho người sử dụng
 ❖Theo chức năng
 ❖Theo trạm QT
  Hình thức:
 ❖Trên nền tảng Web
 ❖Trên nền tảng ứng dụng di động
 29
 III. Khai thác và công bố thông tin
Khai thác dữ liệu trên Web:
 30
Khai thác dữ liệu trên ứng dụng di động:
  Ứng dụng EnviSoft đáp ứng đầy đủ
 các yêu cầu, nhu cầu về thông tin đối
 với các trạm quan trắc không khí,
 nước mặt, khí thải, nước thải cho các
 cơ quan quản lý nhà nước về môi
 trường.
  Ứng dụng chạy ổn định trên 02 nền
 tảng di động phổ biến Android và IOS
 31
 III. Khai thác và công bố thông tin
2. Chia sẻ số liệu:
  Các đơn vị trong TCMT
  Các đơn vị có liên quan trong Bộ
  Hệ thống thông tin báo cáo quốc gia
  Trung tâm thông tin, chỉ đạo điều hành của Chính phủ, Thủ tướng 
 Chính phủ:
 1. Chỉ số chất lượng môi trường không khí
 2. Các nguồn thải thuộc diện giám sát đặc biệt
 3. Hệ thống camera giám sát các nguồn thải đặc biệt, thủy văn các hồ lớn 
 như hồ Thủy điện Lai Châu, Sơn La, Hòa Bình,
 32
 III. Khai thác và công bố thông tin
Chia sẻ dữ liệu với Trung tâm thông tin, chỉ đạo điều hành của Chính phủ :
 33
 III. Khai thác và công bố thông tin
3. Công bố thông tin:
  Đối tượng:
 - Chỉ số chất lượng môi trường không khí (AQI) cho cộng đồng từ
  Đối tượng người sử dụng: Cộng đồng
  Phạm vi:
 - Các trạm quan trắc môi trường không khí của Trung ương và địa phương
  Hình thức: Trang Web, ứng dụng di động, bảng điện tử,
  Địa chỉ:
 - Trang web của TCMT.
 - Ứng dụng di động: VN Air.
 - Trang web của Sở TNMT.
 34
 III. Khai thác và công bố thông tin
Công bố thông tin trên Web:
 35
 Công bố thông tin trên ứng dụng di động:
 Ứng dụng “VN Air” đáp ứng
 đầy đủ các yêu cầu, nhu
 cầu về thông tin chỉ số chất
 lượng môi trường không
 khí tới cộng đồng
 Ứng dụng chạy ổn định
 trên 02 nền tảng di động
 phổ biến Android và IOS
 36
TRÂN TRỌNG CẢM ƠN
 Văn Hùng Vỹ: 0912.696.358, email: hungvy@cem.gov.vn