Kho dữ liệu
Chương 1.          Kho dữ liệu................................................................................................. 6
1.1.     Tổng quan về kho dữ liệu................................................................................... 6
1.1.1.          Khái niệm................................................................................................... 6
1.1.2.          Các nhu cầu thực tế của kho dữ liệu...................................................... 6
1.1.3.          Các đặc trưng của kho dữ liệu................................................................. 6
1.2.     Kiến trúc kho dữ liệu........................................................................................... 7
1.2.1.          Các kiến trúc chính................................................................................... 7
1.2.1.1.     Kiến trúc DDS đơn................................................................................ 8
1.2.1.2.     Kiến trúc NDS+DDS........................................................................... 10
1.2.1.3.     Kiến trúc ODS+DDS........................................................................... 11
1.2.2.          Vùng xử lí................................................................................................. 12
1.2.3.          Cơ sở dữ liệu chuẩn hoá......................................................................... 13
1.2.4.          Kho dữ liệu đầu cuối.............................................................................. 15
1.3.     Các thách thức đối với kho dữ liệu................................................................. 16
1.3.1.          Chất lượng dữ liệu................................................................................... 16
1.3.2.          Khối lượng dữ liệu và hiệu suất hoạt động......................................... 17
1.3.3.          Nắm bắt các thay đổi trên dữ liệu......................................................... 18
1.3.4.          Yêu cầu người dùng thay đổi................................................................ 19
1.4.     Các xu hướng xây dựng kho dữ liệu................................................................ 19
Chương 2.          Mô hình hoá sử dụng lược đồ hình sao................................................ 20
2.1.     So sánh phương pháp mô hình hoá của Bill Inmon và Ralph Kimball...... 20
2.2.     Lược đồ hình sao................................................................................................ 21
2.2.1.          Bảng chiều và bảng dữ kiện.................................................................. 22
2.2.2.          Các đặc trưng của lược đồ hình sao..................................................... 23
2.3.     Truy vấn trên lược đồ hình sao........................................................................ 23
2.4.     Kiến trúc buýt..................................................................................................... 23
2.5.     Các nguyên tắc thiết kế..................................................................................... 24
2.5.1.          Sử dụng khoá đại diện:........................................................................... 24
2.5.2.          Quy tắc đặt tên và kiểu.......................................................................... 24
2.5.3.          Độ mịn và mức tổng hợp........................................................................ 25
2.5.4.          Ngày giờ................................................................................................... 25
2.5.5.          Khoá vô danh.......................................................................................... 25
Chương 3.          Tích hợp dữ liệu...................................................................................... 27
3.1.     Khái niệm............................................................................................................ 27
3.2.     Các bước tiến hành của quá trình tích hợp dữ liệu....................................... 27
3.2.1.          Kết xuất dữ liệu:...................................................................................... 27
3.2.2.          Biến đổi dữ liệu:...................................................................................... 31
3.2.3.          Nạp dữ liệu............................................................................................... 33
3.3.     Các vấn đề gặp phải khi xây dựng hệ thống tích hợp dữ liệu và giải pháp 43
3.3.1.          Vấn đề cập nhật dữ liệu trong thời gian thực...................................... 43
3.3.2.          Vấn đề về không nhất quán dữ liệu khi thực hiện truy vấn.............. 44
Chương 4.          Phần mềm tích hợp dữ liệu mã nguồn mở Kettle................................ 47
4.1.     Giới thiệu tổng quan:......................................................................................... 47
4.1.1.          Giới thiệu:................................................................................................ 47
4.1.2.          Một số khái niệm trong Kettle:............................................................. 47
4.1.3.          Một số bước thường dùng và các chú ý trong Kettle:........................ 48
4.1.3.1.     Table input:.......................................................................................... 48
4.1.3.2.     Modified java script:.......................................................................... 49
4.1.3.3.     Filter rows:........................................................................................... 50
4.1.3.4.     Dimension lookup/ update:............................................................... 50
4.1.3.5.     Combination lookup/ update:........................................................... 52
4.1.3.6.     Update:................................................................................................. 54
Chương 5.          Xây dựng kho dữ liệu phục vụ các hệ thống học tập trực tuyến...... 56
5.1.     Mô tả yêu cầu ứng dụng.................................................................................... 56
5.1.1.          Các yêu cầu phân tích dữ liệu đối với các hệ thống học tập trực tuyến:       56
5.1.2.          Ma trận kiến trúc buýt:.......................................................................... 56
5.2.     Kiến trúc của ứng dụng..................................................................................... 57
5.3.     Thiết kế kho dữ liệu........................................................................................... 57
5.3.1.          Vùng xử lí................................................................................................. 57
5.3.1.1.     Moodle................................................................................................. 57
5.3.1.2.     Kết quả học tập................................................................................... 59
5.3.1.3.     Dữ liệu học kỳ, năm học.................................................................... 59
5.3.2.          Cơ sở dữ liệu chuẩn hoá......................................................................... 60
5.3.2.1.     Lược đồ................................................................................................. 60
5.3.2.2.     Các diễn giải liên quan đến thiết kế................................................. 61
5.3.2.3.     Đặc tả cơ sở dữ liệu............................................................................ 61
5.3.3.          Kho dữ liệu đầu cuối.............................................................................. 65
5.3.3.1.     Lược đồ cơ sở dữ liệu......................................................................... 65
5.3.3.1.     Các diễn giải liên quan đến thiết kế................................................. 66
5.3.3.2.     Đặc tả cơ sở dữ liệu............................................................................ 68
5.3.3.3.     Phân cấp các chiều:............................................................................ 73
5.4.     Thiết kế hệ thống tích hợp dữ liệu................................................................... 74
5.4.1.          Rút trích dữ liệu – ETL cho vùng xử lí................................................ 74
5.4.2.          Biến đổi dữ liệu – ETL cho cơ sở dữ liệu chuẩn hoá......................... 75
5.4.3.          Nạp dữ liệu – ETL cho kho dữ liệu...................................................... 77
5.5.     Xây dựng ứng dụng đóng gói............................................................................ 79
5.6.     Triển khai ứng dụng........................................................................................... 79
5.6.1.          Các phần mềm đi kèm:........................................................................... 79
5.6.2.          Cài đặt....................................................................................................... 79
5.6.3.          Sử dụng..................................................................................................... 79