# Đánh giá hiệu quả

> Đo lường và đánh giá hiệu quả chương trình đào tạo theo mô hình Kirkpatrick 4 cấp độ với chiến dịch khảo sát đa thời điểm và đánh giá hành vi đa người đánh giá (multi-rater).

**Quyền truy cập:** Cần quyền **Xem chương trình đào tạo** (xem), **Quản lý chương trình đào tạo** (quản lý), Admin **Điều hướng:** Trong trang chỉnh sửa Chương trình đào tạo, tab **"Hiệu quả & Phản hồi"** (`/manage/training/programs/<id>/edit?tab=effectiveness`). Đã di chuyển khỏi page standalone từ phiên bản 8.x.

***

## Tổng quan

Tính năng Đánh giá hiệu quả đào tạo sử dụng mô hình Kirkpatrick 4 cấp độ để đo lường tác động của đào tạo. Từ phiên bản 8.10 hệ thống được tái cấu trúc lớn:

* **L1 (Phản hồi)** dùng chiến dịch khảo sát đa thời điểm (immediate / T+7 / T+30) thay cho khảo sát đơn lẻ
* **L3 (Hành vi)** hỗ trợ đa người đánh giá (multi-rater) với 5 vai trò: Tự đánh giá / Quản lý / Đồng nghiệp / Cấp dưới / Người quan sát
* Câu hỏi mới **BARS** (Behaviorally Anchored Rating Scale) chuyên cho L3, với tuỳ chọn **Required Drivers** (4 driver Reinforce/Encourage/Reward/Monitor)
* Widget **Phản hồi giữa kỳ** (Mid-Program Feedback) cảnh báo sớm khi học viên đang gặp khó khăn
* Lập lịch tự động: cron 8:30 sáng quét enrollment đã hoàn thành để tự tạo cohort campaign L1/L3 tại các mốc cấu hình

***

## Giao diện

Tab **Hiệu quả & Phản hồi** trong editor chương trình hiển thị 4 cấp độ Kirkpatrick dưới dạng panel có thể mở/đóng. Mỗi panel có khối cấu hình riêng và bảng dữ liệu khi đã có phản hồi.

> **Lưu ý:** Tab Hiệu quả & Phản hồi chỉ hiển thị đầy đủ khi chương trình đào tạo đã được xuất bản (rời khỏi trạng thái Nháp).

***

## Cấp độ 1: Phản hồi (L1 - Reaction)

Đánh giá mức độ hài lòng và phản hồi của học viên sau đào tạo bằng chiến dịch khảo sát đa thời điểm.

### Cấu hình chiến dịch L1 (L1 Campaign Config)

Khối **L1 · Phản hồi khảo sát** thay thế hoàn toàn cấu hình `postTraining` cũ. Cấu hình bao gồm:

| Trường                         | Mô tả                                                                                                                     |
| ------------------------------ | ------------------------------------------------------------------------------------------------------------------------- |
| **Tự động gửi khi hoàn thành** | Bật/tắt — khi học viên hoàn thành chương trình, scheduler sẽ tạo cohort campaign theo mốc đã cấu hình                     |
| **Mẫu khảo sát L1**            | Chọn từ thư viện mẫu L1 dựng sẵn (Standard VI, EN, Leadership, Technical) hoặc mẫu tuỳ chỉnh                              |
| **Mốc thời gian (Timepoints)** | Danh sách mốc gửi khảo sát: `{label, daysAfter}` -- ví dụ Ngay sau khoá (0 ngày), Sau 7 ngày, Sau 30 ngày                 |
| **Đối tượng**                  | Tự động lấy theo danh sách ghi danh, có thể tinh chỉnh bằng audience selector (chia sẻ pattern với Workflow/Announcement) |

Mỗi lần học viên đạt mốc, hệ thống tự tạo cohort campaign (gộp những người đạt mốc trong cùng ngày). Danh sách chiến dịch đã chạy hiển thị ngay dưới khối cấu hình, kèm trạng thái, số người gửi, số phản hồi, và liên kết "Xem chi tiết".

### Thẻ KPI và Composite Score

Khi đã có phản hồi, panel hiển thị:

| Chỉ số                           | Mô tả                                                   |
| -------------------------------- | ------------------------------------------------------- |
| **Điểm L1 tổng hợp (Composite)** | Điểm trung bình tổng theo thang 5 điểm                  |
| **Phản hồi**                     | Tổng số phản hồi đã nhận                                |
| **Tỷ lệ phản hồi**               | Phần trăm học viên đã phản hồi trên tổng người được gửi |

**Bonus metrics:**

* **NPS** (Net Promoter Score) -- tự sinh từ câu hỏi NPS nếu có
* **Top-2-Box** -- tỷ lệ phản hồi đánh giá 4-5 sao
* **Instructor score** -- điểm trung bình câu hỏi gắn dimension INSTRUCTOR
* **Intent to apply** -- điểm trung bình câu hỏi gắn dimension INTENT\_TO\_APPLY

### Phân tích theo dimension

Mỗi câu hỏi matrix trong khảo sát L1 có thể gắn **dimension Kirkpatrick** (cấu hình per row trong câu hỏi):

| Dimension         | Diễn giải                 |
| ----------------- | ------------------------- |
| `SATISFACTION`    | Mức hài lòng              |
| `ENGAGEMENT`      | Mức tham gia              |
| `RELEVANCE`       | Mức phù hợp với công việc |
| `INSTRUCTOR`      | Chất lượng giảng viên     |
| `INTENT_TO_APPLY` | Ý định áp dụng            |

Panel hiển thị biểu đồ cột theo dimension giúp nhận diện điểm mạnh và điểm yếu của chương trình.

### Chỉ số chất lượng dữ liệu

Stats chips ở cuối panel: **Cronbach α** (độ nhất quán nội tại), **σ² (variance)** (độ phân tán), **n** (số phản hồi). Banner cảnh báo hiển thị mã warning (L1-H1..H5 hard, L1-S1..S6 soft) khi khảo sát chưa đạt chất lượng — xem chi tiết tại [Khảo sát: Kiểm tra L1/L3](/hoc-tap-va-dao-tao/04-noi-dung-lms/khao-sat.md).

***

## Cấp độ 2: Học tập (L2 - Learning)

Đo lường kiến thức và kỹ năng học viên đạt được qua bài kiểm tra Pre-test và Post-test.

### Nguồn dữ liệu

Dữ liệu lấy từ kết quả bài kiểm tra Pre-test và Post-test cấu hình trong chương trình. Hiển thị tên bài kiểm tra, điểm đạt yêu cầu.

### Thẻ KPI

| Chỉ số                   | Mô tả                                                 |
| ------------------------ | ----------------------------------------------------- |
| **Tỷ lệ đạt**            | Phần trăm học viên đạt Post-test                      |
| **Điểm trung bình**      | Điểm trung bình Post-test                             |
| **Cải thiện trung bình** | Chênh lệch điểm trung bình giữa Pre-test và Post-test |

### Phân bố mức cải thiện

Hiển thị số học viên theo từng mức cải thiện:

| Mức            | Mô tả                                     |
| -------------- | ----------------------------------------- |
| **Đáng kể**    | Cải thiện lớn, vượt xa ngưỡng             |
| **Trung bình** | Cải thiện trên ngưỡng nhưng không quá lớn |
| **Ít**         | Cải thiện nhỏ, sát ngưỡng                 |
| **Giảm**       | Điểm Post-test thấp hơn Pre-test          |

***

## Phản hồi giữa kỳ (Mid-Program Feedback Widget)

Phiên bản 8.10 thêm widget cảnh báo sớm xuất hiện **phía trên panel L3**, chỉ hiển thị khi có học viên đủ điều kiện (mặc định: ≥50% hoạt động hoàn thành).

### Mục đích

Phát hiện sớm các trường hợp cần can thiệp **giữa khoá** (coaching opportunities), thay vì chờ kết quả cuối kỳ.

### Các chỉ số tổng hợp

| Chỉ số                | Mô tả                                              |
| --------------------- | -------------------------------------------------- |
| **Đủ điều kiện**      | Số học viên đã đạt mốc ≥50% activities             |
| **Đã phản hồi**       | Số học viên đã nộp phản hồi giữa kỳ                |
| **Tỷ lệ hoàn thành**  | % phản hồi trên tổng đủ điều kiện                  |
| **Điểm hành vi TB**   | Điểm L3 mid-program theo thang 1-5                 |
| **Đa người đánh giá** | Số học viên có nhiều rater khác nhau cùng đánh giá |

### Danh sách "Cần chú ý"

Widget gợi ý các học viên cần hỗ trợ, theo 3 nhóm:

* **Điểm thấp** -- điểm trung bình dưới 3.0
* **Chưa phản hồi** -- quá 7 ngày kể từ ngày được gửi
* **Lệch SELF–MGR** -- chênh lệch tự đánh giá và quản lý đánh giá trên 1.5 điểm

> **Lưu ý:** Composite score L3 cuối kỳ tính bằng `0.6 × Tỷ lệ áp dụng + 0.3 × Drivers + 0.1 × On-job learning`. Widget mid-program chỉ hiển thị điểm hành vi trung bình mid-program để phục vụ điều chỉnh sớm.

***

## Cấp độ 3: Hành vi (L3 - Behavior)

Đánh giá mức độ áp dụng kiến thức vào công việc thực tế bằng đánh giá đa người đánh giá (multi-rater) tại nhiều thời điểm.

### Cấu hình L3 (L3 Config Panel)

Panel L3 trong tab Hiệu quả & Phản hồi có khối cấu hình cho phép:

| Trường                     | Mô tả                                                                                                                                    |
| -------------------------- | ---------------------------------------------------------------------------------------------------------------------------------------- |
| **Bật L3**                 | Bật/tắt `l3Config.enabled`                                                                                                               |
| **Mẫu form L3**            | Dropdown chọn mẫu khảo sát có câu hỏi BARS                                                                                               |
| **Mốc thời gian**          | Chips: `T+30` / `T+60` / `T+90` / `T+180` / `MID_PROGRAM` (formative — kích hoạt khi học viên đạt ≥50% hoạt động)                        |
| **Vai trò người đánh giá** | Chips: **SELF**, **MANAGER** (bật mặc định); **PEER**, **DIRECT\_REPORT**, **OBSERVER** (chip với tag "defer" — sẽ ship trong phase sau) |

Khi bật, scheduler cron 8:30 sáng quét enrollment có `completedAt` và tự kích hoạt instance L3 tại các timepoint đã cấu hình.

### Bộ lọc Timepoint

Phần đầu panel L3 có radio chuyển chế độ hiển thị:

| Chế độ          | Mô tả                                              |
| --------------- | -------------------------------------------------- |
| **Tất cả**      | Mọi chiến dịch L3 (cả MID\_PROGRAM và summative)   |
| **Chỉ giữa kỳ** | Chỉ chiến dịch MID\_PROGRAM (formative)            |
| **Chỉ cuối kỳ** | Chỉ chiến dịch tại các mốc cuối khoá (T+30..T+180) |

### Tạo chiến dịch đánh giá hành vi thủ công

1. Trong panel L3, nhấp **"Tạo chiến dịch đánh giá"**.
2. Hộp thoại tạo chiến dịch khảo sát mở ra với badge **"Đánh giá hành vi"**, loại tự động đặt là `behavior`.
3. Hoàn thành 4 bước:

| Bước         | Nội dung                                                                                                                                  |
| ------------ | ----------------------------------------------------------------------------------------------------------------------------------------- |
| 1. Loại      | Đã chọn sẵn "Đánh giá hành vi"                                                                                                            |
| 2. Mẫu       | Chọn mẫu BARS L3 (Tự đánh giá BARS, Quản lý đánh giá BARS, Đồng nghiệp 360° BARS)                                                         |
| 3. Đối tượng | Chọn `evaluatorMode`: **Tự đánh giá** / **Quản lý trực tiếp** / **Đồng nghiệp** / **Cấp dưới** / **Người quan sát** / **Chỉ định cụ thể** |
| 4. Lịch biểu | Ngày bắt đầu/kết thúc, ẩn danh (bắt buộc với DIRECT\_REPORT)                                                                              |

4. Nhấp **"Tạo chiến dịch"**.

> **Cam kết ẩn danh:** Chế độ DIRECT\_REPORT (cấp dưới đánh giá) bắt buộc `isAnonymous=true` và không cho phép drill-down chi tiết per-rater để bảo vệ người đánh giá khỏi áp lực.

### Thẻ KPI L3

| Chỉ số                | Mô tả                                                         |
| --------------------- | ------------------------------------------------------------- |
| **Composite L3**      | `0.6 × Tỷ lệ áp dụng + 0.3 × Drivers + 0.1 × On-job learning` |
| **Tỷ lệ áp dụng**     | % học viên đạt mức "đang áp dụng" trở lên (thang BARS)        |
| **Phản hồi**          | Tổng phản hồi đã nhận                                         |
| **Đa người đánh giá** | % học viên có ≥2 rater khác nhau                              |

### Required Drivers (4 driver Reinforce/Encourage/Reward/Monitor)

Khi mẫu BARS bật **Bao gồm Required Drivers**, panel hiển thị 4 card driver với pill scale 1-5:

| Driver        | Mô tả                             |
| ------------- | --------------------------------- |
| **Reinforce** | Củng cố hành vi học được sau khoá |
| **Encourage** | Khuyến khích áp dụng              |
| **Reward**    | Khen thưởng/ghi nhận khi áp dụng  |
| **Monitor**   | Giám sát/đo lường mức áp dụng     |

### By Timepoint table

Bảng phân tích theo timepoint giúp so sánh tiến trình áp dụng theo thời gian. Hàng MID\_PROGRAM có badge "Phản hồi giữa kỳ" (formative).

### By EvaluatorType

Breakdown điểm trung bình theo loại người đánh giá: **SELF** / **MANAGER** / **PEER** / **DIRECT\_REPORT** / **OBSERVER**. Hiển thị cả tỷ lệ lệch SELF–MGR (bias rate %).

### Quản lý chiến dịch

Panel L3 hiển thị danh sách chiến dịch đánh giá hành vi dạng card. Mỗi card có:

* Tên chiến dịch
* Badge người đánh giá (SELF/MANAGER/PEER/DIRECT\_REPORT/OBSERVER)
* Badge pha (Phase 1 Tự đánh giá / Phase 2 Quản lý / Xác nhận lại)
* Trạng thái (Nháp/Đang hoạt động/Hoàn thành/Đã huỷ)

Nhấp vào chiến dịch để mở chi tiết với 5 tab: Tổng quan / Người tham gia / Báo cáo / So sánh / Cài đặt. Xem thêm tại [Khảo sát — Chiến dịch khảo sát](/hoc-tap-va-dao-tao/04-noi-dung-lms/khao-sat.md).

***

## Cấp độ 4: Kết quả kinh doanh (L4 - Results)

Đo lường tác động của đào tạo lên hiệu suất tổ chức và ROI.

### Thêm tác động kinh doanh

1. Nhấp **"Thêm tác động"** trong panel L4.
2. Điền thông tin:
   * Chi phí đào tạo
   * Lợi ích kinh doanh đạt được
   * Mức độ tin cậy (attribution confidence)
   * Mô tả tác động
3. Nhấp **"Lưu"**.

### ROI tự động

Hệ thống tự động tính ROI = (Tổng lợi ích − Tổng chi phí) / Tổng chi phí. Hiển thị trên thẻ KPI cấp L4.

### Phê duyệt bản ghi

Mỗi bản ghi tác động có trạng thái Nháp hoặc Đã duyệt. Người có quyền có thể duyệt hoặc bỏ duyệt bản ghi.

***

## Lập lịch tự động (Schedulers)

| Job                            | Tần suất        | Vai trò                                                                                        |
| ------------------------------ | --------------- | ---------------------------------------------------------------------------------------------- |
| `l1-campaign-scheduler`        | Daily 8:30 sáng | Quét enrollment đã hoàn thành, tạo cohort campaign L1 tại các mốc cấu hình                     |
| `l3-evaluation-scheduler`      | Daily 8:30 sáng | Tạo instance L3 tại T+30/T+60/T+90/T+180; kích hoạt MID\_PROGRAM khi ≥50% activities completed |
| `kirkpatrick-revalidation-job` | Daily 23:30 đêm | Rà soát lại trạng thái validation L1/L3 toàn bộ chương trình                                   |

Cron jobs chạy theo timezone của tenant (đặt trong **Cài đặt > Tổ chức > Múi giờ**), không phụ thuộc múi giờ máy chủ.

***

## Lưu ý

* Chỉ chương trình có trạng thái **Đang diễn ra** hoặc **Hoàn thành** mới có L1 cohort campaign tự sinh
* Cấu hình L1/L3 chỉ hiển thị đầy đủ khi chương trình đã rời trạng thái Nháp
* Dữ liệu L4 cần nhập thủ công; ROI tự tính khi có chi phí và lợi ích
* Giá trị tiền tệ (lợi nhuận ròng) hiển thị bằng VND
* Khi gỡ bỏ một timepoint khỏi cấu hình L3, các instance đã tạo vẫn giữ nguyên (không bị xoá); chỉ ngừng tạo mới

***

## Xem thêm

* [Chương trình đào tạo](/hoc-tap-va-dao-tao/05-dao-tao/chuong-trinh.md) -- Cấu hình tổng quan
* [Khảo sát](/hoc-tap-va-dao-tao/04-noi-dung-lms/khao-sat.md) -- Tạo mẫu khảo sát BARS + xem mã warning L1-/L3-
* [Báo cáo](/hoc-tap-va-dao-tao/05-dao-tao/bao-cao.md) -- Xem báo cáo tổng hợp đào tạo


---

# Agent Instructions: Querying This Documentation

If you need additional information that is not directly available in this page, you can query the documentation dynamically by asking a question.

Perform an HTTP GET request on the current page URL with the `ask` query parameter:

```
GET https://docs.noova.vn/hoc-tap-va-dao-tao/05-dao-tao/hieu-qua.md?ask=<question>
```

The question should be specific, self-contained, and written in natural language.
The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.

Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.