Thực hiện Quy chế thi, kiểm tra, đánh giá kết quả học tập của học viên, Trường Cao đẳng Cảnh sát nhân dân I đã triển khai biên soạn, nghiệm thu và sử dụng hệ thống ngân hàng câu hỏi thi (NHCHT) phục vụ công tác thi kết thúc môn học. Theo yêu cầu của Quy chế, các đề thi, câu hỏi thi cần phải được thử nghiệm, phân tích, đánh giá thông qua việc sử dụng phần mềm chuyên dụng. Phòng Khảo thí và đảm bảo chất lượng đào tạo Trường Cao đẳng CSND I đã nghiên cứu, sử dụng phần mềm IATA thử nghiệm đánh giá các đề thi kết thúc môn học, bước đầu khẳng định giá trị ứng dụng trong công tác khảo thí của Nhà trường.

Giới thiệu phần mềm IATA

- Phần mềm IATA được cung cấp hoàn toàn miễn phí, cho nên rất tiện lợi trong việc phổ biến cho các cán bộ và giáo viên và không lo ngại về vấn đề bản quyền. Phần mềm R cũng là phần mềm miễn phí tuy nhiên, phần mềm này đòi hỏi thông qua một số câu lệnh, điều này sẽ gây khó khăn cho người sử dụng;

- Ngôn ngữ hiển thị là tiếng Việt (phần mềm Quest sử dụng ngôn ngữ Anh) nên dễ sử dụng;

- Các file dữ liệu đầu vào có thể được nhập bằng file Ecxel, gần gũi, dễ sử dụng (phần mềm Vitesta yêu cầu nhập thủ công file dữ liệu từ file text);

- Có giao diện trực quan, sử dụng bằng bảng chọn và chuột nên dễ sử dụng (phần mềm Quest yêu cầu người dùng phải viết các câu lệnh);

- Phần mềm IATA có đầy đủ các tính năng cần thiết của một phần mềm thống kê trong việc phân tích đề thi, chẳng hạn như độ khó, độ phân biệt của mỗi câu hỏi… và đặc biệt, cho phép ước lượng được năng lực thực sự của mỗi người học, từ đó có thể đánh giá người học một cách chính xác hơn dựa vào năng lực.

-  Đưa ra chỉ dẫn đề xuất lựa chọn câu hỏi theo biểu tượng hình ảnh của câu hỏi trong kết quả phân tích. Trong đó, những câu hỏi có biểu tượng hình tròn màu xanh (câu hỏi không có vấn đề lớn và có thể sử dụng ngay), hình thoi màu vàng (câu hỏi tương đối tốt nhưng cần kiểm tra lại trước khi sử dụng) và hình tam giác màu đỏ (câu hỏi không nên sử dụng hoặc xem xét thật kĩ và cải tiến trước khi sử dụng).

Kết quả thử nghiệm phân tích, đánh giá ngân hàng câu hỏi thi

Việc đánh giá chất lượng câu hỏi và đề thi được thử nghiệm trên kết quả làm bài của 95 học viên tham gia kỳ thi học kỳ III khóa K59S.

Đề thi môn Những vấn đề cơ bản quản lý hành chính nhà nước về an ninh trật tự (HC01), hình thức thi tự luận gồm 2 câu hỏi. Để phân tích được đề thi, dựa vào đáp án nhóm nghiên cứu chia 2 câu hỏi thành 37 ý.

Kết quả phân tích đề thi HC01 bằng phần mềm IATA được thể hiện ở hình dưới đây:

Kết quả phân tích trong hình cho biết tham số của đề thi được sử dụng dựa trên lý thuyết khảo thí hiện đại (CTT) gồm Discr (độ phân biệt), Pval (độ khó), Pbis (hệ số tương quan) và dựa vào lý thuyết khảo thí cổ điển (IRT) gồm a (độ phân biệt), b (độ khó). Các câu hỏi trong dữ liệu sau khi phân tích được chia thành ba nhóm có biểu tượng hình ảnh khác nhau. Cụ thể, nhóm hình tròn màu xanh gồm các câu hỏi tốt và có thể sử dụng được ngay, nhóm hình thoi màu vàng gồm các câu hỏi ít tối ưu hơn so với các câu hỏi có hình tròn màu xanh và cần phải được xem xét lại trước khi đưa vào sử dụng và nhóm hình tam giác màu đỏ gồm những câu hỏi có khả năng xảy ra vấn đề trong quá trình thiết kế cần loại bỏ hoặc phải được xem xét thật kỹ trước khi sử dụng.

Như vậy, nhờ có sự hỗ trợ của phần mềm chuyên dụng IATA, phân tích đề thi HC01 một cách nhanh chóng, tiện lợi và có được cái nhìn toàn diện về kết quả như sau: Chất lượng đề thi chưa thực sự tốt, đề thi hơi dễ so với với nhóm thí sinh tham gia thi. Độ tin cậy của đề thi ở mức rất cao.

Việc ứng dụng phần mềm IATA vào phân tích, đánh giá câu hỏi dựa trên lí thuyết khảo thí cổ điển kết hợp với lí thuyết đáp ứng câu hỏi đã chỉ ra được những câu hỏi thực sự tốt để đưa vào ngân hàng câu hỏi và những câu hỏi chưa đạt yêu cầu cần loại bỏ hoặc phải được xem xét thêm trước khi sử dụng. Kết quả nghiên cứu cho thấy việc ứng dụng phần mềm IATA vào phân tích, đánh giá và lựa chọn câu hỏi là một phương pháp rất hữu ích, giúp cải tiến và nâng cao chất lượng đề thi, đặc biệt là ứng dụng vào việc xây dựng ngân hàng câu hỏi trắc nghiệm khách quan. Trên cơ sở ngân hàng câu hỏi đã được xây dựng, người biên soạn đề thi có thể chủ động lựa chọn những câu hỏi có giá trị tham số độ khó, độ phân biệt phù hợp để đưa vào các đề thi, giúp đánh giá chính xác năng lực của học viên, góp phần nâng cao chất lượng đào tạo của Nhà trường.

Một số khuyến nghị

- Các Khoa cần xây dựng và hoàn thiện hệ thống ngân hàng câu hỏi thi, đa dạng hình thức thi (tự luận, trắc nghiệm, thực hành, vấn đáp, bài tập lớn, …), đa dạng tình huống, câu hỏi phong phú và nhiều câu hỏi. Nghiên cứu phần mềm IATA để có thể sử dụng đánh giá hệ thống ngân hàng câu hỏi thi, đề thi kiểm tra định kỳ, thường xuyên các Khoa đã xây dựng.

- Phòng Khảo thí và đảm bảo chất lượng đào tạo, cần sớm ban hành kế hoạch đánh giá đề thi học kỳ, hệ thống ngân hàng câu hỏi thi sau mỗi kỳ thi; thành lập tổ đánh giá chất lượng đề thi, tiến hành đánh giá đề thi theo quy trình; chuyển giao phần mềm và hướng dẫn các Khoa sử dụng phần mềm IATA để các khoa áp dụng vào công tác xây dựng ngân hàng câu hỏi kiểm tra, thi kết thúc môn học, học kỳ đạt hiệu quả cao. Sau đánh giá đề thi, cần có các kế hoạch điều chỉnh, cải tiến chất lượng câu hỏi thi, đề thi góp phần nâng cao chất lượng giáo dục đào tạo của nhà trường.

Tóm lại, việc nghiên cứu ứng dụng phần mềm IATA để đánh giá NHCHT tại Trường Cao đẳng Cảnh sát nhân dân I là rất cần thiết, có ý nghĩa khoa học và thực tiễn nhằm đảm bảo chất lượng hệ thống NHCHT.

Bài: Lương Trường Sa, Phòng Khảo thí và đảm bảo chất lượng đào tạo