Báo cáo thuật toán động từ bất quy tắc

Trang đọc dữ liệu, công thức và diễn giải theo hướng learning analytics.

Báo cáo thuật toán ôn tập động từ bất quy tắc

Trang này trình bày cách hệ thống chuyển từng lượt trả lời thành dữ liệu học tập, từ đó đọc được xác suất nhớ của từng từ, mức thành thạo của từng cụm động từ và các kiểu lỗi như overregularization, nhầm V3, bỏ trống hoặc sai chính tả nhẹ.

Cụm động từHalf-lifeOverregularizationPriority queue

Nguồn dữ liệu

Mặc định báo cáo dùng dữ liệu phiên học thử trên trình duyệt hiện tại; khu vực riêng dành cho bộ dữ liệu theo dõi chính thức.

🌿
Nguồn dữ liệu: phiên học thử của người xem

Các chỉ số bên dưới chỉ xuất hiện sau khi người xem tự làm bài ở chế độ học thử.

Bảng giải thích cách chia động từ

Bảng này giải thích vì sao hệ thống không xem 93 động từ như một danh sách rời rạc, mà chia chúng thành các cụm hình thái để đọc pattern lỗi. Các cụm này không phải nhãn cố định cho năng lực của học sinh; chúng chỉ là một khung quan sát để biết lỗi sai đang xuất hiện ở từ riêng lẻ hay đang lặp lại theo nhóm.

CụmÝ nghĩaVí dụLỗi hay gặpVì sao cần tách riêng
Đổi hẳn dạng
suppletive
V2 thay đổi mạnh, khó suy ra trực tiếp từ V1.go → went
see → saw
do → did
goed, seed, doedNếu học sinh thêm -ed ở nhóm này, đó thường là tín hiệu em đang kéo động từ bất quy tắc về luật quá khứ có quy tắc.
Đổi nguyên âm
vowel-change
Từ vẫn giữ khung chữ/âm tương đối gần V1 nhưng âm chính bên trong thay đổi.run → ran
sing → sang
drink → drank
runned, singed, drinkedNhóm này giúp phân biệt việc quên một từ riêng lẻ với việc chưa nhận ra pattern đổi nguyên âm.
Kết thúc -t/-d
t-d-ending
V2 thường kết thúc bằng -t, -d hoặc một âm cuối biến đổi gần với dạng gốc.sleep → slept
feel → felt
send → sent
sleeped, feeled, sendedHọc sinh dễ giữ nguyên V1 rồi thêm -ed, nên cụm này cần được theo dõi riêng thay vì trộn vào nhóm đổi nguyên âm.
Giữ nguyên
no-change
V1, V2 và V3 viết giống nhau hoặc gần như giống nhau.put → put
cut → cut
cost → cost
putted, cutted, costedVì không có dấu hiệu quá khứ rõ trên bề mặt, học sinh có thể tự thêm -ed để làm từ trông “giống quá khứ” hơn.
-ought / -aught
ought-aught
Một nhóm có mẫu chữ/âm riêng, nhưng pattern này không hiển nhiên với người mới học.buy → bought
teach → taught
think → thought
buyed, teached, thinkedTách nhóm này giúp hệ thống biết khi nào học sinh chưa nhận ra cụm bought, brought, caught, taught, thought.
Mẫu khác
other-patterns
Các từ có điểm đặc biệt hoặc không rơi gọn vào năm cụm chính.learn → learned
lie → lay
show → showed
nhầm V2/V3, nhầm dạng gần đúngGiữ nhóm này giúp hệ thống không ép mọi từ vào một pattern sai, nhưng vẫn đưa chúng vào hàng đợi ưu tiên khi dữ liệu cho thấy cần ôn.

Diễn giải nhanh

Research protocol & log toàn hệ thống

Kết quả nghiên cứu đang có

ConditionEventsAccuracyRecallHintRewardSakura
TimePhaseTaskConditionOutcomeFlags

Bảng cụm động từ

Mỗi cụm là một giả thuyết về pattern lỗi, không phải kết luận cố định. Khi có dữ liệu mới, M꜀ và các loại lỗi sẽ thay đổi theo phản hồi của người học.

CụmSố từM꜀LượtĐúngLỗi -edNhầm V2/V3Diễn giải

Hàng đợi ưu tiên ôn tập

Priority càng cao thì hệ thống càng muốn đưa từ đó lên trước, vì từ đó hoặc đang gần quên, hoặc thuộc cụm đang yếu, hoặc cả hai.

HạngTừCụmp(v,t)SᵥM꜀Priority

So sánh word-only và cluster-aware

Bảng này phục vụ RQ2/RQ3: cùng một trạng thái dữ liệu, so sánh hàng đợi chỉ nhìn từng từ với hàng đợi có thêm tín hiệu cụm hình thái. Cột lỗi quan sát tiếp theo/gần nhất giúp xem việc đẩy hạng có khớp với lỗi sau đó hay không.

Hạng cụmTừCụmp(v,t)M꜀P_wordP_clusterDịch hạngLỗi quan sát tiếp theo/gần nhất

Công thức và cách đọc

Phần này ghi rõ công thức trước, rồi giải thích theo ba lớp: ký hiệu này là gì, ý nghĩa của nó là gì, và nó có tác dụng gì trong report. Các công thức về xác suất nhớ và half-life lấy cảm hứng từ spaced repetition, còn các hằng số như δ = −2, λ = 0.4 hoặc sàn β = 0.7 là giả định thiết kế của bản demo, vì vậy chúng cần được kiểm tra lại bằng dữ liệu thật.

p(v,t) = 2(-t/Sᵥ)

Ký hiệu này là gì?

p(v,t) là xác suất hệ thống dự đoán rằng người học còn nhớ động từ v tại thời điểm t. Ở đây, v là động từ đang được xét, t là thời gian đã trôi qua từ lần gần nhất người học gặp lại động từ đó, còn Sᵥ là half-life của riêng động từ v, tức độ bền ghi nhớ của từ đó trong mô hình.

Ý nghĩa của nó

Công thức này nói rằng trí nhớ giảm theo thời gian, nhưng tốc độ giảm không giống nhau cho mọi từ. Cùng một khoảng thời gian không ôn lại, từ có Sᵥ cao sẽ giảm chậm hơn, còn từ có Sᵥ thấp sẽ giảm nhanh hơn. Vì vậy, p gần 1 nghĩa là hệ thống còn khá tin người học nhớ được từ, còn p thấp nghĩa là từ đó đang có nguy cơ bị quên.

Tác dụng trong report

p(v,t) là nền để đọc bảng hàng đợi ưu tiên và phần calibration. Nếu một từ có p thấp, report thường xếp nó cao hơn vì hệ thống muốn hỏi lại sớm. Nếu calibration cho thấy nhóm p khoảng 0.8 nhưng tỷ lệ đúng thực tế thấp hơn nhiều, mô hình đang quá lạc quan và cần chỉnh lại.

Cơ sở: dạng suy giảm theo half-life được dùng trong Half-Life Regression cho học ngôn ngữ, xem Settles & Meeder, ACL 2016; ý tưởng trí nhớ giảm theo thời gian cũng liên quan đến đường quên Ebbinghaus, xem Murre & Dros, 2015.
M꜀new = M꜀old + η × δ

Ký hiệu này là gì?

M꜀ là điểm thành thạo của cụm động từ c. M꜀old là điểm cụm trước câu trả lời hiện tại, M꜀new là điểm cụm sau khi cập nhật, η là tốc độ cập nhật, còn δ là tác động của câu trả lời vừa rồi.

Ý nghĩa của nó

Công thức này đọc bằng lời là: điểm cụm mới bằng điểm cụm cũ, cộng thêm một phần tác động từ câu trả lời mới. Nếu học sinh trả lời đúng, δ dương và M꜀ tăng. Nếu học sinh trả lời sai, δ âm và M꜀ giảm. η quyết định hệ thống phản ứng mạnh hay nhẹ với một lượt trả lời, vì nếu η quá cao thì một lỗi nhỏ làm cụm rơi quá nhanh, còn nếu η quá thấp thì nhiều lỗi liên tiếp cũng không đủ làm report đổi rõ.

Tác dụng trong report

M꜀ giúp report trả lời câu hỏi học sinh đang yếu ở từng từ riêng lẻ hay yếu ở cả một kiểu động từ. Nếu nhiều lỗi xuất hiện trong cùng một cụm, M꜀ của cụm đó giảm và report sẽ đánh dấu cụm đó là cần theo dõi hoặc cần can thiệp. M꜀ cũng đi vào công thức priority, nên cụm yếu có thể kéo các từ trong cụm quay lại sớm hơn.

Cơ sở: cách theo dõi trạng thái kiến thức theo thời gian lấy cảm hứng từ knowledge tracing, xem Liu et al., 2024 survey; việc xem mỗi cụm động từ như một “skill nhỏ” là lựa chọn thiết kế của demo.
δ = +1 / −2 / −1 / −0.3

Ký hiệu này là gì?

δ là mức tác động của loại câu trả lời. Trong bản demo này, trả lời đúng tạo δ = +1, lỗi overregularization như goed hoặc runned tạo δ = −2, nhầm V3 sang V2 tạo δ = −1, còn bỏ trống hoặc lỗi chính tả nhẹ tạo δ = −0.3.

Ý nghĩa của nó

δ không phải điểm phạt đạo đức của học sinh, nó là cách hệ thống mã hóa độ mạnh của tín hiệu. Bỏ trống thường chỉ nói rằng học sinh chưa nhớ tại thời điểm đó, trong khi goed nói thêm rằng học sinh đang áp luật -ed vào nơi không nên áp. Vì vậy, overregularization bị tính mạnh hơn vì nó có giá trị chẩn đoán rõ hơn.

Tác dụng trong report

δ là nguyên nhân trực tiếp làm M꜀ tăng hoặc giảm sau mỗi lượt học. Khi report cho thấy một cụm tụt nhanh, người đọc nên nhìn lại event log để xem có nhiều lỗi δ âm mạnh hay không. Nếu một cụm giảm chủ yếu vì lỗi overregularization, cách can thiệp nên tập trung vào pattern, không chỉ bắt học sinh chép lại từng từ.

Cơ sở: overregularization được mô tả như việc mở rộng mẫu có quy tắc sang từ bất quy tắc, xem Marcus et al., 1992; các con số δ cụ thể là giả định thiết kế của bản demo, không phải hằng số đã được chứng minh.
β(M꜀) = 0.7 + 0.3M꜀

Ký hiệu này là gì?

β(M꜀) là hệ số đưa điểm cụm quay trở lại quá trình cập nhật half-life của từng từ. Vì M꜀ nằm trong khoảng 0 đến 1, β(M꜀) trong bản demo nằm khoảng từ 0.7 đến 1.0.

Ý nghĩa của nó

Công thức này nói rằng cụm yếu sẽ kéo độ bền ghi nhớ của các từ trong cụm xuống một chút, còn cụm mạnh thì gần như không kéo xuống. Phần 0.7 là sàn an toàn, giúp hệ thống không phản ứng quá cực đoan, còn phần 0.3M꜀ là phần điều chỉnh theo trạng thái cụm.

Tác dụng trong report

β(M꜀) giải thích vì sao một từ vừa trả lời đúng vẫn có thể chưa bị đẩy quá xa trong lịch ôn nếu cụm của nó đang yếu. Nó giúp report đọc được ảnh hưởng của pattern cụm lên từng từ, nhưng vì có sàn 0.7 nên cụm chỉ là tín hiệu phụ, không biến một vài lỗi thành hình phạt quá nặng.

Ghi chú: β(M꜀) là công thức thiết kế riêng cho demo để nối tín hiệu cụm với half-life của từng từ, các giá trị 0.7 và 0.3 cần được calibration bằng dữ liệu thật.
Sᵥnew = Sᵥold × α × β(M꜀) × γ

Ký hiệu này là gì?

Sᵥ là half-life hoặc độ bền ghi nhớ của động từ v. Sᵥold là độ bền trước câu trả lời, Sᵥnew là độ bền sau khi cập nhật, α là hệ số phản ứng trực tiếp với đúng/sai của từ đó, β(M꜀) là hệ số ảnh hưởng từ cụm, còn γ là hệ số scaffold để đánh dấu câu trả lời có dùng gợi ý hay lộ form.

Ý nghĩa của nó

Công thức này nói rằng độ bền ghi nhớ của một từ thay đổi vì hai lý do cùng lúc. Lý do thứ nhất là câu trả lời vừa rồi đúng hay sai, được thể hiện qua α. Lý do thứ hai là cụm của từ đó đang ổn hay yếu, được thể hiện qua β(M꜀). Vì vậy, hệ thống vừa nhìn trí nhớ của từng từ, vừa nhìn pattern rộng hơn của nhóm từ.

Tác dụng trong report

Sᵥ quyết định từ nào được giãn ra và từ nào quay lại sớm. Từ đúng nhiều lần thường có Sᵥ tăng và p(v,t) giảm chậm hơn, còn từ sai nhiều lần thường có Sᵥ giảm và xuất hiện lại sớm hơn trong priority queue. Nếu Sᵥ giảm dù từ vừa đúng, người xem nên kiểm tra M꜀ của cụm vì có thể cụm đang kéo xuống.

Cơ sở: ý tưởng mỗi item học có một half-life riêng lấy cảm hứng từ Half-Life Regression, xem Settles & Meeder, ACL 2016; cách nhân thêm β(M꜀) là mở rộng thiết kế của demo.
t* = -Sᵥ × log₂(p_target)

Ký hiệu này là gì?

t* là thời điểm nên ôn lại theo mục tiêu xác suất nhớ, Sᵥ là half-life của từ, còn p_target là ngưỡng xác suất nhớ mà hệ thống muốn giữ trước khi hỏi lại. Trong bản demo, p_target đang được đặt là 0.8.

Ý nghĩa của nó

Công thức này là cách đảo ngược công thức p(v,t). Thay vì hỏi “sau t ngày thì còn nhớ bao nhiêu”, nó hỏi ngược lại “muốn xác suất nhớ chưa rơi xuống dưới 0.8 thì nên hỏi lại sau bao lâu”.

Tác dụng trong report

t* giúp biến half-life thành một mốc ôn tập cụ thể. Nếu Sᵥ tăng, t* dài hơn và từ được giãn ra. Nếu Sᵥ giảm, t* ngắn lại và từ quay lại sớm. Ngưỡng 0.8 là giả định thực dụng của demo, không phải ngưỡng bắt buộc cho mọi lớp học.

Ghi chú: công thức này xuất phát từ p(v,t) = 2^(-t/Sᵥ), còn p_target = 0.8 là lựa chọn thiết kế cần kiểm tra lại qua calibration.
Priority(v) = (1 - p(v,t)) + λ × (1 - M꜀)

Ký hiệu này là gì?

Priority(v) là điểm ưu tiên ôn tập của động từ v. 1 - p(v,t) là nguy cơ quên của riêng từ đó, 1 - M꜀ là mức yếu của cụm, còn λ là mức độ cho phép cụm ảnh hưởng đến hàng đợi. Trong bản demo, λ = 0.4.

Ý nghĩa của nó

Công thức này nói rằng một từ được đưa lên trước vì hai lý do. Một là chính từ đó đang có nguy cơ bị quên, hai là cụm của nó đang yếu. Nếu λ bằng 0, hệ thống gần như trở thành flashcard thường và chỉ nhìn từng từ riêng lẻ. Nếu λ quá cao, cụm yếu có thể lấn át mọi thứ và làm lịch ôn bị lệch về một nhóm.

Tác dụng trong report

Priority(v) quyết định thứ tự trong bảng hàng đợi ôn tập. Khi một từ đứng cao, người xem có thể đọc các cột p(v,t), Sᵥ và M꜀ để biết nó đứng cao vì sắp quên, vì thuộc cụm yếu, hay vì cả hai. Đây là bảng quan trọng nhất để hiểu câu tiếp theo nên được chọn như thế nào.

Cơ sở: phần 1 - p(v,t) dựa trên dự đoán xác suất nhớ của spaced repetition, còn phần λ × (1 - M꜀) là giả thuyết thêm vào để kiểm tra ảnh hưởng của cụm; λ = 0.4 là điểm khởi đầu, không phải kết luận.
Calibration = so sánh p(v,t) với tỷ lệ đúng thực tế

Ký hiệu này là gì?

Calibration không phải một biến riêng, mà là cách kiểm tra chất lượng dự đoán. Hệ thống tạo ra p(v,t), sau đó report gom các lượt có p gần nhau thành nhóm, rồi so sánh xác suất dự đoán với tỷ lệ đúng thật trong nhóm đó.

Ý nghĩa của nó

Calibration cho biết hệ thống đang quá lạc quan, quá thận trọng hay tương đối khớp. Nếu nhóm p khoảng 0.8 nhưng học sinh chỉ đúng 0.5, hệ thống đang quá lạc quan. Nếu nhóm p khoảng 0.5 nhưng học sinh đúng 0.8, hệ thống đang quá thận trọng.

Tác dụng trong report

Calibration là phần giúp chỉnh lại mô hình. Nếu report cho thấy dự đoán lệch liên tục, các hằng số như α, δ, β, λ hoặc p_target cần được xem lại. Vì vậy, report không chỉ hiển thị dữ liệu, nó còn chỉ ra công thức nào đang cần hiệu chỉnh.

Cơ sở: mô hình dự đoán xác suất nhớ cần được so sánh với kết quả đúng/sai thực tế, vì nếu xác suất dự đoán không khớp thực tế thì lịch ôn cũng sẽ lệch.

Calibration: dự đoán có khớp thực tế không?

Calibration so sánh xác suất nhớ p(v,t) với tỷ lệ đúng thực tế. Nếu nhóm p khoảng 0.8 nhưng người học chỉ đúng 0.5, thuật toán đang quá lạc quan; nếu nhóm p khoảng 0.5 nhưng người học đúng 0.9, thuật toán đang quá thận trọng.

Nhóm pSố lượtTỷ lệ đúng thực tếCách đọc

Theo dõi theo giai đoạn học

Bảng này tách dữ liệu theo nguồn đo giấy/manual và các thời điểm can thiệp trên web. Pretest/posttest trên giấy được giữ như dữ liệu measurement/import, còn diagnostic, practice, exit ticket và delayed review là các phase có thể tạo từ trang học.

Giai đoạnVai tròSố lượtTỷ lệ đúngLỗi -edCụm yếu nhất

Event log

Bảng này là dữ liệu thô để phân tích sâu bằng Python hoặc Power BI sau này.

Thời gianNgười họcTừĐáp ánLoại lỗiQuyết định GVCập nhật modelM꜀Sᵥ