Un LLM System-One può tracciare le conoscenze quando sono registrate le interazioni di pochi studenti o di nessuno?

Abstract degli autori

I modelli di tracciamento delle conoscenze (KT) richiedono i dati registrati di molti studenti, perciò un nuovo corso o una nuova piattaforma parte senza un modello utilizzabile. Nel KT basato su LLM, l’LLM genera la risposta: è ciò che chiamiamo System-Two. L’LLM viene sottoposto a fine-tuning sui dati di riferimento oppure ragiona e vota su dieci campioni, una procedura lenta che fornisce probabilità poco granulari. Ci chiediamo se un LLM System-One pronto all’uso, che restituisce direttamente e in un solo passaggio una probabilità per una domanda tipizzata, possa effettuare il KT quando sono registrate le interazioni di pochi studenti o di nessuno. Su sette dataset, Jev, senza alcun dato della piattaforma di riferimento, raggiunge un’AUC media di 0,706: supera il migliore tra 28 modelli di KT profondo addestrati sui dati di 8 studenti (0,689) e System-Two Thinking-KT su tutti e sette i dataset (0,650), con un costo API pari a circa 1/100 del suo. Aggiungere esempi e una statistica relativa a studenti simili, ricavata dagli studenti di cui sono state registrate le interazioni (JevKT), porta l’AUC a 0,722. JevKT mantiene un vantaggio significativo sul KT profondo fino a 16 studenti e un vantaggio medio fino a 64; il KT supervisionato lo raggiunge tra 64 e 128 studenti. Tra i modelli lettori che abbiamo testato, il vantaggio è specifico di Jev: altri tre LLM, interrogati tramite l’adattatore ufficiale System-One con una richiesta tipizzata identica byte per byte, ottengono risultati inferiori su tutti e sette i dataset. La sostituzione dei modelli lettori e le verifiche sulla contaminazione non trovano prove che il formato dell’input o i dati memorizzati spieghino il vantaggio. Per i nuovi studenti, il vantaggio si mantiene fin dalle prime interazioni; sugli elementi mai visti, invece, quando sono registrate le interazioni di tutti gli studenti, il KT profondo resta superiore.