Compilare addestrando: trasformare specifiche in linguaggio naturale in funzioni neurali locali

Abstract degli autori

Molte funzioni testuali ricorrenti sono facili da descrivere ma difficili da implementare con regole. Chiamare un grande modello remoto per ogni input, però, comporta costi e latenza ripetuti, oltre alla dipendenza da un fornitore. Presentiamo la compilazione tramite addestramento, che trasforma una specifica in linguaggio naturale in una funzione neurale riutilizzabile. In fase di compilazione, modelli insegnanti generano esempi specifici per il compito, usati per addestrare un piccolo adapter per un interprete compatto. La funzione risultante opera senza i modelli insegnanti e può essere archiviata, sottoposta a controllo di versione e composta come un normale software. Su FuzzyBench-Hard, un sottoinsieme in cui il compilatore rapido Program-as-Weights non ha prodotto alcuna corrispondenza esatta, la compilazione tramite addestramento raggiunge un’accuratezza semantica dell’83,6%. Questa maggiore accuratezza comporta un costo di compilazione più elevato: circa un minuto anziché i pochi secondi del compilatore rapido. Mettiamo a disposizione il compilatore in un servizio interattivo pubblico e mostriamo le funzioni compilate in un assistente per siti web multipli, un avatar 3D controllato tramite il linguaggio e un traduttore bidirezionale inglese-Claudish.