Ricerca
Apertus 1.5: dai modelli testuali aperti ai modelli aperti di ragionamento multimodale
I modelli linguistici stanno diventando infrastrutture, e costruirle in modo aperto, da parte di istituzioni pubbliche e sulla base di dati documentati, è l’alternativa alla dipendenza da pochi fornit
- arXiv
- 2610.15542
- Pubblicato
- 2026-10-11
- Autori
- Project Apertus, :, Yixuan Xu, Yassine Turki, Vinko Sabolčec, Valentina Pyatkin, Tommy Chu, Sven Najem-Meyer, Sean F. Carroll, Robert Smith, Raphael Kreft, Oscar Alessandro Tazza, Oleg Lavrovsky, Nicola Irmiger, Matteo Santelmo, Marian Schneider, Juan García Giraldo, Hanna Yukhymenko, Eduard Ďurech, Davit Melikidze, Dani Tamayo, Bettina Messmer, Aryan Ahadinia, Anunay Yadav, Allen Huang, Ahmad Fraij, Alessandro Bombarda, Alex Padula, Alexander Hägele, Alexander Sternfeld, Anna Hedström, Anna Kosovskaia, Arthur Wuhrmann, Arundhati Balasubramaniam, Badr Al Mahouri, Barna Pasztor, Bartosz Szostakiewicz, Bich Ngoc Doan, Bryan Schmid, Burak Sezen, Camille Challier, Clément Charmillot, Dana Shayakhmetova, Daniel Perruchoud, David Brüggemann, David Isztl, Elia Palme, Emma Anastassova, Fabian Bösch, Faruk Zahiragić, Fawzi Roberto Mohamed, Fiona Panicali, Florian Kolly, Flynn Guerra, Francesco Monti, Frederike Lübeck, Gennaro Oliva, Haofeng Yang, Haoliang Shang, Helen El Khoury, Henrique Mendonça, Jannis Vamvas, Jérome Landolt, Jessica Lam, Jingchun Xiao, Jonathan Coles, Joshua Oyebanji, Khanh Nguyen, Konstantinos Pitas, Lasse B. Strand, Li Mi, Loïc Deslarzes, Lorenzo Baggi, Lorenzo Noci, Luca Baumann, Luca Sartori, Lukas Drescher, Marco De Negri, Marco Passerini, Mark Klein, Marko Stojanovic, Martin Majsec, Matin Ansaripour, Mattea Busato, Mauro Pellonara, Max Neuwinger, Michael Graber, Michal Tešnar, Michelle Wastl, Miguel Gila, Mikolaj Boronski, Morgane Magnin, Moritz Reihs, Mukhammadali Sayfiddinov, Nathan Ranchin, Nicolas Cuveillier, Oscar Wohlfahrt, Qianqian Zou, Rada Kamysheva, Rita Sevastjanova, Roman Machacek, Sebastian Keller, Simon Matrenok, Simon Pierre, Stefano Schuppli, Suei-Wen Chen, Szabina Horváth-Mikulas, Taliesin Perez, Thilo Spinner, Thomas Kleine Buening, Tim Robinson, Tymoteusz Kwiecinski, Vilém Zouhar, Vinzenz Thoma, Xiaozhe Yao, Yannick Metz, Yuhei Fukuhara, Yusif Askari, Zixuan Chen, Alexander Ilic, Ana Klimovic, Andreas Krause, Andrei Kucharavy, Elliott Ash, Joost VandeVondele, Martin Rajman, Mennatallah El-Assady, Thomas Schulthess, Timo Kehrer, Torsten Hoefler, Antoine Bosselut, Martin Jaggi, Imanol Schlag
Abstract degli autori
I modelli linguistici stanno diventando infrastrutture, e costruirle in modo aperto, da parte di istituzioni pubbliche e sulla base di dati documentati, è l’alternativa alla dipendenza da pochi fornitori. Apertus dimostra che è possibile farlo su larga scala. Apertus 1.5 estende la famiglia di modelli completamente aperti Apertus dal testo al ragionamento multimodale. Il preaddestramento proseguito dei modelli Apertus 1.0, con altri 4T token per l’8B e 2T per il 70B, aggiunge la comprensione di immagini e audio e quadruplica la finestra di contesto, portandola a 262.144 token. La multimodalità viene introdotta attraverso il tokenizer, il livello di uscita del modello linguistico resta limitato al testo e l’architettura rimane invariata. Il fine-tuning supervisionato, il fine-tuning per contesti lunghi, l’apprendimento per rinforzo con ricompense verificabili e l’allineamento alle preferenze completano i modelli rilasciati. Thinking è un flag del template di chat, non un modello separato, e migliora il ragionamento matematico del modello 8B fino a 20 punti. I modelli rilasciati migliorano rispetto ai predecessori in quasi tutti i benchmark. Tra i modelli completamente aperti della sua classe, l’8B è primo nei benchmark di conoscenza, di aderenza alle istruzioni e culturali; nella capacità di seguire le istruzioni supera tutti i modelli con cui è stato confrontato, compresi quelli a pesi aperti. Nella comprensione di immagini e audio, una novità per la famiglia, i modelli sono competitivi con i modelli multimodali completamente aperti. Ottengono i risultati migliori nella comprensione dei documenti e nel riconoscimento di parlato di lunga durata e di lingue con meno risorse, mentre i modelli specializzati per immagini e audio restano avanti nella percezione e nella trascrizione dell’inglese e di altre lingue ricche di risorse. Come per Apertus 1.0, ci addestriamo solo su dati disponibili apertamente, rispettiamo retroattivamente le richieste di esclusione rivolte ai crawler ed escludiamo i materiali soggetti a licenze restrittive. Rilasciamo con licenze permissive i pesi dei modelli, le procedure di preparazione dei dati e di addestramento e le suite di valutazione. L’apertura si estende ai valori: la carta di Apertus guida le fasi di allineamento, pubblicate insieme ai modelli.