SGAnalog: un benchmark end-to-end per circuiti basato su tapeout di silicio open source

Abstract degli autori

Gli attuali benchmark per la progettazione di circuiti integrati analogici rendono difficile rispondere a due domande: se un modello abbia appreso competenze circuitali trasferibili, anziché richiamare esempi familiari, e se il suo output funzioni in condizioni definite di processo e test. Presentiamo un benchmark basato su circuiti progettati da esseri umani e open source, associati alle navette di produzione di Tiny Tapeout. La raccolta contiene 273 progetti di livello superiore distinti dal punto di vista topologico. Ogni sorgente viene recuperata alla revisione registrata per l’invio alla navetta corrispondente ed elaborata in un ambiente containerizzato fisso. La pipeline esporta l’immagine di ogni schema idoneo e la relativa netlist SPICE dallo stesso file sorgente, fornendo così un riferimento strutturale esatto per la trascrizione. Le date dei commit consentono di analizzare la soglia temporale di addestramento specifica per ciascun modello, mentre i banchi di test degli autori forniscono il contesto di simulazione per il dimensionamento. Il benchmark valuta la trascrizione da schema a netlist e il dimensionamento dei dispositivi. Su un insieme fisso di 66 compiti di trascrizione, sette modelli raggiungono risultati diversi: il modello più forte arriva al 56,1% di isomorfismo esatto dei grafi, e sei modelli su sette registrano un netto calo passando dalla fascia dei modelli piccoli a quella dei medi. Per un modello all’avanguardia, rimuovere le etichette scelte dagli autori riduce le corrispondenze esatte, pur mantenendo invariato l’F1 strutturale aggregato: ciò suggerisce che le etichette possono facilitare il tracciamento delle connessioni. Nei 17 compiti di dimensionamento, il modello migliore converge su tutte e 17 le proposte e ottiene 91,2 su 100 rispetto al riferimento umano, mentre i due modelli Claude più recenti rifiutano rispettivamente 4 e 11 degli stessi prompt che trascrivono senza obiezioni; una proposta priva di valori di dimensionamento ottiene zero. I due compiti producono classifiche diverse dei modelli, mettendo in luce capacità visive e di progettazione distinte e, in una famiglia, un limite imposto dalle policy anziché dalle capacità.