The Pulse
Un ESP32 da 7 dollari permette agli agenti di IA di usare veri iPhone
ESP32 iPhone Agent usa una scheda ESP32-S3 per trasmettere lo schermo duplicato di un iPhone a un’app per agenti sul telefono e inviare al telefono tocchi e altri comandi. Nella versione attuale, il progetto non richiede più un computer dur
AI.info Team · Scritto con l’IA ·
Una scheda ESP32-S3 da circa 7 dollari può consentire a un modello di IA di vedere e usare un vero iPhone: la duplicazione dello schermo gli fornisce le immagini, mentre un collegamento USB come mouse e tastiera permette di inviare comandi. Il progetto, chiamato ESP32 iPhone Agent, ha poi cambiato impostazione: ora la scheda riceve il flusso AirPlay del telefono e lo inoltra a un’app per agenti in esecuzione sullo stesso iPhone. Il README del progetto descrive così il cambiamento:
«Ora la scheda è il ricevitore AirPlay e il mouse, mentre l’agente viene eseguito in un’app sullo stesso iPhone.»
README del progetto ESP32 iPhone Agent
La scheda vede; AssistiveTouch tocca lo schermo
L’hardware testato è XIAO ESP32S3 di Seeed Studio, il modello standard con 8 MB di PSRAM. La scheda si presenta a iOS come mouse e tastiera USB; con AssistiveTouch attivo, il suo puntatore può toccare lo schermo e trascinare elementi. Per ottenere le immagini, l’iPhone duplica il proprio schermo via Wi-Fi sulla scheda, che inoltra il video all’app tramite Bluetooth Low Energy. L’app decodifica il flusso, invia le immagini dello schermo a un modello di visione e sceglie azioni come toccare, scorrere e digitare.
L’agente funziona con endpoint di modelli di visione compatibili con OpenAI, inclusi servizi cloud e modelli ospitati dall’utente. Secondo il progetto, la chiave del modello è conservata nel Portachiavi di iOS e i prompt possono essere modificati come file di testo semplice. La scheda è alimentata tramite il collegamento USB del telefono; quando è connesso all’hotspot della scheda, l’iPhone raggiunge il modello tramite la rete dati cellulare anziché il Wi-Fi.
La versione attuale non richiede un computer durante l’esecuzione
La prima versione del progetto contrassegnata da un tag, v0.1.0, usava un computer Mac o Linux per ricevere AirPlay tramite UxPlay ed eseguire un server Python. Nell’impostazione attuale, questi compiti sono stati spostati: l’ESP32 è diventato il ricevitore AirPlay, mentre l’app per iPhone ha assunto la gestione del ciclo dell’agente. Secondo la documentazione del progetto, la precedente versione basata su computer resta disponibile in un ramo legacy.
«Senza computer» vale per l’esecuzione delle attività, non per la preparazione del sistema. Le istruzioni attuali richiedono un Mac con Xcode per caricare il firmware sulla scheda e compilare e installare l’app per iPhone. Per firmare l’app si può usare un Apple ID gratuito, ma secondo il progetto la firma deve essere rinnovata ogni sette giorni; per configurare l’hotspot con un solo tocco serve un account sviluppatore a pagamento. L’iPhone deve avere iOS 18 o una versione successiva.
L’accesso allo schermo ha limiti netti
Il sistema dipende da ciò che iOS duplica e dai comandi che accetta tramite i dispositivi di input standard. Non può vedere l’inserimento del codice di sblocco, le schermate di Apple Pay o i video protetti da DRM, e la duplicazione dello schermo si interrompe quando il telefono si blocca. Il progetto indica un flusso da 480 per 1040 pixel fino a cinque fotogrammi al secondo, con diversi secondi necessari per ogni azione; la digitazione è limitata ai caratteri ASCII e le app in modalità orizzontale non sono supportate.
Per chi spera di installare l’app dall’App Store di Apple c’è anche un limite software. Secondo il progetto, l’app attuale usa un’API privata di iOS e quella chiamata dovrà essere sostituita prima della pubblicazione sull’App Store. Il progetto è distribuito con licenza MIT, con un’eccezione: il codice AirPlay adattato da UxPlay e il binario del firmware che lo incorpora sono distribuiti con licenza GPL-3.0.
Un agente sul telefono ha comunque bisogno di supervisione
L’app conserva la cronologia delle esecuzioni per poterle rivedere e offre un comando di arresto tramite la Dynamic Island. Queste funzioni aiutano a controllare o interrompere un agente, ma non eliminano il rischio di dare a un modello accesso a un telefono sbloccato con account già connessi. Il progetto invita gli utenti ad automatizzare solo dispositivi e account di cui sono proprietari o che hanno il permesso di usare, a rispettare i termini delle app, a sorvegliare l’agente e a tenere il comando di arresto a portata di mano.
Il basso prezzo della scheda è quindi solo una parte di ciò che serve. Gli utenti hanno bisogno anche di un iPhone compatibile, di un Mac per l’installazione, di un endpoint per un modello di IA e di essere disposti a lasciare che un software agisca attraverso la stessa interfaccia usata da una persona. I limiti dichiarati dal progetto escludono schermate sensibili come quelle di Apple Pay e di inserimento del codice di sblocco, mentre il README avverte comunque gli utenti di sorvegliare ogni esecuzione.