Sony presenta i primi sensori d’immagine al mondo basati sull’intelligenza artificiale

da Tokyo — In data odierna, Sony Corporation ha annunciato l’imminente lancio di due sensori d’immagine intelligenti, i primi al mondo dotati di funzionalità di elaborazione basata su IA.^*1L’inclusione di tale funzionalità sul sensore d’immagine stesso permette un’elaborazione edge ad alta velocità basata su IA e l’estrazione dei soli dati necessari. Se abbinato all’uso di servizi cloud, tutto ciò consente di ridurre la latenza di trasmissione dei dati, di affrontare le problematiche relative alla privacy e di contenere i consumi energetici e i costi delle comunicazioni.

*1 Tra i sensori d’immagine. Secondo una ricerca condotta da Sony (all’annuncio del 14 maggio 2020).

I nuovi prodotti ampliano le possibilità di sviluppo di fotocamere dotate di intelligenza artificiale, promuovendo svariate applicazioni nel campo del retail e delle attrezzature industriali e contribuendo alla creazione di sistemi ottimali connessi al cloud.

Sensori d’immagine intelligenti

Con la diffusione dell’IoT, qualsiasi tipo di dispositivo è stato dotato di una connessione al cloud e ciò ha reso di uso comune i sistemi di elaborazione in cui le informazioni ottenute dai dispositivi stessi sono processate tramite IA su cloud. Inoltre, il crescente volume di informazioni gestite su cloud pone svariati problemi, tra cui la maggiore latenza di trasmissione dei dati, che ostacola l’elaborazione delle informazioni in tempo reale, i timori per la sicurezza legati all’archiviazione sul cloud di dati personali identificabili e altre questioni quali l’aumento dei consumi energetici e dei costi di comunicazione legati ai servizi su cloud.

I nuovi sensori presentano una configurazione a strati formata da un chip pixel e da un chip logico. Sono i primi sensori d’immagine al mondo dotati di funzionalità di elaborazione e analisi dell’immagine basate su IA su chip logico. Poiché il segnale acquisito dal chip pixel è elaborato tramite IA sul sensore, non sono più necessari processori ad alte prestazioni o memoria esterna e questo favorisce lo sviluppo di sistemi di IA edge. Il sensore invia i metadati (informazioni semantiche proprie dei dati dell’immagine) invece che l’immagine, perciò il volume dei dati è ridotto e i timori relativi alla privacy risolti. Al tempo stesso, le diverse funzionalità basate su IA presentano una notevole versatilità d’impiego, permettendo per esempio il tracking degli oggetti in tempo reale con un’elaborazione ad alta velocità fondata su IA. I diversi modelli di IA possono essere selezionati riscrivendo la memoria interna in base ai requisiti dell’utente o alle condizioni proprie del luogo di utilizzo del sistema.

Caratteristiche principali

 Il primo sensore d’immagine al mondo dotato di funzionalità di elaborazione basata su IA

Il chip pixel è retroilluminato e dispone di circa 12,3 megapixel effettivi, che consentono di acquisire informazioni attraverso un ampio angolo di campo. In aggiunta al circuito operativo dei sensori d’immagine convenzionali, il chip logico è dotato di un DSP (Digital Signal Processor) originale di Sony, dedicato all’elaborazione del segnale tramite IA, e di memoria per i modelli di IA. Tale configurazione elimina la necessità di processori ad alte prestazioni o memoria esterna ed è perciò ideale per i sistemi di IA edge.

Output di metadati

I segnali acquisiti dal chip pixel sono processati da un ISP (Image Signal Processor) e l’elaborazione tramite IA avviene in fase di elaborazione sul chip logico. Le informazioni estratte sono inviate sotto forma di metadati, con una conseguente riduzione della quantità di dati gestiti. Assicurare che le immagini non vengano trasmesse aiuta a ridurre i rischi legati alla sicurezza e risolvere i timori relativi alla privacy. Oltre all’immagine registrata dal sensore d’immagine convenzionale, gli utenti possono selezionare il formato di output in base alle esigenze e all’uso, tra cui immagini in formato ISP (YUV/RGB) e immagini ROI (Region of Interest) con estratti di aree specifiche.

Formato di output dei dati selezionabile per soddisfare diverse esigenze 

Elaborazione ad alta velocità fondata su IA

Registrando un video con un sensore d’immagine convenzionale, è necessario inviare i dati di ogni singolo fotogramma per permetterne l’elaborazione tramite IA: ciò determina un incremento dei dati trasmessi, che ostacola le prestazioni in tempo reale. Nei nuovi sensori di Sony, l’elaborazione ISP e l’elaborazione ad alta velocità basata su IA (elaborazione in 3,1 millisecondi per MobileNet V1^*2) avvengono sul chip logico e l’intero processo viene completato in un unico frame video. Tale design rende possibile il tracking degli oggetti ad alta precisione e in tempo reale durante la registrazione di video.

*2 MobileNet V1: un modello di analisi dell’immagine basato su IA per il riconoscimento di oggetti su dispositivi mobili.

Esempio di tracking in tempo reale con prodotto e task su un registratore di cassa

Possibilità di selezionare i modelli di IA

Gli utenti possono salvare i modelli di IA desiderati nella memoria integrata, riscrivendoli e aggiornandoli in base ai requisiti richiesti o alle condizioni del luogo in cui il sistema viene utilizzato. Per esempio, se più fotocamere equipaggiate con il nuovo prodotto sono installate in un punto vendita, lo stesso tipo di fotocamera può essere impiegato in maniera versatile in punti, circostanze, momenti o con scopi differenti. All’ingresso di una struttura, infatti, può permettere di registrare il numero di visitatori che decidono di entrare. Sullo scaffale di un negozio, può aiutare a visualizzare i prodotti in esaurimento. All’altezza del soffitto, consente di elaborare la mappa di calore dei clienti (individuando le aree ad alta concentrazione) e così via. Inoltre, il modello di IA di una determinata fotocamera può essere riscritto per passare dall’elaborazione di mappe di calore all’identificazione del comportamento dei clienti e così via.