stories.jpg è un sistema per genitori e bambini che genera storie e racconti partendo da output visivi. L’obiettivo è quello di voler supportare lo sviluppo della creatività e dell’immaginazione di chi ne fa uso, utilizzando come punto di partenza, i disegni. Ogni disegno racchiude dentro di sé una storia che non aspetta altro che essere raccontata. Stories.jpg, con l’aiuto di alcuni algoritmi di Machine Learning, riconosce gli elementi presenti nei disegni che vengono fotografati e caricati, e con l’ausilio di alcuni sistemi di Natural Language Processing (NPL), vengono generate storie che vedono come protagonisti gli elementi dei disegni.

Il sistema, a seconda di chi lo utilizza, propone funzionalità differenti: se l’utente è un bambino il dispositivo propone due opzioni: “modalità disegna” o “modalità immagini”. Nella prima l’utente può disegnare su una canvas. Per riconoscere il disegno, si ricorre ad alcuni algoritmi ml5 come SketchRNN e ImageClassification_DoodleNet.Con la seconda, l’utente può caricare la foto di un suo disegno o un’immagine. Grazie ad alcuni algoritmi di ml5 (imageClassify, objectDetector) il sistema è in grado di riconoscere gli elementi presenti e di estrapolarli. Rilevati gli elementi il sistema è in grado di generare un racconto, grazie alla libreria ml5 CharRNN, che narra la storia dell’elemento disegnato, dando vita ai disegni. Entrando nella modalità per i genitori, invece, si ha la possibilità di accedere ad un sistema che genera gli incipit dei racconti, partendo dai disegni caricati.

E se grazie agli oggetti quotidiani potessimo rendere visibili le idee? Dall’esperienza personale nasce l’interesse di realizzare uno strumento che permette di catturare, intervenire e manipolare l’immagine sorta nella mente, in modo da poterci, successivamente, lavorare (per esempio fissare digitalmente una sequenza di scene creerebbero lo storyboard di un ipotetico video).

Come?
Nel momento in cui si forma un’immagine nella mente, scegliendo e disponendo su un piano alcuni oggetti che troviamo attorno a noi, posizioniamo dei marker spaziali, in questo modo il disegno di output ha coordinate x, y, z, e una dimensione precisa. Successivamente viene acquisito dalla voce dell’utilizzatore, per indicare al programma la trasformazione che deve compiere: per esempio se viene appoggiata una bottiglia e si pronuncia la parola “albero”, questa verrà disegnata nella posizione indicata. Per realizzare la propria scena è necessario seguire questo processo per ogni oggetto. Una volta creata, si posiziona la telecamera portatile, come quella presente sullo smartphone, nel punto che si desidera. In questo modo lo strumento ha acquisito tutti i dati utili per fissare digitalmente l’idea.

L’attenzione verso i bambini e agli stati d’animo negativi che potrebbero generarsi in loro durante l’incontro con un medico di cui non è possibile vedere né fattezze né espressioni del volto, perché coperti da una mascherina, mi hanno portata a ragionare su come eliminare la barriera invisibile interpersonale attraverso il disegno. Il disegno ha il potere di far esprimere i pensieri e le emozioni del bambino e al contempo permette al medico di instaurare un rapporto amichevole con il piccolo paziente. Segni emotivi è un progetto che non vuole eliminare la presenza della mascherina ma usarla come tela su cui i bambini possono applicare i propri disegni abbattendo con l’immaginazione e il gioco gli stati d’ansia.

L’ applicazione è rivolta ai genitori e ai medici per tranquillizzare i bambini. L’applicazione consente di scegliere un disegno tra quelli presenti nell’app, scegliere un disegno già presente in modo casuale, permette al bambino di disegnare in un’area dedicata. L’immagine scelta o il disegno del bambino, compariranno sull’area della mascherina inquadrando il volto
del medico con lo smartphone. L’algoritmo su cui si basa l’applicazione è Face Api , nello specifico Face Api Landmarks con cui è stato possibile individuare i punti in corrispondenza delle labbra, fondamentali per il posizionamento del disegno e delle immagini.

DeletePixel è un progetto che cerca di imitare il meccanismo umano di selezione e di oblio delle informazioni e di applicare tale processo a una macchina. L’obbiettivo è quello di dare forma ai nostri ricordi legati a una particolare immagine e al tipo di emozione che essa suscita in noi. In questo modo, tutte le informazioni che abbiamo dimenticato vengono trasformate in qualcosa di significativo e visivamente interessante. Concettualmente, queste nuove immagini non sono altro che una rappresentazione simbolica della nostra memoria e quindi, anche di noi stessi. Nel tempo queste immagini potrebbero iniziare a sovrapporsi l’una all’altra, proprio come avviene con le informazioni, andando a creare una stratificazione fatta di ricordi e oblio che allo stesso tempo, modella anche la nostra identità.

Il progetto è composto da alcuni algoritmi che permettono all’utente di raccontare i ricordi legati ad una foto e di ottenere una nuova immagine che visualizzi quel ricordo. Il processo di scelta delle informazioni da eliminare dalla foto è determinato dal tipo di emozione che l’utente prova nel raccontare.

La libreria p5.speech.js, permette di ascoltare e registrare il ricordo raccontato dall’utente. All’avvio del programma viene caricata la foto scelta e si attiva il microfono. L’algoritmo trascrive in modo continuo le parole pronunciate, mostrando sullo schermo la stringa di testo. L’algoritmo di machine learning Sentiment prevede il sentimento del testo scritto e attribuisce un valore da 0 (negativo) a 100 (positivo).

Precedentemente i valori sono stati suddivisi in una scala e ad ognuno di essi è stata assegnata un’emozione. I valori compresi da 0 a 25 corrispondono alla tristezza, da 25 a 50 alla rabbia, da 50 a 75 al divertimento, da 75 a 100 alla felicità. In questo modo, al testo viene attribuito un valore in percentuale che corrisponde a una delle quattro emozioni.

A ciascuna di esse è stato associato arbitrariamente un colore, rispettivamente: blu, rosso, giallo, verde. Associare un colore al sentimento, e quindi al ricordo, mi ha permesso di utilizzare come elemento di input i suoi valori RGB da inserire in una nuova funzione. Questa funzione è in grado di analizzare uno a uno i pixel dell’immagine e, quando ne trova uno con valori RGB diversi dal colore di input, assegna un pixel nero in quella posizione. L’elemento di output finale è un’immagine composta soltanto dai pixel del colore del ricordo.