The goal of this project is to design and develop a framework for analysing, monitoring and connecting people in large facilities such as arenas, convention centers and stadiums. Here at MICC we are leading the computer vision tasks such as people detection, flow analysis and anomaly detection, and user profiling for social networking.
L’obiettivo del progetto eSERVANT è lo sviluppo di un sistema di analisi, monitoraggio e raccomandazione di persone in occasione di eventi che si svolgono in grandi strutture quali arene, centri convegno e stadi. Al MICC sono in carico i moduli di computer vision per il rilevamento del comportamento delle persone e delle situazioni anomale, l’analisi dei flussi, e la profilazione utente ai fini di raccomandazione.
The goal of the eSERVANT project is to design and develop a framework for analysing, monitoring and connecting people in large facilities such as arenas, convention centers and stadiums. These are scenarios where people are connected by similar interests, like a concert or a sport event, and their behaviors in such large facilities are influenced by and may influence other people mobility. Here at MICC, we are leading the computer vision tasks such as people detection, flow analysis and anomaly detection. The key idea of the project is to use advanced computer vision algorithms to detect and monitor the user mobility in this crowded scenario. User profiling is then used to connect and suggest content to the user through a local social networking application.
L’obiettivo del progetto eSERVANT è la progettazione e lo sviluppo di un sistema per l’analisi, il monitoraggio ed il social networking delle persone in grandi strutture quali arene, centri convegno e stadi. Si tratta di situazioni nelle quali le persone sono connesse da interessi similari, come ad un concerto o ad un evento sportivo, e dove i comportamenti possono essere influenzati e possono influenzare gli altri presenti e la loro mobilità. Il MICC in particolare si sta occupando del tracciamento delle persone, dell’analisi dei flussi e del rilevamento di anomalie. L’idea principale del progetto è quella di usare algoritmi avanzati di computer vision per monitorare la mobilità delle persone in un ambiente affollato. La profilazione utente è usata per connettere e suggerire contenuti attraverso una applicazione mobile.
During the project MICC have completed the activities related to the study, analysis, design and implementation of the three main modules that to be produced by MICC:
Video Analysis Module: the module serves several application scenarios for the eSERVANT platform which span from the estimation of flows of people to prediction of trajectories and detection of anomalies. Through the use of cameras we want to predict the behaviour of aggregations of people within the facility. The system’s internal routing system module isthen informed to prevent queues and overcrowding. Detection of anomalies, on the other hand, requires the use of cameras present in the facility to create a statistical model of the typical behaviour of the public.
Social Networking Module: social networking functions within the eSERVANT platform have been analysed, defined and implemented; application scenarios were designed that will make use of implemented data extraction services from the social channels Facebook, Twitter and Instagram associated to the user. These scenarios regard the creation and recommendation of users for groups for pre and post-event activities (with particular attention to the similarity of profiles and preferences between users) and car sharing (which will instead take greater account of geographical and sensing information concerning people who will participate to the event).
Indoor Routing Module: regarding solutions for indoor routing we evaluated different technologies including: integration with google maps indoor, use of third-party Saas services and open source solutions. We have identified, modified and deployed an open source platform which allows multilevel routing, maps and routes visualisation. The module exposes APIs for system integration, provides management of multiple buildings and rooms.Methods for optimisation and customisation of routes have been designed in order to take in account data coming from the Video Analysis Module.
Nel primo anno di progetto sono state svolte le attività relative allo studio, all’analisi ed alla progettazione dei tre moduli in via di sviluppo presso il MICC:
Modulo di Video Analisi: il modulo fornirà funzioni nell’ambito di alcuni scenari applicativi: stima dei flussi di persone, predizione di traiettorie e rilevazione di anomalie. Attraverso l’utilizzo di telecamere si predirà il comportamento delle persone all’interno della struttura. Il modulo di instradamento indoor sarà così informato in modo da evitare code e assembramenti. Il rilevamento di anomalie, che utilizza le telecamere installate nella struttura al fine di creare un modello del comportamento tipico delle persone, consentirà di adempiere alle ulteriori funzioni di sicurezza.
Modulo di Social Networking: sono state definite le principali funzioni di social networking disponibili nell’app finale; sono stati progettati scenari applicativi che faranno uso di servizi di estrazione dati, già implementati, dalle piattaforme sociali Facebook, Twitter e Instagram associate a ciascun utente. Attraverso l’app saranno fornite raccomandazioni di gruppi per attività pre e post evento (con particolare attenzione alla similarità fra utenti) e per car sharing (qui si terrà in maggior conto la posizione geografica e le informazioni di sensing per ciascun partecipante all’evento).
Modulo di instradamento indoor: sono stati testati vari software per la mappatura e l’instradamento di luoghi indoor: google maps indoor, servizi Saas di terze parti, soluzioni open-source. Abbiamo identificato, installato e modificato una piattaforma open-source che consente l’instradamento multilivello, e la visualizzazione di mappe e percorsi. Il modulo mette a disposizione una APIs per le integrazioni di sistema, offrendo la possibilità di gestire più edifici e stanze. Metodi di ottimizzazione e gestione dei percorsi sono stati progettati in modo da considerare i dati provenienti dal modulo di visione.
