Autores
Rafael Padilha, Fernanda A. Andaló, Luís A. M. Pereira e Anderson Rocha.
Descrição
No dia 15 de abril de 2019, partes consideráveis da estrutura da Catedral de Notre-Dame (Paris, França) e seus pináculos foram destruídas por um incêndio. A população mundial acompanhou o incidente através de imagens e vídeos divulgados pela mídia e por cidadãos em redes sociais. A partir das imagens geradas, coletamos um total de 23.683 imagens publicadas no Twitter durante o dia do incidente e o dia posterior. Ainda que a maioria das imagens estivesse relacionada à tragédia, boa parte do conteúdo caracterizava-se por memes, cartoons, composições e obras de arte, enquanto outra parte correspondia a imagens da catedral anteriores ao incêndio. Como nosso foco foi compreender como o fogo e a aparência da catedral modificaram-se durante o incidente, nós removemos as imagens de conteúdo não objetivo, obtendo um total de 5206 imagens relevantes. Entre essas, diversas estavam duplicadas ou quase duplicadas (muito parecidas). Considerando o possível baixo nível de contribuição das duplicadas para o processo de aprendizado de máquina, resolvemos também excluí-las, resultando em um conjunto final de 1657 imagens distintas relacionadas ao evento. O processo de limpeza envolveu a utilização de métodos como local sensitive hashing para filtrar as imagens quase duplicadas (muito parecidas), e abordagens semissupervisionadas baseadas em Optimum-path Forest para minerar imagens relevantes e irrelevantes do evento. Ao analisar a descrição do incidente, podemos identificar quatro episódios principais: (1) pináculo em chamas, (2) pináculo colapsando, (3) continuação do fogo no telhado e (4) fogo extinguido. Cada um desses episódios contem pistas visuais específicas (como a ausência do pináculo central) que podem ser utilizadas para estimar a posição de uma imagem em uma sequência cronológica. Cada imagem na base de dados foi classificada manualmente como pertencente a um desses quatro episódios. Também consideramos uma categoria como “desconhecida” para imagens que não continham pistas sobre sua posição na sequência cronológicas dos episódios do incidente, como imagens de zoom das fachadas da catedral. Apesar disso, cada imagem foi registrada com base na direção (pontos cardeais) da fachada da catedral apresentada na imagem (norte, nordeste, leste, sudeste, sul, sudoeste, oeste, noroeste).
Publicações relacionadas
Padilha, Rafael and Andaló, Fernanda A. and Rocha, Anderson. “Improving the chronological sorting of images through occlusion: A study on the Notre-Dame cathedral fire,” in 45th International Conference on Acoustics, Speech, and Signal Processing (ICASSP), 2020.
Padilha, Rafael and Andaló, Fernanda A. and Pereira, Luís A. M. and Rocha, Anderson. “Unraveling the Notre Dame Cathedral fire in space and time: an X-coherence approach,” in Crime Science and Digital Forensics: A holistic view. CRC Press by Taylor and Francis Group.