Integração dos padrões MPEG na construção de ambientes de realidade virtual e aumentada - WRVA 2014

Integração dos padrões MPEG na
construção de Ambientes de
Realidade Virtual e Aumentada
Apresentado por:
Estêvão B. Saleme
Universidade Federal do Espírito Santo – UFES
Programa de Pós Graduação em Informática - PPGI
Laboratório de Pesquisa em Redes e Multimídia – LPRM
Workshop de Realidade Virtual e Aumentada
Marília, SP, 12/11/2014

2
Objetivos
 Apresentar a família de padrões MPEG (4, 7,
21, U e V) e sua aplicação na criação de
ambientes interativos com múltiplos estímulos
sensoriais.
 Atualizar os participantes com relação ao
recente padrão MPEG-V, cujo foco é a
interoperabilidade entre o mundo real e
mundo virtual.

3
Agenda
 Introdução
 Motivação
 Cenários de uso
 A família MPEG:
 Descrição de cenas com MPEG-4
 Metadados para descrição de multimídia com MPEG-7
 Gerenciamento de mídia e proteção com MPEG-21
 Interação avançada com o usuário baseado no MPEG-U
 Interoperabilidade entre mundo real e virtual com MPEG-V
 Desenvolvimento e simulação de ambiente com estímulos
sensoriais com as ferramentas SEVino e SESim do Laboratório
de Experiências Sensoriais da universidade Alpen-Adria-
Universität Klagenfurt (Áustria).

4
Introdução
 Multimídia tradicional (vídeo, áudio, texto e figura)
 Melhorar QoE (Qualidade da Experiência) através de
efeitos sensoriais = incrementar realidade virtual
 Estímulos através de outros sentidos:
 mecanoceptores
 quimioceptores
 termoceptores

5
Múltiplos estímulos
Vídeo 3D Névoa
))) (((
Luz
Temperatura
Aroma
Vibração
Outros...

6
QoE - Fatores de impacto
Fonte: Ebrahimi, T., “Quality of Multimedia Experience: Past, Present and Future”, Keynote at ACM Multimedia, Beijing, China, Oct 22, 2009.
http://www.slideshare.net/touradj_ebrahimi/qoe
Timmerer, C., “Immersive Future Media Technologies: Sensory Experience” MobiMedia 2011, Cagliari, Italy, 5th September, 2011. http://pt.slideshare.net/christian.timmerer/immersive-future-
media-technologies-sensory-experience
Qualidade
da
Experiência
(QoE)
Fatores técnicos
Fatores sociais
e psicológicos
Usuário
Contexto

7
Experimento QoE
Fonte: Waltl, M.; Timmerer, C.; Hellwagner, H., "Improving the Quality of multimedia Experience through sensory effects," Quality of Multimedia Experience (QoMEX), 2010 Second
International Workshop on , vol., no., pp.124,129, 21-23 June 2010 - doi: 10.1109/QOMEX.2010.5517704

8
Experimento QoE
 MOS vs. PSNR/bit-rate for
Babylon A.D.
• MOS vs. PSNR/bit-rate for
Earth.
[3]
Fonte: Waltl, M.; Timmerer, C.; Hellwagner, H., "Improving the Quality of multimedia Experience through sensory effects," Quality of Multimedia Experience (QoMEX), 2010 Second
International Workshop on , vol., no., pp.124,129, 21-23 June 2010 - doi: 10.1109/QOMEX.2010.5517704

9
Imersão
 O Cinema 4D (5D, 6D, etc)
Fonte: http://www.youtube.com/watch?v=dRd4qVH7lFE

10
Multimídia doméstica
 Assim como os efeitos 3D, efeitos sensoriais
podem ser agregados à dispositivos
multimídia domésticos para filmes ou jogos:
amBX
Game Skunk
Cyborg Gaming Lights

15
Interoperabilidade
 Porque interoperabilidade entre dispositivos?
 Dispositivo que não pode interoperar com outros
produtos que o cliente espera interoperar perde
valor*
 Capacidade de diferentes produtos interoperar entre
eles permite aos consumidores uma escolha
 MPEG-V (não é 5) = interoperabilidade mundo
virtual (ex. jogos, simuladores e aplicações) e mundo
real (ex. sensores e atuadores)
* Fonte: ECIS - European Committee for Interoperable Systems. Interoperability. Available in http://www.ecis.eu/ecis-interoperability

16
Efeitos sensoriais
 MPEG-V (Parte 3)
Fonte: M. Waltl, C. Timmerer, H. Hellwagner, “A Test-Bed for Quality of Multimedia Experience Evaluation of Sensory Effects”, Proceedings of the First International Workshop on
Quality of Multimedia Experience (QoMEX 2009), San Diego, USA, July, 2009

17
Porque MPEG?
 Existência de ferramentas de autoria MPEG
compliance
 Conjunto de padrões aceitos
internacionalmente (ex. MPEG-2 -> DVD)
 Mídias e players de diversas fontes capazes de interoperar

18
MPEG onde mais?
 Cenário 1 – Jogo de tabuleiro com movimento
através de gestos
 Cenário 2 – Coleta de informações do ambiente para
Realidade Aumentada
 Cenário 3 – Efeitos sensoriais através de broadcast
 Cenário 4 – Controle distintos para voos não
tripulados (drones) - Extensão

19
Cenário 1
Fonte: Greevenbosch, B., “WD of ISO/IEC 23007-2:201x Second Edition (including Additional gestures and multi-modal interaction)” ISO/IEC JTC 1/SC 29/WG 11N 13075, Shanghai,
China, Oct. 2012.

20
Cenário 2
Fonte: Seong Gon Choi; Mi Ryong Park, "An architecture and method using MPEG-V metadata in smartphone and sensor aggregator,“ Advanced Communication Technology (ICACT),
2013 15th International Conference on , vol., no., pp.139,142, 27-30 Jan. 2013

21
Cenário 3
Fonte: S.-K, Kim, J.J. Han, “Text of white paper on MPEG-V” ISO/IEC JTC 1/SC 29/WG 11 W14187, San Jose, USA – Jan., 2014.

22
Cenário 4 (extensão)
Fonte: Kyoungro Yoon; Doohyun Kim; Young-Guk Ha, "Control of unmanned flying vehicle based on MPEG-V international standard," Ubiquitous Robots and Ambient Intelligence
(URAI), 2011 8th International Conference on , vol., no., pp.64,67, 23-26 Nov. 2011

23
Cenário dirigido
 Trailer Indiana Jones com metadados descritos
e integrados através dos padrões MPEG
Fonte: http://www.youtube.com/watch?v=nMhfESAa4tw

24
Cenário dirigido
Vídeo
Player
Dispositivos
Checa condições
Adapta conteúdo
Executa
Codificador de
Aúdio e Vídeo
Simuladores Motores de
Renderização
Metadados
A/V
Promove efeitos
Autoria Efeitos
Autoria DRM Sensoriais
busca
Recupera
conteúdo
Autoria Descrição
Conteúdo
Mídia
FFMpeg, MEncoder, etc
MPEG-2, MPEG-4
AXMEDIS
BR-PR, play = U$ 1,00
SEM U$ 10,00 pré-pago
SEVino: 16 Vento,
7 vibração e luz
automática
IBM VideoAnnEx:
cena cataratas e
Dr. Jones com
lanterna
MPEG-21 MPEG-V MPEG-7

25
MPEG-7
 Denominado “Interface de descrição de
conteúdo multimídia”
 Permite descrever vários tipos de conteúdo
multimídia
 Não depende da codificação
 Suporta múltiplos idiomas

26
MPEG-7 – Necessidade
 Grande quantidade de conteúdo audiovisual
na internet
 Valor da informação também depende de
como ela pode ser encontrada, recuperada,
acessada, filtrada e gerenciada
 MPEG-7 é usado para buscas eficientes e
filtros em vários tipos de conteúdo
multimedia

27
MPEG-7 - Partes
 Part 1 Systems
 Part 2 Description Definition Language
 Part 3 Visual
 Part 4 Audio
 Part 5 Multimedia Description Schemes
 Part 6 Reference Software
 Part 7 Conformance
 Part 8 Extraction and Use of MPEG-7 Descriptions
 Part 9 Profiles
 Part 10 Schema definition
 Part 11 Profile schemas
 Part 12 Query Format

28
MPEG-7 - Tipos de descrição
 Física
 Perceptiva
 Transcrição
 Arquitetural
 Anotação

29
MPEG-7 – Onde usar?
 Descrever guia EPG de TV interativa
 Educação (anotação de aula)
 Jornalismo (por exemplo, procurar um político
falando sobre determinado assunto)
 Informações turísticas e serviços culturais
(museus, galerias de arte, etc)
 Redes sociais (para descrever imagens)

30
MPEG-7 - Exemplo
Fonte: Frank Nack and Adam T. Lindsay. 1999. Everything You Wanted to Know About MPEG-7: Part 2.IEEE MultiMedia 6, 4 (October 1999), 64-73. DOI=10.1109/93.809235

31
MPEG-7 – Cenário Dirigido

32
MPEG-7 – Cenário Dirigido

33
MPEG-21
 Objetivo de definir um framework para
aplicações multimídia fundamentado em 2
conceitos:
 Digital Item (o que?): unidade fundamental de
distribuição e transação
 Usuários (quem?) interagindo com Digital Item

34
MPEG-21 - Partes
 Part 1 Vision, Technologies and
Strategy
 Part 2 Digital Item Declaration
 Part 3 Digital Item Identification
and Description
 Part 4 IPMP Components
 Part 5 Rights Expression Language
 Part 6 Rights Data Dictionary
 Part 7 Digital Item Adaptation
 Part 9 File Format
 Part 10 Digital Item Processing
 Part 11 Evaluation Tools for
Persistent Association
 Part 12 Test Bed for MPEG-21
Resource Delivery
 Part 13 VOID
 Part 14 Conformance
 Part 15 Event reporting
 Part 16 Binary format
 Part 17 Fragment Identification
 Part 18 Digital Item Streaming
 Part 19 Media Value Chain
Ontology

35
MPEG-21 - Partes
 Parte 2 – DID - inclui recursos, identificadores,
metadados, chaves de criptografia, licenças
 Parte 3 – DII - Identificação única de Digital
Item
 Parte 4 – IPMP -> DRM Proteção de recursos
(apoio das partes 5 e 6)
 Parte 7 – DIA – adaptação de conteúdo (ex.:
diminuir ou aumentar bitrate de acordo com a
condição da rede de transporte)

36
MPEG-21 - Cenário Dirigido

37

38

39
MPEG-U
 Diversidade tecnológica (Heterogeneidade)
 Interação homogênea
 Motivação (Padronização)
 Partes:
 Part 1 Widgets
 Part 2 Advanced User Interaction Interface
 Part 3 Reference Software and Conformance

40
MPEG-U – Widgets
 Iniciativas de tecnologias e padronização de
widgets: W3C Widgets 1.0, Web4CE, Yahoo!
Widgets e Google Gadgets
 Extensão da norma W3C Widgets,
adicionando:
 descoberta dinâmica de serviços e widgets
 comunicação com serviços e widgets descobertos
 migração de um widget de um dispositivo para
outro mantendo o contexto de execução

41
MPEG-U – Widgets
 Arquitetura
Fonte: Concolato, C., Cordara, G., Park, K., “ISO/IEC FCD 23007-1 (MPEG-U)” ISO/IEC JTC1/SC29/WG11 N10977, Xi'an, China, October 2009.

42
MPEG-U – Widgets
 Exemplo do arquivo manifesto:

43
MPEG-U – AUI
 Interação do usuário avançada baseada em
sistema de interface ou interface AUI
(Advanced User Interaction)
 visa melhorar a interação de entrada/saída
entre dispositivos e aprimorar as descrições
das cenas representadas por mídias ricas.

44
MPEG-U – AUI
Fonte: https://www.leapmotion.com/

45
MPEG-U – AUI
 Com o fim de tornar interoperável a
comunicação entre dispositivos e as cenas, foi
criado o MPEG-U parte 2.
 A norma fornece um conjunto de formato de
dados que define padrões geométricos,
símbolos, padrões de toques, padrões estado,
entre outros.

46
MPEG-U – AUI
China, Oct. 2012.

47
MPEG-U – AUI
Padrão Tipo
Geométrico ponto, linha , retângulo, arco, círculo
Simbólico vitória, coração, rock, tesoura, papel,
OK.
Condição da mão palma da mão, mão fechada,
apontando, positivo com o polegar,
negativo com o polegar, segurar.
Gesto empurre, puxe, tapa esquerda, tapa
direita, tapa para cima, tapa para
baixo, circulo horário, círculo anti-horário,
onda, check.
Toque toque, duplo toque, pressionar
arrastar, rotação, movimento de
risco.
Composição Composição dos padrões listados
anteriormente.

48
MPEG-U – AUI
China, Oct. 2012.

49
MPEG-U – Conformidade
 Trata a conformidade com os requisitos
sintáticos e semânticos especificados na
ISO/IEC 23007-1
 Especificar aspectos de conformidade e
recomendar boas práticas para:
 Garantir que widgets de diferentes provedores
possam rodar e se comunicar em um framework
único

50
MPEG-U - Caso de uso
 “Jules está assistindo TV e recebe um widget
para votar em seu candidato favorito de um
programa de TV. Entretanto ele prefere enviar
um texto usando seu telefone. A TV detecta
que o telefone dele está em uma área
adequada. A TV automaticamente transfere
parte do widget para seu telefone. Uma vez
transferido, Jules pode votar usando seu
telefone.”
Fonte: Concolato, C., Cordara, G., Park, K., “ISO/IEC FCD 23007-1 (MPEG-U)” ISO/IEC JTC1/SC29/WG11 N10977, Xi'an, China, October 2009.

51
MPEG-U - Caso de uso
Fonte: Cha, J., Lim, S. Y., Concolato, C., Cordara, G., Park, K., “White Paper on MPEG-U” ISO/IEC JTC 1/SC 29/WG 11 N13535, Incheon, Korea, April 2013.

52
MPEG-U - Considerações
 Preocupação com a universalidade na linguagem
entre os mais diversos tipos de dispositivos
 Desenvolvedores de widgets podem focar no
interesse da aplicação
 Permite o desenvolvimento de aplicações sensíveis
ao contexto (comunicação dinâmica + gestão de
contexto)
 Dificuldades para adoção em massa pela indústria,
focada em seus ecossistemas

53
MPEG-V
 Interoperabilidade entre Mundo Real (ex.
sensores e atuadores) e Mundo Virtual (jogos,
DVD, simulação)
 Especificações:
 informações sobre capacidade de dispositivos
 efeitos sensoriais
 características de objetos do mundo virtual
 formato de dados para interação entre
dispositivos

54
MPEG-V - Partes
 Part 1 Architecture
 Part 2 Control Information
 Part 3 Sensory Information
 Part 4 Virtual World Object Characteristics
 Part 5 Data Formats for Interaction Devices
 Part 6 Common Types and Tools

55
MPEG-V - Arquitetura
Sensed
Information
(5)
VW Object
Characteristics
(4)
R→V AdaptaƟon: converts Sensed
Info from RW to VW Object
Char./Sensed Info applied to VW
Sensed
Information
(5)
Virtual World
Sensor
Device
Capability
(2)
Sensor
Adaptation
Preferences
(2)
Real World
(Sensors) User
#2: R2V: Real World  Adaptation  Virtual World
V→R AdaptaƟon: converts
Sensory Effects from VW into
Device Cmds applied to RW
Real World
Virtual World
Sensory
Effects
(3)
User (Actuators)
Sensory
Device
Capability
(2)
Device
Commands
(5)
Sensory
Effects
Preferences
(2)
#1: V2R: Virtual World  Adaptation  Real World VW Object
Characteristics
(4)
Fonte: S.-K, Kim, K.R. Yoon, J.J. Han, “Text of ISO/IEC FDIS 23005-5 2nd edition Data Formats for Interaction Device” ISO/IEC JTC 1/SC 29/WG 11/N13063, Shanghai, China, Oct. 2012.

56
MPEG-V - Parte 2
 Capacidade de descrição dos atuadores
(dispositivos sensoriais) e sensores do mundo
real
 Capacidade de adaptação de preferência dos
dos sensores (temperatura, movimento,
velocidade, etc) e/ou atuadores (luzes,
ventilador, vibração, aroma, etc) por usuário

57
MPEG-V – Parte 2
Fonte: S.-K, Kim, J.J. Han, “Text of white paper on MPEG-V” ISO/IEC JTC 1/SC 29/WG 11 W14187, San Jose, USA – Jan., 2014.

58
MPEG-V – Parte 2
 Linguagem de descrição de controle da
informação (CIDL - Control Information
Description Language)
 Vocabulários:
 DCDV - Device Capability Description Vocabulary
 SCDV - Sensor Capability Description Vocabulary
 SEPV - User’s Sensory Effect Preference
Vocabulary
 SAPV - Sensor Adaptation Preference Vocabulary

59
MPEG-V – Parte 2
DCDV SCDV SEPV SAPV
Light device Light sensor capability Light effect Light sensor adaptation preference
Flash device Ambient noise sensor capability Flash effect Ambient noise sensor adaptation preference
Heating device Temperature sensor capability Heating effect Temperature sensor adaptation preference
Cooling device Humidity sensor capability Cooling effect Humidity sensor adaptation preference
Wind device Distance sensor capability Wind effect Distance sensor adaptation preference
Vibration device Atmospheric pressure Sensor capability Vibration effect Atmospheric pressure sensor adaptation preference
Sprayer device Position sensor capability Sprayer effect Position sensor adaptation preference
Scent device Velocity sensor capability Scent effect Velocity sensor adaptation preference
Fog device Acceleration sensor capability Fog effect Acceleration sensor adaptation preference
Color correction device Orientation sensor capability Color correction effect Orientation sensor adaptation preference
Rigid body motion device Angular velocity sensor capability Rigid body motion effect Angular velocity sensor adaptation preference
Tactile device Angular acceleration sensor capability Tactile effect Angular acceleration sensor adaptation preference
Kinesthetic device Force sensor capability Kinesthetic effect Force sensor adaptation preference
Mobile device position Torque sensor capability Torque sensor adaptation preference
Pressure sensor capability Pressure sensor adaptation preference
Motion sensor capability Motion sensor adaptation preference
Intelligent camera sensor capability Intelligent camera sensor adaptation preference
Bend sensor capability
Gas sensor capability
Dust sensor capability
Multi interaction point sensor capability
Gaze tracking sensor capability
Global position sensor capability
Altitude sensor capability

60
MPEG-V – Parte 2
 Exemplos:
Fonte: S. Han, K.R. Yoon, “Text of ISO/IEC FDIS 23005-2 2nd edition Control Information” ISO/IEC JTC 1/SC 29/WG 11/N13057, Shanghai, China, Oct. 2012.

61
MPEG-V – Parte 2
 Exemplos:
Fonte: S. Han, K.R. Yoon, “Text of ISO/IEC FDIS 23005-2 2nd edition Control Information” ISO/IEC JTC 1/SC 29/WG 11/N13057, Shanghai, China, Oct. 2012.

62
MPEG-V - Parte 3
 Especifica linguagem para descrição de Efeitos
Sensoriais (SEDL - Sensory Effect Description
Language) como luz, aroma, vento, névoa, etc
 Os efeitos sensoriais não são parte do SEDL, são
definidos através de vocabulários (SEV - Sensory
Effect Vocabulary )
 Metadados de efeitos sensoriais são descritos
através de SEDL
 Usado em adição ao conteúdo áudio visual para
incrementar QoE

63
MPEG-V – Parte 3
 Light, colored light,
flash light
 Temperature
 Wind
 Vibration
 Water sprayer
 Scent
 Fog
 Color correction
 Rigid body motion
 Passive kinesthetic
motion
 Passive kinesthetic
force
 Active kinesthetic
 Tactile

64
MPEG-V – Parte 3
Fonte: B.S. Choi, S.-K. Kim, “Text of ISO/IEC FDIS 23005-3 2nd edition Sensory Information” ISO/IEC JTC 1/SC 29/WG 11/N13059, Shanghai, China, Oct. 2012.

65
MPEG-V – Parte 3
Fonte: Timmerer, C., “Immersive Future Media Technologies: Sensory Experience” MobiMedia 2011, Cagliari, Italy, 5th September, 2011.
http://pt.slideshare.net/christian.timmerer/immersive-future-media-technologies-sensory-experience

66
MPEG-V – Parte 3
 Modelo de tempo:
Fonte: B.S. Choi, S.-K. Kim, “Text of ISO/IEC FDIS 23005-3 2nd edition Sensory Information” ISO/IEC JTC 1/SC 29/WG 11/N13059, Shanghai, China, Oct. 2012.

67
MPEG-V – Parte 3
Fonte: Timmerer, C., “Immersive Future Media Technologies: Sensory Experience” MobiMedia 2011, Cagliari, Italy, 5th September, 2011.
http://pt.slideshare.net/christian.timmerer/immersive-future-media-technologies-sensory-experience

68
MPEG-V - Parte 4
 Representação de características de objetos
(avatares ou objetos genéricos) no mundo virtual
 2 propósitos: caracterizar vários tipos de objetos no
ambiente virtual e prover interação com o ambiente
virtual
 Pode ser usado para reproduzir características do
mundo real (capturados por sensores) no mundo
virtual
 Interoperar informações de avatares entre mundos
virtuais distintos

69
MPEG-V – Parte 4
 Não inclui informação de geometria, som,
animação, textura, mas pode ser combinado
com o MPEG-4 Parte 11 (elementos gráficos) e
16 (definir e animar avatares)
 Exemplo sintaxe descrição avatar:
Fonte: J.J Han, M. Preda, “Text of ISO/IEC FDIS 23005-4 2nd edition Virtual World Object Characteristics” ISO/IEC JTC 1/SC 29/WG 11/N13061, Shanghai, China, Oct. 2012.

70
MPEG-V - Parte 5
 Formato de dados para interação de dispositivos
 Comandos para atuadores e informação capturada a
partir de sensores
 Especifica uma linguagem para descrição de interface
para interação (IIDL - Interaction Interface
Description Language )
 Vocabulários parte da IIDL:
 DCV - Device Command Vocabulary
 SIV - Sensed Information Vocabulary

71
MPEG-V – Parte 5
 Light device
 Flash device
 Heating device
 Cooling device
 Wind device
 Vibration device
 Sprayer device
 Scent device
 Fog device
 Color correction device
 Initialize color correction
parameter device
 Rigid body motion device
 Tactile device
 Kinesthetic device
 Global position
command device.
DCV:

72
MPEG-V – Parte 5
 Terms of Sensor
 Light sensor
 Ambient noise sensor
 Temperature sensor
 Humidity sensor
 Distance sensor
 Atmospheric pressure
Sensor
 Position sensor
 Velocity sensor
 Acceleration sensor
 Orientation sensor
 Angular velocity sensor
 Angular acceleration sensor
 Force sensor
 Torque sensor
 Pressure sensor
 Motion sensor
 Intelligent camera sensor
 MultiInteraction point
sensor
 Gaze tacking sensor
 Wind sensor
 Global position sensor
 Altitude sensor
 Bend sensor
 Gas sensor
 Dust sensor
 Body height sensor
 Body weight sensor
 Body temperature sensor
 Body fat sensor
 Blood type sensor
 Blood pressure sensor
 Blood sugar sensor
 Blood oxygen sensor
 Heart rate sensor
 Electrograph sensor
 EEG sensor
 ECG sensor
 EMG sensor
 EOG sensor
 GSR sensor
 Bio sensor
 Weather sensor
 Facial expression sensor
 Facial morphology sensor
 Facial expression
characteristics sensor
 Geomagnetic sensor
SIV:

73
MPEG-V – Parte 5
Comando para Vento
Sensor de Temperatura
Fonte: K, Kim, K.R. Yoon, J.J. Han, “Text of ISO/IEC FDIS 23005-5 2nd edition Data Formats for Interaction Device” ISO/IEC JTC 1/SC 29/WG 11/N13063, Shanghai, China, Oct. 2012.

74
MPEG-V – Cenário Dirigido
Efeitos de luz com
auto extração

75
Demonstração
Fonte: http://www.youtube.com/watch?v=xWpDCABp6zg

76
SEVino
 SEVino (Sensory Effect Video Annotation)
 Permite anotar sequências de vídeo com vários
efeitos sensoriais
 Inclui 7 possíveis efeitos: luz, vento, vibração, névoa,
cheiro, temperatura e spray de água
 Ferramenta de código-aberto escrita em java
 Apoio de ferramentas de terceiros (Ffmpeg e VLC)
 Desenvolvido pelo SELAB da universidade Alpen-
Adria-Universität Klagenfurt (Áustria)

78
SEVino
Fonte: Waltl, M., Rainer, B., Timmerer, C., Hellwagner, H., 2013. An end-to-end tool chain for Sensory Experience based on MPEG-V. Image Commun. 28, 2 (February 2013), 136-150.
DOI=10.1016/j.image.2012.10.009

79
SESim
 SESim (Sensory Effect Simulator)
 Permite simular efeitos sensoriais descritos
(SEM) em MPEG-V
 Ferramenta de código-aberto escrita em java
 Integrado ao SEVino 2.0
 Baseado na ferramenta comercial amBX
 Desenvolvido pelo SELAB da universidade
Alpen-Adria-Universität Klagenfurt (Áustria)

81
SESim
Fonte: Waltl, M., Rainer, B., Timmerer, C., Hellwagner, H., 2013. An end-to-end tool chain for Sensory Experience based on MPEG-V. Image Commun. 28, 2 (February 2013), 136-150.
DOI=10.1016/j.image.2012.10.009

82
Código-fonte
Disponível em: http://sourceforge.net/projects/sevino/

83
Ambiente
 Requisitos:
 Eclipse IDE
 Java 1.6 ou superior
 VLC media player 2.1
 SEVino 2.0

84
Demonstração
 SEVino 2 com cenário dirigido em execução
SEVino.bat

85
Exercícios
 1) Anotar um vídeo com SEM contendo pelo
menos 3 efeitos sensoriais (se usar luz, deve
ser extraída automaticamente). Devem ser
incluídos pelo menos 20 intervalos de efeitos
na linha de tempo.
 2) Alterar a anotação anterior incluindo efeito
de luz manualmente com pelo menos 3
posições e cores distintas.

86
Referências
 B.S. Choi, S.-K. Kim, “Text of ISO/IEC FDIS 23005-3 2nd edition Sensory Information” ISO/IEC
JTC 1/SC 29/WG 11/N13059, Shanghai, China, Oct. 2012.
 Burnett, I.; Van de Walle, R.; Hill, K.; Bormans, J.; Pereira, F., "MPEG-21: goals and
achievements," MultiMedia, IEEE , vol.10, no.4, pp.60,70, Oct-Dec 2003 doi:
10.1109/MMUL.2003.1237551
 Cha, J., Lim, S. Y., Concolato, C., Cordara, G., Park, K., “White Paper on MPEG-U” ISO/IEC JTC
1/SC 29/WG 11 N13535, Incheon, Korea, April 2013.
 Chiariglione, L., MPEG for Scholapedia, Available in:
http://leonardo.chiariglione.org/papers/scholarpedia/mpeg.htm Accessed nov. 2014
 Concolato, C., Cordara, G., Park, K., “ISO/IEC FCD 23007-1 (MPEG-U)” ISO/IEC
JTC1/SC29/WG11 N10977, Xi'an, China, October 2009.
 Concolato, C., Lim, S. Y., Park, K., “Text of ISO/IEC CD 23007-2: Advanced user interaction
(AUI) interfaces” ISO/IEC JTC1/SC29/WG11 MPEG/N11765, Daegu, Korea, January 2011
 Ebrahimi, T., “Quality of Multimedia Experience: Past, Present and Future”, Keynote at ACM
Multimedia, Beijing, China, Oct 22, 2009. http://www.slideshare.net/touradj_ebrahimi/qoe
 Ebrahimi, T., 2009. Quality of multimedia experience: past, present and future. In
Proceedings of the 17th ACM international conference on Multimedia (MM '09). ACM, New
York, NY, USA, 3-4. DOI=10.1145/1631272.1631275

87
Referências
 Frank Nack and Adam T. Lindsay. 1999. Everything You Wanted to Know About MPEG-7: Part
2.IEEE MultiMedia 6, 4 (October 1999), 64-73. DOI=10.1109/93.809235
 Greevenbosch, B., “WD of ISO/IEC 23007-2:201x Second Edition (including Additional
gestures and multi-modal interaction)” ISO/IEC JTC 1/SC 29/WG 11N 13075, Shanghai, China,
Oct. 2012.
 Han, J., Preda, M., “Text of ISO/IEC FDIS 23005-4 2nd edition Virtual World Object
Characteristics” ISO/IEC JTC 1/SC 29/WG 11/N13061, Shanghai, China, Oct. 2012.
 Kyoungro Yoon; Doohyun Kim; Young-Guk Ha, "Control of unmanned flying vehicle based on
MPEG-V international standard," Ubiquitous Robots and Ambient Intelligence (URAI), 2011
8th International Conference on , vol., no., pp.64,67, 23-26 Nov. 2011
 M. Waltl, C. Timmerer, H. Hellwagner, “A Test-Bed for Quality of Multimedia Experience
Evaluation of Sensory Effects”, Proceedings of the First International Workshop on Quality of
Multimedia Experience (QoMEX 2009), San Diego, USA, July, 2009.
 Nack, Frank; Lindsay, A.T., "Everything you wanted to know about MPEG-7. 1," MultiMedia,
IEEE , vol.6, no.3, pp.65,77, Jul-Sep 1999 doi: 10.1109/93.790612
 Preda, M., “MPEG-V: a standard for multissensorial and immersive experiences”, 1st
International workshop, Korea, January 2011 http://pt.slideshare.net/MariusPreda/mpeg-vawareness-
event

88
Referências
 S. Han, K.R. Yoon, “Text of ISO/IEC FDIS 23005-2 2nd edition Control Information” ISO/IEC JTC
1/SC 29/WG 11/N13057, Shanghai, China, Oct. 2012.
 S., K, Kim, J.J. Han, “Text of white paper on MPEG-V” ISO/IEC JTC 1/SC 29/WG 11 W14187,
San Jose, USA – Jan., 2014.
 S., K, Kim, K.R. Yoon, J.J. Han, “Text of ISO/IEC FDIS 23005-5 2nd edition Data Formats for
Interaction Device” ISO/IEC JTC 1/SC 29/WG 11/N13063, Shanghai, China, Oct. 2012.
 Seong Gon Choi; Mi Ryong Park, "An architecture and method using MPEG-V metadata in
smartphone and sensor aggregator," Advanced Communication Technology (ICACT), 2013
15th International Conference on , vol., no., pp.139,142, 27-30 Jan. 2013
 Timmerer, C., “Immersive Future Media Technologies: Sensory Experience” MobiMedia 2011,
Cagliari, Italy, 5th September, 2011. http://pt.slideshare.net/christian.timmerer/immersive-future-
media-technologies-sensory-experience
 Timmerer, C., Müller, K., 2010. Immersive future media technologies: from 3D video to
sensory experiences. In Proceedings of the international conference on Multimedia (MM
'10). ACM, New York, NY, USA, 1781-1782. DOI=10.1145/1873951.1874369
 Waltl, M., Rainer, B., Timmerer, C., Hellwagner, H., 2012. A toolset for the authoring,
simulation, and rendering of sensory experiences. In Proceedings of the 20th ACM
international conference on Multimedia (MM '12). ACM, New York, NY, USA, 1469-1472.
DOI=10.1145/2393347.2396522

89
Referências
 Waltl, M., Rainer, B., Timmerer, C., Hellwagner, H., 2013. An end-to-end tool chain for
Sensory Experience based on MPEG-V. Image Commun. 28, 2 (February 2013), 136-150.
DOI=10.1016/j.image.2012.10.009
 Waltl, M.; Timmerer, C.; Hellwagner, H., "Improving the Quality of multimedia Experience
through sensory effects," Quality of Multimedia Experience (QoMEX), 2010 Second
International Workshop on , vol., no., pp.124,129, 21-23 June 2010 -
doi:10.1109/QOMEX.2010.5517704

90
Material de apoio
 Cenário dirigido (vídeo e anotações)
 Binários SEVino 2
 Todas as referências utilizadas e assuntos
relacionados
 Download disponível em:
http://goo.gl/GZwjjF (157 MB)
 Senha do arquivo é ...

91
Obrigado pela atenção!
 Estêvão Bissoli Saleme
br.linkedin.com/in/estevaosaleme
http://lattes.cnpq.br/8757661847246456
 Dr. Celso Alberto Saibel Santos (Orientador)
br.linkedin.com/pub/celso-alberto-saibel-santos
http://lattes.cnpq.br/7614206164174151
Universidade Federal do Espírito Santo, Av. Fernando Ferrari,
S/N, Vitória - ES, 29060-970, + 55 (27) 4009-2130

Integração dos padrões MPEG na construção de ambientes de realidade virtual e aumentada - WRVA 2014

Mais conteúdo relacionado

Destaque (19)

Semelhante a Integração dos padrões MPEG na construção de ambientes de realidade virtual e aumentada - WRVA 2014 (20)

Mais de Estêvão Bissoli Saleme (6)

Último (20)

Integração dos padrões MPEG na construção de ambientes de realidade virtual e aumentada - WRVA 2014