BR112016010442B1

BR112016010442B1 - Aparelho e método de geração de imagem, e, unidade de armazenamento

Info

Publication number: BR112016010442B1
Application number: BR112016010442-0A
Authority: BR
Inventors: Tomohiro Oto; Simon Mark Benson; Ian Henry Bickerstaff
Original assignee: Sony Computer Entertainment Europe Ltd; Sony Interactive Entertainment Inc
Priority date: 2013-11-11
Filing date: 2014-10-31
Publication date: 2022-10-04
Also published as: WO2015068656A1; RU2016123173A; EP3070680A1; BR112016010442A2; US11016297B2; JP2015095045A; CN106062826A; US10684475B2; EP4235367A3; US10133073B2; CN106062826B; US20190049728A1; US11914147B2; US20230161157A1; EP3070680B1; US20160282619A1; JP6353214B2; EP3070680A4; RU2638776C1; US20200264432A1

Abstract

APARELHO E MÉTODO DE GERAÇÃO DE IMAGEM, E, PROGRAMA. Uma unidade de aquisição de informação de posição e rotação (730) adquire informação relativa a uma posição e uma rotação da cabeça de um usuário usando uma unidade de exibição montada em cabeça (100). Uma unidade de conversão de coordenada (740) e uma unidade de processamento de imagem panorâmica (750) geram uma imagem a serem exibidas na unidade de exibição montada em cabeça usando a informação relativa à posição e à rotação adquirida a um certo ponto de tempo pela unidade de aquisição de informação de posição e rotação (730). Uma unidade de processamento de correção (780) corrige a imagem gerada usando informação atualizada relativa à posição e à rotação atualizada a um tempo diferente.

Description

[Campo Técnico]

[001] A presente invenção relaciona-se a um aparelho e um método de gerar e corrigir uma imagem.

[Técnica de Fundamento]

[002] Um usuário de uma unidade de exibição montada em cabeça conectada a uma máquina de jogos usaria a unidade de exibição montada em cabeça na cabeça e operaria um controlador ou similar de jogar um jogo enquanto assistindo uma imagem de tela exibida na unidade de exibição montada em cabeça. Em uma unidade de exibição ordinária do tipo de instalação conectada a uma máquina de jogos, a gama de campo visual do usuário se espalha também para o exterior da imagem de tela da unidade de exibição. Portanto, o usuário não pode às vezes concentrar sua atenção à imagem de tela da unidade de exibição ou às vezes falta em senso de imersão no jogo. Nesta consideração, se a unidade de exibição montada em cabeça for usada, então o usuário não olha para qualquer imagem diferente da exibida na unidade de exibição montada em cabeça. Portanto, há um efeito que o senso de imersão no mundo de vídeo é aumentado e a propriedade de entretenimento do jogo é aumentada adicionalmente.

[003] Adicionalmente, se a unidade de exibição montada em cabeça estiver configurada tal que, quando uma imagem de panorama é exibida na unidade de exibição montada em cabeça e o usuário que usa a unidade de exibição montada em cabeça vira sua cabeça, uma imagem de panorama ou um espaço virtual mais de 360 graus seja exibido na unidade de exibição montada em cabeça, então o senso de imersão no vídeo é aumentado adicionalmente e também a operabilidade de um aplicativo tal como um jogo é melhorada.

[Sumário] [Problema Técnico]

[004] Se uma unidade de exibição montada em cabeça tiver uma função de rastreamento de cabeça desta maneira e o ponto de vista ou a direção de visão for mudada em uma relação intertravada com o movimento da cabeça do usuário para gerar uma imagem de panorama, então alguma latência existe de geração para exibição da imagem de panorama. Portanto, algum deslocamento ocorre entre uma direção assumida da cabeça do usuário na geração da imagem de panorama e a direção da cabeça do usuário a um ponto de tempo ao qual a imagem de panorama é exibida na unidade de exibição montada em cabeça. Portanto, o usuário às vezes entra em sensação bêbeda.

[005] A presente invenção foi feita devido a tal um assunto como descrito acima, e é um objetivo da presente invenção prover um aparelho de geração de imagem e um método de geração de imagem que podem exibir uma imagem corrigida cuja latência depois de geração para exibição de uma imagem é reduzida.

[Solução para o Problema]

[006] A fim de resolver o assunto descrito acima, um aparelho de geração de imagem de acordo com um aspecto da invenção presente inclui uma unidade de aquisição configurada para adquirir informação relativa a pelo menos uma de uma posição de ponto de vista e uma direção de visão, uma unidade de geração de imagem configurada para gerar uma imagem usando informação relativa a pelo menos uma de uma posição de ponto de vista e uma direção de visão adquirida a um certo ponto de tempo pela unidade de aquisição, e uma unidade de processamento de correção configurada para receber informação relativa a pelo menos uma de uma posição de ponto de vista e uma direção de visão atualizada a um ponto diferente de tempo da unidade de aquisição e corrigir a imagem gerada pela unidade de geração de imagem usando a informação atualizada relativa a pelo menos uma da posição de ponto de vista e da direção de visão.

[007] Também outro aspecto da presente invenção é um aparelho de geração de imagem. Este aparelho é um aparelho de geração de imagem incorporado em um cliente conectado a um servidor por uma rede e inclui uma unidade de aquisição configurada para adquirir informação de campo visual incluindo informação relativa a pelo menos uma de uma posição de ponto de vista e uma direção de visão, e uma unidade de processamento de correção configurada para receber, do servidor, uma imagem gerada usando informação relativa a pelo menos uma de uma posição de ponto de vista e uma direção de visão adquirida a um certo ponto de tempo pela unidade de aquisição, receber informação relativa a pelo menos uma de uma posição de ponto de vista e uma direção de visão atualizada a um ponto diferente de tempo da unidade de aquisição e corrigir a imagem recebida usando a informação atualizada relativa a pelo menos uma da posição de ponto de vista e da direção de visão.

[008] Também um aspecto adicional da presente invenção é um aparelho de geração de imagem. Este aparelho inclui uma unidade de aquisição configurada para adquirir informação relativa a pelo menos uma de uma posição e uma rotação da cabeça de um usuário que usa uma unidade de exibição montada em cabeça, uma unidade de geração de imagem configurada para gerar uma imagem a ser exibida na unidade de exibição montada em cabeça usando informação relativa a pelo menos uma de uma posição e uma rotação adquirida a um certo ponto de tempo pela unidade de aquisição, e uma unidade de processamento de correção configurada para receber informação atualizada relativa a pelo menos uma de uma posição e uma rotação a um ponto diferente de tempo da unidade de aquisição e corrigir a imagem gerada pela unidade de geração de imagem usando a informação atualizada relativa a pelo menos uma da posição e da rotação.

[009] Um aspecto ainda adicional da presente invenção é um método de geração de imagem. Este método inclui uma etapa de aquisição de adquirir informação relativa a pelo menos uma de uma posição de ponto de vista e uma direção de visão, uma etapa de geração de imagem de gerar uma imagem usando informação relativa a pelo menos uma de uma posição de ponto de vista e uma direção de visão adquirida a um certo ponto de tempo pela etapa de aquisição, e uma etapa de processamento de correção de receber informação relativa a pelo menos uma de uma posição de ponto de vista e uma direção de visão atualizada a um ponto diferente de tempo e corrigir a imagem gerada pela etapa de geração de imagem usando a informação atualizada relativa a pelo menos uma da posição de ponto de vista e da direção de visão.

[0010] Também um aspecto ainda adicional da presente invenção é um método de geração de imagem. Este método inclui uma etapa de aquisição de adquirir informação relativa a pelo menos uma de uma posição e uma rotação da cabeça de um usuário que usa uma unidade de exibição montada em cabeça, uma etapa de geração de imagem de gerar uma imagem a ser exibida na unidade de exibição montada em cabeça usando informação relativa a pelo menos uma de uma posição e uma rotação adquirida a um certo ponto de tempo pela etapa de aquisição, e uma etapa de processamento de correção de receber informação atualizada relativa a pelo menos uma de uma posição e uma rotação a um ponto diferente de tempo e corrigir a imagem gerada pela etapa de geração de imagem usando a informação atualizada relativa à posição e à rotação.

[0011] É para ser notado que também uma combinação arbitrária dos componentes descritos acima e resultados de conversão da representação da presente invenção entre um método, um aparelho, um sistema, um programa de computação, uma estrutura de dados, um meio de gravação e assim sucessivamente são efetivos como modos da presente invenção. [Efeito Vantajoso da Invenção]

[0012] Com a presente invenção, uma imagem corrigida cuja latência depois de geração até exibição de uma imagem é reduzida.

[Breve Descrição dos Desenhos]

[0013] Figura 1 é uma vista de aparência de uma unidade de exibição montada em cabeça.

[0014] Figura 2 é um diagrama de bloco funcional da unidade de exibição montada em cabeça.

[0015] Figura 3 é uma vista descrevendo uma configuração de um sistema de geração de imagem de panorama de acordo com uma modalidade.

[0016] Figura 4 é um diagrama de bloco funcional de um aparelho de geração de imagem de panorama de acordo com a modalidade.

[0017] Figura 5 é uma vista ilustrando uma imagem de panorama exibida na unidade de exibição montada em cabeça.

[0018] Figura 6 é uma vista ilustrando uma razão por que um processo de correção é requerido para uma imagem de panorama a ser exibida na unidade de exibição montada em cabeça.

[0019] Figura 7 é um diagrama de sequência ilustrando um processo de geração de imagem convencional que não executa um processo de correção.

[0020] Figura 8 é um diagrama de sequência ilustrando um processo de geração de imagem que envolve um processo de correção da modalidade.

[0021] Figura 9A é uma vista ilustrando uma relação entre um sistema de coordenada de rastreamento e um sistema de coordena de HMD.

[0022] Figura 9B é uma vista ilustrando uma relação entre o sistema de coordenada de HMD e um sistema de coordenada de campo visual.

[0023] Figura 10 é uma vista ilustrando um campo visual de um usuário que usa uma unidade de exibição montada em cabeça nele.

[0024] Figura 11 é um fluxograma ilustrando um processo de geração de imagem de panorama pelo aparelho de geração de imagem de panorama da Figura 4.

[0025] Figura 12 é uma vista ilustrando um processo de correção de imagem da modalidade.

[0026] Figura 13 é uma vista ilustrando um processo de correção de imagem de uma modificação à modalidade.

[Descrição das Modalidades] (Primeira Modalidade)

[0027] Figura 1 é uma vista de aparência de uma unidade de exibição montada em cabeça 100. A unidade de exibição montada em cabeça 100 inclui uma unidade de corpo principal 110, uma unidade de contato de porção de cabeça dianteira 120, e porções de contato de porção de cabeça lateral 130.

[0028] A unidade de exibição montada em cabeça 100 é um aparelho de exibição que está montado na cabeça de um usuário tal que o usuário aprecie um quadro imóvel ou um quadro em movimento exibido em uma unidade de exibição e escuta som, música ou similar produzido de um fone de ouvido.

[0029] Informação de posição de um usuário pode ser medida por um sensor de posição tal como um GPS (Sistema de Posicionamento Global) embutido ou montado externamente na unidade de exibição montada em cabeça 100. Adicionalmente, informação de postura tal como um ângulo rotacional ou uma inclinação da cabeça do usuário, que usa a unidade de exibição montada em cabeça 100, pode ser medida por um sensor de postura embutido ou montado externamente na unidade de exibição montada em cabeça 100.

[0030] A unidade de corpo principal 110 inclui a unidade de exibição, um sensor de aquisição de informação de posição, o sensor de postura, um aparelho de comunicação e assim sucessivamente. A unidade de contato de porção de cabeça dianteira 120 e as porções de contato de porção de cabeça lateral 130 podem ter, como partes opcionais, sensores de aquisição de informação biológica que podem medir informação biológica tal como a temperatura de corpo, taxa de pulso, componentes de sangue, transpiração, ondas cerebrais e fluxo de sangue cerebral do usuário.

[0031] A unidade de exibição montada em cabeça 100 pode adicionalmente incluir uma câmera para captar uma imagem dos olhos do usuário. Pela câmera incorporada na unidade de exibição montada em cabeça 100, a linha de visão, o movimento das pupilas, uma piscadela dos olhos e assim sucessivamente do usuário pode ser detectado.

[0032] Aqui, um método de geração de uma imagem a ser exibida na unidade de exibição montada em cabeça 100 é descrito. O método de geração de imagem da modalidade presente pode ser aplicado não só à unidade de exibição montada em cabeça 100 em um senso estreito, mas também a um caso em que óculos, uma unidade de exibição do tipo de lente, uma câmera do tipo de lente, um fone, um fone de cabeça (fone com um microfone), um fone de ouvido, um brinco, uma câmera de orelha, um boné, um boné com um microfone, uma bandana ou similar está montada.

[0033] Figura 2 é um diagrama de bloco funcional da unidade de exibição montada em cabeça 100.

[0034] Uma unidade de controle 10 é um processador que processa e produz um sinal tal como um sinal de imagem ou um sinal de sensor, instruções ou dados. Uma interface de entrada 20 aceita um sinal de operação ou um sinal de colocação de um painel de toque e um controlador de painel de toque e provê o sinal aceito para a unidade de controle 10. Uma interface de saída 30 recebe um sinal de imagem da unidade de controle 10 e faz a unidade de exibição exibir o sinal de imagem. Uma luz de fundo 32 provê luz de fundo a uma unidade de exibição de cristal líquido.

[0035] Uma unidade de controle de comunicação 40 transmite dados introduzidos a ela da unidade de controle 10 para o exterior por comunicação por fios ou sem fio por um adaptador de rede 42 ou uma antena 44. Adicionalmente, a unidade controladora de comunicação 40 recebe dados do exterior por comunicação por fios ou sem fio pelo adaptador de rede 42 ou pela antena 44 e produz os dados para a unidade de controle 10.

[0036] Uma unidade de armazenamento 50 armazena temporariamente dados ou um parâmetro, um sinal de operação e assim sucessivamente processado pela unidade de controle 10.

[0037] Uma unidade de GPS 60 recebe informação de posição de satélites de GPS e provê a informação de posição para a unidade de controle 10 conforme um sinal de operação da unidade de controle 10. Uma unidade sem fio 62 recebe informação de posição de uma estação base sem fio e provê a informação de posição para a unidade de controle 10 conforme um sinal de operação da unidade de controle 10.

[0038] Um sensor de postura 64 detecta informação de postura tal como um ângulo rotacional ou uma inclinação da unidade de corpo principal 110 da unidade de exibição montada em cabeça 100. O sensor de postura 64 é implementado por uma combinação satisfatória de um sensor giroscópico, um sensor de aceleração, um sensor de aceleração angular e assim sucessivamente.

[0039] Uma interface de terminal de entrada/saída externa 70 é uma interface para conectar um aparelho periférico tal como um controlador de USB (Barramento Serial Universal). Uma memória externa 72 é uma memória externa tal como uma memória flash.

[0040] Uma unidade de relógio 80 fixa informação de tempo em resposta a um sinal de colocação da unidade de controle 10 e provê dados de tempo para a unidade de controle 10.

[0041] A unidade de controle 10 pode prover uma imagem ou dados de texto à interface de saída 30 de forma que seja exibido na unidade de exibição ou pode prover uma imagem ou dados de texto à unidade controladora de comunicação 40 de modo a serem transmitidos ao exterior.

[0042] Figura 3 é uma vista descrevendo uma configuração de um sistema de geração de imagem de panorama de acordo com uma modalidade. A unidade de exibição montada em cabeça 100 está conectada a máquina uma de jogos 200 por uma interface para conectar um aparelho periférico por comunicação sem fio ou um USB. A máquina de jogos 200 pode ser conectada adicionalmente a um servidor por uma rede. Neste caso, o servidor pode prover um aplicativo on-line de um jogo ou similar, em que uma pluralidade de usuários pode participar pela rede, para a máquina de jogos 200. A unidade de exibição montada em cabeça 100 pode ser conectada a um computador ou um terminal portátil em lugar da máquina de jogos 200.

[0043] Figura 4 é um diagrama de bloco funcional de um aparelho de geração de imagem de panorama 700 de acordo com a modalidade. Figura 4 desenha um diagrama de bloco no qual atenção é prestada a funções. Os blocos funcionais podem ser implementados em várias formas só de hardware, só de software ou de uma combinação deles.

[0044] O aparelho de geração de imagem de panorama 700 está incorporado na máquina de jogos 200 à qual a unidade de exibição montada em cabeça 100 está conectada. Porém, pelo menos parte de funções do aparelho de geração de imagem de panorama 700 pode ser incorporada na unidade de controle 10 da unidade de exibição montada em cabeça 100. Particularmente, funções de uma unidade de processamento de correção 780 em seguida descritas podem ser incorporadas no lado de unidade de exibição montada em cabeça 100. Alternativamente, pelo menos parte de funções do aparelho de geração de imagem de panorama 700 pode ser incorporada no servidor conectado à máquina de jogos 200 pela rede.

[0045] Uma unidade de aquisição de instrução de zoom 710 adquire uma ampliação para zoom instruída por um usuário pela interface de entrada 20 da unidade de exibição montada em cabeça 100. A ampliação de zoom adquirida pela unidade de aquisição de instrução de zoom 710 é provida a um unidade de ajuste de sensibilidade 720 e uma unidade de processamento de imagem de panorama 750.

[0046] Uma unidade de aquisição de informação de posição e rotação 730 adquire informação relativa à posição e à rotação da cabeça do usuário que usa a unidade de exibição montada em cabeça 100 na base de informação de posição detectada pela unidade de GPS 60 ou um sensor de movimento da unidade de exibição montada em cabeça 100 e informação de postura detectada pelo sensor de postura 64. A posição da cabeça do usuário pode ser adquirida por detecção de um movimento da unidade de exibição montada em cabeça 100 pela câmera da máquina de jogos 200.

[0047] A unidade aquisição de informação de posição e rotação 730 adquire a posição e a rotação da cabeça do usuário na base de uma sensibilidade instruída pela unidade de ajuste de sensibilidade 720. Por exemplo, se o usuário virar o pescoço, então uma variação do ângulo da cabeça do usuário é detectada pelo sensor de postura 64. Assim, a unidade de ajuste de sensibilidade 720 instrui a unidade de aquisição de informação de posição e rotação 730 para ignorar a variação do ângulo detectado até que a variação do ângulo exceda um valor predeterminado.

[0048] Adicionalmente, a unidade de ajuste de sensibilidade 720 ajusta a sensibilidade para detecção de ângulo da cabeça na base da ampliação de zoom adquirida da unidade de aquisição de instrução de zoom 710. Quando a ampliação de zoom aumenta, a sensibilidade para detecção de ângulo da cabeça é abaixada. Se zoom for executado, então desde que o ângulo de campo diminui, vibração da imagem de exibição causada pelo balanço da cabeça pode ser suprimida abaixando a sensibilidade de detecção de ângulo da cabeça.

[0049] Como o sensor de movimento, uma combinação de pelo menos um de um sensor geomagnético de três eixos geométricos, um sensor de aceleração de três eixos geométricos e um sensor giroscópico de três eixos geométricos (velocidade angular) pode ser usada para detectar movimentos adiante-para trás, à esquerda-à direita e para cima-para baixo da cabeça do usuário. Alternativamente, a informação de posição da cabeça do usuário pode ser combinada para melhorar a sensibilidade de detecção de movimento da cabeça.

[0050] Uma unidade de transformação de coordenada 740 usa a posição e a rotação da unidade de exibição montada em cabeça 100 adquiridas pela unidade de aquisição de informação de posição e rotação 730 para executar transformação de coordenada para gerar uma imagem a ser exibida na unidade de exibição montada em cabeça 100 com uma função de rastreamento.

[0051] A unidade de processamento de imagem de panorama 750 extrai dados de imagem de panorama de uma unidade de armazenamento de imagem de panorama 760, gera uma imagem de panorama por uma ampliação de zoom designada da unidade de aquisição de instrução de zoom 710 em resposta à posição e à rotação da unidade de exibição montada em cabeça 100 conforme a transformação de coordenada pela unidade de transformação de coordenada 740 e provê a imagem de panorama à unidade de processamento de correção 780. Aqui, os dados de imagem de panorama podem ser um conteúdo de um quadro em movimento ou um quadro imóvel produzido com antecedência ou pode se computação gráfica.

[0052] A unidade de processamento de correção 780 adquire uma posição e rotação atualizadas mais recentes da unidade de exibição montada em cabeça 100 da unidade de aquisição de informação de posição e rotação 730 e corrige a imagem gerada pela unidade de processamento de imagem de panorama 750 usando a posição e rotação atualizadas mais recentes. Detalhes do processo de correção são descritos em seguida.

[0053] A unidade de processamento de correção 780 provê uma imagem depois de corrigida a uma unidade de provisão de imagem 770. A unidade de provisão de imagem 770 provê os dados de imagem de panorama gerados pela unidade de processamento de imagem de panorama 750 para a unidade de exibição montada em cabeça 100.

[0054] Figura 5 é uma vista ilustrando uma imagem de panorama 500 exibida na unidade de exibição montada em cabeça 100. Quando o usuário é dirigido à frente esquerda com respeito à imagem de panorama 500, uma imagem 510a incluída na gama de um ângulo de campo 150a na direção da unidade de exibição montada em cabeça 100a é exibida, mas quando o usuário vira o pescoço e é dirigido à frente direita, uma imagem 510b incluída na gama de um ângulo de campo 150b na direção da unidade de exibição montada em cabeça 100b é exibida.

[0055] Desde que o ponto de vista e a direção de visão da e na qual a imagem de panorama exibida na unidade de exibição montada em cabeça 100 é vista variam em resposta ao movimento da cabeça desta maneira, o senso de imersão na imagem de panorama pode ser elevado.

[0056] Figura 6 é uma vista ilustrando uma razão por que um processo de correção é requerido para a imagem de panorama a ser exibida na unidade de exibição montada em cabeça 100. Se o usuário virar o pescoço e for dirigido à frente direita, então a imagem 510b incluída na gama do ângulo de campo 150b na direção da unidade de exibição montada em cabeça 100b é gerada e exibida na unidade de exibição montada em cabeça 100. Porém, ao ponto de tempo ao qual a imagem 510b é exibida, a posição e a rotação da unidade de exibição montada em cabeça 100b já indicam uma mudança como indicado por caractere de referência 150c. Portanto, embora seja originalmente necessário exibir uma imagem que é vista dentro da gama de um ângulo de campo 150c em uma unidade de exibição montada em cabeça 100c, a imagem gerada e exibida de fato é uma imagem que é vista na gama do ângulo de campo 150b na direção da unidade de exibição montada em cabeça 100b a um ponto de tempo um pouco mais cedo. Devido ao deslocamento pela diferença de tempo, uma imagem em uma direção um pouco deslocada da direção na qual o usuário vê é exibida na unidade de exibição montada em cabeça 100, e o usuário às vezes sente um tipo de embriaguez.

[0057] Na modalidade presente, a fim de eliminar este deslocamento, um processo para corrigir a imagem gerada é executado. Primeiro, para a comparação, um processo de geração de imagem convencional no qual um processo de correção não é executado é descrito com referência à Figura 7, depois disso um processo de correção da modalidade presente é descrito com referência à Figura 8.

[0058] Figura 7 é um diagrama de sequência ilustrando um processo de geração de imagem convencional no qual um processo de correção não é executado.

[0059] O aparelho de geração de imagem de panorama 700 executa preparações para recursos tal como um objeto tridimensional ou uma textura para adquirir uma posição p1 e uma rotação q1 da unidade de exibição montada em cabeça 100 a tempo t1. Simultaneamente com as preparações de recurso, o aparelho de geração de imagem de panorama 700 executa um processo para representar uma imagem baseada na posição p1 e na rotação q1 a tempo t1. Por exemplo, onde a representação é executada à taxa de 60 quadros/segundo, aproximadamente 16 milissegundos são requeridos para geração de uma imagem de um quadro.

[0060] A imagem gerada pelo aparelho de geração de imagem de panorama 700 é provida à unidade de exibição montada em cabeça 100. A unidade de exibição montada em cabeça 100 e o aparelho de geração de imagem de panorama 700 estão conectados um ao outro por conexão por fios ou conexão sem fio, e um tempo de transmissão fixo é requerido para a provisão de uma imagem do aparelho de geração de imagem de panorama 700 para a unidade de exibição montada em cabeça 100. Onde o aparelho de geração de imagem de panorama 700 e a unidade de exibição montada em cabeça 100 estão conectados um ao outro por uma rede, um atraso de rede ocorre.

[0061] A unidade de exibição montada em cabeça 100 adquire uma imagem gerada pelo aparelho de geração de imagem de panorama 700 e executa um processo de exibição tal como varredura para exibir a imagem no painel disso. Um atraso é gerado pelo processo de exibição, e uma imagem é exibida a tempo t'.

[0062] Desta maneira, depois que a posição p1 e a rotação q1 da unidade de exibição montada em cabeça 100 são providas ao aparelho de geração de imagem de panorama 700 a tempo t1 até que a imagem seja exibida no painel da unidade de exibição montada em cabeça 100 a tempo t', um período fixo de tempo é requerido para a representação, transmissão de imagem e processo de exibição, e alguma latência ocorre como descrito na Figura 7. Também entre tempo t1 ao qual a posição e a rotação da unidade de exibição montada em cabeça 100 são providas para geração de imagem e tempo t' ao qual a imagem é exibida na unidade de exibição montada em cabeça 100, o usuário que usa a unidade de exibição montada em cabeça 100 migra ou muda a postura. Como resultado, o usuário vem ver uma imagem baseada na posição e na rotação da unidade de exibição montada em cabeça 100 no passado pela diferença de tempo Δt = t' - t1, e o usuário sentiria "embriaguez" devido ao deslocamento entre a posição e rotação na qual a imagem exibida é baseada e a posição e a rotação no momento.

[0063] Figura 8 é um diagrama de sequência ilustrando um processo de geração de imagem que envolve um processo de correção da modalidade presente.

[0064] O processo de geração de imagem até que o aparelho de geração de imagem de panorama 700 adquira uma posição p1 e uma rotação q1 a tempo t1 e execute preparação de recurso e processos de representação e então provê uma imagem gerada à unidade de exibição montada em cabeça 100 é semelhante ao processo de geração de imagem convencional da Figura 7. Na modalidade presente, a tempo t2 ao qual o aparelho de geração de imagem de panorama 700 provê uma imagem à unidade de exibição montada em cabeça 100, um processo de correção é executado para a imagem gerada. Este processo de correção pode ser executado por quaisquer da unidade de exibição montada em cabeça 100 e do aparelho de geração de imagem de panorama 700. Onde a unidade de exibição montada em cabeça 100 tem um desempenho de processamento suficiente, a unidade de exibição montada em cabeça 100 pode executar um processo de correção. Porém, se este não for o caso, então o aparelho de geração de imagem de panorama 700 executa um processo de correção e provê uma imagem depois da correção para a unidade de exibição montada em cabeça 100.

[0065] No processo de correção, a informação de uma posição p2 e uma rotação q2 da unidade de exibição montada em cabeça 100 a tempo t2 ao qual uma imagem é gerada é adquirida, e a imagem é corrigida na base do deslocamento em posição e rotação da unidade de exibição montada em cabeça 100 entre tempo t1 ao começo de representação e tempo mais recente t2. A unidade de exibição montada em cabeça 100 executa um processo de exibição da imagem corrigida para exibir a imagem no painel. Consequentemente, a latência aparente é reduzida à diferença entre tempo t2 e tempo t' como descrito na Figura 11.

[0066] No seguinte, enquanto o processo de correção da modalidade presente é descrito, assuntos técnicos pré-requisitados são descritos primeiro. (1) Sistema de coordenada

[0067] Figuras 9A e 9B são vistas ilustrando sistemas de coordenada usados pela unidade de exibição montada em cabeça 100. A unidade de exibição montada em cabeça 100 usa um sistema de coordenada de rastreamento 802, um sistema de coordenada de HMD 804 e um sistema de coordenada de campo visual à esquerda/à direita 806.

[0068] Figura 9A é uma vista ilustrando uma relação entre o sistema de coordenada de rastreamento 802 e o sistema de coordenada de HMD 804.

[0069] O sistema de coordenada de rastreamento 802 é um sistema de coordenada que faz uma referência à posição p e à rotação q da unidade de exibição montada em cabeça 100. O sistema de coordenada de rastreamento 802 pode ser um sistema de coordenada Cartesiano, e os eixos geométricos podem ser selecionados a qualquer direção e também a origem pode ser determinada arbitrariamente. Um sistema de coordenada que é conveniente para os sensores adotados na unidade de exibição montada em cabeça 100 é selecionado. Por exemplo, ao começo de um aplicativo tal como um jogo, um usuário que usa a unidade de exibição montada em cabeça 100 pode ser feito assumir uma postura de referência a uma posição de referência, ao que uma posição de referência p0 e uma rotação de referência q0 da unidade de exibição montada em cabeça 100 são adquiridas de informação de sensor da unidade de exibição montada em cabeça 100 para determinar o sistema de coordenada de rastreamento 802.

[0070] Alternativamente, o usuário pode ter um controlador de movimento 350 da máquina de jogos 200 à mão. O usuário operaria o controlador de movimento 350 em um estado no qual a unidade de exibição montada em cabeça 100 é usada nele. Dependendo do aplicativo de jogo, a mão pode ser movida enquanto o controlador de movimento 350 é segurado ou o corpo pode ser movido. O controlador de movimento 350 inclui um sensor giroscópico de três eixos geométricos, um sensor de aceleração de três eixos geométricos e um sensor de geomagnetismo.

[0071] Um marcador 300 é aplicado ao controlador de movimento 350. A posição do marcador 300 é detectada pela câmera conectada à máquina de jogos 200, e as coordenadas tridimensionais do marcador 300 podem ser especificadas precisamente junto com informação de posição obtida dos sensores do controlador de movimento 350. Fixando o sistema de coordenada de rastreamento 802 da unidade de exibição montada em cabeça 100 às coordenadas tridimensionais do marcador 300, a posição e a postura de um objeto virtual que é controlado pelo movimento do controlador de movimento 350 e o ponto de vista e a direção de visão de e em que a imagem de panorama 500 controlada pelo movimento da unidade de exibição montada em cabeça 100 é vista podem ser processados sincronamente.

[0072] O sistema de coordenada de HMD 804 é um sistema de coordenada de movimento para representar a posição de um dispositivo tal como o painel de exibição disposto na unidade de exibição montada em cabeça 100 usada pelo usuário. Embora não haja nenhuma limitação à origem e aos eixos geométricos, para a conveniência de descrição, a origem está definida para ser o centro da cabeça do usuário. Enquanto isso, os eixos geométricos estão definidos tal que, no estado no qual o usuário usa a unidade de exibição montada em cabeça 100, a direção ascendente na direção ascendente e descendente está definida como eixo geométrico Y; a direção à direita da frente está definida como eixo geométrico X; e a direção para este lado da frente está definida como eixo geométrico Z.

[0073] O usuário se moveria em um espaço real, mudaria a direção do corpo ou viraria a cabeça no estado no qual a unidade de exibição montada em cabeça 100 é usada. Ao começo de um aplicativo, a unidade de exibição montada em cabeça 100 que está na posição de referência p0 e na rotação de referência q0 se move junto com tempo, e no momento, a unidade de exibição montada em cabeça 100 está na posição p e na rotação q como descrito na Figura 9A.

[0074] Figura 9B é uma vista descrevendo uma relação entre o sistema de coordenada de HMD 804 e o sistema de coordenada de campo visual 806.

[0075] O sistema de coordenada de HMD 804 é um sistema de coordenada em que o topo da cabeça do usuário que usa a unidade de exibição montada em cabeça 100 é a origem enquanto a direção ascendente é o eixo geométrico Y; a direção à direita da frente é o eixo geométrico X; e a direção para este lado da frente é o eixo geométrico Z. Por outro lado, o sistema de coordenada de campo visual 806 é um sistema de coordenada para determinar a direção de exibições para o olho esquerdo e o olho direito. A direção à direita de um dos olhos esquerdo e direito está definida como o eixo geométrico X; a direção ascendente como o eixo geométrico Y; e a direção para este lado da frente como o eixo geométrico Z. (2) Transformação de Coordenada

[0076] A fim de exibir uma imagem no painel da unidade de exibição montada em cabeça 100, três transformações de coordenada são interpostas. Todas as três transformações de coordenada são transformações afins.

[0077] Primeiro, o sistema de geração de coordenada de imagem (no CG, o sistema de coordenada de câmera) é transformado no sistema de coordenada de rastreamento 802. Consequentemente, um sistema de coordenada de visão quando um mundo real ou um mundo virtual no qual um objeto real ou virtual existe é mapeado ao sistema de coordenada de rastreamento que representa a posição de referência e rotação de referência da unidade de exibição montada em cabeça 100.

[0078] Então, os valores no momento da posição p e da rotação q da unidade de exibição montada em cabeça 100 são adquiridos da informação de sensor, e o sistema de coordenada de rastreamento 802 é transformado no sistema de coordenada de HMD 804. Consequentemente, a posição de referência e a rotação de referência da unidade de exibição montada em cabeça 100 são transformadas na posição e na rotação no momento.

[0079] Finalmente, o sistema de coordenada de HMD 804 é transformado no sistema de coordenada de campo visual 806. Esta transformação é uma transformação que depende da pessoa tendo a unidade de exibição montada em cabeça 100 usada nela e o estado no qual a unidade de exibição montada em cabeça 100 está montada e está fixada enquanto a unidade de exibição montada em cabeça 100 permanece montada na pessoa. Consequentemente, o sistema de coordenada de HMD 804 é transformado em um sistema de coordenada satisfatório para os olhos do usuário da unidade de exibição montada em cabeça 100.

[0080] Embora, na geração de imagem, transformação de coordenada para transformar o sistema de coordenada de rastreamento 802 no sistema de coordenada de campo visual 806 pelo sistema de coordenada de HMD 804 seja usada, no processo de correção, transformação de coordenada para transformar inversamente o sistema de coordenada de campo visual 806 no sistema de coordenada de rastreamento 802 pelo sistema de coordenada de HMD 804 é usada. (3) Dados de Ângulo de Visão de Unidade de Exibição Montada em Cabeça 100

[0081] Figura 10 é uma vista ilustrando o campo visual do usuário que usa a unidade de exibição montada em cabeça 100. O campo visual (campo de visão) se estendendo verticalmente e horizontalmente do centro dos olhos está definido através de quatro parâmetros FoVu, FoVb, FoVl e FoVr, e informação do ângulo de visão está definida por um arco tangente usando os parâmetros. Desde que o campo visual para o olho direito e o campo visual para o olho esquerdo estão definidos semelhantemente um ao outro, oito parâmetros no total são usados.

[0082] Agora, um esboço de um procedimento para gerar uma imagem a ser exibida na unidade de exibição montada em cabeça 100 pelo aparelho de geração de imagem de panorama 700 da modalidade presente é descrito. Fórmulas de cálculo detalhadas são descritas em seguida.

[0083] Figura 11 é um fluxograma ilustrando um procedimento de geração de imagem de panorama pelo aparelho de geração de imagem de panorama 700.

[0084] Como um processo de iniciação, uma matriz de transformação de coordenada de um sistema de geração de coordenada de imagem em um sistema de coordenada de rastreamento é gerada (S10). Este é um trabalho para determinar uma posição e uma rotação que fazem uma referência para um movimento da unidade de exibição montada em cabeça 100. A uma posição instruída pelo usuário, uma posição inicial p0 e uma rotação inicial q0 são adquiridas de informação de sensor da unidade de exibição montada em cabeça 100, e uma matriz de transformação de coordenada do sistema de coordenada de geração de imagem no sistema de coordenada de rastreamento é determinada usando os valores adquiridos. Por exemplo, a fim de determinar, por exemplo, em um jogo de corrida, uma postura de uma pessoa sentada em um carro no jogo como uma referência, o usuário é feito assumir uma postura na qual está sentado em uma cadeira e dirigido para frente ao começo de uma corrida, e a posição e a rotação são então determinadas como referências.

[0085] Da informação de sensor da unidade de exibição montada em cabeça 100, a posição p1 e a rotação q1 da unidade de exibição montada em cabeça 100 a tempo t1 são adquiridas (S12). A unidade de exibição montada em cabeça 100 provê a posição p1 e a rotação q1 a tempo t1 para o aparelho de geração de imagem de panorama 700 (S14).

[0086] O aparelho de geração de imagem de panorama 700 executa representação de uma imagem a ser exibida na unidade de exibição da unidade de exibição montada em cabeça 100 à posição p1 e à rotação q1 a tempo t1 (S16).

[0087] Em particular, a unidade de aquisição de informação de posição e rotação 730 adquire a posição p1 e a rotação q1 a tempo t1 da unidade de exibição montada em cabeça 100. A unidade de transformação de coordenada 740 executa transformação do sistema de coordenada de geração de imagem (sistema de coordenada de câmera) no sistema de coordenada de campo visual 806 pelo sistema de coordenada de rastreamento 802 e o sistema de coordenada de HMD 804, e a unidade de processamento de imagem de panorama 750 representa uma imagem de panorama para cada um dos olhos esquerdo e direito. Aqui, na transformação do sistema de coordenada de rastreamento 802 para o sistema de coordenada de HMD 804, transformação afim gerada da posição p1 e da rotação q1 da unidade de exibição montada em cabeça 100 a tempo t1 adquirida pela unidade de aquisição de informação de posição e rotação 730 é usada. O ângulo de visão é ajustado à informação de ângulo de visão adquirida da unidade de exibição montada em cabeça 100.

[0088] Depois que a representação a tempo t1 pelo aparelho de geração de imagem de panorama 700 é completada, a posição p2 e a rotação q2 da unidade de exibição montada em cabeça 100 a tempo t2 são adquiridas da informação de sensor da unidade de exibição montada em cabeça 100 (S18). A unidade de exibição montada em cabeça 100 provê a posição p2 e a rotação q2 a tempo t2 para o aparelho de geração de imagem de panorama 700 (S20).

[0089] Também enquanto o aparelho de geração de imagem de panorama 700 está representando uma imagem, o usuário que usa a unidade de exibição montada em cabeça 100 muda a direção, e portanto, a posição p2 e a rotação q2 a tempo t2 da unidade de exibição montada em cabeça 100 são deslocadas um pouco da posição p1 e da rotação q1 a tempo t1, respectivamente.

[0090] O aparelho de geração de imagem de panorama 700 executa um processo para corrigir as imagens representadas a fim de absorver o deslocamento em posição e rotação da unidade de exibição montada em cabeça 100 entre tempo t1 e tempo t2 (S22).

[0091] Em particular, a unidade de aquisição de informação de posição e rotação 730 adquire a posição p2 e a rotação q2 atualizadas a tempo mais recente t2 da unidade de exibição montada em cabeça 100 e provê a posição p2 e a rotação q2 à unidade de processamento de correção 780. A unidade de processamento de correção 780 adicionalmente adquire a posição p1 e a rotação q1 a tempo t1 da unidade de exibição montada em cabeça 100, que foram utilizadas pela unidade de transformação de coordenada 740 a fim de criar uma transformação afim, da unidade de aquisição de informação de posição e rotação 730. Adicionalmente, a unidade de processamento de correção 780 adquire dados de ângulo de visão representativos do ângulo de campo de representação da unidade de exibição da unidade de exibição montada em cabeça 100. A unidade de processamento de correção 780 adquire as imagens geradas da unidade de processamento de imagem de panorama 750 e representa um retângulo baseado na posição p1 e na rotação q1 a tempo t1 no sistema de coordenada de campo visual com o sistema de coordenada de campo visual com respeito à posição p2 e à rotação q2 a tempo t2.

[0092] As coordenadas dos quatro vértices do retângulo no sistema de coordenada de campo visual pela posição p1 e pela rotação q1 a tempo t1 são dadas por: (- FoVl x d, FoVu x d, - d) (- FoVl x d, - FoVb x d, - d) (FoVr x d, FoVu x d, - d) (FoVr x d, - FoVb x d, - d) (se refira à Figura 11). Aqui, como o valor d, a distância focal do sistema óptico da unidade de exibição montada em cabeça 100 é usada.

[0093] A unidade de processamento de correção 780 mapeia os quatro vértices do retângulo ao sistema de coordenada de campo visual com respeito à posição p2 e à rotação q2 a tempo t2. Isto é executado através de tal transformação de coordenada como descrito abaixo. (A) Primeiro, o sistema de coordenada de campo visual é transformado inversamente na transformada de coordenada de HMD usando os valores da posição p1 e da rotação q1 a tempo t1, e o sistema de coordenada de HMD é adicionalmente transformado inversamente no sistema de coordenada de rastreamento. Como resultado, o sistema de coordenada de campo visual como visto da posição p1 e da rotação q1 a tempo t1 é transformado de volta no sistema de coordenada de rastreamento com respeito à posição de referência p0 e à rotação de referência q0 uma vez. (B) Então, o sistema de coordenada de rastreamento é transformado no sistema de coordenada de HMD usando os valores da posição p2 e da rotação q2 a tempo t2, e o sistema de coordenada de HMD é transformado adicionalmente no sistema de coordenada de campo visual. Consequentemente, o sistema de coordenada de rastreamento baseado na posição de referência p0 e na q0 rotação de referência é convertido no sistema de transformada de campo visual como visto da posição p2 e da rotação q2 a tempo t2.

[0094] Se as transformações de coordenada inteiras de (A) e (B) forem vistas, então é considerado que o sistema de coordenada de campo visual em um caso onde é visto da posição p1 e da rotação q1 a tempo t1 está convertido no sistema de coordenada de campo visual em outro caso no qual é visto da posição p2 e da rotação q2 a tempo t2.

[0095] Se, ao retângulo no campo visual obtido pela transformação de coordenada desta maneira, uma imagem gerada assumindo a posição p1 e a rotação q1 a tempo t1 for colada como uma textura, então a imagem resultante é uma imagem corrigida onde é vista do sistema de coordenada de campo visual com respeito à posição p2 e à rotação q2 a tempo t2. A imagem na qual o deslocamento em posição e rotação da unidade de exibição montada em cabeça 100 aparecendo entre tempo t1 e tempo t2 é corrigida pode ser vista no campo visual no momento do usuário. Assim, a latência pela diferença de tempo entre tempo t1 e tempo t2 é absorvida, e a "embriaguez" do usuário é moderada.

[0096] A unidade de provisão de imagem 770 provê os dados de imagem corrigida pela unidade de processamento de correção 780 à unidade de exibição montada em cabeça 100 (S24). A imagem de panorama depois da correção é exibida na unidade de exibição montada em cabeça 100 (S26). Depois disso, o processamento retorna à etapa S12 para repetir os processos nas etapas começando com a etapa S12.

[0097] No seguinte, o processo de correção pela unidade de processamento de correção 780 é descrito em detalhes usando fórmulas matemáticas.

[0098] Como uma presunção, é assumido que informação da posição e da rotação de referências absolutas da unidade de exibição montada em cabeça 100 pode ser provida pelos sensores. Como os sensores, a unidade de GPS 60 e o sensor de postura 64 da unidade de exibição montada em cabeça 100 são usados. Adicionalmente, o controlador de movimento 350 pode ser usado. A posição p e a rotação q variam em resposta a um movimento do usuário que usa a unidade de exibição montada em cabeça 100. Embora a unidade de exibição montada em cabeça 100 seja um corpo rígido e não seja um ponto, a posição p está definida como uma posição de um ponto fixo na unidade de exibição montada em cabeça 100. Na descrição seguinte, o ponto fixo é chamado o ponto central da unidade de exibição montada em cabeça 100.

[0099] Uma matriz de rotação de posição de HMD H é determinada conforme as expressões seguintes de uma matriz de translação T e uma matriz de rotação R usando a posição p e a rotação q da unidade de exibição montada em cabeça 100. (Expressão 1) H(P, q) = T(-P) x Rrt p = (tx, ty, tz) q = (q1, q2, q3, q4) | q | = 1

[00100] A posição p é um vetor tridimensional, e a rotação q é um quaternião (quaternião). -p é um resultado de mudança do sinal dos elementos de p ao negativo, e q-1 é um conjugado de q (a parte real de q é deixada como está enquanto o sinal da parte imaginária de q é mudado ao negativo).

[00101] É para ser notado que a translação paralela pela matriz de translação T(p) está definida pela expressão seguinte (2). [Expressão 2]

[00102] A rotação pela matriz de rotação R(q) está definida pela expressão seguinte. [Expressão 3]

[00103] Um método de cálculo de rotação tridimensional e assim sucessivamente relativo à computação gráfica usando um quaternião é descrito em "Introduction to Quaternion for 3D-CG Programmers", (Kogakusha, janeiro, 2004).

[00104] Em transformação de coordenada em geral computação gráfica, usando uma matriz de transformação mundial W, uma matriz de transformação de câmera (visão) V e uma matriz de transformação de perspectiva P, um ponto (x, y, z, 1) do sistema de coordenada mundial é transformado em um ponto (x', y', z', 1) de um sistema de coordenada de projeção conforme a expressão 4 seguinte. (Expressão 4) (x', y', z', 1) = (x, y, z, 1) x W x V x P

[00105] A fim de exibir na unidade de exibição da unidade de exibição montada em cabeça 100, a posição e a rotação da unidade de exibição montada em cabeça 100 devem ser rastreadas para exibi-las na base da posição e da rotação da unidade de exibição montada em cabeça 100 no momento. Portanto, em geração de imagem para a unidade de exibição montada em cabeça 100 com uma função de rastreamento, transformação de coordenada conforme a expressão dada abaixo é executada adicionalmente usando uma matriz de transformação de referência de rastreamento B, uma matriz de rotação de posição de HMD H e uma matriz de posição de exibição D. É para ser notado aqui que o cálculo não envolve o processo de correção descrito anteriormente é indicado. (Expressão 5) (x', y', z', 1) = (x, y, z, 1) x W x V x B x H x D x P

[00106] Aqui, a matriz de transformação de referência de rastreamento B é uma matriz para transformar o sistema de coordenada de câmera (visão) no sistema de coordenada de rastreamento 802 baseado na posição de referência e na rotação de referência da unidade de exibição montada em cabeça 100. A matriz de transformação de referência de rastreamento B pode ser determinada como uma matriz inversa da matriz de rotação de posição de HMD H gerada de informação de sensor quando a unidade de exibição montada em cabeça 100 é colocada na posição de referência p0 e na rotação de referência q0.

[00107] A matriz de rotação de posição de HMD H é uma matriz para transformar o sistema de coordenada de rastreamento 802 no sistema de coordenada de HMD 804. A matriz de rotação de posição de HMD H(p, q) é gerada da matriz de translação T e da matriz de rotação R usando a posição p e a rotação q adquiridas dos sensores ao começo de representação como descrito anteriormente.

[00108] A matriz de posição de exibição de HMD D é uma matriz para transformar o sistema de coordenada de HMD 804 no sistema de coordenada de campo visual 806. Por esta matriz, um ponto da unidade de exibição montada em cabeça 100 no sistema de coordenada de HMD 804 cuja origem é o topo da cabeça é convertido em um ponto no sistema de coordenada de campo visual 806 cuja origem é o ponto de vista do usuário que usa a unidade de exibição montada em cabeça 100. Esta matriz é determinada da distância do ponto central da unidade de exibição montada em cabeça 100 à posição dos olhos do usuário que usa a unidade de exibição montada em cabeça 100 e o ângulo rotacional por qual a direção dos olhos do usuário ao centro da unidade de exibição é inclinada com respeito ao eixo geométrico de centro da unidade de exibição montada em cabeça 100. Desde que a diferença da posição dos olhos dependendo da pessoa que usa a unidade de exibição montada em cabeça 100 é suficientemente pequena, geralmente a matriz de posição de exibição de HMD D é fixada para o dispositivo da unidade de exibição montada em cabeça 100.

[00109] É para ser notado que, desde que a matriz de posição de exibição de HMD se relaciona à posição de um olho, matrizes de posição de exibição de HMD para o olho esquerdo e o olho direito existem e são usadas para gerar imagens para o olho esquerdo e o olho direito, respectivamente. Dependendo do sistema, uma mesma imagem é usada para ambos os olhos, e neste caso, uma única matriz de posição de exibição de HMD para ambos os olhos é usada.

[00110] A matriz de transformação de perspectiva P é uma matriz para transformar uma coordenada de visão em uma coordenada de perspectiva, e em geral computação gráfica, um ângulo de campo é determinado livremente. Porém, na unidade de exibição montada em cabeça 100, o ângulo de campo é ajustado ao ângulo de campo da pessoa usando a unidade de exibição montada em cabeça 100. A matriz de transformação de perspectiva P está definida como uma expressão dada abaixo usando os quatro parâmetros FoVu, FoVb, FoVl e FoVr indicativos do ângulo de visão do usuário. [Expressão 6]

[00111] Aqui α e β dependem de corte da profundidade, e ±1 depende de se o sistema de coordenada é para a mão esquerda ou para a mão direita. Desde que os ângulos de campo para o olho esquerdo e o olho direito são diferentes um do outro (geralmente os ângulos de campo são simétricos um ao outro na direção horizontal), a matriz de transformação de perspectiva P para o olho esquerdo e a matriz de transformação de perspectiva P para o olho direito podem ser diferentes entre si.

[00112] O processo de correção pela unidade de processamento de correção 780 é descrito. Entradas providas à unidade de processamento de correção 780 incluem uma imagem gerada com respeito à posição p1 e à rotação q1 da unidade de exibição montada em cabeça 100 a tempo t1, à posição p1 e à rotação q1 usadas na matriz de rotação de posição de HMD H quando a imagem é gerada e à posição p2 e rotação q2 atualizadas da unidade de exibição montada em cabeça 100 a tempo mais recente t2.

[00113] A unidade de processamento de correção 780 gera uma imagem corrigida executando o processo de transformação seguinte para uma imagem retangular obtida mapeando a imagem gerada com respeito à posição p1 e à rotação q1 a tempo t1 no plano de projeção. Onde os vértices da imagem retangular são representados por (x, y, z, 1), as posições no sistema de coordenada de projeção depois de correção por (x', y', z', 1) e a matriz de correção por C, o processo de convenção pode ser representado da maneira seguinte. (Expressão 7) (x, y', z', 1) = (x, y, z, 1) x C

[00114] Aqui, a matriz de correção C é: C = D-1 x H(p1, q1)-1 x H(p2, q2) x D x P

[00115] Os quatro vértices da imagem retangular gerada com respeito à posição p1 e à rotação q1 a tempo t1 são (- FoVl x d, FoVu x d, - d, 1), (- FoVl x d, - FoVb x d, - d, 1), (FoVr x d, FoVu x d, - d, 1) e (FoVr x d, - FoVb x d, - d, 1). Como o valor de d, por exemplo, a distância focal do sistema óptico da unidade de exibição montada em cabeça 100 é usada.

[00116] D-1 x H(p1, q1)-1 da metade dianteira da matriz de correção C significa que o sistema de coordenada de campo visual está transformado de volta no sistema de coordenada de HMD pela matriz inversa D-1 da matriz de posição de exibição de HMD e o sistema de coordenada de HMD é transformado de volta no sistema de coordenada de rastreamento pela matriz inversa H(p1, q1)-1 da matriz de rotação de posição de HMD na qual a posição p1 e a rotação q1 a tempo t1 são usadas. Adicionalmente, (p2, q2) x D x P da metade posterior significa que o sistema de coordenada de rastreamento está transformado no sistema de coordenada de HMD pela matriz de rotação de posição de HMD H(p2, p2) em que a posição p2 e rotação q2 atualizadas a tempo t2 são usadas e então o sistema de coordenada de HMD é transformado no sistema de matriz de campo visual pela matriz de posição de exibição de HMD D, depois disso o sistema de coordenada de campo visual é transformado no sistema de coordenada de projeção pela matriz de transformação de perspectiva P finalmente.

[00117] Se a posição e a rotação da unidade de exibição montada em cabeça 100 não variarem entre tempo t1 e tempo t2, isto é, se p1 = p2 e além disso q1 = q2, então desde que H(p1, q1)-1 x H(p2, q2) se tornam uma matriz unitária. Portanto, a matriz de correção C fica igual à matriz de transformação de perspectiva P e o processo de correção não é executado, e só transformação de perspectiva é executada como dado abaixo. (x', y', z', 1) = (x, y, z, 1) x P

[00118] Porém, se pelo menos uma da posição e da rotação da unidade de exibição montada em cabeça 100 variar entre tempo t1 e tempo t2, isto é, se pl Φ P2 e/ou q1 Φ q2, então a matriz de correção C atua para corrigir o deslocamento em posição e/ou rotação da unidade de exibição montada em cabeça 100 por cálculo de H(p1, ql)-1 x H(p2, q2).

[00119] Desta maneira, a imagem retangular transformada pela matriz de correção C é um resultado de correção da imagem de projeção com respeito à posição p1 e à rotação q1 a tempo t1 para a imagem de projeção com respeito à posição p2 e à rotação q2 a tempo t2. Consequentemente, até mesmo se a posição e a rotação da unidade de exibição montada em cabeça 100 indicarem um deslocamento entre tempo t1 e tempo t2, a imagem pode ser corrigida pelo processo de imagem para absorver o deslocamento.

[00120] No seguinte, várias modificações são descritas.

(Modificação 1)

[00121] Uma modificação para o processo de correção da primeira modalidade é descrita com referência às Figuras 12 e 13. Figura 12 é um vista ilustrando, para comparação, o processo de correção de imagem da primeira modalidade. Como descrito na figura, a tempo t1, o aparelho de geração de imagem de panorama 700 recebe uma posição p1 e uma rotação q1 da unidade de exibição montada em cabeça 100 e começa representação. A tempo t2, o aparelho de geração de imagem de panorama 700 executa um processo de correção para uma imagem gerada usando a mais recente posição p2 e a rotação q2 da unidade de exibição montada em cabeça 100. Se for assumido que a taxa de quadro do painel da unidade de exibição montada em cabeça 100 é 30 quadros/segundo, o aparelho de geração de imagem de panorama 700 gera um quadro a 30 quadros/segundo e executa o processo de correção e então provê uma imagem depois da correção para a unidade de exibição montada em cabeça 100. É para ser notado que o processo de correção pode ser executado no lado de unidade de exibição montada em cabeça 100.

[00122] Figura 13 é uma vista ilustrando o processo de correção de imagem da modificação à primeira modalidade. Enquanto a taxa de quadro da representação pela geração de imagem de panorama aparelho 700 é 30 quadros/segundo, se for assumido que a taxa de quadro do painel da unidade de exibição montada em cabeça 100 é uma taxa de quadro mais alta e é, por exemplo, 60 quadros/segundo, então, na modificação presente, a frequência do processo de correção é elevada conforme a taxa de quadro do painel da unidade de exibição montada em cabeça 100.

[00123] Como descrito na figura, um primeiro processo de correção é executado para a imagem gerada pelo aparelho de geração de imagem de panorama 700 usando a posição p2 e a rotação q2 da unidade de exibição montada em cabeça 100 a tempo t2, e a imagem depois da correção é exibida na unidade de exibição montada em cabeça 100. Depois disso, um segundo processo de correção é executado para a mesma imagem usando uma posição p3 e uma rotação q3 da unidade de exibição montada em cabeça 100 a tempo t3, e a imagem depois da correção é exibida na unidade de exibição montada em cabeça 100. Consequentemente, até mesmo se a taxa de quadro do aparelho de geração de imagem de panorama 700 for 30 quadros/segundo, a imagem depois da correção é exibida a 60 quadros/segundo. Desta maneira, a taxa de quadro pode ser elevada e abaixada executando o processo de correção em uma frequência predeterminada. Particularmente onde as taxas de quadro do aparelho de geração de imagem de panorama 700 e da unidade de exibição montada em cabeça 100 são diferentes entre si, uma função para conversão de taxa de quadro pode ser provida ao sistema.

[00124] Na ilustração da Figura 13, o primeiro processo de correção usando a posição p2 e a rotação q2 a tempo t2 e o segundo processo de correção usando a posição p3 de a rotação q3 a tempo t3 são executados para a mesma imagem gerada pelo aparelho de geração de imagem de panorama 700. Como um método diferente, o segundo processo de correção pode ser executado para a imagem depois da correção gerada pelo primeiro processo de correção.

(Modificação 2)

[00125] Embora a expressão de transformação de coordenada (x', y', z', 1) = (x, y, z, 1) x W x V x B x H x D x p inclua a multiplicação da matriz de transformação de referência de rastreamento B e da matriz de rotação de posição de HMD H, este cálculo pode ser simplificado. Uma matriz de um resultado quando a matriz de transformação de referência de rastreamento B e a matriz de rotação de posição HMD H são multiplicados é chamada a matriz de HMD normalizada N. A matriz de transformação de referência de rastreamento B pode ser determinada como uma matriz inversa da matriz de rotação de posição de HMD H gerada da informação de sensor quando a unidade de exibição montada em cabeça 100 é colocada à posição de referência p0 e à rotação de referência q0. Adicionalmente, a matriz de rotação de posição de HMD H(p, q) é gerada da matriz de translação T e da matriz de rotação R usando a posição p e a rotação q adquiridas dos sensores ao começo da representação. Portanto, onde uma matriz inversa é representada por Inv (•), a matriz de HMD normalizada N é calculada da maneira seguinte. N = B x H(p, q) = Inv(T(-p0) x R(q0-1)) x (T(-p) x R(q-1)) = Inv(R(q0-1)) x Inv(T(-p0)) x T(-p) x R(q-1) = R(q0) x T(p0) x T(-p) x R(q-1) = R(q0) x T(p0-p) x R(q-1) = R(q0) x R(q-1) x R(q) x T(p0-p) x R(q-1) = R(q-1 x q0) x T(Rot(p0-p, q-1))

[00126] Aqui, Rot(p, q) significa que o vetor p está girado pelo quaternião q. Em particular, se o vetor p depois de rotação for representado por p', então p' = q x p x q-1 é calculado. Rot(p0-p, q-1) significa girar o vetor p0 - p pelo quaternião q-1. Com a última expressão de transformação dada acima, é significado que a matriz de HMD normalizada N está transladada por Rot(p0-p, q-1) depois de girada pelo quaternião q-1 x q0.

[00127] Se a quantidade de cálculo for avaliada, então se só o número de vezes de multiplicação for considerado, então a matriz de translação T envolve 0 vezes; a matriz de rotação R 16 vezes; o produto dos dois quaterniões 16 vezes; e o produto de duas matrizes de rotação 36 vezes; e o produto da matriz de translação T e da matriz de rotação R 0 vezes. Se a quarta expressão de deformação dada acima for usada, então N = R(q0) x T(p0) x T(-p) x R(q-1), e 16 vezes de multiplicação são requeridas para cálculo da matriz de rotação R; 0 vezes de multiplicação são requeridas para cálculo de R x T; e 36 vezes de multiplicação são requeridas para produto de duas vezes das outras matrizes. Consequentemente, totalizando 16 x 2 + 36 x 2 = 104 vezes de multiplicação são requeridas. Em contraste, se a última expressão de transformação dada acima for usada, então N = R(q-1 x q0) x T(Rot(p0 - p, q-1)), e 16 vezes de multiplicação são requeridas para o produto de dois quaterniões e 16 vezes de multiplicação são requeridas para cálculo da matriz de rotação R. Portanto, duas vezes de cálculo de um quaternião são requeridas para cálculo de Rot. Portanto, 16 + 16 + 16 x 2 = 64 vezes de multiplicação são requeridas. Em comparação, se a matriz normalizada N for calculada pelas últimas expressões de transformação dada acima, então o número de vezes de multiplicação diminui de 104 a 64 e o cálculo é simplificado.

(Modificação 3)

[00128] A posição p e a rotação q da unidade de exibição montada em cabeça 100 podem ser preditas de informação de sensor no passado usando um filtro de Kalman ou similar. O processo de correção de imagem descrito acima pode ser usado para corrigir o deslocamento entre o valor predito e um valor real.

[00129] Uma unidade de predição para informação de sensor é provida na unidade de exibição montada em cabeça 100 ou no aparelho de geração de imagem de panorama 700. A unidade de predição prediz uma posição de predição pf e uma rotação de predição qf a uma temporização à qual uma imagem é para ser exibida na base do movimento da unidade de exibição montada em cabeça 100 no passado. O aparelho de geração de imagem de panorama 700 gera uma imagem com respeito à posição de predição pf e à rotação de predição qf. A unidade de processamento de correção 780 recebe uma posição pt no momento e uma rotação qt no momento da informação de sensor da unidade de exibição montada em cabeça 100 ao ponto presente de tempo e executa um processo de correção para a imagem usando a posição pt no momento e a rotação qt no momento. Consequentemente, até mesmo se a posição de predição pf e a rotação de predição qf forem deslocadas da posição pt no momento e da rotação qt no momento, respectivamente, os deslocamentos entre elas podem ser absorvidos pelo processo de correção de imagem.

(Modificação 4)

[00130] Desde que, no processo de correção, uma imagem de um resultado de representação executada é utilizada como uma fonte de representação novamente para executar transformação de perspectiva para ser satisfatória para a mais recente posição e rotação, quando a quantidade de movimento é grande, informação em uma região que não ainda é representada é às vezes requerida. Vários métodos para contender com um problema de aparecimento de uma porção perdida são descritos abaixo.

[00131] Os métodos seguintes estão disponíveis como um método para compensar uma porção perdida. (1) A porção perdida é preenchida com uma cor de pixels em uma periferia mais externa. (2) A porção perdida é preenchida com uma única cor (por exemplo, preto). (3) Uma região maior que a periferia mais externa é representada com antecedência de forma que nenhuma porção perdida apareça.

[00132] A fim de levar o método (3), como parâmetros para prover os quatro vértices de uma região retangular a ser usada em transformação de coordenada na geração de imagem para a unidade de exibição montada em cabeça 100 com uma função de rastreamento e um processo de transformação em um processo de correção, parâmetros FoVu, FoVb', FoVl' e FoVr' representativos de um ângulo de campo de representação são usados em lugar dos parâmetros de ângulo de campo FoVu, FoVb, FoVl e FoVr únicos para a unidade de exibição montada em cabeça. Aqui, FoVx' > FoVx' (aqui, x = u, b, l, r). É para ser notado que, na matriz de transformação de perspectiva P a ser usada em um processo de transformação no processo de correção, os parâmetros de ângulo FoVu, FoVb, FoVl e FoVr únicos à unidade de exibição montada em cabeça são usados.

[00133] Também um método para controlar a quantidade de movimento entre dois pontos de tempo de tempo t1 e tempo t2 de forma que uma porção perdida pode não aparecer está disponível. (1) A quantidade de movimento é limitada a um valor de limite A, e até mesmo quando a quantidade de movimento se torna B (> A) excedendo o valor de limite A, o processo de correção é executado assumindo que a quantidade de movimento é A. (2) Quando a quantidade de movimento excede o valor de limite A, o processo de correção não é executado, e um erro é determinado e um processo para esse fim é executado. (3) Os métodos (1) e (2) acima são combinados tal que, quando a quantidade de movimento excede o primeiro valor de limite A, mas é igual a ou mais baixo que o segundo valor de limite em B (> A), é determinado que a quantidade de movimento é A e o processo de correção é executado, mas quando a quantidade de movimento excede o segundo valor de limite B, o processo de correção não é executado e um processo é executado determinando que um erro ocorreu.

[00134] Limitando a quantidade de movimento desta maneira, a quantidade de movimento é incluída dentro da gama do valor de limite A, e uma região correspondendo à quantidade de movimento pode ser representada com antecedência de forma que uma porção perdida pode não aparecer.

[00135] A quantidade de movimento pode ser calculada da maneira seguinte. A quantidade de variação qd da rotação podem ser calculada através de qd = q-1 x q0 e a quantidade de variação pd da posição pode ser calculada através de pd = p0 - p. A magnitude da quantidade de variação qd da rotação depende da parte real, e quando a parte real diminui, a quantidade de rotação aumenta. Desde que a expressão para calcular a matriz de HMD normalizada N descrita anteriormente é N = R(q-1 x q0) x T(Rot(p0 - q, q-1)) = R(qd) x T(Rot(pd, q-1)), os valores da quantidade de variação qd da rotação e a quantidade de variação pd da posição já estão calculados no curso de cálculo da matriz de HMD normalizada N. Desde que a quantidade de movimento é obtida no processo de cálculo da matriz de HMD normalizada N desta maneira, há uma vantagem que o processo para analisar o movimento de imagens para detectar um vetor de movimento não é requerido.

[00136] Adotando o método de limitar a quantidade de movimento, o ângulo de campo de representação pode ser fixado, e um sistema que não dá origem à perda em imagem depois de correção até onde a quantidade de movimento não excede o valor de limite pode ser configurado. Onde um valor predito de um sensor é usado para executar representação como no caso da modificação 3, o ângulo de campo de representação pode ser determinado dependendo da magnitude do deslocamento (erro) do valor predito do valor real. Neste caso, se for predito que o erro é grande, então uma região na gama na qual o erro é grande é representada, mas se for predito que o erro é pequeno, então uma região da gama na qual o erro é pequeno é representada.

(Modificação 5)

[00137] Na primeira modalidade, a fim de levar em conta ambos do movimento translacional e da rotação, operação aritmética tridimensional é requerida no processo de correção. Porém, o processo de correção pode ser simplificado se for assumido que só o movimento translacional é executado sem envolver a rotação. Desde que é necessário prover só o movimento translacional, só é necessário preparar um dispositivo de processamento de imagem configurado de uma memória temporária de linha de um número fixo de filas e capaz de executar movimento translacional. Assim, um sistema menos caro pode ser configurado.

[00138] Em particular, o processo de correção pode transformar as coordenadas (0, 0, - d) do centro de uma imagem pela matriz de correção C. Só é necessário mover translacionalmente o movimento nas direções x e y pela quantidade de variação de x e pela quantidade de variação de y determinadas pela transformação.

[00139] Se o usuário usando a unidade de exibição montada em cabeça 100 tremer a cabeça em uma direção vertical ou uma direção horizontal, então pode ser determinado que o movimento da cabeça é um movimento translacional vertical ou horizontal, e o processo de correção da modificação presente pode ser aplicados a este caso.

(Segunda Modalidade)

[00140] Na descrição da primeira modalidade, um processo de correção quando uma imagem de panorama gerada pelo aparelho de geração de imagem de panorama 700 é exibida na unidade de exibição montada em cabeça 100 é descrito. Porém, na descrição de uma segunda modalidade, um processo de correção quando um usuário executa uma operação de uma câmera para um espaço real ou virtual e uma imagem é exibida em uma tela de um computador ou um aparelho portátil é descrito. Na descrição seguinte, descrição de uma configuração e operação comum àquelas na primeira modalidade são omitidas, e o processo de correção pela unidade de processamento de correção 780 na segunda modalidade é descrito.

[00141] Na primeira modalidade, desde que é assumido que um usuário usando a unidade de exibição montada em cabeça 100 se move em um espaço, transformação de coordenada para transformar o sistema de coordenada de rastreamento 802 para o sistema de coordenada de campo visual 806 pelo sistema de coordenada de HMD 804 é requerida. Isto é porque, na primeira modalidade, o ponto de vista e a direção de visão da câmera devem ser transformados em coordenada em uma posição e uma rotação no momento do usuário usando a unidade de exibição montada em cabeça 100. Na segunda modalidade, desde que o ponto de vista e a direção de visão da câmera operada por um usuário se tornam o ponto de vista e a direção de visão do espectador do computador ou o aparelho portátil como eles são, a transformação de coordenada requerida pela unidade de exibição montada em cabeça 100 não é requerida.

[00142] A matriz de transformação de câmera V na segunda modalidade pode ser determinada conforme a expressão seguinte da matriz de translação T e da matriz de rotação R usando a posição (ponto de vista) p da câmera e a direção (direção de visão) q da câmera. (Expressão 8) V(P, q) = T(-P) x Rrt

[00143] Aqui, a posição p da câmera é um vetor tridimensional, e a direção q da câmera é um quaternião.

[00144] Na segunda modalidade, transformação de coordenada em geral computação gráfica é usada. Um ponto (x, y, z, 1) do sistema de coordenada mundial é transformado em um ponto (x', y', z', 1) do sistema de coordenada de projeção conforme a expressão dada abaixo usando a matriz de transformação mundial W, matriz de transformação de câmera (visão) V e matriz de transformação de perspectiva P. É para ser notado aqui que atenção é prestada ao fato que cálculo que não envolve um processo de correção é indicado. (Expressão 9) (x', y', z', 1) = (x, y, z, 1) x W x V x P

[00145] Aqui, embora a matriz de transformação de perspectiva P esteja semelhantemente definida como na primeira modalidade usando os quatro parâmetros FoVu, FoVb, FoVl e FoVr indicativos do ângulo de visão do usuário, desde que isto se confia no ângulo de campo, se a câmera for usada com zoom, então o ângulo de campo varia e também a matriz de transformação de perspectiva P é mudada. Os parâmetros de ângulo de visão a tempo t1 são representados como FoVu1, FoVb1, FoVl1 e FoVr1 e os parâmetros de ângulo de visão a tempo t2 são representados como FoVu2, FoVb2, FoVl2 e FoVr2. A matriz de transformação de perspectiva P a tempo t1 é representada como p(t1) e a matriz de transformação de perspectiva P a tempo t2 é representada como P(t2).

[00146] O processo de correção pela unidade de processamento de correção 780 na segunda modalidade é descrito. Entradas providas à unidade de processamento de correção 780 são a posição P1 da câmera a tempo t1, uma imagem gerada na direção Q1 da câmera, a posição P1 da câmera e a direção Q1 da câmera usada na matriz de transformação de câmera V quando esta imagem é gerada, e a posição P2 da câmera e a direção Q2 da câmera a tempo mais recente t2.

[00147] A unidade de processamento de correção 780 executa o processo de transformação seguinte para uma imagem retangular na qual a imagem gerada com respeito à posição p1 e à direção q1 a tempo t1 é mapeada ao plano de projeção para gerar uma imagem corrigida. Se um vértice da imagem retangular for representado por (x, y, z, 1), um ponto no sistema de coordenada de projeção depois da correção por (x', y', z', 1) e a matriz de correção por C, então o processo de transformação pode ser representado da maneira seguinte. (Expressão 10) (x', y', z', 1) = (x, y, z, 1) x C

[00148] Aqui, a matriz de correção C é: C = V(p1, q1)-1 x V(p2, q2) x P(t2)

[00149] Os quatro vértices da imagem retangular gerada com respeito à posição p1 e à rotação q1 a tempo t1 são (- FoVl1 x d, FoVu1 x d, - d, 1), (- FoVl1 x d, - FoVb1 x d, - d, 1), (FoVr1 x d, FoVu1 x d, - d, 1) e (FoVr1 x d, - FoVb1 x d, - d, 1). Como o valor de d, um valor fixo de uma distância satisfatória (por exemplo, dez metros ou similar) ou dados estatísticos da profundidade (por exemplo, um mediano do valor de profundidade da área global, um valor médio da profundidade na proximidade do centro da área ou similar) são usados.

[00150] V(p1, q1)-1 da metade dianteira da matriz de correção C significa transformar o sistema de coordenada de câmera de volta no sistema de coordenada mundial por uma matriz inversa V(p1, q1)-1 da matriz de transformação de câmera que usa a posição p1 e a rotação q1 a tempo t1. Adicionalmente, V(p2, q2) x P(t2) da metade posterior significa transformar o sistema de coordenada mundial no sistema de coordenada de câmera pela matriz de transformação de câmera V(p2, q2) usando a posição p2 e a rotação q2 a tempo t2 e adicionalmente transformar o sistema de coordenada de câmera no sistema de coordenada de projeção pela matriz de transformação de perspectiva P(t2) usando o ângulo de campo a tempo t2.

[00151] Se for assumido que a posição e a direção da câmera não variam entre tempo t1 e tempo t2, isto é, se p1 = p2 e q1 = q2, então desde que V(p1, q1)-1 x V(p2, q2) se torna uma matriz unitária, a matriz de correção C fica igual à matriz de transformação de perspectiva P(t2). Consequentemente, o processo de correção não é executado, e só transformação de perspectiva que reflete o ângulo de campo a tempo t2 é executada simplesmente como dado abaixo. (x', y', z', 1) = (x, y, z, 1) x P(t2)

[00152] Porém, se pelo menos uma da posição e da rotação da câmera variar entre tempo t1 e tempo t2, isto é, se pl Φ p2 e/ou q1 Φ q2, então a matriz de correção C atua para corrigir o deslocamento em posição e/ou direção da câmera por cálculo de V(p1, q1)-1 x V(p2, q2). Adicionalmente, executando a transformação com a matriz de transformação de perspectiva P(t2) finalmente, também a variação no ângulo de campo entre tempo t1 e tempo t2 é refletida.

[00153] A imagem retangular transformada pela matriz de correção C desta maneira é um resultado de correção da imagem de projeção com respeito à posição p1, rotação q1 e ângulo de campo a tempo t1 para a imagem de projeção com respeito à posição p2, rotação q2 e ângulo de campo atualizados a tempo t2. Consequentemente, até mesmo se a posição e a direção da câmera variarem ou o ângulo de campo variar por zoom entre tempo t1 e tempo t2, a imagem pode ser corrigida para absorver o deslocamento pelo processo de imagem.

[00154] A segunda modalidade é vantajosa para a configuração de um serviço de multidão no qual uma pluralidade de terminais utiliza um serviço provido por um servidor de aplicativos por uma rede. Neste caso, o aparelho de geração de imagem é provido no servidor, e qualquer terminal transmite informação de uma operação de câmera ao servidor e recebe uma imagem gerada pelo servidor pela rede. Porém, desde que uma latência fixa é causada por tempo requerido para geração de imagem pelo servidor e tempo requerido para transferência de rede, a operação de câmera do usuário não pode ser refletida na base em tempo real. Com a segunda modalidade, uma imagem gerada na base da posição e da direção da câmera na geração de imagem pode ser corrigida para coincidir com a mais recente posição e direção da câmera na exibição de imagem. Consequentemente, o desempenho em tempo real pode ser provido artificialmente.

[00155] Especialmente, em um aplicativo de jogo, onde o usuário usa um botão de um controlador de jogo, uma tela de toque de um terminal portátil ou similar para mudar a posição de ponto de vista e a direção de visão em um espaço virtual para executar interação com um caráter de um usuário diferente no jogo, o desempenho em tempo real faz um fator significante. Em tal caso, é útil prover artificialmente o desempenho em tempo real pelo processo de correção.

[00156] Como descrito acima, com a primeira modalidade e a segunda modalidade, corrigindo uma imagem gerada na base de uma posição de ponto de vista e uma direção de visão a um ponto de tempo de geração de imagem usando uma posição de ponto de vista e uma direção de visão a um ponto de tempo de exibição de imagem, uma diferença de tempo depois do ponto de tempo de geração de imagem até o ponto de tempo de exibição de imagem pode ser absorvida para reduzir a latência aparente.

[00157] A presente invenção foi descrita com relação às modalidades. As modalidades são ilustrativas, e pode ser reconhecido por aqueles qualificados na arte que várias modificações são possíveis com respeito aos componentes e os processos das modalidades e que também tais modificações caem dentro da extensão da presente invenção. Tais modificações são descritas.

[Lista de Sinais de Referência]

[00158] 10 Unidade de controle, 20 Interface de entrada, 30 Interface de saída, 32 Luz de fundo, 40 Unidade controladora de comunicação, 42 Adaptador de rede, 44 Antena, 50 Unidade de armazenamento, 60 Unidade de GPS, 62 Unidade sem fio, 64 Sensor de postura, 70 Interface de terminal de externa de entrada/saída, 72 Memória externa, 80 Unidade de relógio, 100 Unidade de exibição montada em cabeça, 110 Unidade de corpo principal, 120 Unidade de contato de cabeça de porção dianteira, 130 Porção de contato de porção de cabeça lateral, 200 Máquina de jogos, 300 Marcador, 350 Controlador de movimento, 500 Imagem de panorama, 700 Aparelho de geração de imagem de panorama, 710 Unidade de aquisição de instrução de zoom, 720 Unidade de ajuste de sensibilidade, 730 Unidade de aquisição de informação de posição e rotação, 740 Unidade de transformação de coordenada, 750 Unidade de processamento de imagem de panorama, 760 Unidade de armazenamento de imagem de panorama, 770 Unidade de provisão de imagem, 780 Unidade de processamento de correção. [Aplicabilidade Industrial]

[00159] A presente invenção pode ser aplicada a uma tecnologia para gerar e corrigir uma imagem.

Claims

1. Aparelho de geração de imagem, compreendendo: uma unidade de aquisição (730) que é configurada para adquirir informação relativa a pelo menos uma dentre uma posição e uma rotação da cabeça de um usuário que veste uma unidade de exibição montada em cabeça (100); uma unidade de geração de imagem (750) que é configurada para gerar uma imagem a ser exibida na unidade de exibição montada em cabeça usando informação relativa a pelo menos uma dentre uma posição e uma rotação adquirida a um certo ponto de tempo pela unidade de aquisição; e uma unidade de processamento de correção (780) configurada para receber informação atualizada relativa a pelo menos uma de uma posição e de uma rotação a um ponto diferente de tempo daquela unidade de aquisição e corrigir a imagem gerada pela unidade de geração de imagem usando a informação atualizada relativa a pelo menos uma dentre a posição e a rotação, a unidade de geração de imagem gerando a imagem ao executar transformação de coordenadas para transportar um sistema de coordenadas de referência da dita unidade de exibição montada em cabeça para um sistema de coordenadas de movimento da unidade de exibição montada em cabeça usando informação relativa a pelo menos uma dentre uma posição e uma rotação que é adquirida a um certo ponto de tempo, e a unidade de processamento de correção executando, de modo a corrigir a imagem gerada pela unidade de geração de imagem, transformação inversa da transformação de coordenadas usando a informação relativa a pelo menos uma dentre a posição e a rotação adquirida no certo ponto de tempo para retornar o sistema de coordenadas de movimento ao sistema de coordenadas de referência uma vez, e, então, executar a transformação de coordenadas usando informação atualizada relativa a pelo menos uma dentre uma posição e uma rotação no ponto diferente de tempo para transformar o sistema de coordenadas de referência no sistema de coordenadas de movimento novamente, o referido aparelho sendo caracterizado pelo fato de que a unidade de geração de imagem gera a imagem para ser exibida na unidade de exibição montada em cabeça usando a informação relativa a pelo menos uma dentre a posição e a rotação em uma primeira frequência, e a unidade de processamento de correção recebe uma informação atualizada relativa a pelo menos uma dentre uma posição e uma rotação de tal unidade de aquisição numa segunda frequência correspondendo a uma taxa de quadro da unidade de exibição montada em cabeça e realiza múltiplos tempos de correção da imagem gerada pela unidade de geração de imagem na primeira frequência usando uma pluralidade das informações atualizadas relativas a pelo menos uma da posição e da rotação recebidas na segunda frequência maior do que a primeira frequência.

2. Método de geração de imagem, compreendendo: uma etapa de aquisição (S12) para adquirir informação relativa a pelo menos uma de uma posição e de uma rotação da cabeça de um usuário que veste uma unidade de exibição montada em cabeça; uma etapa de geração de imagem (S16) para gerar uma imagem a ser exibida na unidade de exibição montada em cabeça usando informação relativa a pelo menos uma dentre uma posição e uma rotação adquirida a um certo ponto de tempo pela etapa de aquisição; e uma etapa de processamento de correção (S22) para receber uma informação atualizada relativa a pelo menos uma dentre uma posição e uma rotação a um diferente ponto de tempo e corrigir a imagem gerada pela etapa de geração de imagem usando a informação atualizada relativa à posição e à rotação, a etapa de geração de imagem gerando a imagem ao executar transformação de coordenadas para transportar um sistema de coordenadas de referência da unidade de exibição montada em cabeça para um sistema de coordenadas de movimento da unidade de exibição montada em cabeça que usa informação relativa a pelo menos uma dentre uma posição e uma rotação adquirida a um certo ponto de tempo, e a unidade de processamento de correção executando, de modo a corrigir a imagem gerada pela etapa de geração de imagem, transformação inversa da transformação de coordenadas usando a informação relativa a pelo menos uma dentre a posição e a rotação adquirida no certo ponto de tempo para retornar o sistema de coordenadas de movimento ao sistema de coordenadas de referência uma vez, e, então, executar a transformação de coordenadas usando informação atualizada relativa a pelo menos uma dentre uma posição e uma rotação num diferente ponto de tempo para transformar o sistema de coordenadas de referência no sistema de coordenadas de movimento novamente, o método caracterizado pelo fato de que a etapa de geração de imagem gera a imagem para ser exibida na unidade de exibição montada em cabeça usando informação relativa a pelo menos uma dentre a posição e a rotação em uma primeira frequência, e a etapa de processamento de correção recebe uma informação atualizada relativa a pelo menos uma dentre uma posição e uma rotação da unidade de aquisição numa segunda frequência correspondendo a uma taxa de quadro da unidade de exibição montada em cabeça e executa múltiplos tempos de correção da imagem gerada pela unidade de geração de imagem na primeira frequência usando uma pluralidade das informações atualizadas relativas a pelo menos uma da posição e da rotação recebidas na segunda frequência maior do que a primeira frequência.

3. Unidade de armazenamento (50), em que instruções são nela armazenadas de modo que, quando executadas por um computador, fazem com que o computador execute: uma etapa de aquisição (S12) para adquirir informação relativa a pelo menos uma de uma posição e de uma rotação da cabeça de um usuário que veste uma unidade de exibição montada em cabeça; uma etapa de geração de imagem (S16) para gerar uma imagem a ser exibida na unidade de exibição montada em cabeça usando informação relativa a pelo menos uma dentre uma posição e uma rotação adquirida a um certo ponto de tempo pela etapa de aquisição; e uma etapa de processamento de correção (S22) para receber uma informação atualizada relativa a pelo menos uma dentre uma posição e uma rotação a um diferente ponto de tempo e corrigir a imagem gerada pela etapa de geração de imagem usando a informação atualizada relativa a pelo menos uma da posição e da rotação, a etapa de geração de imagem gerando a imagem ao executar transformação de coordenadas para transportar um sistema de coordenadas de referência da unidade de exibição montada em cabeça para um sistema de coordenadas de movimento da unidade de exibição montada em cabeça que usa informação relativa a pelo menos uma dentre uma posição e uma rotação adquirida a um certo ponto de tempo, e a unidade de processamento de correção executando, de modo a corrigir a imagem gerada pela etapa de geração de imagem, transformação inversa da transformação de coordenadas usando a informação relativa a pelo menos uma dentre a posição e a rotação adquirida no certo ponto de tempo para retornar o sistema de coordenadas de movimento ao sistema de coordenadas de referência uma vez, e, então, executar a transformação de coordenadas usando informação atualizada relativa a pelo menos uma dentre uma posição e uma rotação num diferente ponto de tempo para transformar o sistema de coordenadas de referência no sistema de coordenadas de movimento novamente, a unidade de armazenamento (50) caracterizada pelo fato de que a etapa de geração de imagem gera a imagem para ser exibida na unidade de exibição montada em cabeça usando informação relativa a pelo menos uma dentre a posição e a rotação em uma primeira frequência, e a etapa de processamento de correção recebe uma informação atualizada relativa a pelo menos uma dentre uma posição e uma rotação da unidade de aquisição numa segunda frequência correspondendo a uma taxa de quadro da unidade de exibição montada em cabeça e executa múltiplos tempos de correção da imagem gerada pela unidade de geração de imagem na primeira frequência usando uma pluralidade das informações atualizadas relativas a pelo menos uma da posição e da rotação recebidas na segunda frequência maior do que a primeira frequência.