Abstract

PROBLEM TO BE SOLVED: To realize virtual reality(VR) simulation with high aesthetic effect and high entertainment performance by moving dynamically a screen set to a virtual space based on sight position data of an experiencing person. SOLUTION: A computer 5 uses 3-dimension position data and direction data in a real space of an experiencing person 1 collected from a 3D sensor 2 to decide a position and a direction of a sight in a virtual space. Then the computer 5 uses the sight position data of the experiencing person 1 collected from a sight detector 3b of a sight input scooter 3 to set a position of a screen in the virtual space and maps a model entered in advance to the screen so as to calculate a video image 6 denoting a scene in a 3-dimension virtual space. The video image 6 is sent to a monitor 3a in the sight input scooter 3 via a scan converter 4 and the experiencing person 1 views the video image 6 just before the eyes to have experience of the virtual world with high aesthetic effect and high entertainment performance.

Description

Translated from Japanese

【発明の詳細な説明】 DETAILED DESCRIPTION OF THE INVENTION

【０００１】 [0001]

【発明の属する技術分野】本発明は、視線検出手段により仮想世界シュミレーションを実現する仮想現実方法及び装置並びにこれら仮想現実方法及び装置に使用する記憶媒体に関する。 The present invention relates to relates to virtual reality methods, apparatus, and storage medium used in these virtual reality methods and apparatus for realizing a virtual world simulations by the visual axis detection means.

【０００２】 [0002]

【従来の技術】従来より、バーチャルリアリティー（仮想現実：電子計算機によって作り出された情報を人間の感覚器官に提示することによって、実在しない世界や遠隔にある空間での行動を可能にして疑似体験を行う技術）による仮想世界のシュミレーションを実現するには、次のような方法がとられる場合があった。 Hitherto, virtual reality (virtual reality: by presenting the information that has been created by the electronic computer to the human sensory organs, the pseudo and enables the behavior in space in the world and remote non-existent experience to achieve simulation of the virtual world by performing art), there is a case where the following method is taken.

【０００３】例えば、仮想現実状態を体験する体験者の頭部に取り付けた３次元位置方向検出装置（例えば、３ For example, three-dimensional position-direction detecting apparatus which is mounted on experience's head to experience the virtual reality state (e.g., 3ＳＰＡＣＥ社のＦＡＳＴＲＡＫは磁気変換技術により実空間での３次元位置とオイラー角を計測する）からのデータを基に、予め入力したモデル（物体の３次元形状データ）の空間的・幾何学的位置を考慮した映像をコンピュータに計算させ、この映像を体験者が被ったＨＭＤ SPACE's FASTRAK are based on data from measuring the three-dimensional position and Euler angles in real space by the magnetic conversion technology), spatial and geometric position of the model (three-dimensional shape data of the object) entered previously It was calculated the video that takes into account on the computer, HMD that the video experience person suffered（ヘッドマウントディスプレイ、例えばｉ−ｇｌａｓｓ (Head-mounted display, for example i-glassｅｓ「Ｖｉｒｔｕａｌ−ｉｏ社」）に表示することで、 By displaying the es "Virtual-io, Inc."),体験者は仮想世界の疑似体験（仮想世界シュミレーション）を行うことができる。 Experience who can perform simulated experience of the virtual world (virtual world simulation).

【０００４】このようなバーチャルリアリティーを実現するシステムにおいて体験者が見る映像は、一般的に、 [0004] The video experience sees in the system to realize such a virtual reality is, in general,次に説明する３次元コンピュータグラフイックス（Ｃ Next will be described the three-dimensional computer graph acme box (CＧ）によって形成される。 G) is formed by.

【０００５】３次元物体を表現した画像を形成する３次元ＣＧにおいては、通常画像を得るためには、大きく分けて「モデリング」と「レンダリング」という２つの作業が必要となる。 [0005] In the three-dimensional CG to form an image representing a three-dimensional object, in order to obtain a normal image is roughly as "modeling" requires two work called "rendering".

【０００６】◇「モデリング」モデリングは、画像の中で表現したい対象物の形、色、表面の性質等のデータをコンピュータの中に作成する作業である。 [0006] ◇ "modeling" Modeling is a task of creating the form of the object to be expressed in the image, color, data such as the nature of the surface to the inside of the computer.例えば、人間の画像を作るのであれば、その表面の形がどうなっているのか、顔のどの部分がどのような色をしているのか、 For example, if you create a human image, what has happened to the form of the surface, or are you what color is which part of the face,光の反射率はどうか、といったデータを作成し、後のレンダリングで使えるような形式でコンピュータ内に格納する。 How light reflectance creates data such as, in a format as used in the rendering later it is stored in the computer.この様なデータの集まりを物体のモデルという。 A collection of such data that the object of the model.

【０００７】例えば、図１７に示すような立方体の形状モデリングを行う場合、まず、図１７のように立方体のある１つの頂点を原点としたモデリング座標系を考える。 [0007] For example, when performing the shape modeling cube as shown in FIG. 17, first, consider the modeling coordinate system one vertex with cubes with the origin as shown in FIG. 17.そして、この座標系における立方体の８個の頂点の座標データ及び面ループデータを、例えば図１８ Then, the coordinate data and the surface loop data of the eight vertices of the cube in the coordinate system, for example, FIG. 18（ａ），（ｂ）に示すように決定する。 (A), determined as shown in (b).この様にして得られた１組の座標データと面ループデータが対象物のモデリングデータ（またはモデルデータ）となる。 A set of coordinate data and surface loop data obtained in this way is the modeling data of the object (or model data).

【０００８】◇「レンダリング」レンダリングは、モデルが出来上がった後で、その物体をある位置から見たときにどの様に見えるかを考え、その見え方に従った画像を作成する作業である。 [0008] ◇ "render" rendering, after the model was finished, thinking how like look when viewed from a certain position the object, is a work to create an image in accordance with the appearance.従って、レンダリングを行うには、モデルの他に、見る位置（視点）や照明に関する条件を考える必要がある。 Therefore, in performing the rendering, in addition to the model, it is necessary to consider the condition relating to the position (viewpoint) and lighting See.レンダリング作業を細分化すると、「投影変換」、「隠面消去」、「シェーディング」 If you subdivide the rendering work, "projection conversion", "hidden surface removal", "shading"及び「リアルさを出すための工夫」の４つの作業となる。 And the four of the work of the "ideas of order to give realism".

【０００９】まず、「投影変換」は、モデルを表わしている種々の座標値に対して、視点の位置から見たときに、画面上のどの位置に見えるかを計算して、画面上の座標に変換することである。 [0009] First, "projection conversion", for various coordinate values ​​representing the model, when viewed from the position of the viewpoint, and calculate how look at any position on the screen, on the screen coordinates it is to convert to.図１９は、投影変換のための４つの座標系を示した図である。 Figure 19 is a diagram showing the four coordinates for projection transformation.まず、モデリング座標系において定義された物体の形状データは、ワールド座標系（物体の形を表わすときにモデル内の座標に用いる座標系）におけるデータに変換される。 First, the object of the shape data defined in the modeling coordinate system is converted into the data in (a coordinate system used to coordinate in the model when representing the shape of the object) world coordinate system.そして、対象となる物体を見ることができるように、選定したカメラをいろいろな方向に向けることで、ビューイング変換（視野変換）を行う。 As can be seen the object of interest, by directing the selected camera in various directions, performing a viewing transformation (viewing transformation).この際、ワールド座標系で表わされた物体のデータが視点座標系のデータに変換されることになる。 At this time, the data of an object represented in the world coordinate system is converted into the data of the viewpoint coordinate system.また、この変換のためにワールド座標系の中にスクリーン（視野窓）を指定し、このスクリーンが物体の最終的な投影面となる。 Furthermore, to specify the screen (field window) in the world coordinate system for this conversion, this screen is the final projection plane of the object.そして、このスクリーンを定義するための座標系がＵＶＮ座標系（スクリーン座標系）と呼ばれる。 The coordinate system for defining the screen is called the UVN coordinate system (screen coordinate system).但し、視点前方の全ての物を描くと、 However, when the draw all viewpoints in front of things,不必要な計算時間をとる場合があるので、作画領域を決めることも必要である（この作画領域はビューイングボリューム「視野空間」と呼ばれ、また、この作業はクリッピングと呼ばれる。また、ビューイングボリュームの境界の中でカメラから最も近い面をリニアクリッピング面、最も遠い面をファークリッピング面という）。 Because it may take an unnecessary computational time, it is also necessary to determine the drawing area (the drawing area is called the viewing volume "view volume", also this operation is called clipping. Also, viewing linear clipping plane the surface nearest the camera in the volume of the boundary, the farthest terms far clipping plane).そして、このスクリーンをいろいろな方向に動かすことで視野変換を行う。 Then, the view transformation by moving the screen in various directions.そして、視野変換が決定した後、空間に存在する物体の３次元形状の各点に対して、視点と投影面の交点を求める操作を行うことで、図２０に示すようにスクリーン上に投影図を得る（但し、この場合は視点と投影面との間の距離が有限である透視投影を示している）。 After the view transformation are determined, for each point of the three-dimensional shape of the object existing in the space, by performing an operation for obtaining the intersection point of viewpoint and the projection plane, the projection view on a screen as shown in FIG. 20 obtaining (however, the distance between this case viewpoint and the projection surface indicates a perspective projection is finite).従って、投影変換が行われると前述の視点座標系で表わされたデータは、ＵＶＮ座標系におけるデータに変換されることになる。 Therefore, the data projection conversion is represented by the aforementioned viewpoint coordinate system to be performed, to be converted into data in the UVN coordinate system.

【００１０】次に、「隠面消去」によって、モデルの中で現在の視点の位置から考えて、どの部分が見えて、どの部分が見えないかを判断する。 [0010] Then, by the "hidden surface removal", in the model considered from the position of the current point of view, which part is visible, to determine which part is not visible.隠面消去の代表的な手法としては、Ｚバッファ法やスキャンライン法といったアルゴリズムが挙げられる。 Exemplary techniques hidden surface removal, include algorithms such Z buffer method, scan line method.そして、隠面消去が済んで、物体のどの部分が見えるかが確定したら、次に照明を考えて各部分がどの様な色で、どの様な明るさに見えるかを判断し、その色を画面、即ち、ピクセルに塗る「シェーディング」の処理を行う。 Then, the wafer after being subjected to the hidden surface removal, if you confirm or which part of the object visible, then in thinking of lighting what kind of color each part, to determine look into what kind of brightness, the color screen, that is, the processing of "shading" to paint the pixel.

【００１１】そして、通常レンダリングの最後に実行されるのが、「リアルさを出すための工夫」である。 [0011] and, what is executed at the end of the normal rendering is "devised for issuing a realistic".これは、「投影変換」、「隠面消去」、「シェーディング」 This is, "projection conversion", "hidden surface removal", "shading"を行って画像を形成しても、得られる絵は実在の物体とはほど遠い面白みのないものとなってしまうためである。 Be formed an image by performing a resulting picture is because becomes one not far from interesting the actual object.その理由としては、このような手法が、物体の表面は理想的な平面或いは数式で表わせる完全に滑らかな曲面であったり、表面の色が面ごとに一定であるといった仮定に基づいているためである。 The reason is that such an approach, the surface of the object or a represented entirely smooth curved surface in an ideal plane or equations, since the color of the surface is based on the assumption such constant for each surface it is.こうした状況を避け、 Avoid this situation,得られる画像をより現実に近いものとするために行われる代表的手法の１つにテクスチャーマッピングがある。 One representative technique is performed to the image obtained with the more close to reality there is texture mapped to.このテクスチャーマッピングは、予め用意した２次元パターンを３次元空間内の物体モデルの表面に貼り付ける（数学的にいえば、写像する）手法で、単調な表面で構成された物体を複雑な表面を持つ物体に疑似的に見せかけることを目的としている。 The texture mapping, previously a two-dimensional pattern that is prepared paste on the surface of an object model in the 3-dimensional space (Mathematically speaking, mapping to) technique, the complex surface of the object composed of a monotonous surface It is intended to artificially endorsed by the object having.これにより、例えば単純な直方体のモデルを金属や石材のように見せることが可能となる。 Thus, it is possible to show for instance a simple rectangular model such as metal or stone.

【００１２】上述した「投影変換」、「隠面消去」、 [0012] "projection conversion" described above, "hidden surface removal",「シェーディング」及び「リアルさを出すための工夫」 "Shading" and "devised for issuing a realistic"が終了し、ＵＶＮ座標系によって示された図形は、最終的なデバイス座標系に変換されて表示装置に表示されると、１回のレンダリング処理が完了する。 There ended, the figure indicated by UVN coordinate system, the final displayed on the display device is converted to device coordinate system, the rendering processing once completed.図２１に、図２０のスクリーンに投影された物体がデバイス座標系に変換されて表示装置に表示された画像を示す（但し、物体の背景は塗りつぶされている）。 21, a screen projected object of FIG. 20 shows an image displayed on the display device is converted to device coordinates (where object background are filled).ここで、デバイス座標系とは、画像の中でピクセルやドットの位置を表わすときに用いる座標系のことで、表示画像における座標系と同一であるものとする（図２１におけるａとｂは、表示画像の横と縦の画素数を示す）。 Here, the device coordinate system by the coordinate system used to represent the position of the pixel and the dot in the image, a and b in (FIG. 21, those identical to the coordinate system of the display image, indicates the number of pixels in horizontal and vertical display image).

【００１３】◇「ＣＧアニメーションの作成方法」上述したような方法により得られる絵（ＣＧ画像）に動きを付けてコンピュータグラフィックス（ＣＧ）アニメーションを作成する場合、大別して２つの方法がある。 [0013] ◇ When creating a "CG animation creating method" paintings obtained by the method described above (CG image) to the computer graphics with a motion (CG) animation, there are two ways roughly.

【００１４】まず、第１の手法としては、３次元空間に置き、照明条件、視点条件（視点の位置・方向・画角） [0014] First, as the first method, placed in 3-dimensional space, illumination conditions, (position and direction, the angle of view of the viewpoint) viewpoint conditions及び物体のモデルの形状や色等を少しずつ変化させ、その都度レンダリングを行うことで、一連のアニメーション用の画像群を得た後（または、１つの画像をレンダリングするごとに）、それらをビデオレコーダ等の録画装置を用いて１コマ１コマ録画（コマ録画）し、全ての録画が終わった後で再生装置で再生する方法である。 And changing the object model shapes and colors, etc. gradually, by performing each time rendering, after obtaining the images for animation sequence (or, each time to render one image), which video recording apparatus 1 frame one frame recording with the recorder or the like (frame recording), a method of reproducing by the reproducing apparatus after the end of the all recorded.この方法においては、画像のレンダリングの際にかかる時間は許容される範囲で長くしてよいので（１つの画像のレンダリングに要する時間と作成するアニメーションの全体の時間に依存する）、画面上に複雑な形状の物体を多数配置したり、レイトレーシング（光線追跡法）に代表されるような長い計算時間を必要とするレンダリング手法を用いて高品質な画像を作成することも可能である。 In this method, the time required during the image rendering (depending on the total time of the animation to create the time taken to render one image) acceptable so may be long range, complex on the screen or to place a number of objects of a shape, it is possible to create a high-quality image using the rendering method that requires a long computation time, as represented by ray tracing (ray tracing).例えば、現在のテレビコマーシャルやＳＦ映画等で用いられているＣＧ映像は、ほとんどこの方法によって作成されたものである。 For example, CG images which are used in current television commercials or SF movies, etc., it was created mostly by this method.

【００１５】次に、第２の手法としては、前述の照明条件、視点条件及び物体モデルの形状や色を変更しながらのレンダリング及びそのレンダリング処理によって得られた画像の表示という２つの処理を高速に繰り返すことで、ＣＧアニメーションを実行する手法である。 Next, as the second method, high-speed lighting conditions described above, the two processes of display of the image obtained by the rendering and rendering process while changing the shape and color of the view point conditions and the object model by repeating the, it is a technique to perform a CG animation.この手法は、一般的にリアルタイムＣＧレンダリングと呼ばれるもので、ユーザからの指示を直接レンダリングに反映させることで、ＣＧアニメーションの動きをリアルタイムにコントロールするインタラクティブ（対話的）処理が可能なことが最大の特徴である。 This approach, in what is commonly referred to as a real-time CG rendering, by reflecting the rendering instruction from the user directly controls the motion of the CG animation in real-time interactive (interactive) processing it is possible for up to which is a feature.その反面、実現に関しては実行するコンピュータのパフォーマンスにかなり依存し、画面上に表示できる物体のデータ量に制限があったり、レンダリング手法として単純で高速なものに限定されてしまうといった制約があるため、前者と比較して形成される画像は一般的に低品質なものとなる。 On the other hand, highly dependent on the performance of the computer to be executed with respect to realization, or there is a limit to the amount of data of an object that can be displayed on a screen, because there is a restriction such simple is limited to high-speed ones as rendering technique, images formed compared with the former generally becomes low quality.なお、この手法は、各種バーチャルリアリテイーシステムをはじめ、科学技術シミュレーション、航空機操縦練習用のフライトシミュレータやゲームセンター用のレーシングゲーム・ファイティングゲーム等に用いられているものである。 It should be noted that this approach, including the various Virtual Reality tee system, science and technology simulation, are those that have been used in the racing game, Fighting games, etc. for the flight simulator and game center for aircraft piloting practice.

【００１６】次に、視線検出装置について説明する。 [0016] Next, a description will be given of line-of-sight detection apparatus.

【００１７】先に本出願人は、パソコン（パーソナルコンピュータ）／テレビのディスプレイ画面、ビデオカメラ／スチルカメラのファインダー画面等を使用者が観察する際、画面のどこを見ているかを検出する、いわゆる視線入力装置を提案している。 [0017] The present applicant to the destination, the PC (personal computer) / TV display screen, when the user of the finder screen or the like of the video camera / still camera to observe, to detect whether the look anywhere on the screen, so-called It has proposed a line-of-sight input device.その原理を以下に説明する。 To explain the principle below.

【００１８】図２２は、視線検出方法の原理を示す平面図、図２３は、視線検出方法の原理を示す側面図である。 [0018] Figure 22 is a plan view showing the principle of visual axis detecting method, FIG. 23 is a side view illustrating the principle of visual axis detection methods.両図において、９０６ａ，９０６ｂは観察者に対して不感の赤外光を放射する発光ダイオード（ＩＲＥＤ） In both figures, 906a, 906b are light emitting diodes emitting insensitive infrared light to an observer (IRED)等の光源で、各光源９０６ａ，９０６ｂは、結像レンズ９１１の光軸に対してｘ方向（水平方向）に略対称に、 In light of the equal, the light sources 906a, 906b are substantially symmetrically in the x direction (horizontal direction) with respect to the optical axis of the imaging lens 911,また、ｙ方向（垂直方向）にはやや下側に（図２３参照）配置され、観察者の眼球９０８を発散照明している。 Further, in the y direction (vertical direction) is slightly lower (see FIG. 23) arranged, it diverges illuminate the observer's eye 908.観察者の眼球９０８で反射した照明光の一部は、結像レンズ９１１によってイメージセンサー９１２に結像する。 Part of the illumination light reflected by the observer's eye 908 is imaged on the image sensor 912 by the imaging lens 911.

【００２０】以下、図２２〜図２５を用いて視線の検出方法について説明する。 The following describes a method for detecting the line of sight with reference to FIGS. 22 to 25.

【００２１】まず、水平面で考えると、図２２において一方の光源９０６ｂより放射されたは、観察者の眼球９ [0021] Considering first the horizontal plane, the emitted from one light source 906b in FIG. 22, the observer's eye 9０８の角膜９１０（図２２及び図２３参照）を照明する。 Illuminating the 08 of the cornea 910 (see FIGS. 22 and 23).このとき角膜９１０の表面で反射した赤外光により形成される角膜反射像（虚像）ｄ（図２２及び図２４参照）は、結像レンズ９１１によって集光され、イメージセンサー９１２上の位置ｄ′（図２２参照）に結像する。 In this case the corneal reflection image formed by the infrared light reflected by the surface of the cornea 910 (virtual image) d (see FIGS. 22 and 24) is condensed by the imaging lens 911, the position d on the image sensor 912 ' imaging (see FIG. 22).同様に、他方の光源９０６ａより放射されたは、観察者の眼球９０８の角膜９１０（図２２及び図２３参照）を照明する。 Similarly, the emitted from the other light source 906a, illuminates the cornea 910 of the observer's eye 908 (see FIGS. 22 and 23).このとき角膜９１０の表面で反射した赤外光により形成される角膜反射像（虚像）ｅ（図２２ Corneal reflection image formed by the infrared light reflected by the surface of this case cornea 910 (virtual image) e (FIG. 22及び図２４参照）は、結像レンズ９１１によって集光され、イメージセンサー９１２上の位置ｅ′（図２２参照）に結像する。 And see FIG. 24) is condensed by the imaging lens 911 forms an image position e '(see FIG. 22) on the image sensor 912.また、虹彩９０４の端部ａ，ｂ（図２ The end portion a of the iris 904, b (FIG. 2２〜図２４参照）からの光束は、結像レンズ９１１を介してイメージセンサー９１２上の位置ａ′，ｂ′（図２ Light fluxes from 2 to see Figure 24), the position a on the image sensor 912 through the imaging lens 911 ', b' (FIG. 2２及び図２４参照）に該端部ａ，ｂの像を結像する。 2 and the end portion a in FIG see 24), it forms an image of b.結像レンズ９１１の光軸に対する眼球９０８の光軸の回転角θが小さい場合、虹彩９０４の端部ａ，ｂのｘ座標をｘａ，ｘｂとすると、ｘａ，ｘｂはイメージセンサー９ When the rotation angle of the optical axis of the eyeball 908 to the optical axis of the imaging lens 911 theta is small, the end portion a of the iris 904, the x-coordinate of b xa, When xb, xa, xb is the image sensor 9１２上で多数点求めることができる（図２４中、× It can be found many points on 12 (in FIG. 24, ×印）。 mark).そこで、まず、円の最小自乗法にて瞳孔中心ｘｃ Therefore, first, the center of the pupil xc by the method of least squares of the circleを算出する。 It is calculated.一方、角膜９１０の曲率中心ｏのｘ座標をｘｏとすると、眼球９０８の光軸に対する回転角θｘ On the other hand, when the x-coordinate center o of curvature of the cornea 910 and xo, the rotation angle relative to the optical axis of the eyeball 908 [theta] xは、 ｏｃ×ｓｉｎθｘ＝ｘｃ−ｘｏ … （１） となる。 Is a oc × sinθx = xc-xo ... (1).

【００２６】垂直面で考えると、図２３に示すような構成となる。 [0026] Considering the vertical plane, a configuration as shown in FIG. 23.ここで、２個の光源９０６ａ，９０６ｂにより生じる角膜反射像ｄ，ｅは同位置に発生し、これをｉ Here, two light sources 906a, cornea reflection image produced by 906b d, e is generated in the same position, it iとする。 To.眼球９０８の垂直方向の回転角θｙの算出方法は上述した水平面の場合とほぼ同一であるが、（２）式のみ異なり、角膜曲率中心ｏのｙ座標をｙｏとすると 、 ｙｏ＝ｙｉ＋δｙ … （５） となる。 Although method of calculating the rotation angle θy in the vertical direction of the eyeball 908 is substantially the same as the case of the horizontal plane described above, (2) differ only type, when the yo and y coordinates of the corneal curvature center o, yo = yi + δy ... (5 ) and a.ここで、δｙは装置の設置方法／眼球距離等から幾何学的に求められる数値であり、その算出方法は省略する。 Here, .delta.y is a numerical value geometrically obtained from Installation / eye distance of the apparatus, the calculation method is omitted.

【００３０】次に、視線検出機能を持つパソコン（パーソナルコンピュータ）システムの一例を説明する。 [0030] Next, a description will be given of an example of a PC (personal computer) system with a line-of-sight detection function.

【００３１】図２６は、視線検出機能を持つパソコンシステムの一例を示す概略構成図である。 FIG. 26 is a schematic block diagram showing an example of a personal computer system having a visual axis detecting function.同図に示すパソコンシステムは、パソコンの本体部であるパソコンユニット１００８、操作者がパソコンの画面を観察するためのヘッドマウントディスプレイ１００６、操作者または操作者以外の人がパソコンの画面を観察するための外部モニター１００９により構成されている。 Computer system shown in FIG. Computer unit 1008 is a main body of the personal computer, a head mount display 1006 for the operator to observe the screen of the PC, since the person other than the operator or the operator to observe the screen of the personal computer It is constituted by an external monitor 1009.ここで、ヘッドマウントディスプレイ１００６は、ゴーグル、メガネフレーム等の部材により操作者の目に近い位置に固定されている。 The head mounted display 1006, goggles, and is fixed at a position close to the operator's eyes by members such as eyeglass frames.

【００３２】ヘッドマウントディスプレイ１００６は、 The head-mounted display 1006,ＬＣＤ（液晶表示器）等を有する表示素子１００２と、 A display device 1002 having the LCD (liquid crystal display) or the like,拡大観察系を実現するための特殊プリズム１００３、撮影者の目１００５の視線を検出する視線検出回路１０６ Special prism 1003 for realizing the magnification observation system, visual axis detection circuit 106 for detecting the line of sight of the photographer's eye 1005４と、パソコン画面を表示素子１００２に表示する表示回路１００７と、撮影者の目１００５に赤外光を照射する赤外発光ダイオード１０６０，１０６１と、赤外光を結像する結像レンズ１０６２ａ，１０６２ｂと、これら結像レンズ１０６２ａ，１０６２ｂにより結像された赤外光を電気信号に変換する光電変換素子（イメージセンサー）１０６３と、この光電変換素子１０６３上の撮影者の目１００５の像を基に撮影者の表示素子１００２上の注視点を求める注視点検出回路１０６４とを具備している。 4, a display circuit 1007 for displaying a computer screen on the display device 1002, an infrared light emitting diode 1060 and 1061 which irradiates infrared light to the photographer's eye 1005, an imaging lens 1062a for imaging the infrared light, groups and 1062b, these imaging lenses 1062a, a photoelectric conversion element (image sensor) 1063 for converting the imaged infrared light into an electric signal by 1062b, the image of the photographer's eye 1005 on the photoelectric conversion element 1063 It has and a gaze point detection circuit 1064 for obtaining the gazing point on the display device 1002 of the photographer.

【００３３】次に、ヘッドマウントディスプレイ１００ [0033] Next, a head-mounted display 100６における観察系の光学作用について説明する。 The optical action of the observation system in 6 will be described.表示素子１００２からの光は、第３の光学作用面ｃで屈折透過し、第１の光学作用面ａで全反射し、第２の光学作用面ｂの反射層で反射し、再び第１の光学作用面ａで屈折透過し、観察者の視度に適合した拡がり角（収束角、平行）の光束となり、観察者の目１００５側に射出する。 Light from the display device 1002 is refracted transmitted by the third optical surfaces c, is totally reflected by the first optical surface a, reflected by the reflecting layer of the second optical surface b, first again refracted transmitted by optical surfaces a, spread angle (convergence angle, parallel) adapted to diopter of the observer becomes light beam, emitted to the eyes 1005 side of the observer.ここで、観察者の目１００５と表示素子１００２の中心を結ぶ線を基本光軸として示している。 Here, it indicates a line connecting the centers of the viewer's eye 1005 display device 1002 as a basic optical axis.観察者の視度に対する調整は、表示素子１００２をプリズム１００３の光軸に沿って平行移動することにより可能となる。 Adjustment to the observer's diopter is made possible by translating along the display device 1002 to the optical axis of the prism 1003.ここで、プリズム１００３は、像性能と歪みを補正し、テレセントリックな系とするために、３つの光学作用面をそれぞれ回転対称軸を有しない３次元曲面で構成するのが望ましく、ここでは、基本光軸を含み、紙面に平行な平面にのみ対称な曲面構造をなしている。 Here, the prism 1003 corrects the image performance and distortion, to a telecentric systems, it is desirable to configure three optical working surface in 3-dimensional curved surface having no respective rotational symmetry axis, wherein the basic It includes the optical axis, and has a symmetrical curved structure only a plane parallel to the paper surface.

【００３４】更に、ヘッドマウントディスプレイ１００ [0034] In addition, a head-mounted display 100６における視線検出系の光学作用について説明する。 The optical action of the line-of-sight detection system in 6 will be described.裸眼用赤外発光ダイオード１０６０（奥行き方向に２ Naked infrared emitting diode 1060 (2 in the depth direction個）、眼鏡用赤外発光ダイオード１０６１（奥行き方向に２個）から発した光は、第２の光学作用面ｂに設けられた開口部１０１２，１０１３，１０１４，１０１５を通して、視線検出系の光軸とは異なる方向から観察者の目１００５を照明する。 Pieces), light emitted from the spectacle IRED 1061 (two in the depth direction), through the openings 1012,1013,1014,1015 provided in the second optical surface b, visual line detection system of the optical illuminating the viewer's eye 1005 from a direction different from the axis.その照明光は、観察者の角膜９ The illumination light is the observer of the cornea 9１０、瞳孔で反射散乱され、角膜９１０で反射した光は角膜反射像ｄ，ｅを形成し、瞳孔で散乱した光は瞳孔像を形成する。 10, is reflected and scattered by the pupil, the light reflected by the cornea 910 to form a corneal reflection images d, e, light scattered by the pupil forms a pupil image.これらの光は、第２の光学作用面ｂに設けられた開口部１０１０を通して、結像レンズ１０６２ These lights through the second optical surface b opening 1010 provided in the imaging lens 1062ａ，１０６２ｂによりイメージセンサー１０６３上に結像される。 a, it is focused on the image sensor 1063 by the 1062b.イメージセンサー１０６３から得られる観察者の目１００５の画像は、前述した視線検出原理によって構成された注視点検出回路１０６４によって注視点データを出力することができる。 Image of the viewer's eye 1005 obtained from the image sensor 1063 may output a gaze point data by gaze point detection circuit 1064 constituted by the visual axis detection principle described above.

【００３５】ここで、結像レンズ系は２枚の結像レンズ１０６２ａ，１０６２ｂにより構成されている。 [0035] Here, the imaging lens system 2 imaging lenses 1062a, is constituted by 1062b.特に、 Especially,結像レンズ１０６２ｂは楔形状をしたレンズで、これにより結像レンズ系を少ないレンズで構成することができ、小型化に適している。 Imaging lens 1062b is a lens in which the wedge-shaped, can thereby include fewer lenses the imaging lens system, it is suitable for miniaturization.この結像レンズ１０６２ｂの斜めの面に曲率をつけることで、第２の光学作用面ｂで発生する偏心収差を有効に補正することができる。 This angled face of the imaging lens 1062b By attaching a curvature, it is possible to effectively correct the decentering aberration generated by the second optical surface b.更に、前記結像レンズ系には少なくとも非球面を１面設けると、軸外の結像性能を補正する上で有効である。 Moreover, it said the imaging lens system when at least one aspheric surface is provided, is effective in correcting the imaging performance of the off-axis.前記結像レンズ系の絞りは、第２の光学作用面ｂに設けた開口部に近い方が、開口部１０１０を小さくすることができ、観察系に対する中抜けを防ぐのに有効であり、できれば開口部と絞りが一致しているのが望ましい。 Aperture of the imaging lens system is closer to the opening provided in the second optical surface b is, it is possible to reduce the opening 1010 is effective in preventing poor transfer with respect to the observation system, if possible the diaphragm and the opening match is desirable.開口部は、２ｍｍより小さく設定した方が、観察者の目１００ Opening is better to set smaller than 2 mm, the viewer's eyes 100５の瞳孔より小さくなり、更に観察系に対する中抜けを防ぐのに有効である。 From 5 of the pupil becomes smaller, it is effective in preventing dropout medium further respect to the observation system.観察者の目１００５を照明する光は、視感度の低い光が良いので赤外光を使用している。 Light to illuminate the viewer's eye 1005, because the low light of the visibility is good are using the infrared light.このとき、前記結像レンズ系に可視光をカットする部材のレンズを少なくとも１個設けると、視線の検出精度を向上することができる。 At this time, the lens member for cutting visible light to the imaging lens system when at least one is provided, it is possible to improve the detection accuracy of the visual line.

【００３６】図２７は、プリズム１００３を側面から見た図である。 FIG. 27 is a view of the prism 1003 from the side.ここで、第２の光学作用面ｂは、反射用のミラーコーティングが施されているが、結像レンズ１０ Here, the second optical surface b is mirror coating for reflection is applied, the imaging lens 10６２ａ，１０６２ｂ及び赤外発光ダイオード１０６０， 62a, 1062b and infrared light emitting diodes 1060,１０６１用の開口部、即ち、ミラーコーティング未処理部（１０１０は結像用、１０１２，１０１３は裸眼用赤外発光ダイオード用、１０１４，１０１５は眼鏡用赤外発光ダイオード用）が設けられている。 Opening for 1061, i.e., mirror coating untreated section (1010 for imaging, 1012 and 1013 for the naked eye for the infrared light emitting diodes, 1014 and 1015 for infrared light emitting diode glasses) is provided.なお、前述したように、これら開口部１０１０，１０１２〜１０１５はファインダー観察系に影響のない程度に小さなものであり、２ｍｍ以下ぐらいが望ましい。 As described above, the openings 1010,1012～1015 is a small one to an extent not affecting the finder observation system, about desirably 2mm or less.

【００３７】このようにミラーコーティング部に開口部１０１０，１０１２〜１０１５を設け、照明光源である赤外発光ダイオード１０６０，１０６１をプリズム１０ [0037] Thus the opening 1010,1012～1015 provided mirror coating unit, the infrared light emitting diodes 1060 and 1061 is an illumination light source prism 10０３を挟んで観察者の目１００５と反対側に配置したため、プリズム１００３の屈折力を強くし高視野化した場合でも、観察者の目１００５の高さに近い位置から適切に照明することができる。 Across the 03 and viewer's eye 1005 for disposed on the opposite side, even if the strong refractive power of the prism 1003 high visual field, can be appropriately illuminated from a position close to the height of the viewer's eye 1005 .

【００３８】ここで、赤外発光ダイオード１０６０，１ [0038] In this case, the infrared light emitting diode 1060,1０６１は、異なる配置で裸眼用と眼鏡用とを使い分けている。 061 is selectively used and for naked eyes and for glasses different arrangement.２個の裸眼用赤外発光ダイオード１０６０は、光軸からやや離れた下部から同一高さで、光軸対称に狭い幅で左右１個ずつ、眼鏡用赤外発光ダイオード１０６１ The two naked eye infrared light emitting diodes 1060, at the same height from the bottom that slightly away from the optical axis, one by one lateral width narrower to the optical axis of symmetry, infrared light emitting diodes glasses 1061は、光軸からかなり離れた下部から同一高さで、光軸対称に広い幅で左右１個ずつ配置されている。 Is the same height from the bottom a considerable distance from the optical axis, are arranged in a wide range in the optical axis symmetrically one each side.その理由は３つであり、１つ目の理由は、眼球距離によってより良い照明条件を得るためで、できるだけ目の検出エリアを均等に照明するような位置になっている。 The reason is three, first reason is because to obtain a better illumination condition by eye distance, and is positioned so as to uniformly illuminate the detection area as possible eyes.２つ目の理由は、角膜反射像ｄ，ｅが瞼でケラレないような高さにする必要があるため、裸眼用赤外発光ダイオード１０６０ The second reason is that the corneal reflection image d, e need to a height such as not eclipsed by the eyelids, the naked eye for the infrared light emitting diodes 1060は、眼鏡用赤外発光ダイオード１０６１に比べて高い位置にある。 Is at a higher position than the ophthalmic IRED 1061.３つ目の理由は、赤外光が眼鏡に反射してできるゴーストが、検出に影響の少ない周辺部に現れるようにするため、眼鏡用赤外発光ダイオード１０６１は、 The third reason is that ghosts infrared light can be reflected to the glasses, in order to appear in a small perimeter influence on detection, spectacle infrared light emitting diodes 1061,裸眼用赤外発光ダイオード１０６０より左右方向及び下方向に離れた位置にある。 It is located away in the left-right direction and the downward direction from the naked eye infrared emitting diode 1060.なお、眼球と眼鏡の判別は、 Incidentally, determination of the eye and spectacles,角膜反射像ｄ，ｅの間隔｜ｘｄ′−ｘｅ′｜から、眼球とプリズム１００３との間の距離算出することにより行う。 xd'-xe '| | cornea reflection images d, spacing e from, carried out by calculation of the distance between the eye and the prism 1003.

【００３９】視線検出回路１０６４は、イメージセンサー１０６３上の撮影者の目１００５の像を基に、前述した原理に従い撮影者の表示素子１００２の画面上の注視点を求めるものである。 The visual axis detection circuit 1064, based on the image of the photographer's eye 1005 on the image sensor 1063, and requests fixation point on the screen of the display device 1002 of the photographer according to the principles described above.

【００４０】次に、パソコンユニットについて説明する。 Next, a description will be given of the personal computer unit.

【００４１】図２６において、１００８はパソコンユニットである。 [0041] In FIG. 26, 1008 is a personal computer unit.ここで、１８１４はＣＰＵ（中央演算処理装置）で、プログラムやデータの演算を行う。 Here, 1814 is a CPU (central processing unit) performs an operation program and data.１８１３ 1813は各デバイスを結ぶシステムバス、１８１８はＲＯＭ System bus connecting the devices, 1818 ROM（リードオンリーメモリ）１８１６やＲＡＭ（ランタムアクセスメモリ）１８１７の制御を行うメモリコントローラ、１８１２はビデオＲＡＭ１８１１に書き込まれた内容がディスプレイに表示されるように制御するビデオグラフィックコントローラである。 (Read Only Memory) 1816 and RAM memory controller for controlling (run Tam access memory) 1817, 1812 is a video graphics controller for controlling so that the contents written in the video RAM1811 is displayed on the display.１８１５はポインテイングデバイス或いはキーボードを制御するアクセサリーデバイスコントローラであり、本例においては、ヘッドマウントディスプレイ１００６の視線検出回路１０６ 1815 is accessory device controller for controlling a pointing device or keyboard, in this embodiment, the sight line detecting circuit 106 of the head mounted display 1006４に接続される。 It is connected to the 4.１８１９は周辺装置制御用のＩ／Ｏチャネルであり、本例においては、ヘッドマウントディスプレイ１００６の表示回路１００７に接続される。 1819 is the I / O channel for a peripheral device control, in this example, is connected to the display circuit 1007 of the head mounted display 1006.

【００４２】以上のような構成において、ヘッドマウントディスプレイ１００６の視線検出回路１０６４により検出された操作者の視線位置情報をパコンユニット１０ [0042] In the above configuration, the head mounted display 1006 the visual axis detection circuit 1064 Pas con unit 10 line-of-sight position information of the detected operator by the０８のポインティングデバイスとして適用することができ、画面のスクロールやメニュー選択に応用することができる。 Can be applied as 08 of the pointing device, it can be applied to scrolling and menu selection screen.また、同時に外部モニター１００９にパソコン画面を表示することができるため、操作者以外の人がパソコン画面を見ることができる。 In addition, since it is possible to display a computer screen at the same time to an external monitor 1009, it is possible that a person other than the operator to see the computer screen.また、片目用のヘッドマウントディスプレイを用いれば、操作者自身も外部モニター１００９を見ることができる。 In addition, the use of the head-mounted display for one eye, it is possible for the operator himself see the external monitor 1009.

【００４３】 [0043]

【発明が解決しようとする課題】しかしながら、上述した従来例にあっては、仮想空間に設定するスクリーン（投影面）は視点に対して固定の矩形平面であり、対象となる物体のモデルデータからこのスクリーンへの１点透視による写像を考えることによって画像の計算を行っているため、形成画像に含まれる物体の見え方（空間的・幾何学的）は現実世界を模倣したものになった。 [SUMMARY OF THE INVENTION However, in the conventional example described above, the screen (projection surface) to be set in virtual space is a rectangular plane fixed relative to the viewpoint, the model data of an object of interest because doing the calculation of an image by considering the mapping by 1-point perspective to this screen, the appearance of an object included in the formed image (spatial and geometric) became mimics the real world.

【００４４】図８（ａ）は従来例における仮想空間での視点、スクリーン、物体（３個の物体が横一列に並んでいる）の関係を示したものであるが（説明の簡素化のため、図では視点を真上から眺めたように示している）、 [0044] FIG. 8 (a) viewpoint in the virtual space in a conventional example, a screen, for simplification of but shows the relationship between an object (three objects are arranged in a row) (Description , the figure shows as viewed perspectives from above),この場合にレンダリングされる画像は図８（ｂ）に示すようになった。 Image rendered in this case becomes as shown in Figure 8 (b).このため、体験者が観察する映像は、時にはアート的表現が欠けたり、エンターテイメント性が乏しくなってしまう場合があった。 For this reason, the video experience by the observer, sometimes or lack of artistic expression, there have been cases where entertainment becomes poor.

【００４５】また、体験者が注目している物体を強調するような場合には、マウス等のポインティングデバイスで指定された物体の色を変えたり、大きさを変えたりする方法がとられることがあるが、この場合、体験者は意識的にマウスを動かす必要があるため、体験者の意思を即座に反映しているとはいえなかった。 Further, if the viewer is such as to emphasize the object of interest is, changing the color of an object specified by a pointing device such as a mouse, that method of changing the size is taken there, but in this case, experience person is because there is a need to consciously move the mouse, not be said to be immediately reflected in the intention of the experience person.

【００４６】本発明は上述した従来の技術の有するこのような問題点に鑑みてなされたものであり、その第１の目的とするところは、アート的表現やエンターテイメント性が高い仮想世界の疑似体験が可能な仮想現実方法及び装置を提供しようとするものである。 [0046] The present invention has been made in view of such problems of the prior art described above, the first place of interest, artistic expression and entertainment is simulated experience high virtual world it is intended to provide a virtual reality method and apparatus capable.

【００４７】また、本発明の第２の目的とするところは、上述したような仮想現実装置を円滑に制御することができる記憶媒体を提供しようとするものである。 Further, when a second object of the present invention is intended to provide a storage medium which can smoothly control the virtual reality apparatus as described above.

【００４８】 [0048]

【課題を解決するための手段】上記第１の目的を達成するために請求項１記載の仮想現実方法は、物体の３次元形状データを構築するモデリング工程と、仮想現実状態を体験する体験者の視線位置を検出する視線位置検出工程と、３次元仮想空間に視点を設定する視点設定工程と、前記視線位置検出工程により検出された視線位置データに基づいて仮想空間にスクリーンを設定するスクリーン設定工程と、前記視点設定工程により設定した視点から前記物体のモデルデータを空間的・幾何学的配置を考慮して見たときの情景を前記スクリーン上に写像するスクリーン写像工程と、前記スクリーン写像工程により写像された前記スクリーン上の情景をデバイス座標系に写像する画像生成工程と、前記画像生成工程により生成した画像を映像信号 Means for Solving the Problems] virtual reality method of claim 1, wherein in order to achieve the first object, the modeling step of constructing a three-dimensional shape data of the object, viewer to experience the virtual reality state gaze position detecting step of detecting the viewpoint position, the screen setting for setting a screen in the virtual space based on the three-dimensional and viewpoint setting step for setting a viewpoint in the virtual space, line-of-sight position data detected by the sight line position detecting step a step, a screen mapping process for mapping the scene when the viewpoint from the viewpoint set by the setting step and the model data of the object taking into account the spatial and geometrical arrangement on the screen, the screen mapping process an image generation step of mapping the scene on the screen that is mapped to device coordinate system, the video signal image generated by said image generation step変換する映像変換工程と、前記映像変換工程により変換後の映像を表示する映像表示工程とを有することを特徴とする。 And having a picture conversion step of converting, a video display step of displaying an image converted by the image conversion step.

【００４９】また、上記第１の目的を達成するために請求項２記載の仮想現実方法は、請求項１記載の仮想現実方法において、前記映像表示工程は、前記体験者の目の直前に置かれ且つ前記体験者の頭部に対して固定の状態で設定された表示器に映像を表示することを特徴とする。 [0049] In addition, the virtual reality method of claim 2, wherein in order to achieve the first object in the virtual reality method of claim 1, wherein said image display step, location immediately before the eyes of the viewer and displaying an image to him and display set in a fixed state with respect to the viewer's head.

【００５０】また、上記第１の目的を達成するために請求項３記載の仮想現実方法は、請求項１記載の仮想現実方法において、前記スリーンが任意の形状であり、また、体験者の指示によりこのスクリーンの形状を切り換えられることを特徴とする。 [0050] The virtual reality method of claim 3, wherein in order to achieve the first object, in the virtual reality method of claim 1, wherein Surin is of any shape, also experience's instructions by wherein the switched the shape of the screen.

【００５１】また、上記第１の目的を達成するために請求項４記載の仮想現実装置は、物体の３次元形状データを構築するモデリング手段と、仮想現実状態を体験する体験者の頭部の視線位置を検出する視線位置検出手段と、３次元仮想空間に視点を設定する視点設定手段と、 [0051] Also, the first virtual reality device according to claim 4, wherein in order to achieve the object of the modeling means for constructing a three-dimensional shape data of the object, the viewer's head to experience the virtual reality state gaze position detecting means for detecting a viewpoint position, the viewpoint setting unit which sets a viewpoint in the three-dimensional virtual space,前記視線検出手段により検出された視線位置データに基づいて仮想空間にスクリーンを設定するスクリーン設定手段と、前記視点設定手段により設定された視点から前記物体のモデルデータを空間的・幾何学的配置を考慮して見たときの情景を前記スクリーン上に写像するスクリーン写像手段と、前記スクリーン写像手段により写像された前記スクリーン上の情景をデバイス座標系に写像する画像生成手段と、画像を映像信号に変換する映像変換手段と、前記映像変換手段により変換後の映像を表示する映像表示手段とを有することを特徴とする。 A screen setting means for setting a screen in the virtual space on the basis of the viewpoint position data detected by said visual axis detecting means, the spatial-geometry model data of the object from the viewpoint set by the viewpoint setting unit a screen mapping unit for mapping the scene when viewed in consideration on the screen, image generating means for mapping the scene on the screen which is mapped by the screen mapping unit to the device coordinate system, the image into a video signal and having a video converting means for converting, a video display means for displaying the image converted by said video converting means.

【００５２】また、上記第１の目的を達成するために請求項５記載の仮想現実装置は、請求項４記載の仮想現実装置において、前記映像表示手段は、前記体験者の目の直前に置かれ且つ前記体験者の頭部に対して固定の状態で設定されることを特徴とする。 [0052] Also, the first virtual reality device according to claim 5, wherein in order to achieve the purpose of, in the virtual reality system of claim 4, wherein said image display means, location immediately before the eyes of the viewer characterized in that it is set him and at a fixed state with respect to the viewer's head.

【００５３】また、上記第１の目的を達成するために請求項６記載の仮想現実装置は、請求項４記載の仮想現実装置において、前記スリーンが任意の形状であり、また、体験者の指示によりこのスクリーンの形状を切り換えるスクリーン形状切換手段を有することを特徴とする。 [0053] Also, the first virtual reality device according to claim 6, wherein in order to achieve the purpose of, in the virtual reality system of claim 4, wherein said Surin is of any shape, also experience's instructions by and having a screen pattern switching means for switching the shape of the screen.

【００５４】また、上記第１の目的を達成するために請求項７記載の仮想現実方法は、物体の３次元形状データを構築するモデリング工程と、仮想現実状態を体験する体験者の視線位置を検出する視線位置検出工程と、３次元仮想空間に視点を設定する視点設定工程と、前記視線位置検出工程により検出された視線位置データに基づいて仮想空間にスクリーンを設定するスクリーン設定工程と、前記視線位置検出工程により検出された視線位置データに基づいて前記モデルデータを変更するモデルデータ変更工程と、前記視点設定工程により設定した視点から前記物体のモデルデータを空間的・幾何学的配置を考慮して見たときの情景を前記スクリーン上に写像するスクリーン写像工程と、前記スクリーン写像工程により写像された前記スク [0054] The virtual reality method of claim 7, wherein in order to achieve the first object, the modeling step of constructing a three-dimensional shape data of the object, the line-of-sight position of the viewer to experience the virtual reality state gaze position detecting step of detecting, a viewpoint setting step of setting a view point in the three-dimensional virtual space, and a screen setting step of setting the screen in the virtual space on the basis of the viewpoint position data detected by the sight line position detecting step, wherein and model data changing step of changing the model data based on the viewpoint position data detected by the sight line position detecting step, considering the spatial-geometry model data of the object from the viewpoint set by the viewpoint setting step a screen mapping process for mapping the scene when viewed in on the screen, the disk that has been mapped by the screen mapping processーン上の情景をデバイス座標系に写像する画像生成工程と、前記画像生成工程により生成した画像を映像信号に変換する映像変換工程と、前記映像変換工程により変換後の映像を表示する映像表示工程とを有することを特徴とする。 An image generation step of mapping the scene on over on to the device coordinate system, the image conversion step of converting image generated by the image generation process on the video signal, a video display for displaying the image converted by the image conversion step characterized by a step.

【００５５】また、上記第１の目的を達成するために請求項８記載の仮想現実方法は、請求項７記載の仮想現実方法において、前記映像表示工程は、前記体験者の目の直前に置かれ且つ前記体験者の頭部に対して固定の状態で設定された表示器に映像を表示することを特徴とする。 [0055] In addition, the virtual reality method of claim 8, wherein in order to achieve the first object in the virtual reality method of claim 7, wherein said image display step, location immediately before the eyes of the viewer and displaying an image to him and display set in a fixed state with respect to the viewer's head.

【００５６】また、上記第１の目的を達成するために請求項９記載の仮想現実方法は、請求項７記載の仮想現実方法において、前記スリーンが任意の形状であり、また、体験者の指示によりこのスクリーンの形状を切り換えられることを特徴とする。 [0056] The virtual reality method of claim 9, wherein in order to achieve the first object, in the virtual reality method of claim 7, wherein said Surin is of any shape, also experience's instructions by wherein the switched the shape of the screen.

【００５７】また、上記第１の目的を達成するために請求項１０記載の仮想現実方法は、前記モデルデータ変更工程を実行するためのモデルデータ変更手段が複数存在し、また、このモデルデータ変更手段は複数同時選択可能であり、更に、体験者の指示により選択内容を変更できることを特徴とする。 [0057] In addition, the virtual reality method of claim 10, wherein in order to achieve the first object, the model data changing means for executing the model data changing step there is a plurality, also, the model data changes means are multiple simultaneous selectable, further characterized by an ability to change the selection by an instruction viewer.

【００５８】また、上記第１の目的を達成するために請求項１１記載の仮想現実装置は、物体の３次元形状データを構築するモデリング手段と、仮想現実状態を体験する体験者の視線位置を検出する視線位置検出手段と、３ [0058] Also, the first virtual reality system of claim 11, wherein in order to achieve the object of the modeling means for constructing a three-dimensional shape data of the object, the line-of-sight position of the viewer to experience the virtual reality state gaze position detecting means for detecting, 3次元仮想空間に視点を設定する視点設定手段と、前記視線位置検出手段により検出された視線位置データに基づいて仮想空間にスクリーンを設定するスクリーン設定手段と、前記視線位置検出手段により検出された視線位置データに基づいて前記モデルデータを変更するモデルデータ変更手段と、前記視点設定手段により設定した視点から前記物体のモデルデータを空間的・幾何学的配置を考慮して見たときの情景を前記スクリーン上に写像するスクリーン写像手段と、前記スクリーン写像手段により写像された前記スクリーン上の情景をデバイス座標系に写像する画像生成手段と、前記画像生成手段により生成した画像を映像信号に変換する映像変換手段と、前記映像変換手段により変換後の映像を表示する映像表示手段とを有することを A viewpoint setting unit which sets a viewpoint to the dimension virtual space, and a screen setting means for setting a screen in the virtual space on the basis of the viewpoint position data detected by the sight line position detecting means, detected by said visual axis position detecting means gaze wherein the model data changing means for changing the model data based on the position data, the scene when the model data of the object from the viewpoint set viewed in consideration of the spatial and geometric arrangement by said viewpoint setting means a screen mapping means for mapping on a screen, the image to convert the scene on the screen which is mapped by the screen mapping unit and an image generating means for mapping the device coordinate system, the image generated by the image generation means into a video signal conversion means, to have the video display means for displaying the image converted by said video converting means徴とする。 And butterflies.

【００５９】また、上記第１の目的を達成するために請求項１２記載の仮想現実方法は、請求項１１記載の仮想現実装置において、前記映像表示手段は、前記体験者の目の直前に置かれ且つ前記体験者の頭部に対して固定の状態で設定された表示器に映像を表示することを特徴とする。 [0059] In addition, the virtual reality method of claim 12, wherein in order to achieve the first object, the virtual reality system of claim 11, wherein said image display means, location immediately before the eyes of the viewer and displaying an image to him and display set in a fixed state with respect to the viewer's head.

【００６０】また、上記第１の目的を達成するために請求項１３記載の仮想現実装置は、請求項７記載の仮想現実装置において、前記スリーンが任意の形状であり、また、体験者の指示によりこのスクリーンの形状を切り換えるスクリーン形状切換手段を有することを特徴とする。 [0060] In addition, the virtual reality system of claim 13, wherein in order to achieve the first object, the virtual reality system of claim 7, wherein said Surin is of any shape, also experience's instructions by and having a screen pattern switching means for switching the shape of the screen.

【００６１】また、上記第１の目的を達成するために請求項１４記載の仮想現実装置は、前記モデルデータ変更手段が複数存在し、また、このモデルデータ変更手段を複数同時選択する選択手段を有し、更に、体験者の指示により選択内容を変更できることを特徴とする。 [0061] Also, the first virtual reality system of claim 14, wherein in order to achieve the object of the model data changing means there are multiple, also a selection means for multiple simultaneous select this model data changing means a further characterized as capable of changing the selection in response to an instruction viewer.

【００６２】また、上記第２の目的を達成するために本発明の請求項１５記載の記憶媒体は、仮想現実状態を実現する仮想現実装置を制御するプログラムを格納する記憶媒体であって、物体の３次元形状データを構築するモデリングモジュールと、仮想現実状態を体験する体験者の視線位置を検出する視線位置検出モジュールと、３次元仮想空間に視点を設定する視点設定モジュールと、前記視線位置検出モジュールにより検出された視線位置データに基づいて仮想空間にスクリーンを設定するスクリーン設定モジュールと、前記視点設定モジュールにより設定された視点から前記物体のモデルデータを空間的・ [0062] Also, the storage medium according to claim 15, wherein the present invention in order to achieve the second object is achieved by a storage medium storing a program for controlling a virtual reality apparatus for realizing virtual reality state, the object of the modeling module to construct a three-dimensional shape data, and the line-of-sight position detecting module for detecting the viewer's line of sight position to experience the virtual reality state, the viewpoint setting module that sets a viewpoint in the three-dimensional virtual space, the viewpoint position detecting a screen setting module that sets a screen in the virtual space based on the detected line-of-sight position data by the module, the spatial and the model data of the object from the viewpoint set by the viewpoint setting module幾何学的配置を考慮して見たときの情景を前記スクリーン上に写像するスクリーン写像モジュールと、前記スクリーン写像モジュールにより写像された前記スクリーン上の情景をデバイス座標系に写像する画像生成モジュールと、前記画像生成モジュールにより生成された画像を映像信号に変換する映像変換モジュールと、前記映像変換モジュールにより変換後の映像を表示する映像表示モジュールとを有するプログラムを格納したことを特徴とする。 A screen mapping module mapping the scene when viewed in consideration of the geometry on the screen, an image generation module mapping the scene on the screen which is mapped by the screen mapping module to the device coordinate system, a video conversion module for converting the image generated by the image generation module to the video signal, and characterized by storing a program having a video display module for displaying an image converted by the image conversion module.

【００６３】また、上記第２の目的を達成するために本発明の請求項１６記載の記憶媒体は、請求項１５記載の記憶媒体において、前記映像表示モジュールは、前記体験者の目の直前に置かれ且つ前記体験者の頭部に対して固定の状態で設定された表示器に映像を表示することを特徴とする。 [0063] The storage medium of claim 16 of the present invention in order to achieve the second object, in the storage medium of claim 15, wherein the image display module, just before the eye of the viewer and displaying an image on placed and indicator set in a fixed state with respect to the viewer's head.

【００６４】また、上記第２の目的を達成するために本発明の請求項１７記載の記憶媒体は、仮想現実状態を実現する仮想現実装置を制御するプログラムを格納する記憶媒体であって、物体の３次元形状データを構築するモデリングモジュールと、仮想現実状態を体験する体験者の視線位置を検出する視線位置検出モジュールと、３次元仮想空間に視点を設定する視点設定モジュールと、前記視線位置検出モジュールにより検出された視線位置データに基づいて仮想空間にスクリーンを設定するスクリーン設定モジュールと、前記視点設定モジュールにより設定された視点から前記物体のモデルデータを空間的・ [0064] Also, the storage medium according to claim 17, wherein the present invention in order to achieve the second object is achieved by a storage medium storing a program for controlling a virtual reality apparatus for realizing virtual reality state, the object of the modeling module to construct a three-dimensional shape data, and the line-of-sight position detecting module for detecting the viewer's line of sight position to experience the virtual reality state, the viewpoint setting module that sets a viewpoint in the three-dimensional virtual space, the viewpoint position detecting a screen setting module that sets a screen in the virtual space based on the detected line-of-sight position data by the module, the spatial and the model data of the object from the viewpoint set by the viewpoint setting module幾何学的配置を考慮して見たときの情景を前記スクリーン上に写像するスクリーン写像モジュールと、前記スクリーン写像モジュールにより写像された前記スクリーン上の情景をデバイス座標系に写像する画像生成モジュールと、前記画像生成モジュールにより生成された画像を映像信号に変換する映像変換モジュールと、前記映像変換モジュールにより変換後の映像を表示する映像表示モジュールとを有するプログラムを格納したことを特徴とする。 A screen mapping module mapping the scene when viewed in consideration of the geometry on the screen, an image generation module mapping the scene on the screen which is mapped by the screen mapping module to the device coordinate system, a video conversion module for converting the image generated by the image generation module to the video signal, and characterized by storing a program having a video display module for displaying an image converted by the image conversion module.

【００６５】また、上記第２の目的を達成するために本発明の請求項１８記載の記憶媒体は、請求項１７記載の記憶媒体において、前記映像表示モジュールは、前記体験者の目の直前に置かれ且つ前記体験者の頭部に対して固定の状態で設定された表示器に映像を表示することを特徴とする。 [0065] Also, the storage medium according to claim 18, wherein the present invention in order to achieve the second object, in the storage medium of claim 17, wherein the image display module, just before the eye of the viewer and displaying an image on placed and indicator set in a fixed state with respect to the viewer's head.

【００６６】また、上記第２の目的を達成するために本発明の請求項１９記載の記憶媒体は、請求項１７記載の記憶媒体において、前記モデルデータ変更モジュールを実行するモデルデータ変更手段は複数存在し、また、これらモデルデータ変更手段は複数同時選択が可能であり、更に前記体験者の指示により選択内容を変更できることを特徴とする。 [0066] Also, the storage medium according to claim 19, wherein the present invention in order to achieve the second object, in the storage medium of claim 17, model data changing means for executing the model data modification module more exist, also, these model data changing unit is capable of multiple simultaneous selection, characterized in that it further change the selection according to an instruction of the viewer.

【００６７】 [0067]

【発明の実施の形態】以下、本発明の各実施の形態を図１〜図１６に基づき説明する。 BEST MODE FOR CARRYING OUT THE INVENTION Hereinafter, will be explained on the basis of the respective embodiments of the present invention in FIGS. 1-16.

【００６８】（第１の実施の形態）まず、本発明の第１ [0068] (First Embodiment) First, a first aspect of the present inventionの実施の形態を図１〜図１１に基づき説明する。 It is described with reference to embodiments in FIGS. 1-11.図１ Figure 1は、本発明の第１の実施の形態に係る仮想現実装置の概念を示す図であり、同図において、３は視線入力スカウタ（ヘッドマウントディスプレイの一種）で、眼鏡のような形状をなしている。 Is a diagram showing the concept of a virtual reality system according to a first embodiment of the present invention, reference numeral 3 is a line-of-sight input Sukauta (a type of the head mounted display), a shape such as spectacles there.本装置による仮想現実状態の体験者１が、この視線入力スカウタ３を眼鏡と同様に装着することによって、該視線入力スカウタ３内のモニタ３ Viewer 1 of virtual reality state by the apparatus, by mounting the sight line input Sukauta 3 similarly to the eyeglasses, the monitor 3 of the visual axis input Sukauta 3ａを見ることで映像を観察することができ、また、付属のイヤホーンにより音声を聞くことができる。 a can be observed the video by looking at the, also, it is possible to hear the sound by earphone attached.また、この装置に組み込まれた視線検出装置３ｂは、体験者１の視線位置を検出し、その検出データをコンピュータ５に送信する。 Further, the line-of-sight detection apparatus 3b incorporated in the device detects the viewpoint position of the viewer 1, and transmits the detected data to the computer 5.

【００６９】２は磁気による３Ｄセンサー（位置方向検出装置）で、トランスミッタ２ａ（体験者１の近辺に固定される）及びレシーバ２ｂ（体験者１の頭部に取り付けられている）が接続されている。 [0069] 2 is a 3D sensor according to the magnetic (position-direction detecting apparatus), (fixed near the viewer 1) Transmitter 2a and (mounted on the head of the viewer 1) receiver 2b are connected there.この３Ｄセンサー２ The 3D sensor 2は、トランスミッタ２ａが発生した磁界中におけるレシーバ２ｂの誘起電流の大きさを処理することで、体験者（頭部）１の空間的位置（ｘ，ｙ，ｚ）と方向（ピッチ：Pitch、ヨー：Yaw、ロール：Roll）とを検出し、その検出データをコンピュータ５に送信する。 , By treating the magnitude of the induced current in the receiver 2b in the magnetic field transmitter 2a occurs, the spatial position of the viewer (head) 1 (x, y, z) and direction (pitch: Pitch, Yaw : Yaw, roll: roll) and detects and sends the detected data to the computer 5.

【００７０】コンピュータ５は、まず、３Ｄセンサー２ [0070] The computer 5 first, 3D sensor 2から収集した体験者１の実空間における３次元位置データと方向のデータを用いて、仮想空間での視点（カメラ）の位置及び方向を決める。 Using 3-dimensional position data and orientation data in the real space of the viewer 1 collected from, it determines the position and orientation of the viewpoint (camera) in the virtual space.次に、視線入力スカウタ３の視線検出装置３ｂから収集した体験者１の視線位置データを用いて仮想空間におけるスクリーン（投影面） Next, the screen in the virtual space using the line-of-sight position data of the viewer 1 collected from line-of-sight detecting device 3b of the line-of-sight input Sukauta 3 (projection surface)の位置を設定し、このスクリーンに対して予め入力されたモデル（物体）を写像することによって、３次元仮想空間での情景を示す映像（２次元画像）６を計算する。 Set the position, by mapping the model (object) which is input in advance for this screen, it calculates the image (2D image). 6 showing the scene in a three-dimensional virtual space.この映像６は、スキャンコンバータ４を介して視線入力スカウタ３内のモニタ３ａへ送信され、体験者１は目の前のこの映像６を観察することにより、仮想空間の疑似体験をする。 This video 6 is transmitted through the scan converter 4 to monitor 3a in the visual axis input Sukauta 3, viewer 1 by observing the image 6 in front of, the simulated experience in the virtual space.

【００７１】図２は、本実施の形態に係る仮想現実装置のシステム構成を示すブロック図である。 [0071] Figure 2 is a block diagram showing the system configuration of a virtual reality apparatus according to the present embodiment.同図において、１０１は制御装置で、本装置の構成要素全体の制御を司るものである。 In the figure, 101 is a control device, which controls the entire components of the device.１０２はデータ入力装置で、例えばキーボード等からなり、物体のモデリングデータ、シミュレーションデータ、視点条件等の初期値の入力を行うものである。 102 is a data input device, for example, a keyboard or the like, and performs an object of modeling data, simulation data, the input of the initial value, such as viewpoint conditions.１０３はコマンド入力装置で、例えばマウス等からなり、シミュレーションの開始・終了等を指示するものである。 103 is a command input device, for example, a mouse or the like, is an indication of the start and end, etc. of the simulation.１０４はファイル装置で、不揮発性メモリ等からなり、モデルデータ等を格納する。 104 is a file system, a nonvolatile memory, etc., and stores the model data and the like.１０５は演算装置で、各種変数の更新及びモデルを用いた３次元画像の生成等を行うものである。 105 is a computing device, performs a generation, etc. of the three-dimensional image using the updated and models of various variables.１０６はメモリ装置で、本装置の起動中に物体のモデリングデータ及び視点条件等の各種データを格納するものである。 106 is a memory device, and stores various data such as modeling data and viewpoint condition of the object during the startup of the device.１０７はビデオメモリ装置で、レンダリング後の画像のピクセル値を格納するものである。 107 is for storing the video memory device, the pixel values ​​of the image after rendering.１０８はデータ表示装置で、Ｃ 108 is a data display device, CＲＴ（陰極線管）モニタ等からなり、制御装置１０１からの指示情報やビデオメモリ装置１０７内の画像を表示したり、ユーザへの指示や入力したデータ等を表示するものであり、主にシステムのオペレータのデータ確認のために用いられる。 It consists RT (cathode ray tube) monitor, to view the indication information and images of the video memory device 107 from the control device 101, which displays an instruction and input data, etc. to the user, mainly the system used for data check of the operator.１０９は映像変換装置で、例えばスキャンコンバータ等からなり、ビデオメモリ装置１０７ 109 is a video conversion device, for example, a scan converter or the like, a video memory device 107内の画像データを映像信号として出力するものである。 The image data of the inner and outputs as a video signal.１１０は位置方向検出装置で、例えば磁気センサー等からなり、仮想世界シミュレーションの体験者の実空間における位置（ｘ，ｙ，ｚ）及び方向（ピッチ：Pitch、 110 is a position-direction detecting apparatus, for example, a magnetic sensor or the like, the position in the real space of the viewer of the virtual world simulations (x, y, z) and orientation (pitch: Pitch,ヨー：Yaw、ロール：Roll）を検出・出力するものである。 Yaw: Yaw, Roll: is for detecting and outputting the Roll).この位置方向検出装置１１０には、トランスミッタ部１１０ａ（体験者の近辺に固定）及びレシーバ部１１ The position-direction detecting apparatus 110, (fixed to the vicinity of the viewer) the transmitter section 110a and a receiver section 11０ｂ（体験者の頭部に固定）が接続される。 0b (fixed to the experience's head) is connected.１１１は視線入力スカウタで、仮想世界シミュレーションの体験者が装着するものであり、視線検出部１１１ａ（体験者の視線データの検出）と映像表示部１１１ｂ（映像変換装置１０９からの映像信号を表示）とで構成されている。 111 is a visual axis input Sukauta, which experienced users of the virtual world simulations is mounted, the line-of-sight detection section 111a (experiencing person of detection of visual axis data) and the image display unit 111b (displaying a video signal from the image conversion device 109) It is composed of a.

【００７２】次に、本実施の形態に係る仮想現実装置のＶＲ（バーチャルリアリティー）シミュレーション処理動作について、図３に基づき説明する。 Next, the VR (virtual reality) simulation processing operation of the virtual reality system according to this embodiment is described with reference to FIG.図３は、本実施の形態に係る仮想現実装置のＶＲシミュレーション処理動作を示すフローチャートである。 Figure 3 is a flowchart showing a VR simulation process operation of the virtual reality apparatus according to the present embodiment.

【００７３】仮想現実装置の体験者がコマンド入力装置１０３であるマウスを用い、プログラム開始の指示を与えると、ＶＲシミュレーション処理動作が開始する。 [0073] viewer virtual reality devices using a mouse, a command input device 103, given the instructions of the program start, VR simulation process operation is started.

【００７４】まず、ステップＳ３０１でスクリーン（投影面）の初期化を行う。 [0074] First, the initialization of the screen (projection surface) in step S301.即ち、制御装置１０１の命令によりデータ表示装置１０８は、図４に示すような表示を行う。 That is, the data display device 108 by the instruction of the control unit 101 performs the display as shown in FIG.ここで、体験者はコマンド入力装置１０３であるマウスにより、データ表示装置１０８に表示されているものの中から希望のスクリーン形状を選択した後、図示しないＯＫボタンを押すと、選択された形状のスクリーン形状のＩＤ（０〜３のどれか）が変数Ｗに代入される。 Here, the mouse viewer is a command input device 103, after selecting a desired screen pattern from among those displayed in the data display device 108, and press the OK button (not shown), the screen of the selected shape ID of shape (0-3 any of) is assigned to the variable W.但し、ここで０〜３のＩＤが示すスクリーン形状は、それぞれ図５（ａ）、（ｂ）、（ｃ）、（ｄ）に示すようなものとする。 However, the screen shape shown here is the ID of 0 to 3, respectively Figure 5 (a), (b), (c), it is assumed, as shown in (d).

【００７５】次に、ステップＳ３０２で位置方向検出装置１１０の初期化を行う。 [0075] Next, the initialization of the position-direction detecting apparatus 110 in step S302.即ち、仮想現実装置の体験者は視線入力スカウタ１１１と位置方向検出装置１１０を装着した体験者１を適当な位置で直立して真正面を見ている状態で静止させる。 That is, viewer of the virtual reality system is still in a state looking at squarely upright experience who 1 wearing the position-direction detecting apparatus 110 and the visual axis input Sukauta 111 at an appropriate position.そして、この状態で体験者がコマンド入力装置１０３であるマウスにより指示を与えると、位置方向検出装置１１０はこの状態の位置と方向とを、原点（0.0,0.0,0.0）及び原回転角（0.0,0.0,0.0： When the viewer in this state gives an indication using the mouse is a command input device 103, the position-direction detecting apparatus 110 the position and direction of this state, the origin (0.0,0.0,0.0) and the original angle of rotation (0.0 , 0.0, 0.0:即ち、回転がない状態）として初期化する。 That is initialized as a rotation stateless).次に、ステップＳ３０３で制御装置１０１の命令により演算装置１ Next, the arithmetic unit by the instruction of the control unit 101 at step S303 1０５は、３次元仮想空間に設定する視点（カメラ）を、 Viewpoint 05, to be set in the three-dimensional virtual space (camera),例えば「位置：0.0,1.0,0.0、方向：0.0,0.0,-1.0「方向ベクトル」、視角「横・縦」：0.8,0.6）で初期化する。 For example, "Position: 0.0,1.0,0.0, Direction: 0.0, 0.0, -1.0" direction vector ", the viewing angle" horizontal-vertical ": 0.8,0.6) is initialized to.

【００７６】次に、ステップＳ３０４でモデルデータのロードを行う。 [0076] Next, the load of the model data in step S304.即ち、制御装置１０１は、予め作成されたファイル装置１０４に格納されている４個のモデル（モデル１〜モデル４）ファイルからデータをメモリ装置１０６にロードする。 That is, the control unit 101 loads the data into the memory device 106 in advance from the four models stored in the file system 104 that are created (Model 1 Model 4) file.なお、各モデルデータは、前述した座標値と面ループデータとで記述されており（また、ファイルの最後に仮想空間におけるモデルの初期位置も追加されている）、以下のようなものであるとする。 Incidentally, each model data is written in the coordinate value and the surface loop data described above (also model the initial position of also added in the last in the virtual space of the file), it is as follows to.

【００８０】次に、ステップＳ３０５で制御装置１０１ [0080] Next, the control device at step S305 101の命令によりコマンド入力装置１０３であるマウスは、 The mice by the instruction is a command input device 103,体験者からＶＲシミュレーション処理終了の指示があるか否かを判断し、指示がある場合はＶＲシミュレーションを終了し、指示がない場合はステップＳ３０６へ進む。 Viewer to determine whether there is an instruction of VR simulation process ends from ends the VR simulations when directed, when the instruction is not the flow proceeds to step S306.

【００８１】このステップＳ３０６では、スクリーン（投影面）形状の変更を行う。 [0081] In step S306, it changes the screen (projection surface) shape.即ち、制御装置１０１の命令によりコマンド入力装置１０３であるマウスは、体験者からスクリーン（投影面）形状の切り換え指示の有無を判断し、切り換え指示が有る場合は制御装置１０１ That is, the mouse is a command input device 103 by the instruction of the control unit 101 determines whether the switching instruction of the screen (projection surface) shape from a viewer, if the switching instruction is present the control device 101は、前記ステップＳ３０４と同様の方法を実行し、体験者に新しいスクリーン形状を選択させる。 Performs the same method as step S304, to select a new screen shape viewer.

【００８２】次に、ステップＳ３０７で制御装置１０１ [0082] Next, the control device at step S307 101の命令により位置方向検出装置１１０は、体験者１の頭部１００５の位置（ｘ、ｙ、ｚ）及び回転角（ピッチ： Position direction detecting apparatus 110 by an instruction of the position of the viewer 1 of the head 1005 (x, y, z) and rotation angle (pitch:Pitch、ヨー：Yaw、ロール：Roll）を検出し、その検出データをメモリ装置１０６へ格納する。 Pitch, Yaw: Yaw, Roll: Roll) detects and stores the detected data to the memory device 106.

【００８３】次に、ステップＳ３０８で制御装置１０１ [0083] Next, the control device at step S308 101の命令により視線入力スカウタ１１１内の視線検出部１ Visual axis detection unit 1 in the visual axis input Sukauta 111 by the instruction１１ａは、体験者１の視線位置データＳ（ｓ、ｔ）を検出し、その検出データをメモリ装置１０６へ格納する。 11a is experiencing person first sight position data S (s, t) is detected and stores the detected data to the memory device 106.なお、この視線位置データＳは、図４に示すように視線入力スカウタ１１１内の映像表示部１１１ｂにおける視野フレーム（横と縦の長さをそれぞれａ，ｂとする）の左上頂点を基準とした位置を示すものとする。 Incidentally, the line-of-sight position data S is relative to the upper left corner of the view frame in the video display unit 111b in the visual axis input Sukauta 111 as shown in FIG. 4 (horizontal and vertical lengths, respectively a, and b) It denotes the position.

【００８４】次にステップＳ３０９で体験者１の頭部の方向に対する視線方向のずれ角度を計算する。 [0084] Next, calculate the deviation angle of the line-of-sight direction with respect to the direction of the head of viewer 1 in step S309.即ち、制御装置１０１の命令により演算装置１０５は、図６に示す視線入力スカウタ１１１の視野フレームと、図７に示す仮想空間における視点のニアクリッピング面を対応させることで、縦横方向のずれ角度（α、β）を下記（９）式及び（１０）式によりそれぞれ計算し、その算出データをメモリ装置１０６に格納する。 That is, the arithmetic unit 105 by the instruction of the control unit 101, by corresponding the viewing frame of the visual axis input Sukauta 111 shown in FIG. 6, the near clipping plane of the viewpoint in the virtual space shown in FIG. 7, the vertical and horizontal directions of the deviation angle ( alpha, a beta) respectively calculated by the following equation (9) and (10), and stores the calculated data in the memory device 106.

【００８７】即ち、制御装置１０１の命令により演算装置１０５は、まず、メモリ装置１０６内に格納されているデータである体験者１の頭部の回転角（ピッチ：Pitc [0087] That is, the arithmetic unit 105 by the instruction of the control unit 101 first rotational angle of the viewer 1 of the head is data stored in the memory device 106 (pitch: PITCh、ヨー：Yaw、ロール：Roll）＝（β，α，γ）を用いて、下記（１３）式により方向ベクトルｖ'＝（ｐ， h, yaw: Yaw, Roll: Roll) = (β, α, using a gamma), the direction vector v by the following equation (13) '= (p,ｑ，ｒ）（ワールド座標）に変換する。 To convert q, r) to the (world coordinates).

【００８９】次に、演算装置１０５は、仮想空間において視点（カメラ）の位置を（ｘ、ｙ、ｚ）に、また、方向を（ｐ'、ｑ'、ｒ'）にそれぞれ設定する。 Next, the arithmetic unit 105, the position of the viewpoint (camera) in the virtual space (x, y, z), also the direction (p ', q', r ') is set to the.

【００９０】次にステップＳ３１１でスクリーン（投影面）の回転処理を行う。 [0090] Then the rotation processing of the screen (projection surface) in step S311.即ち、制御装置１０１の命令により演算装置１０５は、まず、前記ステップＳ３１０での視点ベクトルを前記ステップＳ３０９でのずれ角度分だけ回転させた新しいベクトルｖ“（スクリーン方向ベクトル）を計算する。次に、視点位置からこのスクリーン方向ベクトルの示す方向に変数Ｗで示されるスクリーン（現在選択されているスクリーン）を設定する。 That is, the arithmetic unit 105 by the instruction of the control unit 101 first calculates a new vector v a viewpoint vector is rotated by displacement angle amount at step S309 at step S310 "(screen direction vector). Then sets the screen (screen that is currently selected) as shown in the direction indicated from the viewpoint position of the screen direction vector in variable W.

【００９１】次にステップＳ３１２でスクリーンへの写像処理を行う。 [0091] and then perform the mapping process to the screen in step S312.即ち、制御装置１０１の命令により演算装置１０５は、仮想空間に設定されているモデル１〜４ That is, the arithmetic unit 105 by the instruction of the control unit 101, model 1-4 set in the virtual spaceのデータをスクリーンに１点透視法により投影する。 The data projected by one-point perspective method screen.

【００９２】なお、図８〜図１１にモデルの各スクリーンへの投影の様子（視点を上方から見た様子）を示す（但し、図８〜図１１ではモデル４のみ省略してある）。 [0092] Incidentally, showing the state of projection onto the screen model (picture obtained by viewing the view from above) in FIGS. 8 to 11 (however, it is omitted only Model 4 8-11).

【００９３】次にステップＳ３１３で最終的な画像の計算を行う。 [0093] Then the calculation of the final image in step S313.即ち、制御装置１０１の命令により演算装置１０５は、スクリーンの有効範囲に投影された情景をビデオメモリ装置１０７（デバイス座標系）に写像する。 That is, the arithmetic unit 105 by the instruction of the control unit 101 maps the scene projected onto the effective range of the screen in a video memory device 107 (device coordinate system).但し、ここでの写像は、スクリーン面の有効範囲における任意の距離がデバイス座標系において保存されるようなものであるとする（詳細は省略する）。 However, where the mapping, any distance in the effective range of the screen surface is assumed to be such that stored in the device coordinate system (details are omitted).また、スクリーンの有効範囲とは、ビューイングボリュームによって切り取られるスクリーン内の範囲を示すものとする（スクリーンはビューイングボリュームを切り取るのに十分な大きさがあるものとする）。 Further, the effective range of the screen, (it is assumed that the screen is large enough to cut the viewing volume) to denote the range of the screen to be cut by the viewing volume.

【００９５】次に、ステップＳ３１４で体験者１への映像の表示を行う。 [0095] Next, the display of the image to the viewer 1 in step S314.即ち、制御装置１０１の命令によりビデオメモリ装置１０７内の画像を映像変換装置１０９を介して、視線入力スカウタ１１１内の映像表示部１１１ That is, through the image conversion device 109 images in a video memory device 107 by the instruction of the control unit 101, video display unit 111 in the visual axis input Sukauta 111ｂへ送信する。 Send to b.この結果、視線入力スカウタ１１１を装着した体験者１は、選択されているスクリーンに応じて図８（ｂ）、図９（ｂ）、図１０（ｂ）、図１１（ｂ） As a result, experience person 1 who wears the visual axis input Sukauta 111, FIG. 8 depending on the screen being selected (b), FIG. 9 (b), the FIG. 10 (b), the FIG. 11 (b)に示すような情景を見ることになる。 You will see a scene, such as shown in FIG.

【００９６】前記ステップＳ３１４の処理を終了後は、 [0096] After completion of the processing of the step S314 is,前記ステップＳ３０５へ戻る。 Back to the step S305.

【００９７】なお、本実施の形態においては、３Ｄセンサー（位置方向検出装置）を用いた仮想現実装置について説明したが、本発明はこれに限られるものではない。 [0097] In the present embodiment has described the virtual reality device using a 3D sensor (position-direction detecting apparatus), the present invention is not limited thereto.

【００９８】（第２の実施の形態）次に、本発明の第２ [0098] (Second Embodiment) Next, the second inventionの実施の形態を図１２〜図１４に基づき説明する。 It is described with reference to embodiments in FIGS. 12 to 14.なお、本実施の形態に係る仮想現実装置のシステム構成は、上述した第１の実施の形態における図１及び図２と同一であるから、これに両図を流用して説明する。 Note that the system configuration of a virtual reality system according to this embodiment are the same as the FIGS. 1 and 2 in the first embodiment described above, description will be made with reference to the two figures thereto.

【００９９】図１２は、本発明の第２の実施の形態に係る仮想現実装置のＶＲシミュレーションの流れを示すフローチャートである。 [0099] Figure 12 is a flowchart showing a flow of a VR simulation of a virtual reality system according to a second embodiment of the present invention.なお、本実施の形態においては、 In the present embodiment,説明の簡素化のため、３次元仮想空間に設定するスクリーン（投影面）は矩形平面であって、視点（カメラ）に対して固定であるとするが、本発明はこれに限られるものではない。 For simplicity of explanation, the screen to set the 3-dimensional virtual space (projection plane) is a rectangular plane, but assumed to be fixed with respect to the viewpoint (camera), the present invention is not limited thereto .

【０１００】仮想現実装置の体験者がコマンド入力装置１０３であるマウスを用い、プログラム開始の指示を与えるとＶＲシミュレーションが開始する。 [0100] survivors of virtual reality device using the mouse is a command input device 103, VR simulation is started and give an indication of the program start.

【０１０１】まず、ステップＳ１２０１で注目モデルの強調方法の初期化を行う。 [0101] First, the initialization of the enhancement method of the model of interest in step S1201.即ち、制御装置１０１の命令によりデータ表示装置１０８は、図１３に示すような表示を行う。 That is, the data display device 108 by the instruction of the control unit 101 performs the display as shown in FIG. 13.体験者はコマンド入力装置１０３であるマウスによりデータ表示装置１０８上の文字列から強調方法を選択した後（強調方法は複数選択可能であるが、図１ Viewer is after selecting a highlighted manner from a string on the data display device 108 by a mouse, a command input device 103 (emphasis method is more selectable FIG３中の「１．色づけ（色変更）」と「２．テクスチャー貼り付け（テクスチャー変更）」だけは同時に選択できないものとする）、図示しないＯＫボタンを押すと、選択された強調方法がメモリ装置１０６に格納される。 In 3 "1. coloring (color change)," only "2. Texture Paste (texture changes)" shall not be selected at the same time), and press the OK button (not shown), emphasizing method selected memory device It is stored in 106.なお、本実施の形態においては、説明の簡素化のために各強調方法の細かな内容の指定、例えば色変更におけるカラー値、テクスチャー変更におけるテクスチャー画像やマッピング手法、スケール変更における倍率や変倍の有無、或いは運動指定の際の運動の内容（回転、振動等） In the present embodiment, the specification of detailed contents of each enhancement method in order to simplify the description, for example, a color value in a color change, texture images and mapping methods in texture change, the magnification and scaling of the scaling presence or content of the motion during the movement specified (rotation, vibration, etc.)等は実行しないものとするが、本発明はこの限りではない。 Etc. shall not be executed, but the present invention is not limited to this.

【０１０２】次に、ステップＳ１２０２で位置方向検出装置１１０の初期化を行う。 [0102] Next, the initialization of the position-direction detecting apparatus 110 in step S1202.即ち、仮想現実装置の体験者は、視線入力スカウタ１１１と位置方向検出装置１１ That is, viewer of the virtual reality system, the visual axis input Sukauta 111 and the position-direction detecting apparatus 11０とを装着した体験者を適当な位置に直立して真正面を見ている状態で静止させる。 0 and experience person wearing the upright in place is still in the state looking at a squarely.そして、この状態で体験者がコマンド入力装置１０３であるマウスにより指示を与えると、位置方向検出装置１１０はこの状態の位置と方向とを、原点（0.0,0.0,0.0）及び原回転角（0.0,0.0, When the viewer in this state gives an indication using the mouse is a command input device 103, the position-direction detecting apparatus 110 the position and direction of this state, the origin (0.0,0.0,0.0) and the original angle of rotation (0.0 , 0.0,0.0：即ち、回転がない状態）として初期化する。 0.0: that is, it initialized as rotation stateless).

【０１０４】次に、ステップＳ１２０４で制御装置１０ [0104] Next, the control unit in step S1204 10１は、予め作成されたファイル装置１０４に格納されている４個のモデル（モデル１〜モデル４）ファイルからデータをメモリ装置１０６にロードする。 1 loads the data into the memory device 106 in advance from the four models stored in the file system 104 that are created (Model 1 Model 4) file.なお、各モデルデータは従来の技術で示した座標値と面ループデータとで記述されており（また、ファイルの最後に仮想空間におけるモデルの初期位置も追加されている）、以下のようなものであるとする。 Each model data is described in the coordinate value and the surface loop data shown in the prior art (also also added last model initial position in the virtual space of the file), as follows and it is.

【０１０６】このステップＳ１２０６では、注目モデルの強調方法の変更を行う。 [0106] In the step S1206, to change the enhancement method of the attention model.即ち、制御装置１０１の命令によりコマンド入力装置１０３であるマウスは、体験者から強調方法の変更の指示があるか否かを判断する。 That is, the mouse is a command input device 103 by the instruction of the control unit 101 determines whether there is an instruction to change enhancement method from survivors.そして、強調方法の変更の指示がある場合は、前記ステップＳ１２０１に示した方法により強調方法を再度指定することで変更を行い、強調方法の変更の指示がない場合は、何も処理せずに次のステップＳ１２０７へ進む。 When there is an instruction to change the emphasis method performs changed by specifying the enhancement method by the method shown in the step S1201 again, if there is no instruction to change the emphasis process, without any processing proceed to the next step S1207.

【０１０７】このステップＳ１２０７では、制御装置１ [0107] In step S1207, the control unit 1０１の命令により位置方向検出装置１１０は、体験者の頭部の位置Ｐ（ｘ、ｙ、ｚ）及び回転角（ピッチ：Pitc Position orientation detector 110 by the instruction of 01, the position P of the viewer's head (x, y, z) and rotation angle (pitch: PITCh、ヨー：Yaw、ロール：Roll）を検出し、その検出データをメモリ装置１０６に格納する。 h, yaw: Yaw, Roll: Roll) detects and stores the detected data in the memory device 106.

【０１０８】次に、ステップＳ１２０８で制御装置１０ [0108] Next, the control unit in step S1208 10１の命令により視線入力スカウタ１１１内の視線検出部１１１ａは、体験者の視線位置データＳ（ｓ、ｔ）を検出し、その検出データをメモリ装置１０６に格納する。 Visual axis detection unit 111a of the visual axis input Sukauta 111 by one instruction, experience's line of sight position data S (s, t) is detected and stores the detected data in the memory device 106.なお、この視線位置データは、図６に示すように視線入力スカウタ１１１内の映像表示部１１１ｂにおける視野フレーム（横と縦の長さをそれそれａ，ｂとする）の左上頂点を基準とした位置を示すものとする。 Incidentally, the line-of-sight position data relative to the upper left corner of the view frame in the video display unit 111b in the visual axis input Sukauta 111 as shown in FIG. 6 (the horizontal and vertical lengths to which it a, and b) It denotes the position.

【０１０９】次に、ステップＳ１２０９で仮想空間内の視点（カメラ）の移動処理を行う。 [0109] Next, the process of moving the viewpoint in the virtual space (camera) at step S1209.即ち、制御装置１０ That is, the control device 10１の命令により演算装置１０５は、まず、メモリ装置１ Computing device 105 by a single instruction, first, the memory device 1０６内に格納されているデータである体験者１の頭部の回転角（ピッチ：Pitch、ヨー：Yaw、ロール：Roll）＝ Rotation angle of the viewer 1 of the head is data stored in the 06 (pitch: Pitch, Yaw: Yaw, Roll: Roll) =（β，α，γ）を用いて、下記（１３）式により方向ベクトルｖ'＝（ｐ，ｑ，ｒ）（ワールド座標）に変換する。 (Beta, alpha, gamma) are used to convert the direction vector by the following equation (13) v '= (p, q, r) in the (world coordinates).

【０１１１】次に、演算装置１０５は、仮想空間において視点（カメラ）の位置を（ｘ、ｙ、ｚ）に、また、方向をｖ'（ｐ、ｑ、ｒ）にそれぞれ設定する。 [0111] Next, the arithmetic unit 105, the position of the viewpoint (camera) in the virtual space (x, y, z), also respectively set direction v '(p, q, r) in the.

【０１１２】次に、ステップＳ１２１０で体験者の視線位置に対応する３次元仮想空間における注目モデルの判断を行う。 [0112] Next, the model of interest determined in the three-dimensional virtual space corresponding to experience the line of sight position in step S1210.即ち、制御装置１０１の命令により演算装置１０５は、３次元モデルからスリーンへの写像の逆変換を考慮することにより、前記ステップＳ１２０８において取得した体験者の視線位置Ｓ（ｓ、ｔ）に写像されるモデルがあるか否かを判断する。 That is, the arithmetic unit 105 by the instruction of the control unit 101, by considering the inverse of mapping to Surin from the three-dimensional model, is mapped to the obtained viewer's line of sight position S (s, t) in the step S1208 the model determines whether or not there is that.そして、写像されるモデルがある場合は、このモデルのＩＤ（１〜４）を、写像されるモデルがない場合は、０を変数ｚ（注目モデルのＩＤを示す変数）に代入する。 When there is a model to be mapped is an ID (1 to 4) in this model, if there is no model to be mapped is assigns 0 to the variable z (variable indicating the ID of the model of interest).なお、説明の簡素化のために３次元モデルからスリーンへの写像の逆変換は公知であるから、その説明を省略する。 Incidentally, the inverse transformation of the mapping from the three-dimensional model in order to simplify the description to Surin is because it is known, the description thereof is omitted.

【０１１３】次に、ステップＳ１２１１でスリーンへの写像処理を行う。 [0113] Next, the mapping process to Surin in step S1211.即ち、制御装置１０１の命令により演算装置１０５は、仮想空間に設定されているモデル１〜 That is, the arithmetic unit 105 by the instruction of the control unit 101, the model 1 which is set in the virtual spaceモデル４のデータをスリーンに１点透視法により投影する。 The data model 4 projected by one-point perspective method Surin.この際、ｚ＞０の場合は、現在選択されている強調方法により変数ｚが示すモデルを強調した状態で且つその他のモデルは無変化の状態でスクリーン（投影面）への投影処理を実行する。 At this time, in the case of z> 0, the current and other models by the selected and are highlighted method while emphasizing the model indicated by the variable z performs projection processing to the screen (projection surface) in the state of no change .また、ｚ＝０の場合は、全モデルが無変化の状態でスクリーン（投影面）への投影処理を実行する。 In the case of z = 0, all models performs projection processing to the screen (projection surface) in the state unchanged.

【０１１４】次に、ステップＳ１２１２で最終的な画像の計算を行う。 [0114] Next, the calculation of the final image in step S1212.即ち、制御装置１０１の命令により演算装置１０５は、スクリーンに投影された情景をビデオメモリ装置１０７（デバイス座標系）に写像する。 That is, the arithmetic unit 105 by the instruction of the control unit 101 maps the scene projected on the screen in a video memory device 107 (device coordinate system).

【０１１５】次に、ステップＳ１２１３で体験者への映像の表示を行う。 [0115] Next, the display of the image to the viewer in step S1213.即ち、制御装置１０１の命令によりビデオメモリ装置１０７内の画像を映像変換装置１０９を介して、視線入力スカウタ１１１内の映像表示部１１１ That is, through the image conversion device 109 images in a video memory device 107 by the instruction of the control unit 101, video display unit 111 in the visual axis input Sukauta 111ｂへ送信する。 Send to b.この結果、視線入力スカウタ１１１を装着した体験者１は、図１４（ｂ）に示すような情景を見ることになる（図１４（ｂ）ではモデル３がスケール拡大により強調されており、また、説明の簡素化のためモデル４は省略されている）。 As a result, experience person 1 who wears the visual axis input Sukauta 111 will see the scene as shown in FIG. 14 (b) (FIG. 14 (b) in the model 3 has been emphasized by the scale expansion, also, model 4 for simplicity of explanation are omitted).

【０１１６】前記ステップＳ１２１３を終了後は、前記ステップＳ１２０５へ戻る。 [0116] After completion of the step S1213, the process returns to the step S1205.

【０１１７】（第３の実施の形態）次に、本発明の記憶媒体について、図１５及び図１６に基づき説明する。 [0117] Next (Third Embodiment), the storage medium of the present invention will be described with reference to FIGS. 15 and 16.

【０１１８】仮想現実状態を実現する仮想現実装置を制御するプログラムを格納する記憶媒体には、少なくとも図１５に示すように、「モデリングモジュール」、「視線位置検出モジュール」、「視点設定モジュール」、 [0118] The storage medium for storing a program for controlling a virtual reality apparatus for realizing virtual reality state, as shown in at least FIG. 15, "Modeling module", "line-of-sight position detection module", "viewpoint setting module",「スクリーン設定モジュール」、「スクリーン写像モジュール」、「画像生成モジュール」、「映像変換モジュール」、「映像表示モジュール」の各モジュールを有するプログラムを格納すればよい。 "Screen setting module", "screen mapping module", an "image generation module", "video conversion module", may be stored a program having the respective modules of the "image display module".

【０１１９】ここで、「モデリングモジュール」は物体の３次元形状（モデル）データを構築するプログラムモジュールである。 [0119] Here, "Modeling module" is a program module for constructing a three-dimensional shape (model) data of the object.また、「視線位置検出モジュール」は前記体験者の視線位置を検出するプログラムモジュールである。 In addition, the "line-of-sight position detection module" is a program module for detecting the line-of-sight position of the viewer.また、「視点設定モジュール」は３次元仮想空間に視点（カメラ）を設定するプログラムモジュールである。 Further, "viewpoint setting module" is a program module that sets a viewpoint (camera) in the three-dimensional virtual space.また、「スクリーン設定モジュール」は前記視線位置検出モジュールにより検出された視線位置データに基づいて仮想空間にスクリーン（投影面）を設定するプログラムモジュールである。 Further, "Screen setting module" is a program module for setting the screen (projection surface) in the virtual space based on the viewpoint position data detected by the viewpoint position detection module.また、「スクリーン設定モジュール」は前記視点設定モジュールにより設定された視点から前記物体のモデルデータを空間的・幾何学的配置を考慮して見たときの情景を前記スクリーン上に写像するプログラムモジュールである。 Further, "Screen setting module" is a program module mapping the scene when viewed with model data of the object from the viewpoint set by the viewpoint setting module considering spatial and geometrical arrangement on the screen is there.また、「画像生成モジュール」は前記スクリーン写像モジュールにより写像された前記スクリーン上の情景をデバイス座標系に写像するプログラムモジュールである。 Further, the "image generation module" is a program module for mapping the scene on the screen which is mapped by the screen mapping module to the device coordinate system.また、「映像変換モジュール」は前記画像生成モジュールにより生成した画像を映像信号に変換するプログラムモジュールである。 Further, "image conversion module" is a program module for converting the image generated by the image generation module to the video signal.また、「映像表示モジュール」は前記映像変換モジュールにより変換後の映像を表示するプログラムモジュールである。 Further, "image display module" is a program module for displaying an image converted by the image conversion module.

【０１２０】また、前記視点設定モジュールは、前記位置方向検出モジュールにより検出された位置データ及び方向データに基づいて視点を設定する。 [0120] Further, the viewpoint setting module sets a view point on the basis of the position data and direction data detected by the position-direction detection module.また、前記映像表示モジュールは、前記体験者の目の直前に置かれ且つ前記体験者の頭部に対して固定の状態で設定された表示器に映像を表示する。 Further, the image display module displays the video on the viewer's eye is placed immediately before and the viewer of the display set in a fixed state relative to the head.

【０１２２】ここで、「モデリングモジュール」は物体の３次元形状（モデル）データを構築するプログラムモジュールである。 [0122] Here, "Modeling module" is a program module for constructing a three-dimensional shape (model) data of the object.また、「視線位置検出モジュール」は前記体験者の視線位置を検出するプログラムモジュールである。 In addition, the "line-of-sight position detection module" is a program module for detecting the line-of-sight position of the viewer.また、「視点設定モジュール」は３次元仮想空間に視点（カメラ）を設定するプログラムモジュールである。 Further, "viewpoint setting module" is a program module that sets a viewpoint (camera) in the three-dimensional virtual space.また、「スクリーン設定モジュール」は前記視線位置検出モジュールにより検出された視線位置データに基づいて仮想空間にスクリーン（投影面）を設定するプログラムモジュールである。 Further, "Screen setting module" is a program module for setting the screen (projection surface) in the virtual space based on the viewpoint position data detected by the viewpoint position detection module.また、「モデルデータ変更モジュール」は、前記視線位置検出モジュールにより検出された視線位置データに基づいてモデルデータを変更するプログラムモジュールである。 Further, "model data change module" is a program module to change the model data based on the viewpoint position data detected by the viewpoint position detection module.また、「スクリーン設定モジュール」は前記視点設定モジュールにより設定された視点から前記物体のモデルデータを空間的・幾何学的配置を考慮して見たときの情景を前記スクリーン上に写像するプログラムモジュールである。 Further, "Screen setting module" is a program module mapping the scene when viewed with model data of the object from the viewpoint set by the viewpoint setting module considering spatial and geometrical arrangement on the screen is there.また、「画像生成モジュール」は前記スクリーン写像モジュールにより写像された前記スクリーン上の情景をデバイス座標系に写像するプログラムモジュールである。 Further, the "image generation module" is a program module for mapping the scene on the screen which is mapped by the screen mapping module to the device coordinate system.また、「映像変換モジュール」は前記画像生成モジュールにより生成した画像を映像信号に変換するプログラムモジュールである。 Further, "image conversion module" is a program module for converting the image generated by the image generation module to the video signal.また、「映像表示モジュール」は前記映像変換モジュールにより変換後の映像を表示するプログラムモジュールである。 Further, "image display module" is a program module for displaying an image converted by the image conversion module.

【０１２３】また、前記視点設定モジュールは、前記位置方向検出モジュールにより検出された位置データ及び方向データに基づいて視点を設定する。 [0123] Further, the viewpoint setting module sets a view point on the basis of the position data and direction data detected by the position-direction detection module.また、前記映像表示モジュールは、前記体験者の目の直前に置かれ且つ前記体験者の頭部に対して固定の状態で設定された表示器に映像を表示する。 Further, the image display module displays the video on the viewer's eye is placed immediately before and the viewer of the display set in a fixed state relative to the head.

【０１２４】また、前記モデルデータ変更モジュールを実行するモデルデータ変更手段は複数存在し、また、これらモデルデータ変更手段は複数同時選択が可能であり、更に前記体験者の指示により選択内容を変更できる。 [0124] Further, the model data changing means for executing the model data change module there are a plurality, also, these model data changing means is capable of multiple simultaneous selection can further change the selection according to an instruction of the viewer .

【０１２５】 [0125]

【発明の効果】以上詳述したように本発明の仮想現実方法及び装置によれば、視線検出手段から取得した体験者（ユーザ）の視線位置データに基づいて仮想空間に設定するスクリーンをダイナミックに移動することで、形成画像に含まれる物体の空間的・幾何学的な見え方を現実とは異なる面白みのあるものにできるため、アート的効果やエンターテイメント性の高いＶＲシミュレーションを実現することが可能となるという効果を奏する。 According to the virtual reality method and apparatus of the present invention as described above in detail, the screen to be set in the virtual space based on the viewpoint position data of survivors obtained from the sight line detecting means (users) in a dynamic by moving, since it in some of the different interesting is the real spatial-geometric appearance of an object included in the formed image, you can achieve high VR simulation of artistic effect and entertainment an effect that becomes.

【０１２６】また、本発明の仮想現実方法及び装置によれば、体験者の視線位置に投影されているモデルの属性（形状、大きさ、色、テクスチャー、動作等）をダイナミックに変更することで、体験者の意思を即座に反映して体験者が注目しているモデルを強調することが可能になり、これにより、ＶＲシミュレーションのアート的表現やエンターテイメント性（デモ効果）も向上させることが可能であるという効果を奏する。 [0126] Further, according to the virtual reality method and apparatus of the present invention, by changing the attribute of the model is projected onto a viewer's line of sight position (shape, size, color, texture, operation, etc.) to the dynamic , it is possible to emphasize the model viewer to reflect immediately the intention of experience who is paying attention, this way, artistic expression and entertainment of the VR simulation (demonstration effect) also can be improved there is an effect that is.

【０１２７】また、本発明の仮想現実方法及び装置によれば、視線の被検出者は、その目の直前に固定されたディスプレイを見ることにより臨場感のある映像を観賞することができるという効果を奏する。 [0127] Further, according to the virtual reality method and apparatus of the present invention, is to be detected line of sight, the effect of being able to watch pictures of realism by viewing the fixed display immediately before the eyes achieve the.

【０１２８】また、本発明の仮想現実方法及び装置によれば、体験者の指示により仮想空間に設定するスクリーンの形状を自由に変化させ、仮想空間に設定した物体の空間的・幾何学的な見え方を変化させることができるという効果を奏する。 [0128] Further, according to the virtual reality method and apparatus of the present invention, freely changing the shape of the screen to be set in the virtual space by the instruction of the viewer, spatial-geometric object set in the virtual space there is an effect that it is possible to change the appearance.本発明の記憶媒体によれば、上述したような仮想現実装置を円滑に制御することができるという効果を奏する。 According to the storage medium of the present invention, an effect that it is possible to smoothly control the virtual reality apparatus as described above.

【０１２９】また、本発明の仮想現実方法及び装置によれば、体験者が注目しているモデルに与える強調方法を切り換えることが可能であるという効果を奏する。 [0129] Further, according to the virtual reality method and apparatus of the present invention, there is an effect that it is possible to switch the enhancement method of giving the model viewer is watching.

【図面の簡単な説明】 BRIEF DESCRIPTION OF THE DRAWINGS

【図１】本発明の第１の実施の形態に係る仮想現実装置の概念を示す図である。 1 is a diagram showing the concept of a virtual reality system according to a first embodiment of the present invention.

【図２】本発明の第１の実施の形態に係る仮想現実装置のシステム構成を示すブロック図である。 2 is a block diagram showing the system configuration of a virtual reality system according to a first embodiment of the present invention.

【図３】本発明の第１の実施の形態に係る仮想現実装置のＶＲシミュレーション処理動作を示すフローチャートである。 3 is a flowchart showing a VR simulation process operation of the virtual reality system according to a first embodiment of the present invention.

【図４】本発明の第１の実施の形態に係る仮想現実装置のスクリーン選択時の画面を示す図である。 4 is a diagram showing a screen when the screen selection of the virtual reality system according to a first embodiment of the present invention.

【図５】本発明の第１の実施の形態に係る仮想現実装置の４種類のスクリーンを説明するための図である。 5 is a diagram for explaining four types of screen virtual reality device according to a first embodiment of the present invention.

【図６】本発明の第１の実施の形態に係る仮想現実装置の視線入力スカウタ内の映像表示部における視野フレームを示す図である。 6 is a diagram showing the viewing frame in the video display unit of the virtual reality apparatus gaze input Sukauta according to a first embodiment of the present invention.

【図７】本発明の第１の実施の形態に係る仮想現実装置の視点とニアクリッピング面を説明する図である。 7 is a diagram for explaining a viewpoint and the near clipping plane of a virtual reality system according to a first embodiment of the present invention.

【図８】本発明の第１の実施の形態に係る仮想現実装置のスクリーンへの投影の様子と形成画像を示す図である。 8 is a diagram showing how the image formed in the projection to the screen of the virtual reality system according to a first embodiment of the present invention.

【図９】本発明の第１の実施の形態に係る仮想現実装置のスクリーンへの投影の様子と形成画像を示す図である。 9 is a diagram showing how the image formed in the projection to the screen of the virtual reality system according to a first embodiment of the present invention.

【図１０】本発明の第１の実施の形態に係る仮想現実装置のスクリーンへの投影の様子と形成画像を示す図である。 Is a diagram showing how the image formed in the projection to the screen of the virtual reality apparatus according to the first embodiment of the invention; FIG.

【図１１】本発明の第１の実施の形態に係る仮想現実装置のスクリーンへの投影の様子と形成画像を示す図である。 11 is a diagram showing how the image formed in the projection to the screen of the virtual reality system according to a first embodiment of the present invention.

【図１２】本発明の第２の実施の形態に係る仮想現実装置のＶＲシミュレーション処理動作を示すフローチャートである。 12 is a flowchart showing a VR simulation process operation of the virtual reality system according to a second embodiment of the present invention.

【図１３】本発明の第２の実施の形態に係る仮想現実装置の注目モデル強調方法選択の際の画面を示す図である。 13 is a diagram showing a screen when the model of interest enhancement method selected virtual reality device according to a second embodiment of the present invention.

【図１４】本発明の第２の実施の形態に係る仮想現実装置のスクリーンへの投影の様子と形成画像を示す図である。 14 is a diagram showing how the image formed in the projection to the screen of the virtual reality system according to a second embodiment of the present invention.

【図１５】本発明の記憶媒体に格納されるプログラムの各プログラムモジュールを示す図である。 15 is a diagram showing each program module of a program stored in the storage medium of the present invention.

【図１６】本発明の別の記憶媒体に格納されるプログラムの各プログラムモジュールを示す図である。 16 is a diagram showing each program module of a program stored in a different storage medium of the present invention.

【図１７】一般的なモデリング座標系における３次元物体を示す図である。 17 is a diagram showing a three-dimensional object in a general modeling coordinate system.

【図１８】一般的なモデルデータの一例を示す図である。 18 is a diagram showing an example of a general model data.

【図１９】一般的な投影変換のための４つの座標を示す図である。 19 is a diagram showing the four coordinates for general projective transformation.

【図２０】一般的な投影変換を示す図である。 20 is a diagram showing a general projective transformation.

【図２１】一般的なスクリーンから投影された表示画像の一例を示す図である。 21 is a diagram showing an example of the projected display image from a general screen.

【図２２】一般的な視線検出方法の原理を示す平面図である。 22 is a plan view showing the principle of a general visual axis detecting method.

【図２３】一般的な視線検出方法の原理を示す側面図である。 23 is a side view showing the principle of a general visual axis detecting method.

【図２４】一般的な仮想現実装置のイメージセンサに投影される眼球像の概略図である。 Figure 24 is a schematic view of an eyeball image projected on the image sensor of a typical virtual reality system.

【図２５】一般的な仮想現実装置のイメージセンサの出力強度図である。 Figure 25 is a output intensity view of the image sensor of a typical virtual reality system.

【図２６】一般的な視線検出機能を持つパソコンシステムの一例を示す概略構成図である。 Figure 26 is a schematic block diagram showing an example of a computer system with a common line of sight detection function.

【図２７】一般的な視線検出機能を持つパソコンシステムのプリズムの構成図である。 27 is a configuration diagram of a prism of the personal computer system with a common line of sight detection function.

Claims (19)

Translated from Japanese

【特許請求の範囲】 [The claims]

【請求項１】 物体の３次元形状データを構築するモデリング工程と、仮想現実状態を体験する体験者の視線位置を検出する視線位置検出工程と、３次元仮想空間に視点を設定する視点設定工程と、前記視線位置検出工程により検出した視線位置データに基づいて仮想空間にスクリーンを設定するスクリーン設定工程と、前記視点設定工程により設定された視点から前記物体のモデルデータを空間的・幾何学的配置を考慮して見たときの情景を前記スクリーン上に写像するスクリーン写像工程と、前記スクリーン写像工程によりスクリーン上に写像された情景をデバイス座標系に写像する画像生成工程と、前記画像生成工程により生成した画像を映像信号に変換する映像変換工程と、前記映像変換工程により変換後の映像を表示する映像表示工 And modeling process as claimed in claim 1] to construct a three-dimensional shape data of the object, and the line-of-sight position detecting step of detecting experience the line of sight position to experience the virtual reality state, three-dimensional viewpoint setting step for setting a viewpoint in the virtual space When the a screen setting step of setting a screen in the virtual space based on the detected line-of-sight position data by the sight line position detecting step, the viewpoint setting step set viewpoint spatial and geometric model data of the object from the a screen mapping process for mapping scene on the screen when viewed arranged in consideration of an image generation step of mapping the scene that is mapped onto a screen device coordinate system by the screen mapping process, the image generation step a video conversion step of converting the generated image to the video signal, the video display Engineering for displaying an image converted by the image conversion step程とを有することを特徴とする仮想現実方法。 Virtual reality method characterized by having a degree.

【請求項２】 前記映像表示工程は、前記体験者の目の直前に置かれ且つ前記体験者の頭部に対して固定の状態で設定された表示器に映像を表示することを特徴とする請求項１記載の仮想現実方法。 Wherein said image display step, and displaying the image in the viewer's eye is placed immediately before and the viewer of the display set in a fixed state relative to the head virtual reality method of claim 1.

【請求項３】 前記スクリーンが任意の形状であり、また、前記体験者の指示により前記スクリーンの形状が切り換えられることを特徴とする請求項１記載の仮想現実方法。 Wherein the screen is of any shape, also virtual reality method of claim 1, wherein the switched shape of the screen according to an instruction of the viewer.

【請求項４】 物体の３次元形状データを構築するモデリング手段と、仮想現実状態を体験する体験者の視線位置を検出する視線位置検出手段と、３次元仮想空間に視点を設定する視点設定手段と、前記視線位置検出手段により検出した視線位置データに基づいて仮想空間にスクリーンを設定するスクリーン設定手段と、前記視点設定手段により設定された視点から前記物体のモデルデータを空間的・幾何学的配置を考慮して見たときの情景を前記スクリーン上に写像するスクリーン写像手段と、前記スクリーン写像手段によりスクリーン上に写像された情景をデバイス座標系に写像する画像生成手段と、前記画像生成手段により生成した画像を映像信号に変換する映像変換手段と、前記映像変換手段により変換後の映像を表示する映像表示手 Modeling means for constructing a three-dimensional shape data according to claim 4] object, the viewpoint position detecting means for detecting a viewpoint position of the viewer to experience the virtual reality state, the viewpoint setting unit which sets a viewpoint in the three-dimensional virtual space When a screen setting means for setting a screen in the virtual space based on the detected viewpoint position data by the sight line position detecting means, the viewpoint setting unit configured viewpoint spatial and geometric model data of the object from the a screen mapping unit for mapping the scene when viewed arranged in consideration of on the screen, image generating means for mapping a scene that is mapped onto a screen device coordinate system by the screen mapping unit, the image generating unit and video converting means for converting the generated image to the video signal, the video display hands for displaying an image converted by said video converting means段とを有することを特徴とする仮想現実装置。 Virtual reality apparatus characterized by having a stage.

【請求項５】 前記映像表示手段は、前記体験者の目の直前に置かれ且つ前記体験者の頭部に対して固定の状態で設定された表示器に映像を表示することを特徴とする請求項４記載の仮想現実装置。 Wherein said image display means, and displaying the image in the viewer's eye is placed immediately in front of and indicator set in a fixed state with respect to the viewer's head virtual reality device according to claim 4.

【請求項６】 前記スクリーンが任意の形状であり、また、前記体験者の指示により前記スクリーンの形状を切り換えるスクリーン形状切換手段を有することを特徴とする請求項４記載の仮想現実装置。 Wherein said screen is of any shape, also, virtual reality device according to claim 4, characterized in that it has a screen pattern switching means for switching the shape of the screen according to an instruction of the viewer.

【請求項７】 物体の３次元形状データを構築するモデリング工程と、仮想現実状態を体験する体験者の視線位置を検出する視線位置検出工程と、３次元仮想空間に視点を設定する視点設定工程と、前記視線位置検出工程により検出した視線位置データに基づいて仮想空間にスクリーンを設定するスクリーン設定工程と、前記視線位置検出工程により検出した視線位置データに基づいてモデルデータを変更するモデルデータ変更工程と、前記視点設定工程により設定された視点から前記物体のモデルデータを空間的・幾何学的配置を考慮して見たときの情景を前記スクリーン上に写像するスクリーン写像工程と、 And modeling step 7. constructing a three-dimensional shape data of the object, and the line-of-sight position detecting step of detecting experience the line of sight position to experience the virtual reality state, three-dimensional viewpoint setting step for setting a viewpoint in the virtual space When a screen setting step of setting the screen in the virtual space based on the viewpoint position data detected by the sight line position detecting step, the model data changes to change the model data based on the viewpoint position data detected by the sight line position detecting step a step, a screen mapping process for mapping the scene when viewed with model data of the object from the viewpoint set by the viewpoint setting step considering spatial and geometrical arrangement on the screen,前記スクリーン写像工程によりスクリーン上に写像された情景をデバイス座標系に写像する画像生成工程と、前記画像生成工程により生成した画像を映像信号に変換する映像変換工程と、前記映像変換工程により変換後の映像を表示する映像表示工程とを有することを特徴とする仮想現実方法。 An image generation step of mapping the scene that is mapped onto a screen by the screen mapping process to the device coordinate system, the image conversion step of converting image generated by the image generation process on the video signal, converted by the image conversion step virtual reality method characterized by having a picture display step of displaying an image of.

【請求項８】 前記映像表示工程は、前記体験者の目の直前に置かれ且つ前記体験者の頭部に対して固定の状態で設定された表示器に映像を表示することを特徴とする請求項７記載の仮想現実方法。 Wherein said image display step, and displaying the image in the viewer's eye is placed immediately before and the viewer of the display set in a fixed state relative to the head virtual reality method of claim 7 wherein.

【請求項９】 前記スクリーンが任意の形状であり、また、前記体験者の指示により前記スクリーンの形状が切り換えられることを特徴とする請求項７記載の仮想現実方法。 Wherein said screen is of any shape, also virtual reality method of claim 7, wherein the switched shape of the screen according to an instruction of the viewer.

【請求項１０】 前記モデルデータ変更工程を実行するモデルデータ変更手段は複数存在し、また、これらモデルデータ変更手段は複数同時選択が可能であり、更に前記体験者の指示により選択内容を変更できることを特徴とする請求項７記載の仮想現実方法。 10. The model data changing means for executing the model data changing step there are a plurality, also these model data changing means is capable of multiple simultaneous selection, the ability to further modify the selection according to an instruction of the viewer virtual reality method of claim 7, wherein.

【請求項１１】 物体の３次元形状データを構築するモデリング手段と、仮想現実状態を体験する体験者の視線位置を検出する視線位置検出手段と、３次元仮想空間に視点を設定する視点設定手段と、前記視線位置検出手段により検出した視線位置データに基づいて仮想空間にスクリーンを設定するスクリーン設定手段と、前記視線位置検出手段により検出した視線位置データに基づいてモデルデータを変更するモデルデータ変更手段と、前記視点設定手段により設定された視点から前記物体のモデルデータを空間的・幾何学的配置を考慮して見たときの情景を前記スクリーン上に写像するスクリーン写像手段と、前記スクリーン写像手段によりスクリーン上に写像された情景をデバイス座標系に写像する画像生成手段と、前記画像生成手段に And modeling means 11. constructing a three-dimensional shape data of the object, the viewpoint position detecting means for detecting a viewpoint position of the viewer to experience the virtual reality state, the viewpoint setting unit which sets a viewpoint in the three-dimensional virtual space When a screen setting means for setting a screen in the virtual space based on the detected viewpoint position data by the sight line position detecting means, the model data changes to change the model data based on the viewpoint position data detected by the visual line position detecting means means, a screen mapping unit for mapping the scene when the model data of the object from the viewpoint which is set as seen by considering the spatial and geometric arrangement by the viewpoint setting unit on the screen, the screen mapping image generating means for mapping a scene that is mapped onto a screen device coordinate system by means, in the image generating unitより生成した画像を映像信号に変換する映像変換手段と、前記映像変換手段により変換後の映像を表示する映像表示手段とを有することを特徴とする仮想現実装置。 Virtual reality apparatus comprising: the image converting means for converting an image more generated video signal, the video display means for displaying the image converted by said video converting means.

【請求項１２】 前記映像表示手段は、前記体験者の目の直前に置かれ且つ前記体験者の頭部に対して固定の状態で設定された表示器に映像を表示することを特徴とする請求項１１記載の仮想現実装置。 12. The method of claim 11, wherein the image display means, and displaying the image in the viewer's eye is placed immediately in front of and indicator set in a fixed state with respect to the viewer's head virtual reality device according to claim 11.

【請求項１３】 前記スクリーンが任意の形状であり、 Wherein said screen is of any shape,また、前記体験者の指示により前記スクリーンの形状を切り換えるスクリーン形状切換手段を有することを特徴とする請求項１１記載の仮想現実装置。 The virtual reality system of claim 11, wherein it has a screen pattern switching means for switching the shape of the screen according to an instruction of the viewer.

【請求項１４】 前記モデルデータ変更手段は複数存在し、また、これらモデルデータ変更手段を複数同時選択する選択手段を有し、更に前記体験者の指示により選択内容を変更できることを特徴とする請求項１１記載の仮想現実装置。 14. The model data change means there are a plurality, also has a selection means for multiple simultaneous selection of these model data changing unit, characterized in that it further change the selection according to an instruction of the viewer according virtual reality device according to item 11, wherein.

【請求項１５】 仮想現実状態を実現する仮想現実装置を制御するプログラムを格納する記憶媒体であって、物体の３次元形状データを構築するモデリングモジュールと、仮想現実状態を体験する体験者の視線位置を検出する視線位置検出モジュールと、３次元仮想空間に視点を設定する視点設定モジュールと、前記視線位置検出モジュールにより検出した視線位置データに基づいて仮想空間にスクリーンを設定するスクリーン設定モジュールと、前記視点設定モジュールにより設定された視点から前記物体のモデルデータを空間的・幾何学的配置を考慮して見たときの情景を前記スクリーン上に写像するスクリーン写像モジュールと、前記スクリーン写像モジュールによりスクリーン上に写像された情景をデバイス座標系に写像する画像生成 15. A storage medium storing a program for controlling a virtual reality apparatus for realizing virtual reality state, the modeling module to construct a three-dimensional shape data of the object, experience's line of sight to experience the virtual reality state position and the line-of-sight position detecting module for detecting and a viewpoint setting module that sets a viewpoint in the three-dimensional virtual space, and a screen setting module that sets a screen in the virtual space based on the viewpoint position data detected by the sight line position detecting module, a screen mapping module mapping the scene when the model data of the object from the viewpoint which is set as seen by considering the spatial and geometric arrangement by the viewpoint setting module on the screen, the screen by the screen mapping module image generating mapping the scene that is mapped on the device coordinate systemモジュールと、前記画像生成モジュールにより生成した画像を映像信号に変換する映像変換モジュールと、前記映像変換モジュールにより変換後の映像を表示する映像表示モジュールを有するプログラムを格納したことを特徴とする記憶媒体。 Module and the image conversion module for converting the image generated by the image generation module to the video signal, a storage medium characterized by storing a program having a video display module for displaying an image converted by the image conversion module .

【請求項１６】 前記映像表示モジュールは、前記体験者の目の直前に置かれ且つ前記体験者の頭部に対して固定の状態で設定された表示器に映像を表示することを特徴とする請求項１５記載の記憶媒体。 16. The image display module, and displaying the image in the viewer's eye is placed immediately in front of and indicator set in a fixed state with respect to the viewer's head 15. medium according.

【請求項１７】 仮想現実状態を実現する仮想現実装置を制御するプログラムを格納する記憶媒体であって、物体の３次元形状データを構築するモデリングモジュールと、仮想現実状態を体験する体験者の視線位置を検出する視線位置検出モジュールと、３次元仮想空間に視点を設定する視点設定モジュールと、前記視線位置検出モジュールにより検出した視線位置データに基づいて仮想空間にスクリーンを設定するスクリーン設定モジュールと、前記視線位置検出モジュールにより検出した視線位置データに基づいてモデルデータを変更するモデルデータ変更モジュールと、前記視点設定モジュールにより設定された視点から前記物体のモデルデータを空間的・幾何学的配置を考慮して見たときの情景を前記スクリーン上に写像するスクリー 17. A storage medium storing a program for controlling a virtual reality apparatus for realizing virtual reality state, the modeling module to construct a three-dimensional shape data of the object, experience's line of sight to experience the virtual reality state position and the line-of-sight position detecting module for detecting and a viewpoint setting module that sets a viewpoint in the three-dimensional virtual space, and a screen setting module that sets a screen in the virtual space based on the viewpoint position data detected by the sight line position detecting module, considering the model data change module, a spatial-geometry model data of the object from the viewpoint set by the viewpoint setting module to change the model data based on the viewpoint position data detected by the viewpoint position detection module screening for mapping the scene when viewed in the on the screenン写像モジュールと、前記スクリーン写像モジュールによりスクリーン上に写像された情景をデバイス座標系に写像する画像生成モジュールと、 And emissions mapping module, an image generation module mapping the scene that is mapped onto a screen device coordinate system by the screen mapping module,前記画像生成モジュールにより生成した画像を映像信号に変換する映像変換モジュールと、前記映像変換モジュールにより変換後の映像を表示する映像表示モジュールとを有するプログラムを格納したことを特徴とする記憶媒体。 Storage medium characterized by storing a program having a video conversion module for converting the image generated by the image generation module to the video signal, the video display module for displaying an image converted by the image conversion module.

【請求項１８】 前記映像表示モジュールは、前記体験者の目の直前に置かれ且つ前記体験者の頭部に対して固定の状態で設定された表示器に映像を表示することを特徴とする請求項１７記載の記憶媒体。 18. The image display module, and displaying the image in the viewer's eye is placed immediately in front of and indicator set in a fixed state with respect to the viewer's head storage medium of claim 17.

【請求項１９】 前記モデルデータ変更モジュールを実行するモデルデータ変更手段は複数存在し、また、これらモデルデータ変更手段は複数同時選択が可能であり、 19. Model data changing means for executing the model data change module there are a plurality, also these model data changing means is capable of multiple simultaneous selection,更に前記体験者の指示により選択内容を変更できることを特徴とする請求項１７記載の記憶媒体。 Storage medium of claim 17, wherein the possible further change the selection according to an instruction of the viewer.

JP15430697A1997-05-291997-05-29Method and system for virtual reality and storage medium
PendingJPH10334275A
(en)