Links

Classifications

A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR

A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions

A63F13/50—Controlling the output signals based on the game progress

A63F13/54—Controlling the output signals based on the game progress involving acoustic signals, e.g. for simulating revolutions per minute [RPM] dependent engine sounds in a driving game or reverberation against a virtual wall

A—HUMAN NECESSITIES

A63—SPORTS; GAMES; AMUSEMENTS

A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR

A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions

A63F13/02—Accessories

A—HUMAN NECESSITIES

A63—SPORTS; GAMES; AMUSEMENTS

A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR

A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions

A63F13/10—Control of the course of the game, e.g. start, progess, end

A—HUMAN NECESSITIES

A63—SPORTS; GAMES; AMUSEMENTS

A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR

A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions

A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment

A63F13/44—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment involving timing of operations, e.g. performing an action within a time slot

H—ELECTRICITY

H04—ELECTRIC COMMUNICATION TECHNIQUE

H04S—STEREOPHONIC SYSTEMS

H04S1/00—Two-channel systems

A—HUMAN NECESSITIES

A63—SPORTS; GAMES; AMUSEMENTS

A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR

A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game

A63F2300/60—Methods for processing data by generating or executing the game program

A63F2300/6063—Methods for processing data by generating or executing the game program for sound processing

A—HUMAN NECESSITIES

A63—SPORTS; GAMES; AMUSEMENTS

A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR

A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game

A63F2300/60—Methods for processing data by generating or executing the game program

A63F2300/63—Methods for processing data by generating or executing the game program for controlling the execution of the game in time

A—HUMAN NECESSITIES

A63—SPORTS; GAMES; AMUSEMENTS

A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR

A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game

A63F2300/60—Methods for processing data by generating or executing the game program

A63F2300/64—Methods for processing data by generating or executing the game program for computing dynamical parameters of game objects, e.g. motion determination or computation of frictional forces for a virtual car

A—HUMAN NECESSITIES

A63—SPORTS; GAMES; AMUSEMENTS

A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR

A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game

A63F2300/60—Methods for processing data by generating or executing the game program

A63F2300/66—Methods for processing data by generating or executing the game program for rendering three dimensional images

Abstract

PROBLEM TO BE SOLVED: To provide a sound generating device which interlocks with an image display by generating a sound corresponding to the relation between a body which generating a sound and a camera angle position, etc., and then reducing the fatigue feeling of a listener or user even when the sound is heard through headphones. SOLUTION: An image processing unit 11 displays various bodies in three dimensions by gaze movement viewed from the camera angle position and also generates image data display data on the camera angle. A sound processing unit 12 finds the distance between the sound generating body and the camera angle position, etc., and determines sound volume according to the distance data. The sound volume is controlled according to this camera angle position, etc., and the distance to the sound generating body to give three-dimensional variation to a voice or sound heard from right and left speakers 42L and 42R or headphones 44 eventually associatively with three-dimensional image variation corresponding to the line of sight movement to the sound generating body viewed from the camera angle position, etc. Therefore, the listener or user is made to feel nearly real image and sound effects.

Description

Translated from Japanese

【発明の詳細な説明】 DETAILED DESCRIPTION OF THE INVENTION

【０００１】 [0001]

【発明の属する技術分野】この発明は画像表示に連動する音響発生装置に関し、より特定的にはパーソナルコンピュータやビデオゲーム機などの画像処理装置において表示される２つの物体の方向及び距離等に基づいて三次元的な広がりをもつ効果音又は音楽等の音響を発生する画像表示に連動する音響発生装置に関する。 BACKGROUND OF THE INVENTION relates to an acoustic generator This invention interlocked with the display image, based on a more directions of the two object displayed in the image processing apparatus such as a personal computer or a video game machine is specifically and distance, etc. on acoustic generator interlocked with the image display to generate sound, such as sound effects or music having a three-dimensional expanse Te.

【０００２】 [0002]

【従来の技術】ステレオ音を発生する技術としては、特公昭６０−９３９７号（先行技術１）が知られている。 2. Description of the Related Art As a technology for generating a stereo sound, are known to Japanese Patent Publication No. 60-9397 (prior art 1).この先行技術１は、１つの音声信号をそのままアナログ信号として出力するとともに、遅延させたアナログ信号として出力することにより、ステレオ音を発生するものである。 The prior art 1 is configured to directly output as an analog signal to one audio signal, by outputting an analog signal delayed, and generates a stereo sound.しかし、先行技術１は、アナログ信号を遅延させているため、ディジタル音源には適用できず、しかもＣＲＴデイスプレイ等の画面上に表示されている物体又はキャラクタの移動状態との関係で物体の移動に連動したような音響を発生することができなかった。 However, the prior art 1, since the delayed analog signal, can not be applied to a digital sound source, yet the movement of the object in relation to the moving state of the object or character is displayed on the screen such as a CRT Deisupurei it has not been possible to generate a sound, such as in conjunction with each other.

【０００３】画像表示に関連して２次元的な音を発生する音響発生装置としては、特開昭６２−１５５８７９号（先行技術２）が知られている。 [0003] As an acoustic generator for generating a two-dimensional sound in relation to the image display, JP 62-155879 (prior art 2) has been known.先行技術２は、音の発生源となる移動物体である飛行機が平面的又は二次元的に移動するのに伴って、左右のスピーカのうち遠ざかる側の音量を漸減させ、近づく側の音量を漸増させることにより、飛行機の平面的な移動に併せて音量を制御するものである。 Prior art 2, the airplane is moving object is a source of sound with to move in a plane or two-dimensionally, is gradually decreased the volume of the side away of the left and right speakers, increasing the volume on the side closer by and controls the volume in accordance with the planar movement of the airplane.しかし、先行技術２は、移動物体の移動に伴って音量を漸減又は漸増させるに過ぎないので、ステレオ音として聞こえるとしても、三次元的な音響効果が得られない。 However, the prior art 2, since only gradually decreases or gradually increase the volume with the movement of the moving object, even heard as stereo sounds, three-dimensional sound effects can not be obtained.また、先行技術２は、三次元的な画像表示の効果音としては適切ではない。 Further, the prior art 2 is not suitable as a three-dimensional image display sound effects.その理由は、飛行機や自動車のような二次元的に移動する移動物体の動きに連動して音を発生する場合であればそれなりの音響効果が得られるが、三次元的な画像を表示する場合に三次元的な音響効果を得ることができず、画像表示と音響効果（又は音場感）とが一致してなく、違和感を感じさせるためである。 This is because, if it in the case of generating a sound in conjunction with the movement of a moving object that moves such two-dimensionally airplanes and automobiles is moderate sound effect obtained, which displays a three-dimensional image can not be obtained a three-dimensional sound effects, the image display and sound effects (or sound field feeling) and without consistent, because feel uncomfortable.さらに、先行技術２は、使用者がヘッドホンを使用する場合に適用すると、左右の音が聴覚者の左右の耳に同時に伝わりかつ左右の音量が異なるだけなので、左右の音が聴覚者の耳に直接伝わることになり、耳に対向しない側の音を遅延させるような音響効果がなく、左右の音量差を極端に大きくすると、耳に負担がかかり、聴覚者に疲れを感じさせ易くなり、長時間使用すると頭痛等の原因になることが経験的に知られている。 Furthermore, the prior art 2, when the user applies when using headphones, so the left and right sound only the volume of simultaneously transmitted and left and right to the left and right ears of the hearing person is different, the right and left sound to the ear of the hearing person will be directly transmitted, there is no sound effects, such as delaying the side sound of not facing the ear, and extremely increases the volume level difference between the left and right, it takes a burden on the ear, makes it easier to feel tired hearing person, length it is known from experience that when you use time cause of the headache and the like.なお、先行技術２を用いて左右のスピーカの音量を制御すると、スピーカから発生される音がいろんな方向に広がりながら聴覚者に聞こえるので、左右のスピーカの一方から発生された音が聴覚者の左又は右の耳に伝わる音と他方から発生された音が聴覚者の右又は左の耳に伝わる音との間で多少の時間的な遅れが生じ、一方の音を遅延させるのに似た音響効果が若干生じるが、三次元的な音響効果を得るまでには至らない。 Incidentally, when controlling the volume of the left and right speakers using the prior art 2, since the sound generated from the speaker can be heard in the hearing person while spreading various directions, the left sound generated from one of the left and right speakers of the hearing person acoustic or right sound transmitted to the ear and the sound generated from the other is some time delay between the sound transmitted to the right or left ear hearing person occurs, similar to delay one of the sound effect occurs slightly, but does not lead to obtaining a three-dimensional sound effects.

【０００４】 [0004]

【発明が解決しようとする課題】それゆえに、この発明の主たる目的は、物体に対してカメラアングルから見たような三次元的な画像を表示する場合において、カメラアングルの移動に伴って三次元的な音響を発生することのできる、画像表示に連動する音響発生装置を提供することである。 [SUMMARY OF THE INVENTION Therefore, an object of the invention is, in the case of displaying the three-dimensional image as viewed from a camera angle to the object, three-dimensional with the movement of the camera angle capable of generating acoustic, it is to provide a sound generating device interlocked with the image display.この発明の他の目的は、ヘッドホンで聞く場合でも、聴覚者又は使用者の疲労感を低減し得る、画像表示に連動する音響発生装置を提供することである。 Another object of the present invention, even when listening with headphones, may reduce the fatigue of hearing or user, it is to provide a sound generating device interlocked with the image display.

【０００５】 [0005]

【課題を解決するための手段】この発明の画像表示に連動する音響発生装置は、少なくとも音を発する第１の物体をカメラアングルで見えるように画面上に表示する画像表示装置において、第１の物体とカメラアングル位置等との関係に応じた音響を発生するためのものであって、第１の音響発生手段と、第２の音響発生手段と、音源データ記憶手段と、一時記憶手段と、音声処理手段と、第１のディジタル−アナログ変換手段と、第２のディジタル−アナログ変換手段とを備える。 SUMMARY OF THE INVENTION The sound generator interlocked with the image display of the invention is an image display device for displaying the on screen as the first object that emits at least sound visible camera angle, a first be for generating a sound corresponding to the relationship between the object and the camera angle position, and the like, a first sound generation means, a second sound generation means, a sound source data storage means, a temporary storage means, and a analog converter - a voice processing unit, the first digital - analog conversion means, second digital.

【０００６】 [0006]

【作用】音源データ記憶手段は、第１の音響発生手段及び第２の音響発生手段から発生させるための音声又は音響の元となる音源データを予めデジタル的に記憶している。 [Action] sound source data storage means, in advance digitally storing sound source data to be speech or sound source for generating a first sound generating means and second sound generation means.一時記憶手段は、音源データ記憶手段から発生される或る期間に発生すべき処理単位の音源データを一時記憶する。 Temporary storage means temporarily stores the sound source data processing unit to be generated in a certain period is generated from the sound source data storage means.音声処理手段は、第１の音響発生手段によって発生させる第１の系統の音響を発生すべき音源データを一時記憶手段に記憶させかつ第１の系統用として読み出させるとともに、一時記憶手段に記憶されている第１の系統用の音源データをカメラアングル位置等から見た第１の物体の方向に基づいて算出される遅延時間に応じて遅延させて第２の系統用の音源データとして読み出させる。 Audio processing means, causes read for the first of the first sound source data to be generated acoustic lines is stored in the temporary storage means and first line to be generated by the sound generation means, temporary storage means in the storage read out as a sound source data for the second system with a delay according to the delay time is calculated sound source data for the first line are based on the direction of the first object as seen from the camera angle position, and the like are make.第１のディジタル−アナログ変換手段は、音声処理手段によって一時記憶手段からそのまま読み出された第１系統の音源データをアナログ音声信号に変換して第１ First digital - analog conversion means, first converts the sound source data of the first system read directly from the temporary storage unit and the voice processing unit into an analog audio signalの音響発生手段に与える。 Give of the sound generating means.それによって、第１の音響発生手段は第１の系統の音響を発生を発生する。 Thereby, the first sound generating means for generating a generate sound of the first system.第２のディジタル−アナログ変換手段は、音声処理手段によって一時記憶手段から読み出された遅延された第２系統の音源データをアナログ音声信号に変換して第２の音響発生手段に与える。 Second digital - analog conversion means gives the sound source data of the second system that has been delayed read from the temporary storage unit and the voice processing unit to the second sound generation means into an analog audio signal.それによって、第２の音響発生手段は第１系統の音響よりも指定された遅延量だけ遅れて第２系統の音響を発生する。 Thereby, a second sound generation means generates a sound of the second system with a delay by a delay amount specified than the acoustic of the first system.このとき、必要に応じて、遅延量の制御に併せて音量制御が行われる。 At this time, if necessary, the volume control is performed in accordance with the control of the delay amount.

【０００７】 [0007]

【効果】この発明によれば、固定され又は移動する物体に対してカメラアングル位置等から見たような三次元的な画像表示において、カメラアングルの視線移動に伴って三次元的な音響を発生することができ、画像表示と音響効果が一致するので、使用者により現実に近い画像・ [Effect] According to the present invention, in a fixed or moving objects three-dimensional image display as viewed from the camera angle position, and the like with respect to the three-dimensional sound with the eye movement of the camera angle generator it can be, because the image display and sound effects coincide, the image-realistic by the user音響的効果を感じさせることができ、興趣を一層向上できる。 You can feel the sound effects, can be further improved the interest.また、この発明の音響発生装置から発生される音響をヘッドホンステレオで聞く場合に、聴覚者又は使用者の疲労感を軽減できる。 Further, when listening to sound generated from the sound generating device of the invention in a headphone stereo, you can reduce fatigue of hearing or user.

【０００８】 [0008]

【発明の実施の形態】図１はこの発明の画像表示に連動する音響発生装置の原理ブロック図である。 Figure 1 DETAILED DESCRIPTION OF THE INVENTION is a principle block diagram of a sound generating device interlocked with the image display of the present invention.画像・音声処理装置（以下「処理装置」と略称する）１０は、例えばゲームのための画像と音楽・効果音等の音響を発生するビデオゲーム機等であって、画像処理ユニット１１と音声処理ユニット１２を含む。 Image and sound processing apparatus (hereinafter abbreviated as "processing unit") 10 is, for example, a video game machine or the like for generating a sound such as an image and music and sound effects for a game, the image processing unit 11 and audio processing including the unit 12.画像処理ユニット１１には、アドレスバス及びデータバスを介して画像メモリ１ The image processing unit 11, an image memory 1 via an address bus and a data bus３が接続される。 3 is connected.また、画像処理ユニット１１には、外部メモリ２０及び操作器３０が着脱自在に接続される。 The image processing unit 11, the external memory 20 and the operation unit 30 is detachably connected.画像処理ユニット１１は、操作器３０から入力される操作状態を示すデータと、外部メモリ２０に含まれる画像データ・プログラムデータ記憶領域２１に記憶されている画像データ及びプログラムデータに基づいて、画像処理のための演算を行って、表示すべき画像処理データを映像信号発生回路１４に与える。 The image processing unit 11, and data indicating the operating condition input from the operating unit 30, based on the image data and program data stored in the image data program data storage area 21 included in the external memory 20, image processing It performs operation for, provide image processing data to be displayed on the video signal generating circuit 14.この画像処理ユニット１１は、プログラムに基づいて音楽及び／又はゲームの効果音等の音（音響）を発生する１又は複数の物体（例えば、滝，川，動物，自動車，飛行機等）や、音を発生しない物体（例えば、建物，植物，道路，雲，景色等） The image processing unit 11 may include one or more objects to generate a sound (acoustic), such as sound effects music and / or games based on the program (e.g., waterfall, river, animals, automobiles, airplanes, etc.) and sound the not generating object (for example, building, plant, road, clouds, scenery, etc.)や、これら各種物体をカメラアングル位置から見た視線移動によって三次元的に表示したり、プレイヤの操作に応じて移動方向又は動作（手足の動き）を変化する主人公キャラクタ（例えば、人間又は動物等）の後方又は後方上部等から見たようなカメラアングルの画像表示データを発生するものである。 And, these various objects to view in three dimensions by eye movement seen from camera angle position, the main character (e.g. changing the direction of movement or operation (movement of the limbs) in accordance with the operation of the player, human or animal, etc. ) it is to generate an image display data of the camera angle, as viewed from the rear or upper rear portion or the like.映像信号発生回路１４は、画像処理ユニット１１から与えられる画像処理データに基づいてディスプレイ装置の一例のＣＲＴ又は標準テレビジョン受像機（以下「テレビ」と略称する）４０で表示するのに必要な各種同期信号を付加した映像信号を発生してテレビ４０に与えて、表示画面（又は表示部）４１ Image signal generating circuit 14, an example of a CRT or a standard television receiver display device based on image processing data supplied from the image processing unit 11 (hereinafter abbreviated as "television") Various required to display 40 It is given to the TV 40 generates a video signal by adding a synchronization signal, a display screen (or display unit) 41に表示させる。 To be displayed on.

【０００９】一方、画像処理ユニット１１は、滝，川等の水音や自動車の走行音や動物の鳴き声等の効果音をカメラアングル位置又は主人公キャラクタ（以下、両者を総称してカメラアングル位置等と呼ぶ）の視線移動に伴って変化させて、三次元的な画像表示に連動して三次元的な音響効果を実現するために、各種物体のうちの音を発生する物体（以下「音発生物体」という）の座標データ（以下「第１の座標データ」という）と、カメラアングル位置等の座標データ（以下「第２の座標データ」） On the other hand, the image processing unit 11, falls, the sound effects such as chirping sound of water and automobile road noise and animals such as rivers camera angle position or the hero character (hereinafter, camera angle position, and the like collectively both varied in accordance with the eye movement with the called), in order to realize a three-dimensional sound effects in synchronization with three-dimensional image display, the object that generates sound of the various objects (hereinafter "sounding coordinate data of the object ") (hereinafter" the) that first coordinate data ", the coordinate data such as a camera angle position (hereinafter," second coordinate data ")と、音の種類を指定するデータとを音声処理ユニット１ When the voice processing unit 1 and the data that specifies the type of sound２に与える。 Give to 2.ここで、音声処理ユニット１２に与えられる座標データは、画面の左右方向を示すＸ座標データ及び上下方向を示すＹ座標データに加えて、奥行き方向を表すＺ座標データも含まれる。 Here, the coordinate data is supplied to the audio processing unit 12, in addition to the Y-coordinate data indicating the X-coordinate data and the vertical direction indicates the horizontal direction of the screen, also includes Z coordinate data representing the depth direction.

【００１０】音声処理ユニット１２には、外部メモリ２ [0010] The voice processing unit 12, the external memory 2０に含まれる音源データメモリ２２が着脱自在に接続されるとともに、音源データを一時記憶するための音声処理用バッファメモリ（以下「バッファメモリ」と略称する）１５がデータバス及びアドレスバスを介して接続される。 Together with the sound source data memory 22 is detachably connected contained 0, the audio processing buffer memory for temporarily storing the sound source data (hereinafter referred to as "buffer memory") 15 via a data bus and an address bus It is connected.音源データメモリ２２は、外部メモリ２０のプログラムによって実行される１つのゲームに用いられる多量の音源データをＰＣＭデータ又はＡＤ−ＰＣＭデータの形で記憶している。 Sound source data memory 22 stores a large amount of sound source data used for one game executed by programs in the external memory 20 in the form of PCM data or AD-PCM data.バッファメモリ１５は、バッファ領域１５ａと、遅延バッファ領域１５ｂとを含む（後述の詳細な実施例の図９参照）。 Buffer memory 15 includes a buffer area 15a, a delay buffer area 15b (see FIG. 9 detailed examples below).バッファ領域１５ａは、 Buffer area 15a is或る単位時間において、遅延のない音声として第１系統の音声信号を発生するために音声データを一時記憶するものであり、以下には非遅延バッファ領域と呼ぶ。 In certain unit time, which temporarily stores the audio data to generate audio signals of the first system as a voice without delay, hereinafter referred to as non-delay buffer area.遅延バッファ領域１５ｂは、音発生物体の座標と主人公キャラクタ（又はカメラアングル位置）の座標との距離及び方向に基づいて演算によって求められた遅延時間に相当する時間だけ、第１系統の音声信号よりも遅延された音声信号を第２系統の音声信号として発生するために、最大遅延時間に相当する記憶容量を有する。 Delay buffer area 15b, only the time corresponding to the delay time obtained by the calculation based on the distance and the direction between the coordinates of the sound generating object coordinates and the main character (or camera angle position), from the audio signals of the first system to generate an audio signal delayed as the audio signal of the second system has a storage capacity corresponding to maximum delay time.実施例では、 In the embodiment,最大遅延時間が単位時間の１／５以上だと、左右の音を聞いたときに不自然な印象を与えらるので、遅延バッファ領域１５ｂが非遅延バッファ領域１５ａの１／５の記憶容量に選ばれる。 When it maximum delay time is more than 1/5 of the unit time, so Ataeraru an unnatural impression when listening to the left and right sound, the storage capacity of 1/5 of the delay buffer area 15b is undelayed buffer area 15a To be elected.例えば、非遅延バッファ領域１５ａ For example, the non-delay buffer area 15aが単位時間に相当する記憶容量として３２０バイト、遅延バッファ領域１５ｂが最大遅延時間に相当する記憶容量として６４バイトに選ばれる。 There 320 bytes as a storage capacity corresponding to the unit time, the delay buffer area 15b is selected in the 64 bytes as a storage capacity corresponding to maximum delay time.ここで、処理単位時間は、音声信号をサンプリングして音声データを作る場合のサンプリング周波数（例えば、３２ＫＨｚ）と、一度に処理すべき音声信号の固まりの時間（すなわち処理単位に相当する時間）との関係によって決定され、本願実施例では１／２００秒〜１／２４０秒に選ばれる。 Here, the processing unit time, the sampling frequency (e.g., 32KHz) when making voice data by sampling the speech signal, the mass of the audio signal to be processed at one time time (i.e. time corresponding to the unit of processing) is the determined by the relationship, in the present embodiment is selected to 1/200 sec to 1/240 second.そして、第２系統の音声信号が第１系統の音声信号よりも遅延した遅延時間は、主人公キャラクタからみた音発生物体の方向又は主人公キャラクタが移動する場合においては移動の前後の両者の方向（又は方向に基づく角度）の変化量に応じて可変制御される。 Then, delay time audio signal of the second system is delayed than the audio signal of the first system, the direction of the front and rear both move when the direction or the main character of the sound generating object as viewed from the leading character moves (or It is variably controlled according to the amount of change in angle) based on the direction.

【００１１】なお、バッファメモリ１５の容量が多い場合は、遅延バッファ領域１５ｂに代えて、非遅延バッファ領域１５ａの記憶容量と遅延バッファ領域１５ｂの記憶容量を合計した記憶容量を有する遅延バッファ領域１ [0011] Note that when the capacity of the buffer memory 15 is large, a delay in place of the buffer area 15b, a delay buffer area 1 having a total storage capacity of the storage capacity of the storage capacity and the delay buffer area 15b of the non-delay buffer area 15a５ｂ'を用い（後述の詳細な実施例の図１０参照）、第２系統の音源データの書込アドレスを遅延時間に応じて０〜６４バイトの範囲で可変制御してもよい。 Used 5b '(see Figure 10 detailed examples below) may be variably controlled in the range of 0 to 64 bytes depending on the delay time the write address of the sound source data of the second system.

【００１２】音声処理ユニット１２は、第１の座標データと第２の座標データとに応じて予め定められるプログラムに基づいて演算処理し、カメラアングル位置（又は主人公キャラクタ）から見た音発生物体の方向（又は角度）を求め、その方向に基づいて遅延量（又は遅延時間）を後述の図６に示す特性図の関係になるように決定する。 [0012] audio processing unit 12, and arithmetic processing based on a program that is determined in advance according to the first coordinate data and second coordinate data, camera angle position (or the hero character) from the sound generating object as viewed seeking direction (or angle) is determined as the relation of the characteristic diagram of the delay amount based on the direction (or delay time) in FIG. 6 to be described later.また、音声処理ユニット１２は、第１の座標データと第２の座標データとに基づいて、音発生物体とカメラアングル位置等との距離を求め、その距離データに基づいて音量を決定する。 Also, the audio processing unit 12, based on the first coordinate data and second coordinate data, determine the distance between the sound generating object and the camera angle position, and the like, to determine the volume based on the distance data.そして、音源データメモリ２２ Then, the sound source data memory 22に記憶されている音声データのうち処理単位（３２０バイト分）の音声データを一定周期で読出して非遅延バッファ領域１５ａに書込み、直前と処理単位時間後のそれぞれの主人公キャラクタの位置及び音発生物体の位置を示すそれぞれの座標データに基づいて主人公キャラクタから見た音発生物体の方向の変化量（角度）を求め、方向変化量に応じた遅延時間を演算によって求める。 Position and sound generating object for each main character after the audio data written to the non-delay buffer area 15a is read at a constant period, immediately before the processing unit time of a processing unit (320 bytes) among the audio data stored in the seeking the direction of change of the sound generating object as viewed from the main character (angle) on the basis of each indicating the position of the coordinate data obtained by calculating the delay time corresponding to the direction change amount.なお、遅延時間の決定は、演算処理に代えて、方向の角度毎予めテーブルに設定しておき、そのテーブルから遅延時間データを読出すようにしてもよい。 Incidentally, the determination of the delay time, instead of the arithmetic process, may be set in the direction of the angular advance for each table, it may be read out delay time data from the table.このようにして決定された遅延時間に応じて、遅延バッファ領域１５ｂ In this way, according to the delay time determined, the delay buffer area 15bの書込みエリアが決定される。 Writing area of ​​is determined.そして、音声処理ユニット１２は、非遅延バッファ領域１５ａに記憶されている音源データを読み出して第１系統の音源データとして出力するとともに、第１系統の音源データを遅延時間に対応する遅延バッファ領域１５ｂのアドレスに書込み、かつ遅延バッファ領域１５ｂの最後の番地から音源データを読み出すことにより、第１系統の音声データよりも所望の遅延時間だけ遅れた第２系統の音源データとして出力する。 The audio processing unit 12, and outputs as sound source data of the first system reads the sound source data stored in the non-delay buffer area 15a, a delay buffer area 15b corresponding to the delay time sound source data of the first system write to the address, and by reading the sound source data from the last address of the delay buffer area 15b, than the audio data of the first system to output as a sound source data of the second system which is delayed by a desired delay time.ここで、第１系統の音声信号と第２系統の音声信号は、左右のスピーカ（又はヘッドホンの左右の発音体）のそれぞれに固定的に対応させるのではなく、第１ Here, the audio signal and the audio signal of the second system of the first system, rather than being fixedly corresponding to each of the left and right speakers (or sound of the left and right headphones), first系統を遅延しない音声信号のチャンネルに対応させ、第２系統を遅延した音声信号のチャンネルに対応させている。 In correspondence to the channel of the audio signal not delayed line are made to correspond to the channel of the audio signal obtained by delaying the second system.そして、音声処理ユニット１２は、音発生物体が主人公キャラクタ（又はカメラアングル位置）の正面より左に存在することを判断したしき、第１系統の音声データを左用のディジタル−アナログ変換回路１６ａに与えるとともに、第２系統の音声データを右用のディジタル−アナログ変換回路１６ｂに与える。 The audio processing unit 12, threshold sound generating object is determined to be present in the left from the front of the main character (or camera angle position), the audio data of the first system digital for the left - giving to analog converter 16a with the audio data of the second system digital for the right - providing analog conversion circuit 16b.

【００１３】逆に、音発生物体が主人公キャラクタの正面より右に存在することを判断したとき、音声処理ユニット１２は第１系統の音声データを右用のディジタル− [0013] Conversely, when the sound generating object is determined to be present right from the front of the main character, the audio processing unit 12 is a digital for the right audio data of the first system -アナログ変換回路１６ｂに与えるとともに、第２系統の音声データを左用のディジタル−アナログ変換回路１６ Together give an analog conversion circuit 16b, digital left audio data of the second system - analog conversion circuit 16ａに与える。 Give to a.すなわち、音声処理ユニット１２は、音発生物体が主人公キャラクタから見て左右の何れの側に存在するかに基づいて、第１系統と第２系統のそれぞれの音声データを与えるディジタル−アナログ変換回路１６ That is, the audio processing unit 12, the sound generating object based on whether there in one side of the left and right as viewed from the leading character, digital give each of the audio data of the first system and the second system - analog conversion circuit 16ａ，１６ｂ（又は１６ｂ，１６ａ）の組合せを単位時間毎に対応させるべきものに切り換える。 a, 16b (or 16b, 16a) switched to those to be compatible combinations for each unit time.各ディジタル− Each digital -アナログ変換回路１６ａ，１６ｂは、それぞれ入力された音声データをディジタルからアナログ信号に変換することにより、音声信号を発生し、それぞれの音声信号を対応するフィルタ１７ａ，１７ｂに与える。 Analog converter circuit 16a, 16b, by converting the audio data inputted respectively from a digital to an analog signal, generates an audio signal, provide respective audio signals corresponding filter 17a, to 17b.フィルタ１ Filter 1７ａ，１７ｂは、左右の音声信号をそれぞれ補間処理することにより、滑らかな音声信号に波形成形して、テレビ４０に関連して設けられる左右のスピーカ４２Ｌ，４ 7a, 17b, by respective interpolation the left and right audio signals, and waveform shaping in smooth audio signals, left and right speakers arranged in connection with the TV 40 42L, 4２Ｒに与え、及び／又はイヤホンジャック４３を介してヘッドホン４４に与えて、音又は音響を発生させる。 Given the 2R, and / or through the earphone jack 43 is given to a headphone 44, and generates a sound or acoustic.

【００１４】さらに、音声処理ユニット１２は音量制御部１２ａを含み、この音量制御部１２ａが音発生物体と主人公キャラクタ（カメラアングル位置）との距離を求めて、距離に応じて音量を制御する。 Furthermore, the audio processing unit 12 includes a volume controller 12a, seeking the distance between the sound volume control section 12a is the sound generating object and the main character (camera angle position), controlling the sound volume according to the distance.例えば、音量制御部１２ａは、主人公キャラクタが音発生物体に近づくことにより距離が近づくと音量を大きくし、逆に主人公キャラクタが音発生物体から遠ざかることにより距離が離れると音量を小さくするように、音量を制御する。 For example, as the volume control section 12a, to increase the volume if the distance is closer to the main character approaches the sound generating object to decrease the volume if the distance away by the main character on the contrary away from the sound generating object, to control the volume.具体的には、主人公キャラクタと音発生物体の間の距離の二乗に反比例させるように音量制御すると、主人公キャラクタの移動又はカメラアングルの視線移動による三次元的な画像表示の変化に対応して効果音の音場感を変化させることができる。 Specifically, when volume control so as to inverse proportion to the square of the distance between the main character and the sound generating object, in response to changes in the three-dimensional image display by eye movement of the moving or camera angle of the main character effect it is possible to change the sound field feeling of sound.

【００１５】以上の動作が単位時間毎に繰り返して行われることにより、ゲームのための効果音又はゲームの雰囲気を盛り上げるＢＧＭ音楽（ゲーム音楽）が画像の変化に連動して発生されることになる。 [0015] By the above operation is performed repeatedly for each unit time, so that the sound effects or a game BGM music enliven the atmosphere for the game (game music) are generated in conjunction with the change in the image .そして、音声処理ユニット１２が主人公キャラクタ又はカメラアングル位置（カメラアングル位置等）から見た音発生物体の方向又は角度に基づいて第１系統と第２系統の音声データの出力タイミングのずれ（一方に対する他方の遅延量）を制御するとともに、カメラアングル位置等と音発生物体との距離に基づいて音量を制御することにより、結果的にはカメラアングル位置等から見た音発生物体に対する視線移動に応じた三次元的な画像変化に連動して左右のスピーカ４２Ｌ，４２Ｒ又はヘッドホン４４から聞こえる音声又は音響も三次元的な変化をすることになる。 The audio processing unit 12 for displacement (one of the output timing of the audio data of the first system and the second system based on the direction or angle of the sound generating object as viewed from the leading character or camera angle position (camera angle position, and the like) controls the other delay), by controlling the volume based on the distance between the camera angle position such as a sound generating object, the result is depending on the eye movement for the sound generating object as viewed from the camera angle position etc. three-dimensional in conjunction with image change the left and right speakers 42L was made to the speech or sound even three-dimensional changes heard from 42R or a headphone 44.

【００１６】そして、より好ましくは、三次元的な音響効果を一層現実的（リアル）に表現するために、左右の音の遅延量を制御する場合は音量制御の範囲を最少音量から最大音量までの最大範囲ではなく、音量制御の範囲を制限又は抑制するように制御してもよい。 [0016] Then, more preferably, to express it more realistic three-dimensional sound effects (real), the range of the volume control when controlling the delay amount of the left and right sound from minimum volume to a maximum volume not the maximum range may be controlled to limit or suppress the range of volume control.また、主人公キャラクタの移動又は遮音する物体の到来により、主人公キャラクタと音発生物体との間に音を遮る遮音物体（例えば、家・壁等の建造物や船舶・航空機等の大きな移動物体）が存在することになった場合は、音量制御部１２ａがそれまでよりも極端に音量レベルを低減するように制御すれば、一層現実に則した音響効果が得られることになる。 Also, the advent of a moving object or sound insulation of the main character, sound insulation objects blocking the sound between the main character and the sound generating object (e.g., a large moving object, such as buildings, ships and aircraft, such as a house-wall) of in the event of a possible present, it is controlled such that the volume control section 12a to reduce the extremely volume level than before, so that the resulting acoustic effect conforming to the more realistic.

【００１７】次に、図１の原理ブロック図において、第１系統と第２系統の両音声信号の遅延の有無による遅延時間と音量変化の関係の具体的に説明する。 Next, the principle block diagram of FIG. 1, specifically illustrating the relationship between the delay time and the volume changes due to the presence or absence of the delay of both audio signals of the first system and the second system.この場合の動作は、画像処理ユニット１１及び音声処理ユニット１ The operation in this case, the image processing unit 11 and the audio processing unit 1２が画像・プログラムデータメモリ２１に記憶されているプログラムを実行することによって達成される。 2 is achieved by executing a program stored in the image program data memory 21.そのためには、図３〜図６の特性図のように制御するためのプログラムがメモリ２１に予め記憶されているものとする。 For this purpose, it is assumed that a program for controlling like a characteristic diagram of FIGS. 3-6 is previously stored in the memory 21.また、遅延量なし（零）で音量を制御する場合（図３参照）と、遅延量有りで音量を制御する場合（図４参照）と、遅延量がある場合において音発生物体間の距離に応じて音量を制御する場合（図５参照）と、音発生物体と主人公キャラクタとの位置関係（方向）によって遅延量を制御する場合（図６参照）とは、プログラムに基づいて個別に又は適宜の組み合わせで行われる。 Also, when controlling the volume without delay (zero) (see FIG. 3), when controlling the volume there delay (see FIG. 4), the distance between sound generating objects in a case where there is a delay a case of controlling the sound volume depending (see FIG. 5), the case of controlling the delay amount by the positional relationship between the sound generating object and the main character (direction) (see FIG. 6), individually or as appropriate based on the program It carried out in a combination of.そして、図３〜図６の特性図のような音量制御及び／又は遅延量制御を実現するための具体的な方法としては、距離・方向と音量との関係を図３〜図６の特性波形になるように数式化して記憶させておいてその都度演算によって求めるか、主人公キャラクタ又はカメラアングル位置を中心とする左右の単位距離毎に波形の音量値をテーブルに設定しておきかつ距離データをアドレスとしてその音量値を読み出すようにすればよい。 Then, as a specific method for realizing a volume control and / or delay control such as the characteristic diagram of FIGS. 3-6, the relationship between the distance and direction and volume of 3-6 characteristic waveform to become so in advance and stored in mathematical formula in each case one determined by calculation, the set beforehand and the distance data volume values ​​of the left and right unit distance for each waveform in the table about the main character or camera angle position it is sufficient to read the volume value as an address.

【００１８】まず、図２及び図３を参照して、遅延量が無い条件下において音量を制御する場合を説明する。 [0018] First, with reference to FIGS. 2 and 3, the case of controlling the volume under conditions delay no.例えば、左右それぞれの音声信号の遅延量を生じさせない方が好ましいゲーム場面において、音発生物体と主人公キャラクタとの距離が一定の場合は、音声発生物体が主人公キャラクタからみて左横方向（角度で示せば０度） For example, in the preferred game scene who does not cause a delay of left and right audio signals, if the distance between the sound generating object and the main character is constant, Shimese left lateral (angular sound generating object as viewed from the leading character When 0 degrees)にいるときの音声信号を最大変化量にするとともに、右の音声信号を０とする（図３参照）。 While the maximum variation of the audio signal when you are in the right audio signal is set to 0 (see FIG. 3).そして、図２に示すように、音発生物体が主人公キャラクタを中心として一定距離ｒだけ離れて半円を描くように右方向に移動するに従って、図３の特性図に示すように右の音声信号を徐々に増大させかつ左の音声信号を徐々に減少させ、音発生物体が主人公キャラクタの正面（左横から９０度の位置）に来ると左右の音声信号の音量を同じにさせる。 Then, as shown in FIG. 2, according to the sound generating object is moved rightward as to draw a semicircle spaced apart by a predetermined distance r around the main character and the right audio signal, as shown in the characteristic diagram of FIG. 3 gradually gradually reduced the increase and left audio signals, the sound generating object causes the volume of the left and right audio signals coming in front of the main character (left side from the 90 degree position) the same.さらに、音発生物体が右方向へ移動して主人公キャラクタの右横方向位置に来る（左横から１８０度の位置） Further, the sound generating object is moved rightward to the right-lateral position of the main character (left side from the 180 degree position)と、左の音声信号を０とし、右の音声信号を最大変化量とする。 When the left audio signal is set to 0, the maximum variation a right audio signal.

【００１９】なお、音発生物体が固定でかつ主人公キャラクタの向きが移動する場合でも、音発生物体と主人公キャラクタとの相対的な位置関係が図２及び図３の関係と同様であれば、左右の音量を同様に制御すればよい。 [0019] Even when the sound generating object moves the orientation of the fixed and and the main character, the relative positional relationship between the sound generating object and the main character, if the same as that between 2 and 3, left and right the volume may be similarly controlled.この音発生物体が固定でかつ主人公キャラクタの向きが移動する場合は、図４〜図６の特性図の場合でも同様になる。 If the sound generating object moves the orientation of the fixed and and main character will even if the characteristic diagram of FIGS. 4-6.但し、音発生物体と主人公キャラクタとの距離の或る係数を掛けた値に反比例となるように、図３の特性変化に補正を掛けて音量の増減を制御することが好ましい。 However, as in the inverse proportion to the value obtained by multiplying a certain coefficient of the distance between the sound generating object and the main character, it is preferable to control the increase or decrease in volume over the correction characteristic change in FIG.

【００２０】次に、図２及び図４を参照して、遅延量の有る条件下において音量を制御する場合を説明する。 Next, with reference to FIGS. 2 and 4, the case of controlling the volume under the conditions having the delay amount.左右の音声信号の遅延量との関係で音量を制御することにより、三次元的な表示に併せて音量を制御するゲーム場面においては、音発生物体が主人公キャラクタからみて左横方向にいるとき左の音声信号を最大変化量とするとともに、右の音声信号を例えば最大変化量の１／２程度とする（図４参照）。 By controlling the volume in relation to the amount of delay of the left and right audio signals, in a game scene to control the sound volume in accordance with the three-dimensional display, left when the sound generating object is present to the left direction viewed from a leading character with a maximum variation of the audio signal, and about half of the right audio signal, for example the maximum change amount (see FIG. 4).このように、遅延ありの場合に最少音量を０とせずに最大音量（又は最大変化量）の１／ Thus, the maximum volume (or the maximum amount of change) the minimum volume without the 0 in the case of Yes Delay 1 /２とする理由は、左右の音声信号を遅延させることにより、左右の音量を最大範囲で差を付けなくても三次元的な音響効果が得られるからである。 The reason for the 2, by delaying the left and right audio signals, the left and right sound volume because the resulting three-dimensional sound effects without marked differences in maximum range.そして、図２に示すように、音発生物体が主人公キャラクタを中心として一定距離ｒだけ離れて半円を描くように右方向に動くに従って、図４に示すように右の音声信号を徐々に増大させかつ左の音声信号を徐々に減少させ、音発生物体が主人公キャラクタの正面に来ると左右の音声信号の音量を同じにさせる。 Then, as shown in FIG. 2, according to the sound generating object moves in the right direction so as to draw a semicircle spaced apart by a predetermined distance r around the main character, gradually right audio signals as shown in FIG. 4 increases It is gradually reduced so and the left audio signal is the sound generating object causes the volume of the left and right audio signals coming in front of the main character in the same.さらに、音発生物体が右方向へ移動して主人公キャラクタの右横方向位置に来ると、右の音声信号を最大変化量とするとともに、左の音声信号を最大変化量の１／２とする。 Further, the sound generating object come to the right lateral position of the mobile to the main character to the right, with a maximum variation a right audio signal, a half of the maximum variation to the left of the audio signal.

【００２１】次に、図２及び図５を参照して、図４のように遅延量の有る条件下において音量を制御する場合の距離と音量の関係を説明する。 Next, with reference to FIGS. 2 and 5, illustrating the relationship between the distance and the sound volume in the case of controlling the volume under the conditions having the delay amount as shown in FIG.音発生物体が主人公キャラクタから半径ｒの範囲内に存在するときは、主人公キャラクタから見た音発生物体の方向又は位置によって音量を最大変化量と最少変化量の範囲で変化させる。 When the sound generating object exists within the range of a radius r from the hero character, depending on the direction or position of the sound generating object as viewed from the main character to change the volume within the range of maximum variation and minimal variation.その理由は、音発生物体が或る短い距離ｒの範囲であれば、 This is because, so long as the sound generating object of a certain short distance r,距離の変化に対する音量の変化が少ないためである。 Distance is because the change in volume is small relative to the change of.そして、図２において、音発生物体が主人公キャラクタの正面に存在するときは、左右の音量が最大変化量と最少変化量の中間の値とされる。 Then, in FIG. 2, the sound generating object when present in front of the main character, the left and right volume is an intermediate value of the maximum variation amount and the minimum amount of change.一方、音発生物体が半径方向に遠ざかるにつれて、音量が指数関数的に減少するように変化させ、或る長い距離以上離れると音量を０とする。 On the other hand, the sound generating object as the distance in a radial direction, volume varied to decrease exponentially to zero volume leaves some long distance or more.

【００２２】次に、図２及び図６を参照して、音発生物体と主人公キャラクタとの位置に対する遅延量を制御する場合を説明する。 Next, with reference to FIGS. 2 and 6, the case of controlling the delay amount for the position of the sound generating object and the main character.主人公キャラクタが正面を向きかつ正面に音声発生物体が存在するときは、左の音声信号と左の音声信号の遅延量がないようにする必要があり、また主人公キャラクタが左右に僅かに移動しただけでも遅延量を制御する側を変更すれば画像表示との関係で違和感を生じさせる。 When the main character is present sound generating object in a direction and the front of the front, there must be no delay of the left audio signal and a left audio signal, and only the main character is slightly moved to the left and right But uncomfortable feeling in relation to the image display by changing the side that controls the amount of delay.そこで、図６に示すような中心（カメラアング）位置から左右に一定距離の範囲では遅延量を変化させないように制御する。 Therefore, it controls so as not to change the delay amount in the range of a predetermined distance to the left and right from the center (camera-angle) position as shown in FIG.すなわち、音発生物体が主人公キャラクタからみて左横方向にいるとき左の音声信号の遅延量を０とするとともに、右の音声信号を最大遅延量とする。 That is, the sound generating object as well as zero delay amount of the left audio signal when on the left hand transverse direction viewed main character, the maximum delay amount to the right of the audio signal.そして、音発生物体が主人公キャラクタを中心として一定距離ｒだけ離れて半円を描くように右方向に動くに従って、右の遅延量を減少させ、中心位置よりも左右一定距離の範囲において左右の音声信号の遅延量を０とし、中心位置から右に一定距離だけ離れた位置から右方向へ移動するのに従って右の遅延量を０としたままで左の遅延量を徐々に増大させる。 Then, according to the sound generating object moves in the right direction so as to draw a semicircle spaced apart by a predetermined distance r around the main character, to reduce the amount of delay of the right, left and right audio in the range of left and right constant distance from the center position the delay amount of the signal to 0, and gradually increases the amount of delay of the left right delay while a 0 as you move from a fixed distance away to the right from the center position to the right.

【００２３】以下には、本願発明の具体的な実施例を説明する。 [0023] The following describes the specific embodiments of the present invention.図７はこの発明の一実施例の音響発生装置のブロック図である。 Figure 7 is a block diagram of a sound generating device of one embodiment of the present invention.この実施例の音響発生装置がビデオゲーム機５０に適用される場合の構成が図１の原理ブロック図と異なる点は、処理装置本体１０に代えてビデオゲーム機５０が用いられ、ビデオゲーム機５０が画像処理ユニット１１に代えてメインＣＰＵ（Ｍ−ＣＰＵ）５１ This embodiment sound generator configuration is different from the basic block diagram of Figure 1 the point when applied to a video game machine 50 of the video game machine 50 is used in place of the processing apparatus main body 10, the video game machine 50 the main CPU (M-CPU) 51 but instead of the image processing unit 11と２個のリスクＣＰＵ（Ｒ−ＣＰＵ）５２，５３で構成され、画像メモリ１３及びバッファメモリ１５が記憶容量の大きなワーキングＲＡＭ（Ｗ−ＲＡＭ）５５で構成され、音声処理ユニット１２が１個のＲ−ＣＰＵ５３によって画像処理と音声処理に兼用して使用されることである。 When formed of two risks CPU (R-CPU) 52,53, an image memory 13 and the buffer memory 15 is composed of a large working RAM (W-RAM) 55 of the storage capacity, the audio processing unit 12 is one the R-CPU 53 is to be used also serves to image processing and audio processing.このように、画像処理ユニット１１を３個のＣＰ Thus, the image processing unit 11 three CPＵ（Ｍ−ＣＰＵ５１，Ｒ−ＣＰＵ５２，Ｒ−ＣＰＵ５ U (M-CPU51, R-CPU52, R-CPU5３）によって構成し、音声処理ユニット１２を１個のＲ 3) constituted by, for one audio processing unit 12 R−ＣＰＵ５３によって兼用した理由は、音声処理が画像処理に比べて短時間で処理可能なためである。 The reason for also used by -CPU53, the audio processing is because it can be processed in a short time compared with the image processing.画像メモリ１３及びバッファメモリ１５が大容量（例えば４メガバイト）の１個のＷ−ＲＡＭ５５によって構成される理由は、メモリ空間の割当ての自由度を増し、画像処理と音声処理の使用時間配分を使用目的に応じてフレキシブルに設定可能にするためである。 Why constituted by one W-RAM 55 in the image memory 13 and the buffer memory 15 is large (for example, 4 megabytes) is increased flexibility in the allocation of memory space, using the use time allocation of the image processing and audio processing This is to be set flexibly depending on the purpose.

【００２４】また、複数の操作器（又はコントローラ） Further, a plurality of operating device (or controller)３０の入出力を制御するためにコントローラ制御回路５ Controller control circuit 5 for controlling the input and output of 30６が設けられるとともに、Ｍ−ＣＰＵ５１，Ｒ−ＣＰＵ With 6 are provided, M-CPU51, R-CPU５２，Ｒ−ＣＰＵ５３，及びＷ−ＲＡＭ５５と外部メモリ２０又はコントローラ制御回路５６等とのデータ転送又は入出力を制御するために入出力制御回路（Ｉ／Ｏ） 52, R-CPU53, and W-RAM 55 and the external memory 20 or the output control circuit for controlling the data transfer or input and output of the controller control circuit 56 or the like (I / O)５７が設けられる。 57 is provided.さらに、外部メモリ２０を着脱自在に装着するためにカートリッジ用コネクタ５８１が設けられ、操作器３０をコントローラ制御回路５６に着脱自在に接続するためにコントローラ用コネクタ５８２〜５ Further, the cartridge connector 581 is provided for mounting the external memory 20 detachably, the controller connector for detachably connecting the operation unit 30 to the controller control circuit 56 582-5８３が設けられ、フィルタ１７ａ，１７ｂをテレビ４０ 83 is provided, the filter 17a, and 17b TV 40のスピーカ４２Ｌ，４２Ｒ又はヘッドホン４４に接続するためにオーディオ用コネクタ５８４，５８５が設けられ、映像信号発生回路１４をディスプレイ４１に接続するために映像信号用コネクタ５８６が設けられる。 Speakers 42L, audio connector 584,585 is provided for connection to 42R or a headphone 44, a video signal connector 586 is provided for connecting the video signal generating circuit 14 to the display 41.以下の説明では、これらの各種コネクタ５８１〜５８６を単に「コネクタ」と略称する。 In the following description, these various connectors 581-586 simply referred to as "connector".その他の構成は、図１と同様であるため、同一部分は同一参照符号で示し、具体的な構成の説明を省略する。 Other structures are similar to FIG. 1, the same portions are denoted by the same reference numerals, and description thereof will be omitted specific configuration.

【００２５】なお、情報記憶媒体である外部メモリ２０ [0025] In addition, the external memory 20 is an information storage mediumとしては、ＲＯＭカートリッジに代えて、光学的にデータを記憶するＣＤ−ＲＯＭ、又は磁気的にデータを記憶する磁気ディスク、若しくは光磁気ディスク等、その他各種の記録又は記憶媒体を用いてもよい。 As, in place of the ROM cartridge, CD-ROM stores data optically, or magnetically the magnetic disk for storing data, or a magneto-optical disk or the like, and may be other various recording or storage medium.その場合は、 In that case,情報記憶媒体の種類に応じた記録再生装置を設けて、情報記憶媒体から或る量のデータを読み出しかつそれを内部のＷ−ＲＡＭ５５の一部のメモリ空間に一時記憶させる必要がある。 Provided a recording and reproducing apparatus in accordance with the type of information storage medium, it reads an amount of data from the information storage medium and it is necessary to temporarily store it in a part of the memory space within the W-RAM 55.

【００２６】図８はＷ−ＲＡＭ５５のメモリ空間を図解的に示した図である。 [0026] FIG. 8 is a diagram showing schematically the memory space of the W-RAM55.Ｗ−ＲＡＭ５５は、外部メモリ２ W-RAM55, the external memory 2０の画像・プログラムメモリ２１に予めプログラム設定されたプログラムに基づいてメモリ空間を割り付けられるが、一例を説明すれば次の通りである。 0 is allocated to the memory space based on pre-programmed set program in the image program memory 21 of, but will be described as follows an example.Ｗ−ＲＡＭ５ W-RAM5５は、画像・プログラムメモリ２１に記憶されているプログラムの一部が転送されて記憶されるプログラム領域５５ａ，１フレーム（画像フレーム）分の画像データを記憶するフレームメモリ領域５５ｂ，物体又はキャラクタ毎の奥行座標データを記憶するＺバッファ領域５５ 5, a program area 55a where part of the program stored in the image program memory 21 are stored are transferred, one frame frame memory area 55b for storing the image data of the (image frame), the object or character each Z buffer area 55 for storing the depth coordinate dataｃ，画像データ領域５５ｄ，音声データ処理のためのサウンドメモリ領域１５，コントロールパッドデータ記憶領域５５ｅおよび作業用メモリ領域５５ｆを含む。 Including c, the image data area 55d, a sound memory area 15 for audio data processing, a control pad data storage area 55e and a working memory area 55f.

【００２７】サウンドメモリ領域１５は、図１に示すバッファメモリに対応するものであって、図８に図解的に示すように、非遅延バッファ領域１５ａ，遅延バッファ領域１５ｂおよび物体の座標データ記憶領域１５ｃを含む。 The sound memory area 15, which corresponds to the buffer memory shown in FIG. 1, as shown diagrammatically in FIG. 8, a non-delay buffer area 15a, the coordinate data storage area of ​​the delay buffer area 15b and the object including the 15c.非遅延バッファ領域１５ａ，遅延バッファ領域１５ Non-delay buffer area 15a, a delay buffer area 15ｂは、そのメモリ構成が図９に詳細に示すように構成され、データの書込み／読出しが図示のように行われる。 b, the memory configuration is configured as shown in detail in FIG. 9, the data writing / reading is performed as shown.すなわち、処理単位の音声データを非遅延バッファ領域１５ａに書込み／読出しする場合は、１バイトの音声データを先頭番地へ書込む毎に、先に書き込んだデータを１バイトずつ次の番地へシフトさせることにより、先入れ先出し態様で書込み、最終番地から第１チャンネル（ＣＨ１）の音声データ（読出データ）として読出して出力する。 That is, when the writing / reading audio data processing unit in the non-delay buffer area 15a, for each write a byte of audio data to the start address is shifted to the next address of written earlier data one byte it allows writing in a first-in first-out manner, outputs from the last address is read as the audio data of the first channel (CH1) (read data).このとき、第２チャンネル（ＣＨ２）の音声データは、非遅延バッファメモリ１５ａから読み出された第１チャンネルの音声データがそのまま遅延バッファメモリ１５ｂの先頭番地へ書き込まれ、遅延バッファメモリ１５ｂの読出アドレスを記憶するアドレスレジスタ（Ｒ−ＣＰＵ５３に含まれる内部レジスタ）１５ｄによって指定されるアドレスの音声データが第２チャンネルの音声データとして読出されて出力される。 At this time, the audio data of the second channel (CH2), the audio data of the first channel read out from the non-delay buffer memory 15a is directly written to the start address of the delay buffer memory 15b, the read address of the delay buffer memory 15b audio data at an address specified by 15d (internal register included in the R-CPU 53) address register for storing a is read and output as the second channel of the audio data.このとき、 At this time,遅延バッファメモリ１５ｂの先頭番地からアドレスレジスタ１５ｄによって指定される読出アドレス迄の番地（バイト）数が第１チャンネルの音響に対する第２チャンネルの音響の遅延時間となる。 Number of address (bytes) from the start address until the read address designated by the address register 15d of the delay buffer memory 15b is the delay time of the second channel of the sound for the acoustic of the first channel.但し、この場合は、遅延バッファメモリ１５ｂの記憶容量が最大遅延時間に相当する容量で足りるが、Ｒ−ＣＰＵ５３の読出制御が複雑なプログラムとなる。 However, in this case, although sufficient in volume the storage capacity of the delay buffer memories 15b corresponds to the maximum delay time, the read control of the R-CPU 53 becomes complicated program.一方、第２チャンネルの音響を第１チャンネルに比べて遅延する必要がない場合は、アドレスレジスタ１５ｄによって指定される読出アドレスが遅延バッファ領域１５ｂの書込アドレスと同じ先頭番地に設定されることにより、達成される。 On the other hand, if there is no need to delay than the acoustic of the second channel to the first channel, by reading address designated by the address register 15d is set to the same start address as the write address of the delay buffer area 15b , it is achieved.このため、遅延時間を広範囲に可変できる。 Therefore, it widely variable delay time.

【００２８】なお、図９に示す実施例では、サウンドメモリ領域（又は音声処理用バッファメモリ）１５の記憶容量が最小限の範囲で効率的に使用する場合を示すが、 [0028] In the embodiment shown in FIG. 9 shows a case where the storage capacity of the sound memory area (or audio processing buffer memory) 15 is efficiently used in a minimum range,記憶容量に余裕があるならば図１０に示すようなメモリ構成にしてもよい。 If the storage capacity has a margin may be in the memory configuration shown in FIG. 10.図１０では、遅延バッファ領域１５ In Figure 10, a delay buffer area 15ｂ'が非遅延バッファ領域１５ａと遅延バッファ領域１ Delay b 'is the non-delay buffer area 15a buffer area 1５ｂの記憶容量を合計した容量（１５ｂ'＝１５ａ＋１ 5b total capacity storage capacity (15b '= 15a + 1５ｂ）に選ばれる。 Chosen to 5b).そして、第１チャンネル（ＣＨ１） Then, the first channel (CH1)の音声データの書込み及び読出しは図９と同様に行われるが、第２チャンネル（ＣＨ２）の音声データの書込み及び読出しは次のように行われる。 Writing and reading of audio data is performed similarly to FIG. 9, the writing and reading of the audio data of the second channel (CH2) is performed as follows.すなわち、Ｒ−ＣＰ In other words, R-CPＵ５３に内蔵されるアドレスレジスタ１５ｅには、遅延時間に応じた書込アドレス値がＲ−ＣＰＵ５３によって書き込まれる。 The address register 15e built in the U53, write address value corresponding to the delay time is written by R-CPU 53.そして、書込レジスタ１５ｅによって指定されるアドレスには、第１チャンネルと同じ音声データが同時に書き込まれる。 Then, the address specified by the write register 15e, the same audio data as the first channel is written simultaneously.遅延バッファ領域１５ｂ'の読出し（第２チャンネルの音響の発生）は、遅延バッファ領域１５ｂ'の最終番地から行われることにより、第１チャンネルの同じ音声データの読出し（第１チャンネルの音響の発生）タイミングよりも、遅延バッファ領域１５ｂに対応する番地数からアドレスレジスタ１５ｅのアドレス値を引いた番地数に比例する時間だけ遅延することになる。 Delay buffer area 15b 'reading of (occurrence of the second channel of the sound), the delay buffer area 15b' by being made from the final address of the reading of the same audio data of the first channel (first channel sound generator) than timing to delay by a time proportional to the number of addresses obtained by subtracting the address value of the address register 15e from the address number corresponding to the delay buffer area 15b.

【００２９】一方、物体座標データ領域１５ｃは、画面上に表示される音を発生する物体の座標データを記憶する領域である。 On the other hand, the object coordinate data area 15c is an area for storing coordinate data of an object which generates a sound that is displayed on the screen.例えば、物体１の座標データ領域は敵キャラクタや滝等の音を発生する第１の物体の座標データを記憶し、操作者が操作器３０を操作することによって視線を移動させて第１の物体を見るカメラアングル位置又はカメラアングルに対応する主人公キャラクタのような物体２の座標データを記憶する。 For example, the coordinate data area of ​​the object 1 stores the coordinate data of the first object to generate a sound, such as an enemy character or a waterfall, a first object by moving the line of sight by the operator operates the operation device 30 storing coordinate data of an object 2 such as the main character corresponding to the camera angle position or a camera angle view.そして、物体１から音が発生されているときは、Ｍ−ＣＰＵ５１が物体１の座標データと物体２の座標データに基づいて、物体２から見た物体１の方向および距離を算出する。 When the sound from the object 1 is generated, M-CPU 51 is based on the coordinate data of the coordinate data and the object 2 in the object 1, to calculate the direction and distance of the object 1 as viewed from the object 2.さらに、その方向及び距離データに基づいて図３〜図６の特性図のうち三次元的な画像表示に最も適した三次元的な音響効果を発生するように予め設定されたプログラムに基づいて遅延時間，音量，音の種類を表すデータを発生し、これらの遅延時間，音量，音の種類を表すデータをＲ−Ｃ Further, a delay based on a preset program to generate the most appropriate three-dimensional sound effects in a three-dimensional image display of the characteristic diagram of FIGS. 3-6 on the basis of the direction and distance data time, volume, and generates data representing the type of sound, these delay times, the volume, the data representing the type of sound R-CＰＵ５３に与える。 Give to PU53.Ｒ−ＣＰＵ５３は、図９又は図１０ R-CPU 53 is 9 or 10を参照して説明した書込み／読出し制御を行うことにより、第１チャンネル及び第２チャンネルのそれぞれから発生される音響の遅延時間の制御とともに音量制御を行う。 By performing a reference to the writing / reading control described, and performs volume control together with the control of the acoustic delay time generated from each of the first and second channels.

【００３０】図１１を参照して、ゲームの概略フローを説明する。 [0030] With reference to FIG. 11, illustrating a schematic flow of the game.ゲーム機５０の電源スイッチがＯＮされると、Ｍ−ＣＰＵ５１および／またはＲ−ＣＰＵ５２，５ When the power switch of the game machine 50 is ON, M-CPU 51 and / or R-CPU52,5３が以下の動作を行う。 3 performs the following operations.すなわち、ステップ１０においてゲームの初期設定のためのメニュー画面が表示される。 That is, the menu screen for the game initialization is displayed in step 10.ステップ１１において、Ｍ−ＣＰＵ５１は、コントローラ３０の決定ボタン（たとえばスタートボタン）が押されたか否かを判断する。 In step 11, M-CPU 51, the determination button of the controller 30 (e.g., a start button) is equal to or pressed.スタートボタンの押されたことが判断されると、ステップ１２へ進み、スタートボタンの押されていないことが判断されると、ステップ１ When it is determined that has been pressed the start button, the process proceeds to step 12, if it is determined not depressed the start button, Step 1０へ戻る。 Back to 0.ステップ１２において、Ｍ−ＣＰＵ５１，Ｒ In step 12, M-CPU51, R−ＣＰＵ５２及びＲ−ＣＰＵ５３は、外部メモリ２０に記憶されているプログラムデータおよび画像データに基づきゲーム進行のための画像表示処理を行う。 -CPU52 and R-CPU 53 performs image display processing for the game progress based on the program data and the image data stored in the external memory 20.そして、 And,ステップ１３において、例えば音を発する敵キャラクタ等の物体１や操作者として操作される主人公キャラクタである物体２がゲーム画面の一場面としてディスプレイ４１に表示される。 In step 13, the object 2 is displayed on the display 41 as one scene of a game screen which is a hero character operated as an object 1 and an operator, such as an enemy character to emit example sound.ステップ１４において、ゲームプログラムに基づいて、物体１が音を発生すべき条件か否かが判断され、音を発生すべき条件であることが判断された場合はステップ１５へ進み、音声出力のための処理（後述の図１２を参照して詳細に説明するサブルーチンの処理）を行う。 In step 14, based on the game program, whether the condition object 1 should generate sounds is determined, if it is determined that the condition for generating the sound proceeds to step 15, for audio output It performs the processing (processing of the subroutine will be described in detail with reference to FIG. 12 described later).ステップ１４において、音を発生すべき条件でないと判断された場合は、ステップ１２へ戻り、ゲーム進行に応じた画像表示処理が続行される。 In step 14, if it is found not to be the condition for generating sound, it returns to step 12, the image display processing in accordance with the game progress is continued.

【００３１】次に、図１２を参照して、音声出力処理のサブルーチンの動作を説明する。 Next, with reference to FIG. 12, the operation of the subroutine of the audio output processing.ステップ２０において、Ｍ−ＣＰＵ５１は、図８のサウンドメモリ領域に記憶されている座標データ記憶領域１５ｃに基づき物体１ In step 20, M-CPU 51, the object 1 on the basis of the coordinate data storage area 15c stored in the sound memory area of ​​FIG. 8の座標データおよび物体２の座標データの読出しを行う。 It reads the coordinate data and the coordinate data of the object 2.ステップ２１において、物体１の座標データと物体２の座標データに基づいて、物体２から見た物体１の方向および距離が演算される。 In step 21, based on the coordinate data of the coordinate data and the object 2 in the object 1, the direction and distance of the object 1 as viewed from the object 2 is calculated.そして、ステップ２２において、図３〜図６を参照して説明したように、物体１の存在する方向に基づいて遅延量が演算され、方向および距離に基づいて音量が演算される。 Then, in step 22, as described with reference to FIGS. 3 to 6, the delay amount based on a direction of presence of an object 1 is calculated, the volume on the basis of the direction and distance is calculated.ステップ２３において、演算によって求めた音量および遅延量のデータと、 In step 23, the volume and the delay amount of data determined by the calculation,音の種類を表すデータがＲ−ＣＰＵ５３に転送される。 Data representing the type of sound is transferred to the R-CPU 53.ステップ２４において、Ｒ−ＣＰＵ５３が音の種類データに基づいて外部メモリ２０の音源データメモリ２２から音声フレーム（処理単位の音声データ）を読出す。 In step 24, it reads the audio frame (audio data processing unit) from the sound source data memory 22 in the external memory 20 based on the type data of the R-CPU 53 sounds.ステップ２５において、音源データメモリ２２から読出された音声フレームが図９の非遅延バッファ領域１５ａに書込まれる。 In step 25, the audio frame read out from the sound source data memory 22 is written into the non-delay buffer area 15a in FIG.ステップ２６において、音量データに基づいて音声フレームの音量制御が行われる。 In step 26, the volume control of the audio frame is performed based on the volume data.具体的には、 In particular,物体１の方向に対応する図３または図４のＬ及びＲの音量のように左右別々に制御され、物体１の距離に対応する図５の音量のように制御される。 Depend separately controlled as the volume of L and R of FIG. 3 or FIG. 4 corresponds to the direction of the object 1, is controlled as the volume of Figure 5 corresponding to the distance of the object 1.ステップ２７において、音量制御された音声フレームのデータが非遅延バッファ領域１５ａの最終番地から読出される。 In step 27, the data of the speech frames volume control is read from the final address of the non-delay buffer area 15a.ステップ２ Step 2８において、読出された音声フレームが第１チャンネルの音声データとして出力される。 In 8, audio frame read out is outputted as the first channel of the audio data.ステップ２９において、Ｒ−ＣＰＵ５３は遅延量データに基づいて遅延があるか否かを判断する。 In step 29, R-CPU 53 determines whether there is a delay based on the delay quantity data.遅延が無いと判断した場合は、ステップ３０へ進み、非遅延バッファ領域１５ａから読出された音声フレームを第２チャンネルの音声データとして出力する。 If it is determined that the delay is not, the process proceeds to step 30, and outputs the audio frame read out from the non-delay buffer area 15a as a second channel audio data.

【００３２】一方、遅延があると判断した場合は、ステップ３１へ進み、非遅延バッファ領域１５ａから読出された音声フレームが遅延バッファ領域１５ｂへ書込まれる。 On the other hand, if it is determined that there is a delay, the process proceeds to step 31, audio frame read out from the non-delay buffer area 15a is written into the delay buffer area 15b.ステップ３２において、Ｒ−ＣＰＵ５３は、前回遅延量と今回遅延量が同じか否かを判断する。 In step 32, R-CPU 53 is the previous amount of delay and the current amount of delay is determined whether the same.同じでないと判断した場合は、ステップ３３へ進み、音声フレームのリサンプリング処理を行う。 If it is judged not to be the same, the process proceeds to step 33, performs a re-sampling processing of the audio frame.すなわち、今回遅延量が前回遅延量よりも小さいときは遅延量変化分だけ音声フレームを圧縮し、今回遅延量が前回遅延量よりも大きいときは遅延量変化分だけ音声フレームを伸長する。 In other words, this delay is the time less than the previous amount of delay only compresses audio frame delay variation, when this delay amount is larger than the previous amount of delay extends the audio frame by the time delay variation.そして、ステップ３３で音声フレームのリサンプリング処理が行われた後、ステップ３４へ進む。 After the resampling process of the speech frame is performed in step 33, the process proceeds to step 34.

【００３３】一方、ステップ３２において、同じであると判断された場合は、ステップ３４へ進む。 On the other hand, in step 32, if it is determined to be the same, the process proceeds to step 34.また、今回遅延量が発音開始時に当たる場合は、前回遅延量との比較ができないので、同じであるとみなしてステップ３４ Further, if the current amount of delay corresponds to the start sound, can not be compared with the previous amount of delay, step considered to be the same 34へ進む。 To advance.ステップ３４において、Ｒ−ＣＰＵ５３は、遅延量に基づいて遅延バッファアドレスレジスタ１５ｄにアドレス値を指定する。 In step 34, R-CPU 53 specifies the address value to the delay buffer address register 15d on the basis of the delay amount.ステップ３５において、遅延バッファ領域１５ｂに書込まれた音声フレームを指定されたアドレスから読出し、第２チャンネルの音声データとして出力する。 In step 35, the output from the address specified audio frame written into the delay buffer area 15b reads, as a second channel audio data.

【００３４】次に、前述のステップ２９〜３５において、図１３，図１４又は図１５に示すタイムチャートを参照して、遅延量の有無、遅延量があるときに、遅延量を可変する場合の具体的な動作を説明する。 Next, in the aforementioned step 29-35, with reference to the time chart shown in FIG. 13, FIG. 14 or FIG. 15, presence or absence of delay, when there is a delay, in the case of varying the amount of delay describing a specific operation.前述のステップ２９において、遅延量が無いと判断した場合は、音声データ出力が図１３に示すタイムチャートのようになる。 In step 29 described above, if it is determined that the delay is not, the audio data output comes to a time chart shown in FIG. 13.この例では、処理単位の音声データ（音声フレーム）の時間長が、例えば１／２４０秒（約４ｍｓ）に選ばれる。 In this example, the time length of the audio data (audio frames) of processing units are chosen for example 1/240 second (about 4 ms).そして、音声フレーム１出力時において、第１ Then, the audio frame 1 on output, firstチャンネルと第２チャンネルとで遅延処理を行う必要がないので、Ｒ−ＣＰＵ５３が、第１チャンネルと第２チャンネルに同時に音声フレーム１を出力する。 It is not necessary to perform the delay process in the channel and the second channel, R-CPU 53 outputs the audio frame 1 simultaneously to the first and second channels.これを音声フレーム２以降のデータについても繰り返す。 This is repeated for the audio frame 2 and subsequent data.

【００３５】ステップ２９において、遅延量があると判断し、続くステップ３２において前回遅延量と今回遅延量が同じである（すなわち遅延量一定）と判断した場合は、音声データ出力が図１４に示すタイムチャートのようになる。 [0035] In step 29, if it is determined that it is determined that there is a delay, a previous delay and the current amount of delay in the following step 32 are the same (i.e. amount of delay is constant), the audio data output shown in FIG. 14 so that the time chart.この例では、遅延量に相当する時間が０〜１ In this example, the time corresponding to the delay amount 0-1／１０００秒（１ｍｓ）の範囲で可変制御され、第２チャンネルが１／２０００秒（０．５ｍｓ）の一定遅延量を持つ場合を想定する。 / 1000 sec in the range of (1 ms) is variably controlled, it is assumed that the second channel has a constant amount of delay of 1/2000 seconds (0.5 ms).発音開始時において、第２チャンネル側で遅延量に相当する時間分だけの無音部分を形成するために、Ｒ−ＣＰＵ５３は、第２チャンネル側の音声フレーム１を第１チャンネル側の音声フレーム１よりも０．５ｍｓだけ遅れて出力させる。 During the start of sounding, to form a silent portion by a time corresponding to the delay amount in the second channel side, R-CPU 53 is a speech frame 1 of the second channel of the first channel side than the audio frame 1 also be output with a delay of only 0.5ms.第１チャンネル側の音声フレーム１が出力し終わった時、第２チャンネル側の音声フレーム１は０．５ｍｓ分残る。 When the audio frame 1 of the first channel side has finished output, the audio frame 1 of the second channel side remains 0.5ms min.そして、第１チャンネル側が音声フレーム２を出力処理する時、第２チャンネル側は残った０．５ｍｓ分の音声フレーム１ Then, when the first channel side outputs processed audio frame 2, 0.5 ms worth of speech frame 1 second channel side remainingを出力処理しその後音声フレーム２の出力処理に移る。 Output processing then proceeds to the output processing of the audio frame 2.これを音声フレーム３以降のデータについても繰り返す。 This is repeated for the audio frame 3 and later data.従って、第２チャンネル側は常に第１チャンネル側よりも０．５ｍｓだけ遅れて音声データを出力することになる。 Therefore, the output audio data with a delay of 0.5ms than the second channel side always first channel side.この動作を遅延量が変化するかまたは発音が終了するまで繰り返すことにより、遅延量一定の場合の音声出力処理を達成できる。 By repeating until or pronounce the operation delay changes are completed, you can achieve audio output processing in the case of delay constant.

【００３６】ステップ２９において、遅延量があると判断し、続くステップ３２において前回遅延量と今回遅延量が同じでない（すなわち遅延量可変）と判断した場合は、音声データ出力が図１５に示すタイムチャートのようになる。 [0036] In step 29, it is determined that there is a delay, if it is judged not to be the last delay and the current amount of delay are the same (i.e. the variable delay) In the following step 32, the time that the audio data output shown in FIG. 15 so the chart.例えば、第１チャンネル側の音声フレーム１ For example, the audio frame 1 of the first channel side及び音声フレーム２が出力処理される時において、第２ And at the time when the audio frame 2 is output process, the secondチャンネル側の音声フレーム１及び音声フレーム２がそれぞれ０．５ｍｓ及び０．２５ｍｓ遅れて出力処理される（すなわち遅延量が０．５ｍｓから０．２５ｍｓに変化する）場合を考える。 Audio frame 1 and the audio frame 2 is outputted processed with a delay 0.5ms and 0.25ms each channel side (i.e. the delay amount changes to 0.25ms from 0.5ms) Consider the case.このときの遅延量変化量が０． Delay amount change amount at this time is 0.２５ｍｓ分減少しているので、Ｒ−ＣＰＵ５３は第２チャンネル側の音声フレーム１を遅延量変化分に相当する０．２５ｍｓだけ圧縮（すなわち音声フレーム１を４ｍ Since it decreased 25ms min, R-CPU 53 is a 0.25ms only compression (i.e. audio frame 1 corresponding speech frame 1 of the second channel side delay variation 4mｓから３．７５ｍｓにリサンプリング）する。 Resampling) to 3.75ms from s.第１チャンネル側の音声フレーム２が出力処理される時、第２チャンネル側には０．２５ｍｓ分の音声フレーム１が残り、０．５ｍｓから０．２５ｍｓへの遅延量変化を達成できる。 When the audio frame 2 of the first channel side is output process, the second channel side remains audio frame 1 of 0.25ms minute can be achieved the delay amount changes to 0.25ms from 0.5 ms.続いて、第１チャンネル側の音声フレーム３が出力処理される時、第２チャンネル側の遅延量は０．７ Subsequently, when the audio frame 3 of the first channel side is output process, the delay amount of the second channel side 0.7５ｍｓに変化するので、第２チャンネル側の音声フレーム２を遅延量変化分に相当する０．５ｍｓだけ伸長（すなわち音声フレーム２を４ｍｓから４．５ｍｓにリサンプリング）する。 Since changes in 5 ms, to (resampling 4.5ms i.e. the speech frame 2 from 4 ms) 0.5 ms only extension that corresponds to the second channel side audio frame 2 on the delay variation.第１チャンネル側の音声フレーム３が出力処理される時、第２チャンネル側には０．７５ｍｓ When the audio frame 3 of the first channel side is output process, the second channel side 0.75ms分の音声フレーム２が残り、０．２５ｍｓから０．７５ The remaining amount of the audio frame 2 is 0.75 to 0.25msｍｓへの遅延量変化を達成できる。 The delay amount changes to ms can be achieved.つまり、音声フレームの時間長がｎ，前回遅延量がｄｂ，次回遅延量がｄｆ That, n times the length of the speech frame, the previous amount of delay db, the next time delay dfである場合に、音声フレームを（ｎ）から（ｎ＋ｄｆ− If it is, the audio frame from (n) (n + df-ｄｂ）にリサンプリング処理することにより、遅延量可変の場合の音声出力処理を達成できる。 By resampling the db), you can achieve audio output processing in the case of variable delay.このように、遅延量可変の場合において、音声データをリサンプリング処理することによって、データの重複や欠落によるノイズの発生を抑制できる利点がある。 Thus, in the case of variable delay, by resampling the audio data, there is an advantage that the generation of noise due to overlapping or missing data can be suppressed.

【００３７】 [0037]

【図面の簡単な説明】 BRIEF DESCRIPTION OF THE DRAWINGS

【図１】この発明の画像表示に連動する音響発生装置の原理ブロック図である。 1 is a principle block diagram of a sound generating device interlocked with the image display of the present invention.

【図２】音発生物体とカメラアングル位置等との関係に基づいて左右の遅延量を可変する場合の原理を説明するための図解図である。 2 is a schematic diagram for explaining the principle of varying the delay amount of the left and right on the basis of a relationship between the sound generating object and the camera angle position, and the like.

【図３】図２において遅延量が無い条件下で音量を制御する場合の音量と方向の関係を示す特性図である。 [3] under the delay amount is not in FIG. 2 is a characteristic diagram showing the volume and direction of the relationship in the case of controlling the volume.

【図４】図２において遅延量が或る条件下において遅延量を可変制御する場合の方向と音量の関係を示す特性図である。 Delay in [4] FIG. 2 is a characteristic diagram showing the relationship between the direction and volume of the case of variably controlling the delay amount in certain conditions.

【図５】図４の遅延量が有る条件下において音量を制御する場合の距離と音量の関係を示す特性図である。 5 is a characteristic diagram showing the relationship between the distance and the sound volume in the case of controlling the volume under conditions that delay of FIG. 4 there.

【図６】音発生物体と主人公キャラクタとの位置に関連して遅延量を制御する場合の特性図である。 6 is a characteristic diagram when the connection with the position of the sound generating object and the main character to control the amount of delay.

【図７】この発明の一実施例の音響発生装置の具体的なブロック図である。 7 is a detailed block diagram of the acoustic generator of an embodiment of the present invention.

【図８】Ｗ−ＲＡＭ５５のメモリ空間を図解的に示した図である。 FIG. 8 is a diagram showing schematically the memory space of the W-RAM55.

【図９】図１のバッファメモリに対応するサウンドメモリ領域１５の一例のメモリマップを図解的に示した図である。 9 is a diagram showing schematically an example memory map of a sound memory area 15 corresponding to the buffer memory of FIG.

【図１０】図１のバッファメモリに対応するサウンドメモリ領域１５の他の例のメモリマップを図解的に示した図である。 10 is a diagram of the memory map shown schematically another example of the sound memory area 15 corresponding to the buffer memory of FIG.

【図１１】ゲームの概略のフローチャートである。 11 is a flowchart of outline of the game.

【図１２】音声出力処理のサブルーチンの動作フローチャートである。 12 is a flowchart of a subroutine of audio output processing.

【図１３】遅延量が無い場合の音声データ出力のタイムチャートである。 FIG. 13 is a time chart of the audio data output when the delay amount is not.

【図１４】遅延量がありかつ前回遅延量と今回遅延量が同じである場合の音声データ出力のタイムチャートである。 14 is a time chart of the audio data output when there is a delay amount and the previous amount of delay and the current amount of delay are the same.

【図１５】遅延量がありかつ前回遅延量と今回遅延量が同じでない場合の音声データ出力のタイムチャートである。 15 is a time chart of the audio data output when there is a delay amount and the previous amount of delay and the current amount of delay are not the same.

Claims (8)

Translated from Japanese

【特許請求の範囲】 [The claims]

【請求項１】少なくとも音を発する第１の物体をカメラアングルで見えるように画面上に表示する画像表示装置において、第１の物体とカメラアングル位置等との関係に応じた音響を発生するための画像表示に連動する音響発生装置であって、 第１系統の音響を発生する第１の音響発生手段、 第２系統の音響を発生する第２の音響発生手段、 音源データをデジタル的に記憶する音源データ記憶手段、 前記音源データ記憶手段から発生される或る期間に発生すべき音源データを一時記憶する一時記憶手段、 前記第１の音響発生手段によって発生される第１系統の音響を発生すべき音源データを前記一時記憶手段に記憶させかつ前記第１系統用としてそのまま読み出させるとともに、一時記憶手段に記憶されている第１系統の音源データを前 1. A first object that emits at least sound in an image display device for displaying on a screen visible to the camera angle, for generating a sound in accordance with the relationship between the first object and the camera angle position etc. a sound generating device interlocked with the image display, the first sound generation means for generating sound of the first system, the second sound generation means for generating an acoustic of the second system, digitally storing sound source data sound source data storage means for said sound source data storage means temporary storage means for temporarily storing the sound source data to be generated in a certain period to be generated from, generate sound of the first system generated by said first sound generating means with it to read out should do sound source data as a stored allowed and the first line in the temporary storage means, before the sound source data of the first system which is stored in the temporary storage meansカメラアングルの位置から見た前記第１の物体の方向に基づいて算出される遅延時間に応じて遅延させて第２系統の音源データとして読み出させる音声処理手段、 前記音声処理手段によって一時記憶手段からそのまま読み出された第１系統の音源データをアナログ音声信号に変換して前記第１の音響発生手段に与える第１のディジタル−アナログ変換手段、および前記音声処理手段によって前記一時記憶手段から読み出された遅延された第２ Audio processing means to read the sound source data of the second system with a delay according to the delay time calculated based on the direction of the first object as seen from the position of the camera angle, the temporary storage means by said sound processing means first digital to the sound source data of the first system read directly after converting an analog audio signal supplied to the first sound generation means - analog conversion means, and read from the temporary storage means by said sound processing means second delayed issued the系統の音源データをアナログ音声信号に変換して前記第２の音響発生手段に与える第２のディジタル−アナログ変換手段を備えた、画像表示に連動する音響発生装置。 Second digital giving sound source data of the system to be converted into an analog audio signal and the second sound generation means - with analog converting means, sound generating device interlocked with the image display.

【請求項２】前記音声処理手段は、第１の物体とカメラアングル位置等との距離に基づいて前記第１系統の音響の音量と前記第２の系統の音響の音量とを個別に制御する音量制御手段を含むことを特徴とする、請求項１に記載の画像表示に連動する音響発生装置。 Wherein said voice processing means individually controls the sound volume of the sound volume and the second line of the first system based on the distance between the first object and the camera angle position etc. characterized in that it comprises a volume control means, sound generating device interlocked with the image display according to claim 1.

【請求項３】前記音量制御手段は、第１の物体とカメラアングル位置等との距離に或る係数を乗算した値に反比例するように、前記第１系統の音響と前記第２系統の音響のそれぞれの音量を増減するように制御することを特徴する、請求項２に記載の画像表示に連動する音響発生装置。 Wherein said volume control means, so as to be inversely proportional to the value obtained by multiplying a certain coefficient on the distance between the first object and the camera angle position, and the like, the acoustic sound and the second system of the first system each is characterized by controlling so as to increase or decrease the sound volume, sound generator interlocked with the image display according to claim 2.

【請求項４】前記音声処理手段は、カメラアングルから見た第１の物体の方向に基づいて遅延時間を制御するとき、前記音量制御手段が第１の物体とカメラアングル位置等との距離に或る係数を乗算した値に反比例して音量の制御範囲を抑制することを特徴とする、請求項１ないし請求項３のいずれかに記載の画像表示に連動する音響発生装置。 Wherein said voice processing means, when controlling the delay time based on the direction of the first object as seen from the camera angle, the sound volume control means to the distance between the first object and the camera angle position etc. characterized in that a certain coefficient in inverse proportion to the value obtained by multiplying suppressing control range of volume, sound generator interlocked with the image display according to any one of claims 1 to 3.

【請求項５】前記画像表示装置に関連して操作手段が設けられ、 前記画像表示装置は、第１の物体を見るカメラアングルに相当する第２の物体を表示し、プレイヤが操作手段を操作することに応答して第２の物体の表示位置を変化させることにより、第２の物体と第１の物体との相対距離を変化させるものであり、 前記音量制御手段は、第１の物体と前記第２の物体の距離に或る係数を乗算した値に反比例するように、前記第１系統の音響と前記第２系統の音響のそれぞれの音量を増減するように制御することを特徴する、請求項２に記載の画像表示に連動する音響発生装置。 Wherein the image display device related to the operating means is provided in the image display apparatus, the second display object corresponding to the camera angle to see the first object, the player operates the operating means by changing the display position of the second object in response to, which changes the relative distance between the second object and the first object, said sound volume control means includes a first object so as to be inversely proportional to the value obtained by multiplying a certain coefficient distance of the second object and wherein the controller controls to increase or decrease the respective volume of the sound of the sound and the second system of the first system, sound generator interlocked with the image display according to claim 2.

【請求項６】前記画像表示装置に関連して操作手段が設けられ、 前記画像表示装置は、前記第１の物体を見るカメラアングル位置等に相当する第２の物体を表示し、プレイヤが操作手段を操作することに応答して第２の物体の表示位置を変化させることにより第１の物体に対する方向及び距離を変化させるものであり、 前記音声処理手段は、前記音量制御手段が前記第２の物体から見た前記第１の物体の方向に基づいて遅延時間を制御するとき、第１の物体と第２の物体との距離にある係数を乗算した値に逆比例して音量を制御する範囲を抑制することを特徴とする、請求項２又は請求項３に記載の画像表示に連動する音響発生装置。 6. related to operating means provided in the image display device, the image display apparatus displays the second object corresponding to the camera angle position such as to see the first object, the player operation is intended to change the direction and distance to the first object by changing the display position of the second object in response to manipulating means, said voice processing means, said sound volume control means the second when controlling the delay time based in the direction of the first object as seen from the object, inversely proportional to control the sound volume to a value obtained by multiplying the coefficient in the distance between the first object and the second object characterized by suppressing the range, the sound generating device interlocked with the image display according to claim 2 or claim 3.

【請求項７】前記一時記憶手段は、 前記音源データ記憶手段に記憶されている音源データのうち、処理単位の時間に相当する第１の記憶容量のデータを一時記憶する第１の一時記憶手段と、 前記第１の一時記憶手段の記憶容量よりも前記処理単位の音源データを遅延可能な最大遅延時間に相当する記憶容量分だけ多い第２の記憶容量を有し、処理単位の音源データを遅延させて読み出すための第２の一時記憶手段とを含み、 音声処理手段は、 前記音源データ記憶手段に記憶されている処理単位の音源データを読み出して前記第１の一時記憶手段に書込み、かつ前記カメラアングル位置等から見た前記第１の物体の方向に基づいて算出される遅延時間に応じて前記第２の一時記憶手段の書込みアドレスを変化させて処理単位の音源データを第 Wherein said temporary storage means, the sound source of the sound source data stored in the data storage means, the first temporary storage means for temporarily storing the data of the first storage capacity corresponding to the time of processing units When, a second storage capacity by storing capacity of greater than the storage capacity corresponding to maximum delay time that can delay the sound source data of the processing unit of the first temporary storage means, the sound source data processing unit and a second temporary storage means for reading is delayed, speech processing means writes said sound source data storage means reads out the sound source data processing units stored the first temporary storage means and, the sound source data of the first object processing units write address is changed in the second temporary storage means in accordance with the delay time calculated based on the direction of as viewed from the camera angle position such as the２の一時記憶手段に書込み、 前記第１の一時記憶手段に記憶されている処理単位の音源データを第１系統の音響を発生するために読出し、かつ第２の一時記憶手段記憶されている処理単位の音源データを第２系統の音響を発生するために読み出すことにより、第２系統の音源データを第１系統の音源データよりも所望の時間だけ遅延させて読み出すことを特徴とする、請求項１ないし請求項６のいずれかに記載の画像表示に連動する音響発生装置。 Writing the second temporary storage means, reads out the sound source data of the first processing unit stored in the temporary storage means to generate sound of the first system, and second temporary storage means the stored processed by reading the source data unit to generate sound of the second system, characterized by reading out the sound source data of the second system with a delay by a desired time than the sound source data of the first system, according to claim 1 to sound generator interlocked with the image display according to claim 6.

【請求項８】前記一時記憶手段は、 前記音源データ記憶手段に記憶されている音源データのうち、処理単位の時間に相当する第１の記憶容量のデータを一時記憶する第１の一時記憶手段と、 前記処理単位の音源データを遅延可能な最大遅延時間に相当する容量分の記憶容量を有し、処理単位の音源データを遅延させて読み出すための第２の一時記憶手段とを含み、 音声処理手段は、 前記音源データ記憶手段に記憶されている処理単位の音源データを読み出して前記第１の一時記憶手段に書込み、かつ前記第１の一時記憶手段に記憶されている処理単位の音源データを第１系統の音響の発生のために読出し、 前記カメラアングル位置等から見た前記第１の物体の方向に基づいて算出される遅延時間に応じて前記第２の一時記憶手段の書込み Wherein said temporary storage means, the sound source of the sound source data stored in the data storage means, the first temporary storage means for temporarily storing the data of the first storage capacity corresponding to the time of processing units When, and a second temporary storage means for having a storage capacity equivalent to a capacity of corresponding sound source data of the processing unit to the maximum delay time that can delay, read out by delaying the sound data processing unit, the audio processing means, sound source data of the sound source data storage means reads out the sound source data processing units stored written to the first temporary storage means, and said first processing units stored in the temporary storage means reads for sound generation of the first system, the writing of the second temporary storage means in accordance with the delay time calculated based on the direction of the first object as seen from the camera angle position etc.ドレスを変化させて、前記第１の一時記憶手段から読み出された第１系統の音響を発生するための処理単位の音源データを前記第２の一時記憶手段に書込み、かつ前記第２の一時記憶手段に記憶されている音源データを順次読み出すことにより、第２系統の音源データを第１系統の音源データよりも所望の時間だけ遅延させて読み出すことを特徴とする、請求項１ないし請求項６のいずれかに記載の画像表示に連動する音響発生装置。 By changing the address, write to the first of said second temporary storage means sound source data processing unit for generating a sound of the first system read from the temporary memory means, and said second temporary by sequentially reading sound data stored in the storage unit, the sound source data of the second system is delayed by a desired time than the sound source data of the first system, wherein the read out, the preceding claims sound generator interlocked with the image display according to any one of 6.