Links

Images

Classifications

G—PHYSICS

G06—COMPUTING; CALCULATING; COUNTING

G06F—ELECTRIC DIGITAL DATA PROCESSING

G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements

G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer

G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality

G—PHYSICS

G06—COMPUTING; CALCULATING; COUNTING

G06F—ELECTRIC DIGITAL DATA PROCESSING

G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements

G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer

G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser

G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures

G—PHYSICS

G06—COMPUTING; CALCULATING; COUNTING

G06F—ELECTRIC DIGITAL DATA PROCESSING

G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048

G06F2203/038—Indexing scheme relating to G06F3/038

G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer

Abstract

Translated from Korean

본 발명은 사용자 터치와 입김을 활용한 멀티 모달 인터페이스 지원 사용자 단말과 그 제어 방법에 관한 것으로, 본 발명에 따른 사용자 단말은 사용자 터치와 입김을 활용한 멀티 모달 인터페이스 지원 사용자 단말은 사용자 터치를 입력받는 터치입력부, 사용자 입김을 입력받는 입김입력부, 그리고 상기 사용자 터치 및 상기 사용자 입김에 대응되는 사용자 명령을 수행하는 제어부를 포함한다. The present invention, the user terminal multimodal interfaces the user terminal utilizing the user touch and the breath of the present invention relates to a user terminal user's touch and a multi-modal interface utilizing breath support and a control method for receiving a user's touch breath input unit for receiving a touch input, a user breath, and a controller to perform the user command corresponding to the user's touch, and the user breath.본 발명에 의하면 핸드폰, PDA, 태블릿 패드 등의 소형 컴퓨터 시스템에서 한 손으로 사용자 단말을 쥐고 다른 손은 자유로운 상태에서 사용자 입김을 통해 멀티 터치 제스처와 유사한 기능을 제공할 수 있다. According to the present invention take the user terminal on the one hand on the small computer system such as a cell phone, PDA, tablet pads other hand may provide a similar functionality as the multi-touch gesture by a user breath in a free state.따라서 사용자는 한 손만으로 사용자 단말을 멀티 터치 제스처와 유사한 기능을 통해 제어하면서, 동시에 다른 손은 다른 일을 할 수 있는 장점이 있다. Accordingly, the user with control over a similar function to the user terminal with only one hand and multi-touch gestures, at the same time the other hand has the advantage of being able to do other things.한편 한 손이 불편한 사용자도 멀티 터치 제스처와 유사하게 사용자 단말을 제어할 수 있는 장점이 있다. In one hand uncomfortable user also has the advantage that can be controlled similarly to the user terminal and multi-touch gestures.

그러나 대부분의 사용자들이 핸드폰을 한 손을 이용해서 사용하는 경향이 있다. However, the majority of users tend to use the mobile phone using a single hand.예를 들어 한 손으로 핸드폰을 쥐고, 핸드폰을 쥔 손의 엄지 손가락으로 제스처를 사용하는 경향이 많다. For example, in one hand holding a cell phone, many tend to use gesture with the thumb of the hand holding the phone.그런데 멀티 터치 제스처를 사용하기 위해서는 한 손으로는 핸드폰을 들고, 다른 손의 두 개 손가락으로 핸드폰에 제스처를 취해야 한다. However, on the one hand in order to use the multi-touch gesture holding a mobile phone and a cellphone to take a gesture of two fingers of the other hand.따라서 두 손이 모두 자유로운 경우에는 불편함이 덜하겠지만, 핸드폰을 쥐고 있지 않은 다른 손에 짐이 있거나 또는 한 손이 불편한 경우에는 여러 개의 손가락을 사용하는 멀티 터치 기반의 사용자 인터페이스를 사용하기 곤란한 문제점이 있었다. Therefore, if both hands are all free case, but less inconvenience, or Jim on the other hand not holding a cellphone or hand discomfort are difficult to use multi-touch based user interface using multiple fingers problems there was.

한편 이러한 멀티 터치 제스처의 문제점을 해결하기 위해서 개발된 버추얼 썸(Virtual Thumb) 기술이 있다. Meanwhile, such a multi-touch gesture, the virtual thumb (Virtual Thumb) technology developed to solve the problems of.버추얼 썸은 터치 스크린에 한 손가락을 대면 해당 위치에 가상의 손가락이 나타나도록 하는 방법이다. Virtual thumb is a method for face-to-face so that one finger on the touch screen a virtual finger appears on its position.즉 사용자는 가상 손가락과 실제 손가락을 이용해서 멀티 터치 제스처 기능을 사용할 수 있다. That is the user can use the multi-touch gesture function using the virtual real finger and finger.그런데 버추얼 썸은 한 개의 손가락으로 멀티 터치 제스처의 기능을 제공할 수 있는 장점은 있으나, 사용자가 일단 터치 스크린을 눌러서 마스크를 만들고 다시 한번 손가락을 이용해서 제스처를 수행해야 하는 번거로움이 있다. But virtual thumb is, but the advantage of being able to provide support for multi-touch gestures with one finger, there is a hassle to the user pressing the one touch screen to create a mask, you must perform a gesture using the finger again.

상기 사용자 터치 위치가 화면의 중심에서 좌측인 경우 상기 사용자 명령은 화면을 시계 반대 방향으로 회전하는 명령이고, 상기 사용자 터치 위치가 화면의 중심에서 우측인 경우 상기 사용자 명령은 화면을 시계 방향으로 회전하는 명령일 수 있다. If the user touch position in the left side from the center of the screen and the user command is a command to rotate the screen in a counterclockwise direction, when the user touch position in the right side from the center of the screen, the user command is to rotate the screen in a clockwise direction It may be a command.

본 발명의 다른 실시예에 따른 컴퓨터로 읽을 수 있는 매체는 상기한 방법 중 어느 하나를 컴퓨터에 실행시키기 위한 프로그램을 기록한다. The computer readable medium according to another embodiment of the present invention records a program for executing any of the methods described above to a computer.

본 발명에 의하면, 핸드폰, PDA, 태블릿 패드 등의 소형 컴퓨터 시스템에서 한 손으로 사용자 단말을 쥐고 다른 손은 자유로운 상태에서 사용자 입김을 통해 멀티 터치 제스처와 유사한 기능을 제공할 수 있다. According to the invention, take the user terminal on the one hand on the small computer system such as a cell phone, PDA, tablet pads other hand may provide a similar functionality as the multi-touch gesture by a user breath in a free state.

따라서 사용자는 한 손만으로 사용자 단말을 멀티 터치 제스처와 유사한 기능을 통해 제어하면서, 동시에 다른 손은 다른 일을 할 수 있는 장점이 있다. Accordingly, the user with control over a similar function to the user terminal with only one hand and multi-touch gestures, at the same time the other hand has the advantage of being able to do other things.한편 한 손이 불편한 사용자도 멀티 터치 제스처와 유사하게 사용자 단말을 제어할 수 있는 장점이 있다. In one hand uncomfortable user also has the advantage that can be controlled similarly to the user terminal and multi-touch gestures.

도 1은 본 발명의 일 실시예에 따른 사용자 단말의 멀티 모달 인터페이스를 통한 사용자 명령 입력을 예시한 개념도이다. 1 is a conceptual diagram illustrating a user instruction input through the multimodal user interface of the terminal according to an embodiment of the present invention.도 2는 본 발명의 일 실시예에 따른 사용자 단말의 구성을 나타낸 블록도이다. Figure 2 is a block diagram showing the configuration of a user terminal according to an embodiment of the present invention.도 3은 본 발명의 일 실시예에 따른 사용자 단말에 입력되는 사용자 입김 형태를 예시한 도면이다. 3 is a view illustrating a user breath being input to the user terminal according to an embodiment of the present invention.도 4는 본 발명의 일 실시예에 따른 사용자 단말의 제어 방법을 설명하기 위해 제공되는 흐름도이다. Figure 4 is a flow chart provided to explain a control method of a user terminal according to an embodiment of the present invention.도 5a 및 도 5b는 본 발명의 일 실시예에 따른 사용자 단말에 입력되는 사용자 터치의 위치를 예시한 도면이다. Figures 5a and 5b is a diagram illustrating the user touch position of the input to the user terminal according to an embodiment of the present invention.

이하 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. Accompanying will be described in detail so that one can make self having ordinary skill in the art readily carried out on the embodiment of the present invention with reference to the drawings.

여기서, 멀티모달(multi-modal) 인터페이스란 여러 개의 입력 장치(터치스크린과 마이크 등)를 동시에 사용하는 입력 방법을 나타낸다. Here, a multimodal (multi-modal) is the input interface using a multiple input device (touch screen and a microphone, and so on) at the same time.

도 1을 참고하면, 사용자(10)가 사용자 단말(20)을 잡고 있는 손의 손가락(11)을 터치입력부(21)에 접촉하면, 사용자 단말(20)은 소정 시간 동안 사용자 입김(13)이 입력되는 것을 대기한다. Referring to Figure 1, the user 10 when the finger 11 of the hand holding the user terminal 20 in contact with the touch input unit 21, user terminal 20 is a user breath (13) for a predetermined time, and it waits for input.사용자 입김(13)이 입력되면 사용자 단말(20)은 사용자 입김 형태를 검출하고 그에 따른 동작을 수행한다. When the user breath 13 is input the user terminal 20 detects a user breath types and performing an operation according thereto.한편 소정 시간 동안 사용자 입김 입력이 없으면 사용자 단말(20)은 터치 입력에 따른 동작을 수행한다. On the other hand if there is no user input for a predetermined time breath user terminal 20 performs an operation according to the touch input.실시예에 따라서는 사용자 손가락(11)이 터치입력부(21)에 접촉된 상태에서만 사용자 입김 형태를 검출하고 그에 따른 동작을 수행하도록 구현할 수도 있다. Therefore, the embodiment can also be implemented so that the user's finger 11 is detected, a user breath form only in the state in contact with the touch input unit 21 and performs an operation according thereto.그러면 도 2를 참고하여 본 발명의 일 실시예에 따른 사용자 단말에 대해 보다 자세히 설명한다. This will be described in detail for the user terminal according to an embodiment of the present invention with reference to FIG 2.

도 2는 본 발명의 일 실시예에 따른 사용자 단말의 구성을 나타낸 블록도이다. Figure 2 is a block diagram showing the configuration of a user terminal according to an embodiment of the present invention.

도 4는 본 발명의 일 실시예에 따른 사용자 단말의 제어 방법을 설명하기 위해 제공되는 흐름도이다. Figure 4 is a flow chart provided to explain a control method of a user terminal according to an embodiment of the present invention.

도 4를 참고하면, 먼저 터치입력부(21)에 사용자 터치 입력이 입력되면(S410-Y), 제어부(25)는 미리 정해진 시간 동안 사용자 입김 입력을 대기한다(S420). Referring to Figure 4, when the first user touch input is inputted to the touch input section (21) (S410-Y), the controller 25 waits for user input breath for a predetermined time (S420).단계(S420)에서 대기 시간은 사용자 단말 제조사 또는 본 발명에 따른 멀티모달 인터페이스 애플리케이션 제작자에 의해 디폴트로 설정되거나 사용자에 의해 설정되도록 구현될 수도 있다. Wait time at step (S420) it may be implemented to be set by default or set by the user by the user terminal manufacturer or multimodal interface application creator in accordance with the present invention.한편 대기 시간이 없거나 '0'으로 설정된 경우에는 사용자 터치 입력이 입력되는 동안 사용자 입김이 입력되어야 아래 단계(S420 ~ S440)의 동작을 사용자 단말(20)이 수행하도록 구현될 수도 있다. On the other hand, if the waiting time or set to '0', may be implemented in the user terminal 20, the operation of the user breath step (S420 ~ S440), the following must be input to the input is performed while the user touch input.

한편 실시예에 따라 사용자 명령을 사용자 입김 형태 및 사용자 터치 위치의 조합에 대응되도록 구현될 수도 있다. On the other hand, according to an embodiment may be implemented such that a user command corresponding to a user breath types and combinations of user touch position.이하에서 도 5를 참고하여 사용자 명령을 사용자 입김 형태 및 사용자 터치 위치의 조합에 대응되도록 구현하는 예에 대해 설명한다. Reference to Figure 5 will be described below with respect to examples of implementation so as to correspond to the user command to a user breath types and combinations of user touch position.

도 5(a)를 참고하면, 사용자 터치 위치(Ptouch)가 화면의 중심에서 좌측인 상태에서 사용자 입김이 입력되면 사용자 단말(20)은 화면을 시계 반대 방향(L)으로 회전시킬 수 있다. Referring to FIG. 5 (a), when the user touch position (Ptouch) is a user input breath in the left from the center of the screen that a user terminal 20 can rotate the screen in a counterclockwise direction (L).

도 5(b)를 참고하면, 사용자 터치 위치(Ptouch)가 화면의 중심에서 우측인 상태에서 사용자 입김이 입력되면 사용자 단말(20)은 화면을 시계 방향(R)으로 회전시킬 수 있다. Referring to FIG. 5 (b), when the user touch position (Ptouch) is a user input breath from the right from the center of the screen that a user terminal 20 can rotate the screen in a clockwise direction (R).

한편 사용자 입김의 강도 또는 횟수에 따라 화면의 회전 각도가 커지도록 구현할 수도 있다. On the other hand it may also be implemented so that the rotational angle of the screen becomes larger depending on the intensity or frequency of user breath.예컨대 사용자 터치 위치(Ptouch)가 화면의 중심에서 좌측인 상태(또는 우측인 상태)에서 사용자 입김이 입력되면, 사용자 입김의 강도에 비례하여 화면이 시계 반대 방향(또는 시계 방향)으로 더 많이 회전하도록 구현할 수 있다. For example, the user touch position (Ptouch) that when in the left side from the center of the screen state (or to the right of state) inputs a user breath, in proportion to the strength of the user breath with the screen rotation More counterclockwise (or clockwise) It can be implemented.

또한 사용자 입김 1회 당 화면이 회전하는 각도를 설정해놓고 그에 따라 화면을 회전시킬 수 있다. In addition, it is possible to set the angle to rotate the screen per one breath haenotgo user rotates the screen accordingly.예컨대 사용자 입김 1회 당 화면 회전 각도가 10°로 설정된 경우에 사용자 입김이 5회 입력되면 화면을 50°회전하도록 구현할 수도 있다. For example, it may be implemented when a user inputs a five breath to breath when the user screen, the rotation angle per one time is set to 10 ° to the rotation of the screen 50 °.

이상에서 본 발명의 바람직한 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다. A preferred embodiment but will be described in detail for example the scope of the present invention of the present invention in the above is not rather various changes and modifications in the form of one of ordinary skill in the art using the basic concept of the invention as defined in the following claims is not limited thereto Furthermore, the present invention It belongs to the scope.