G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier

G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording

G—PHYSICS

G11—INFORMATION STORAGE

G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER

G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier

G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording

G11B27/32—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier

G11B27/322—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier used signal is digitally coded

G—PHYSICS

G11—INFORMATION STORAGE

G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER

Abstract

Translated from Korean

본 발명은 증강현실을 위한 프리뷰 영상 및 상기 프리뷰 영상 내의 객체와, 객체에 관한 정보 등을 하나 이상의 방식으로 편집하기 위한 유저 인터페이스(User Interface; 이하, 'UI'라 명칭함)를 제공하고, 상기 UI를 통해 상기 증강 현실용 프리뷰 영상을 다양하게 편집할 수 있는 이동 단말기 및 그 제어 방법에 관한 것이다. The present invention is a user interface for editing and the like information about the preview image and the object and the object in the preview image for the augmented reality in more than one way; provide (User Interface hereinafter referred to as designation la 'UI'), and wherein through the UI relates to a mobile terminal and a control method that can be used for various editing the preview image for the AR.

Description

Translated from Korean

이동 단말기 및 그 제어방법{MOBILE TERMINAL AND METHOD FOR CONTROLLING THE SAME} A mobile terminal and a control method {MOBILE TERMINAL AND METHOD FOR CONTROLLING THE SAME}

본 발명은 사용자의 편의가 더욱 고려되어 단말기의 사용이 구현될 수 있도록 하는 이동 단말기 및 그 제어 방법에 관한 것이다. The present invention relates to a mobile terminal and a control method to ensure that the user's convenience is further taken into account the implementation of the terminal used.

이러한 단말기의 기능 지지 및 증대를 위해, 단말기의 구조적인 부분 및/또는 소프트웨어적인 부분을 개량하는 것이 고려될 수 있다. For the support and increase functionality of such a terminal, it may be considered for improving the structural part and / or software parts of the terminal.

본 발명에 따른 이동 단말기 및 그 제어 방법은, 이하와 같은 효과를 제공한다. A mobile terminal and a control method according to the present invention provides the following effects.

첫째, 프리뷰 영상 편집용 UI를 통해 사용자가 자신이 원하는 방식으로 증강 현실용 프리뷰 영상을 다양하게 편집할 수 있는 효과가 있다. First, the preview image editing there is an effect that the user through the UI for you to own a variety of editing a preview image for enhancing the way you want it real.

둘째, 상기 편집된 증강 현실용 프리뷰 영상을 상대방에게 전송함으로써, 상기 편집된 프리뷰 영상을 서로 공유할 수 있는 효과가 있다. Second, by transmitting the edit preview for enhanced reality image to the other party, there is an effect that the editing the preview image can be shared with each other.

이하, 본 발명과 관련된 이동 단말기에 대하여 도면을 참조하여 보다 상세하게 설명한다. Referring now to the drawings with respect to the mobile terminal associated with the present invention will be described in detail.이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. Suffixes "module" and "portion" for components used in the following description as being mixed or grant is considered only the ease of creating the specification, but not having the meaning or role, which is distinguished from each other by themselves.

또한, 이동통신 모듈(112)은 추후에 설명되는 위치 정보 모듈(115)을 통해 획득된 이동 단말기(100)의 현재 위치 정보를 외부 서버(미도시)로 송신하고, 상기 외부 서버로부터 상기 이동 단말기(100)가 위치한 지역과 관련된 데이터를 수신 또는 다운로드할 수 있다. In addition, the mobile communication module 112 the MS transmits the current location information of the mobile terminal 100 acquired by the location information module 115 to be described later to an external server (not shown), and from the external server, It can be 100 to receive or download the data associated with the region is located.

이때, 상기 데이터 내에는 상기 이동 단말기(100)가 위치한 지역을 나타내는 영상 이외에도 상기 지역 내의 세부적인 맵 데이터가 포함될 수 있다. At this time, in the data it may have detailed map data in the area to be included in addition to the image that represents the area that the mobile terminal 100 is located.

또한, 상기 맵 데이터 내에는 상기 지역의 특정 반경 내에 위치하는 객체들에 관한 객체 정보 데이터베이스가 포함될 수 있다. Also, in the map data may include an object information database of the objects located within a certain radius of the area.이때, 상기 객체들은 일 예로, 빌딩 또는 건물 등이 될 수 있고, 또한, 상기 빌딩 또는 건물 내에 위치한 병원, 식당, 공중 화장실, 경찰서, 주민센터 등이 될 수 있다. In this case, the object can be an example, may be such as a building or buildings, and also, the hospital is located within the building or buildings, restaurants, public restrooms, police stations, community center, etc.

이때, 상기 실사 이미지는 카메라(121)를 통해 입력되는 프리뷰 영상과 동일한 시점을 가지는 이미지가 되거나 또는 항공 시점에 해당하는 이미지가 될 수도 있다. In this case, the live-action images may be an image corresponding to the image or the air having the same time point and a preview image input via the camera 121.

또한, 근거리 통신 모듈(114)은 상술한 바와 같이 상기 외부 서버 또는 근접한 거리에 위치한 타 단말기로부터 상기 이동 단말기(100)가 위치한 지역과 관련된 상기 데이터를 수신 또는 다운로드할 수 있다. In addition, short-range communication module 114 may receive or download the data relating to the area which the mobile terminal 100 is located from the other terminal is located on the external server or a close distance as described above.

위치정보 모듈(115)은 이동 단말기의 위치를 획득하기 위한 모듈로서, 그의 대표적인 예로는 GPS(Global Position System) 모듈이 있다. Location information module 115 is a module for obtaining a location of the mobile terminal, whose typical example is (Global Position System), GPS module.현재 기술에 의하면, 상기 GPS모듈(115)은 3개 이상의 위성으로부터 떨어진 거리 정보와 정확한 시간 정보를 산출한 다음 상기 산출된 정보에 삼각법을 적용함으로써, 위도, 경도, 고도, 및 방향 중 적어도 하나에 따른 현 위치 정보를 정확히 산출할 수 있다. In according to the current technology, by the above-described GPS module 115 calculates the distance information and precise time information, a distance from at least three satellites apply trigonometry to the next the calculated information, latitude, longitude, altitude, and at least one direction according it is possible to accurately calculate the current position information.현재, 3개의 위성을 이용하여 위치 및 시간 정보를 산출하고, 또다른 1개의 위성을 이용하여 상기 산출된 위치 및 시간 정보의 오차를 수정하는 방법이 널리 사용되고 있다. At present, the calculated position and time information using three satellites, and further using another one satellite has been widely used method to correct the error of the calculated position and time information.또한, GPS 모듈(115)은 현 위치를 실시간으로 계속 산출함으로써 속도 정보를 산출할 수 있다. In addition, GPS module 115 can calculate speed information by continuously calculating a current position in real time.

카메라(121)에서 처리된 화상 프레임은 메모리(160)에 저장되거나 무선 통신부(110)를 통하여 외부로 전송될 수 있다. The image frames processed by the camera 121 may be transmitted to the outside or stored in the memory 160 through the wireless communication unit 110.카메라(121)는 사용 환경에 따라 2개 이상이 구비될 수도 있다. Camera 121 may also be provided with two or more according to the use environment.

이들 중 일부 디스플레이는 그를 통해 외부를 볼 수 있도록 투명형 또는 광투과형으로 구성될 수 있다. Some of these displays can be of a transparent type or a light transmission type so that through it to see outside.이는 투명 디스플레이라 호칭될 수 있는데, 상기 투명 디스플레이의 대표적인 예로는 TOLED(Transparant OLED) 등이 있다. This can be called a transparent display la, a typical example of the transparent display may include TOLED (Transparant OLED).디스플레이부(151)의 후방 구조 또한 광 투과형 구조로 구성될 수 있다. The rear structure of the display unit 151 may also be configured as a light-transmitting structure.이러한 구조에 의하여, 사용자는 단말기 바디의 디스플레이부(151)가 차지하는 영역을 통해 단말기 바디의 후방에 위치한 사물을 볼 수 있다. With this structure, the user can see an object located behind the terminal body through the area where the display unit 151 of the terminal body occupies.

이동 단말기(100)의 구현 형태에 따라 디스플레이부(151)이 2개 이상 존재할 수 있다. A display unit 151 according to the implementation of the mobile terminal 100 may be two or more.예를 들어, 이동 단말기(100)에는 복수의 디스플레이부들이 하나의 면에 이격되거나 일체로 배치될 수 있고, 또한 서로 다른 면에 각각 배치될 수도 있다. For example, spaced on one side, a plurality of display portions the mobile terminal 100 or may be integrally disposed in, it may also be arranged on different surfaces.

디스플레이부(151)와 터치 동작을 감지하는 센서(이하, '터치 센서'라 함)가 상호 레이어 구조를 이루는 경우(이하, '터치 스크린'이라 함)에, 디스플레이부(151)는 출력 장치 이외에 입력 장치로도 사용될 수 있다. On the display unit 151 as in the case forming the sensor mutual layer structure (hereinafter called 'touch sensor') for detecting a touch action (hereinafter referred to as a 'touch screen'), the display unit 151 in addition to an output device It may also be used as an input device.터치 센서는, 예를 들어, 터치 필름, 터치 시트, 터치 패드 등의 형태를 가질 수 있다. A touch sensor, for example, may have the form of a touch film, a touch sheet, a touch pad.

터치 센서는 디스플레이부(151)의 특정 부위에 가해진 압력 또는 디스플레이부(151)의 특정 부위에 발생하는 정전 용량 등의 변화를 전기적인 입력신호로 변환하도록 구성될 수 있다. A touch sensor may be configured to convert changes in the electrostatic capacitance generated in the specific portion of the display unit 151 or the pressure display section 151 is applied to a specific part of an electrical input signal.터치 센서는 터치 되는 위치 및 면적뿐만 아니라, 터치 시의 압력까지도 검출할 수 있도록 구성될 수 있다. Touch sensor as well as a touched position and the area, it can be configured to detect even pressure during the touch.

상기 근접 센서(141)는 상기 터치스크린에 의해 감싸지는 이동 단말기의 내부 영역 또는 상기 터치 스크린의 근처에 배치될 수 있다. The proximity sensor 141 may be located close to the fill area or the touch screen of the mobile terminal wrapped by the touch screen.상기 근접 센서는 소정의 검출면에 접근하는 물체, 혹은 근방에 존재하는 물체의 유무를 전자계의 힘 또는 적외선을 이용하여 기계적 접촉이 없이 검출하는 센서를 말한다. The proximity sensor refers to a sensor for detecting the presence or absence of an object present in the object, or the vicinity to approach a predetermined detection plane of using the power of the electromagnetic field or infrared rays without a mechanical contact.근접 센서는 접촉식 센서보다는 그 수명이 길며 그 활용도 또한 높다. In addition, the proximity sensor is higher than the utilization of long service life that the tactile sensor.

이하에서는 설명의 편의를 위해, 상기 터치스크린 상에 포인터가 접촉되지 않으면서 근접되어 상기 포인터가 상기 터치스크린 상에 위치함이 인식되도록 하는 행위를 "근접 터치(proximity touch)"라고 칭하고, 상기 터치스크린 상에 포인터가 실제로 접촉되는 행위를 "접촉 터치(contact touch)"라고 칭한다. Hereinafter, for convenience of description, the touch are close-up, without the screen image, the pointer is not in contact with the referred as the pointer is the touch act that is also position recognition on the screen "proximity touch (proximity touch)", the touch an act that the pointer is actually in contact with the screen is referred to as "contact touch (contact touch)".상기 터치스크린 상에서 포인터로 근접 터치가 되는 위치라 함은, 상기 포인터가 근접 터치될 때 상기 포인터가 상기 터치스크린에 대해 수직으로 대응되는 위치를 의미한다. The term is a proximity-touch position with the pointer on the touch screen refers to a position at which the pointer when the pointer is proximity-touch corresponding to the perpendicular to the touch screen.

햅틱 모듈(haptic module)(154)은 사용자가 느낄 수 있는 다양한 촉각 효과를 발생시킨다. The haptic module (haptic module) (154) generates a variety of tactile effects which a user can feel.햅틱 모듈(154)이 발생시키는 촉각 효과의 대표적인 예로는 진동이 있다. A typical example of the tactile effect of the haptic module 154 may generate a vibration.햅택 모듈(154)이 발생하는 진동의 세기와 패턴 등은 제어가능하다. Haeptaek module 154 intensity and pattern of vibration that is generated and the like can be controlled.예를 들어, 서로 다른 진동을 합성하여 출력하거나 순차적으로 출력할 수도 있다. For example, it may be synthesized with each other to output a vibration or other output sequentially.

햅틱 모듈(154)은 직접적인 접촉을 통해 촉각 효과의 전달할 수 있을 뿐만 아니라, 사용자가 손가락이나 팔 등의 근 감각을 통해 촉각 효과를 느낄 수 있도록 구현할 수도 있다. The haptic module 154 may implement not only can deliver the tactile effect through a direct contact, so that the user can feel a tactile effect through a muscle sensation such as fingers or arms.햅틱 모듈(154)은 이동 단말기(100)의 구성 태양에 따라 2개 이상이 구비될 수 있다. The haptic module 154 may have more than one can be provided according to configuration aspects of the mobile terminal 100.

프로젝터 모듈(155)은, 이동 단말기(100)를 이용하여 이미지 프로젝트(project) 기능을 수행하기 위한 구성요소로서, 제어부(180)의 제어 신호에 따라 디스플레이부(151)상에 디스플레이되는 영상과 동일하거나 적어도 일부가 다른 영상을 외부 스크린 또는 벽에 디스플레이할 수 있다. The projector module 155 is a component for carrying out the image project (project) function using the mobile terminal 100, the same as the image displayed on the display unit 151 according to a control signal from the controller 180 or it may be at least partially display a different image on an external screen or wall.

또한, 메모리(160)에 저장된 상기 객체 정보 데이터베이스는 상기 무선 통신부(110)를 통해 외부 서버의 데이터베이스로부터 다운로드되거나 업데이트될 수 있다. Further, the object information database stored in the memory 160 through the wireless communication unit 110 can be downloaded or updated from the database of an external server.또한, 메모리(160)에 저장된 상기 객체 정보 데이터베이스는 상기 외부 서버의 데이터베이스의 전부가 다운로드된 것일 수 있고, 상기 메모리(160)의 용량을 고려하여 상기 외부 서버의 데이터베이스의 일부가 다운로드된 것일 수 있다. Further, the object information database stored in the memory 160 and not all of the database of the external server may be downloaded, a portion of the database of the external server, in consideration of the capacity of the memory 160 may be downloaded .

상기 외부 서버의 데이터베이스의 일부는 이동 단말기(100)의 현재 위치에서 일정 거리 이내에 있는 객체에 위한 것이거나, 이동 단말기(100)의 현재 위치와 관련된 일정 지역(예를 들면, 행정 구역)에 있는 객체에 위한 것일 수 있다. Objects in the part of the database of the external server is, or a limited area associated with the current location of the mobile terminal 100 for the object within a predetermined distance from the current position of the mobile terminal 100 (e. G., Area) It may be for the.

또한, 메모리(160) 내에는 다수의 상대방 화상 이미지를 포함한 다수의 연락처 정보가 저장된다. Further, in the memory 160 has a plurality of contact information, including a number of the other picture image are stored.상기 연락처 정보는, 해당 상대방의 명칭과, 화상 이미지와, 전화번호와, 이메일 주소와, 팩스 번호 등이 포함될 수 있다. The contact information may include the name of that party and the visual image and the phone numbers and e-mail address and fax number.

상기 인터페이스부는 이동단말기(100)가 외부 크래들(cradle)과 연결될 때 상기 크래들로부터의 전원이 상기 이동단말기(100)에 공급되는 통로가 되거나, 사용자에 의해 상기 크래들에서 입력되는 각종 명령 신호가 상기 이동단말기로 전달되는 통로가 될 수 있다. The interface unit the mobile terminal 100 is the mobile various command signals, the power from the cradle when it is connected with the outer cradle (cradle) which is or a passage to be supplied to the mobile terminal 100, by the user input from the cradle Access may be delivered to the terminal.상기 크래들로부터 입력되는 각종 명령 신호 또는 상기 전원은 상기 이동단말기가 상기 크래들에 정확히 장착되었음을 인지하기 위한 신호로 동작될 수도 있다. Various command signals or the power input from the cradle may be operated as signals for recognizing that the mobile terminal is properly mounted on the cradle.

전원 공급부(190)는 제어부(180)의 제어에 의해 외부의 전원, 내부의 전원을 인가받아 각 구성요소들의 동작에 필요한 전원을 공급한다. Power supply unit 190 supplies power required for the operation of each component is received by an external power source, the internal power supply under the control of the controller 180.

디스플레이부(151)는 프론트 케이스(101)의 주면의 대부분을 차지한다. A display unit 151 occupies most of a main surface of the front case 101.디스플레이부(151)의 양단부 중 일 단부에 인접한 영역에는 음향출력부(151)와 카메라(121)가 배치되고, 다른 단부에 인접한 영역에는 사용자 입력부(131)와 마이크(122)가 배치된다. An area adjacent to one end of both ends of the display portion 151 is arranged the sound output unit 151 and the camera 121, there is disposed a user input unit 131 and the microphone 122, the region adjacent to the other end.사용자 입력부(132)와 인터페이스(170) 등은 프론트 케이스(101) 및 리어 케이스(102)의 측면들에 배치될 수 있다. A user input unit 132 and the interface 170 and the like may be disposed at the side of the front case 101 and rear case 102. The

통화 등을 위한 안테나 외에 방송신호 수신용 안테나(116)가 단말기 바디의 측면에 추가적으로 배치될 수 있다. An antenna in addition to a broadcast signal receiving antenna can be 116 for a call and the like can be further disposed on a side surface of the terminal body.방송수신모듈(111, 도 1 참조)의 일부를 이루는 안테나(116)는 단말기 바디에서 인출 가능하게 설치될 수 있다. An antenna that is part of a broadcast receiving module (see 111, Fig. 1) 116 may be installed to be drawn out from the terminal body.

단말기 바디에는 이동 단말기(100)에 전원을 공급하기 위한 전원공급부(190)가 장착된다. Terminal body has the power supply unit 190 for supplying power to the mobile terminal 100 is mounted.전원공급부(190)는 단말기 바디에 내장되거나, 단말기 바디의 외부에서 직접 탈착될 수 있게 구성될 수 있다. Power supply 190 may be built-in or on the device body, and configured such that it can be removed directly from the outside of the terminal body.

리어 케이스(102)에는 터치를 감지하기 위한 터치 패드(135)가 추가로 장착될 수 있다. The rear case 102 may be a touch pad 135 for sensing touch additionally attached.터치 패드(135)는 디스플레이부(151)를 위해 광 투과형으로 구성될 수도 있다. Touch pad 135 may be of a light-transmitting to the display section 151.이 경우에, 디스플레이부(151)가 양면에서(즉, 이동단말기의 전면 및 후면 둘 다의 방향으로) 시각 정보를 출력하도록 구성된다면, 터치 패드(135)를 통해서도 상기 시각 정보를 인지할 수 있게 된다. In this case, the display unit 151 on both sides (i.e., the front and the direction of the back of both of the mobile terminal) if configured to output the time information via the touchpad 135 is able to recognize the visual information do.상기 양면에 출력되는 정보는 상기 터치 패드(135)에 의해 모두 제어될 수도 있다. Information to be output to the duplex may be controlled both by the touch pad 135.

한편, 터치 패드(135) 전용 디스플레이가 별도로 장착됨으로써, 리어 케이스(102)에도 터치 스크린이 배치될 수도 있다. On the other hand, whereby the touch pad 135, only the display is mounted separately, or may be a touch screen disposed in the rear case (102).

터치 패드(135)는 프론트 케이스(101)의 디스플레이부(151)와 상호 관련되어 작동한다. Touch pad 135 is operated in correlation with the display portion 151 of the front case 101. The터치 패드(135)는 디스플레이부(151)의 후방에 평행하게 배치될 수 있다. Touch pad 135 may be disposed in parallel to the rear side of the display section 151.이러한 터치 패드(135)는 디스플레이부(151)와 동일하거나 작은 크기를 가질 수 있다. The touch pad 135 may have the same or smaller size and a display unit 151. The

이하에서는 이동 단말기(100)에서 구현될 수 있는 제어 방법과 관련된 실시예들에 대해 첨부된 도면을 참조하여 살펴보겠다. In the following we'll see with reference to the accompanying drawings for the embodiments relating to the control method which may be implemented in a mobile terminal 100.

도 3을 참조하면, 이동 단말기(100)의 제어부(180)는 사용자로부터 증강현실을 위한 메뉴 기능이 선택되면, 카메라(121)를 구동시키고, 상기 카메라(121)를 통해 입력되는 현재 지역의 프리뷰 영상(300)을 터치스크린(151) 상에 표시한다[S110]. 3, the controller 180 of the mobile terminal 100 when the selected menu function for the augmented reality from the user, and drives the camera 121, a preview of the current area which is input through the camera 121 the image 300 is displayed on the touch screen (151) [S110].

따라서, 제어부(180)는 상기 프리뷰 영상(300)이 편집되면, 상기 편집된 프리뷰 영상의 위치 정보를 함께 저장함으로써, 추후에 사용자가 이동 단말기(100)를 파지한 상태에서 상기 저장된 위치 정보에 해당하는 장소에 다시 올 경우 상기 편집된 프리뷰 영상(300)을 다시 표시하는 것이다. Accordingly, the controller 180 corresponding to the preview image 300 is when the editing, by storing with the location information of the edit preview image, stored in the in the user grips the portable terminal 100 in a later state position information when it comes to that place again to re-display the preview image 300, the edited.

한편, 제어부(180)는 상기 편집된 프리뷰 영상(300)을 다시 표시할 때, 상기 이동 단말기(100)의 동작 상태가 AR 모드이면, 카메라(121)로부터 입력되는 프리뷰 영상의 표시를 중단하고, 상기 AR을 위한 화면 상에 상기 편집된 프리뷰 영상(300)을 표시할 수 있다. On the other hand, the controller 180 if the edited preview when re-display the image 300, the operating state of the mobile terminal (100) AR mode, stops the display of a preview image received from the camera 121, it is possible to display the preview image 300 in the editing on the display for the AR.

또한, 제어부(180)는 상기 편집된 프리뷰 영상(300)을 다시 표시할 때, 상기 이동 단말기(100)의 동작 상태가 AR 모드이면, 상기 카메라(121)로부터 입력되는 프리뷰 영상과 상기 편집된 프리뷰 영상(300)을 서로 비교하여, 상기 편집된 프리뷰 영상에서 편집된 부분만을 추출하고, 상기 추출된 부분을 상기 카메라(121)로부터 입력되는 프리뷰 영상의 해당 영역에 오버레이 또는 합성하여 표시할 수 있다. In addition, controller 180 is a preview is to display the preview image 300, the edited again, the operation state of the mobile terminal (100) AR mode, and a preview image received from the camera 121, the edited by comparing the image 300, it is possible to extract only the edited part of the preview image of the edit, display and overlays or synthesized on that portion of the preview image of the extracted portion of the input from the camera 121.

또한, 제어부(180)는 상기 편집된 프리뷰 영상(300)을 다시 표시할 때, 상기 이동 단말기(100)의 동작 상태가 AR 모드가 아니면, 상기 편집된 프리뷰 영상(300)의 프레임만을 현재의 화면 상에 표시할 수도 있다. In addition, the controller 180 is only present in the screen frame of the edit preview image when re-displayed (300), the mobile terminal 100, the preview image 300 in the operation state is not the AR mode, the editing of It may be displayed on.

또한, 제어부(180)는 상기 편집된 프리뷰 영상(300)을 다시 표시할 때, 상기 이동 단말기(100)의 동작 상태가 AR 모드가 아니면, 이동 단말기(100)의 동작 상태를 상기 AR 모드로 전환하고, 상기 AR 모드에 따른 화면 상에 상기 편집된 프리뷰 영상(300)을 표시할 수 있다. In addition, the controller 180 switches the operation state of the movement in the operation state of the terminal 100 or the AR mode, the mobile terminal 100 to display the preview image 300, the edited again in the AR mode, , and it is possible to display the preview image 300 in the editing on the screen in accordance with the AR mode.

한편, 제어부(180)는 상기 편집되어 저장된 프리뷰 영상(300)을 무선 통신부(110)를 통해 특정 상대방 단말기의 연락처로 송신할 수 있다[S180]. On the other hand, the controller 180 may transmit the preview image 300 is stored in the edit the contact of a specific other party terminal through the wireless communication (110) [S180].

즉, 제어부(180)는 상기 프리뷰 영상이 편집된 상태 또는 상기 프리뷰 영상이 편집되기 이전에 상기 상대방 단말기의 연락처가 입력되면, 상기 무선 통신부를 통해 상기 편집된 프리뷰 영상(300)을 상기 상대방 단말기로 송신할 수 있는 것이다. That is, the controller 180 of the edited preview image 300 through the wireless communication unit to the other side terminal when the contact of the counterpart terminal input before the preview image is edited state or the preview image is edited, it can be transmitted.

이때, 제어부(180)는 상기 프리뷰 영상(300)이 편집된 장소의 위치 정보를 상기 편집된 프리뷰 영상(300)과 함께 상기 상대방 단말기로 송신할 수 있다. At this time, the controller 180 may transmit with a preview image 300 of the edit position information of the location of the preview image 300 is edited by the other party terminal.

즉, 상대방 단말기는 상기 이동 단말기(100)로부터 상기 편집된 프리뷰 영상(300) 및 상기 프리뷰 영상(300)이 편집된 장소의 위치 정보를 수신한 후에, 현재 위치가 상기 수신된 위치 정보에 해당하면, 상기 수신된 프리뷰 영상(300)을 표시한다. That is, when the other terminal corresponds to after receiving the location information of the location of the preview image 300 and the preview image 300, the edited from the mobile terminal 100 is edited, the current position at which the received position information and it displays the received preview image 300.

즉, 이동 단말기(100)의 사용자는 현재 카메라(121)에 입력되는 프리뷰 영상에 해당하는 장소가 상대방과의 약속 장소이거나 또는 중요한 장소이면, 상기 프리뷰 영상을 편집하여 상대방의 단말기로 전송하고, 상대방 단말기는 현재 위치가 상기 수신된 프리뷰 영상(300)이 편집된 장소에 해당하면, 상기 편집된 프리뷰 영상을 표시하는 것이다. That is, the user of the mobile terminal 100 has a location corresponding to the current preview image input to the camera 121, the back surface of the other party appointed place or, or key, by editing the preview image is transmitted to the other party's terminal, the other side If the terminal corresponding to the preview image 300 in the current position at which the received editing place, to display the edited image preview.

이때, 상대방 단말기는 상기 수신된 프리뷰 영상(300)의 위치 정보 없이도 상기 프리뷰 영상이 편집된 장소에 다시 위치하면, 상기 저장된 프리뷰 영상을 표시할 수도 있다. At this time, the other party terminal is again positioned at this place of the preview image without the need for the location information of the preview image 300 with the received editing, it is also possible to display the stored preview image.즉, 상대방 단말기는 상기 편집된 프리뷰 영상(300)이 수신된 이후에 현재 카메라로부터 입력되는 프리뷰 영상이 상기 수신된 프리뷰 영상(300)과 일치하면, 상기 수신된 프리뷰 영상(300)을 표시할 수 있다. That is, the other terminal matches the preview image 300. The preview image that is currently received from the camera since the preview image 300 with the editing received the received, to display the preview image 300, the received have.

또한, 상대방 단말기는 상기 편집된 프리뷰 영상(300)이 수신된 이후에 현재 카메라로부터 입력되는 프리뷰 영상이 상기 수신된 프리뷰 영상(300)과 일치하면, 상기 수신된 프리뷰 영상(300) 내에서 편집된 부분을 추출하고, 현재 카메라로부터 입력되는 프리뷰 영상 내의 해당 위치에 상기 추출된 부분을 합성 또는 오버레이(Overlay)하여 표시할 수도 있다. Further, the other terminal of the preview image that is currently received from the camera since the preview image 300 with the editing received matches the preview image 300, the received, edited in the preview image 300, the received extracting a portion, and can be displayed to preview the current extraction or partially synthetic (overlay) the overlay the corresponding position in the image input from the camera.

또한, 상대방 단말기는 상기 이동 단말기(100)로부터 수신된 프리뷰 영상(300)을 다시 표시할 때, 현재의 동작 상태가 AR 모드이면, 카메라로부터 입력되는 프리뷰 영상의 표시를 중단하고, 상기 AR을 위한 화면 상에 상기 이동 단말기(100)로부터 수신된 프리뷰 영상(300)을 표시할 수 있다. Further, the other terminal is to display the preview image 300 received from the mobile terminal 100 again, if the current operation state is AR mode, and stops the display of the preview image received from the camera, for the AR on the screen may display the preview image 300 received from the mobile terminal 100. the

또한, 상대방 단말기는 상기 이동 단말기(100)로부터 수신된 프리뷰 영상(300)을 다시 표시할 때, 현재의 동작 상태가 AR 모드이면, 카메라로부터 입력되는 프리뷰 영상과 상기 수신된 프리뷰 영상(300)을 서로 비교하여, 상기 수신된 프리뷰 영상(300)에서 편집된 부분만을 추출하고, 상기 추출된 부분을 상기 카메라로부터 입력되는 프리뷰 영상의 해당 영역에 오버레이 또는 합성하여 표시할 수 있다. In addition, the other party terminal is the time to re-display the received preview image 300, if the current operation state is AR mode, the received and a preview that is received from the camera image preview image 300 from the MS 100 as compared to each other, it is possible to extract only the edited part of the preview image 300, the received, and displays the overlay or synthesized on that portion of the preview image which is input to the extracted portion from the camera.

또한, 상대방 단말기는 상기 이동 단말기(100)로부터 수신된 프리뷰 영상(300)을 다시 표시할 때, 현재의 동작 상태가 AR 모드가 아니면, 상기 수신된 프리뷰 영상(300)의 프레임만을 현재의 화면 상에 표시할 수도 있다. Further, the other terminal is to display the preview image 300 received from the mobile terminal 100 again, the current operation state is AR mode is not, only the frame of the preview image 300, the received phase current screen on may be displayed.

또한, 상대방 단말기는 상기 이동 단말기(100)로부터 수신된 프리뷰 영상(300)을 다시 표시할 때, 현재의 동작 상태가 AR 모드가 아니면, 현재의 동작 상태를 상기 AR 모드로 전환하고, 상기 AR 모드에 따른 화면 상에 상기 수신된 프리뷰 영상(300)을 표시할 수 있다. Further, the other terminal is to display the preview image 300 received from the mobile terminal 100 again, if the current operation state is not the AR mode, and switches the current operating state to the AR mode, the AR mode, the received preview image 300 on the screen of the display can be.

또한, 상대방 단말기는 상기 이동 단말기(100)로부터 수신된 프리뷰 영상(300)을 다시 표시할 때, 현재 카메라로부터 입력되는 프리뷰 영상의 위치와 상기 수신된 프리뷰 영상(300)의 위치를 각각 파악하고, 현재의 위치를 기준으로 상기 수신된 프리뷰 영상에 해당하는 장소까지의 거리와, 이동 시간 및 이동 경로 등을 계산하고, 상기 계산된 거리와, 이동 시간 및 이동 경로를 표시할 수도 있다. Further, the other terminal, and determine when to display the preview image 300 received from the mobile terminal 100 again, the position of the preview image location with the received preview image 300 of the input current from the camera, respectively, It may calculate the distance and the movement time and movement path, such as to the location corresponding to the received relative to the current position of the preview image, and displays the calculated distance and a moving time and the moving path.

즉, 상기 외부 서버는, 둘 이상의 단말기들 간에 서로 편집한 프리뷰 영상들을 공유하는 서버이고, 상기 제어부(180)는 상기 편집된 프리뷰 영상을 상기 서버에 송신함으로써, 타 단말기들과 상기 편집된 프리뷰 영상을 공유할 수 있는 것이다. That is, the external server, and the server sharing the preview image editing each other between two or more terminals, the controller 180 is the by transmitting the edit preview image to the server, the preview of the edited with other terminals image the will to share.

이하, 도 4 내지 도 24를 참조하여, 본 발명에 따른 AR용 프리뷰 영상의 편집 과정에 대해 상세히 설명한다. With reference to Figure 4 to Figure 24, it will be described in detail in the editing process of the preview image for the AR according to the present invention.

[제1 실시예][First Embodiment]

본 발명의 제1 실시예는, AR용 프리뷰 영상 내의 특정 객체 또는 객체 정보의 형상을 편집하는 과정에 관한 것으로써, 본 발명의 제1 실시예에 따른 UI는 상기 객체 또는 객체 정보의 표시 스타일을 변경할 수 있는 편집 기능을 제공한다. The first embodiment of the present invention, relates to a process of editing the image of a specific object or object information in the preview image for AR, UI according to the first embodiment of the present invention, the display style of the object or object information It provides editing features that you can change.

이하, 도 4 내지 도 8을 참조하여 본 발명에 따른 제1 실시예에 대해 상세히 설명한다. Will now be described in detail for the first embodiment according to the present invention will be described with reference to FIG. 4 to FIG.

이때, 도 5의 (b)에서는 상기 제1 객체 정보(310B)의 크기 변경 명령으로써, 핀칭-아웃(Pinching-out)에 해당하는 멀티-터치(411a)를 나타내고 있다. At this time, in Fig. (B) of 5 as a size change command of the first object information (310B), the pinching-shows a touch (411a) - corresponding to a multi-out (Pinching-out).

상기 핀칭-아웃(Pinching-out) 멀티-터치(411a)는 상기 제1 객체 정보(310B) 상의 제1 및 제2 지점이 멀티-터치되고, 상기 제1 및 제2 지점의 멀티-터치가 유지된 상태에서 상기 제1 및 제2 지점 간의 거리가 점차적으로 늘어나는 터치를 뜻한다. The pinching-out (Pinching-out) a multi-touch (411a) is the first the first and second points on the object information (310B) is a multi-and touch, the first and multi-second point-touch is maintained in the state it means that the distance between the touch of the first and second branches extending in gradually.

또한, 핀칭-인(Pinching-in) 멀티-터치는 상기 제1 객체 정보(310B) 상의 제1 및 제2 지점이 멀티-터치되고, 상기 제1 및 제2 지점의 멀티-터치가 유지된 상태에서 상기 제1 및 제2 지점 간의 거리가 점차적으로 줄어드는 터치를 뜻한다. In addition, the pinching-in (Pinching-in) the multi-touch is the first the first and second points on the object information (310B) is a multi-and touch, the first and multi-second point-of-touch is maintained It means in the touch distance between the first and second branch decreases gradually.

이때, 메모리(160)에는 상기 제1 객체 정보(310B)의 3D 변환을 위한 좌안 및 우안 이미지가 구비되고, 제어부(180)는 상기 제1 객체 정보(310B)에 대한 좌안 및 우안 이미지를 하나의 이미지로 합성하여 상기 제1 객체 정보(310B)를 3D로 변환할 수 있다. At this time, the memory 160 is provided with the left-eye and right-eye image for a 3D transformation of the first object information (310B), controller 180 of one of the left eye and right eye images to the first object information (310B) the first object information (310B) are synthesized by the image can be converted to 3D.

그 다음으로, 도 8의 (a)에 도시된 바와 같이, 제어부(180)는 상기 제1 UI(410) 내에서 상기 제1 객체 정보(310B)의 명칭을 변경하기 위한 제4 표시 스타일 편집 기능(414)이 선택되면, 도 7의 (b)에 도시된 바와 같이, 변경할 명칭 입력을 위한 명칭 입력창을 표시한다. To the next, as illustrated in (a) of Figure 8, the controller 180 comprises a fourth display style editing function to change the name of the first object information (310B) in said first UI (410) When 414 is selected, the display of the name input field for the name of the input to change as shown in (b) of Fig.

한편, 제어부(180)는 상기 제1 객체 정보(310B)가 편집되기 이전 또는 이후에 상기 프리뷰 영상(300)을 기 설정된 배율로 확대시켜 표시할 수 있다. On the other hand, the controller 180 may display by enlarging the preview image 300 before or after the first object information (310B), the editor to a set magnification.

즉, 사용자는 상기 프리뷰 영상(300) 내에서 자신이 중요하다고 생각되는 제1 객체 정보(310B)를 강조되도록 편집하여 저장하고, 추후에 상기 프리뷰 영상(300)에 해당하는 위치에 다시 올 경우 상기 강조된 제1 객체 정보(310B)가 포함된 프리뷰 영상(300)을 다시 볼 수 있는 것이다. That is, the user is the case stores the edited to highlight the first object information (310B) which is considered they are important in the preview image 300, and come back to the position corresponding to the preview image 300 at a later time We can again see the highlighted first object information preview image 300 that contains (310B).

또한, 사용자는 상기 프리뷰 영상(300) 내에서 상대방과의 약속 장소에 해당하는 제1 객체의 제1 객체 정보(310B)를 상기 프리뷰 영상(300) 내에서 강조되도록 편집하여 상기 상대방의 단말기로 전송하면, 상기 상대방은 상기 수신된 프리뷰 영상(300) 내에서 사용자와의 약소 장소에 대한 정보인 제1 객체 정보(310B)를 쉽게 인식할 수 있는 것이다. Further, the user transmits the edited to highlight within the preview image 300, the first object information (310B) of the first object corresponding to an event of the other party in the preview image 300 to the terminal of the other party If the other party is capable of easy recognition of the first object information (310B) about the less powerful place with the user in the preview image 300, the received.

이상, 도 9 내지 도 12를 참조하여, 본 발명의 제2 실시예에 대해 상세히 설명하였다. To above, see FIGS. 9 to 12 was described in detail a second embodiment of the present invention.도 9 내지 도 12에서는 제1 객체 정보(310B)가 강조되도록 편집하는 과정을 설명하였으나, 객체가 강조되도록 편집하는 과정 또한 상기 제1 객체 정보(310B)가 강조되도록 하는 편집 과정과 동일하게 수행할 수 있다. In Figures 9 to 12, the first object information (310B) is the process of editing that has been described a process, the object is highlighted for editing to be emphasized also the same way as in the editing process such that the first object information (310B) highlighted can.

이하에서는 도 13 및 도 14를 참조하여, 본 발명의 제3 실시예에 대해 상세히 설명한다. In reference now to FIGS. 13 and 14, will be described in detail in the third embodiment of the present invention.

[제3 실시예][Third Embodiment]

본 발명의 제3 실시예는, AR용 프리뷰 영상 내에 사용자가 원하는 내용의 메모 또는 낙서 등의 편집을 하는 과정에 관한 것으로써, 본 발명의 제3 실시예에 따른 UI는 상기 프리뷰 영상 내에 메모 및 낙서 편집 기능을 제공한다. The third embodiment of the present invention relates to a process of editing, such as notes or scribble of information the user desires in the preview image for AR, UI according to a third embodiment of the present invention, notes, and in the preview image It provides a graffiti editing.

이하, 도 13 및 도 14를 참조하여 본 발명에 따른 제3 실시예에 대해 상세히 설명한다. Will be described in detail in the third embodiment according to the following, present invention will be described with reference to FIGS.

즉, 제어부(180)는 상기 줌인 또는 줌아웃된 프리뷰 영상(300) 전체를 저장하는 것이 아니고, 상기 줌인 또는 줌아웃된 줌배율값 및 상기 프리뷰 영상(300)의 위치 정보를 저장하고, 상기 이동 단말기(100)의 위치가 상기 줌 배율값이 저장된 장소에 다시 위치하면, 현재 카메라(121)로부터 입력되는 프리뷰 영상에 상기 저장된 줌 배율값을 적용하여 표시하는 것이다. That is, the controller 180 the mobile station stores the position information of the zoom magnification value and the preview image (300) not to store the entire preview image 300 with the zoom in or out, the zoom in or out, and ( When the position of 100), again located in the place where the zoom magnification value is stored, to display by applying the stored zoom magnification value to a preview image input from the current camera 121.

이때, 상기 특정 정보는, 상기 제1 객체(310A) 및 제1 객체 정보(310B)와 관련된 정보로써, 메모리(160)에 기 저장되었을 수도 있고, 웹사이트 등을 통해 획득된 것이 될 수 있다. In this case, the specific information, as the information, the first related to the first object (310A) and a first object information (310B), and may have been stored in the memory 160, and may be be obtained through the web site or the like.또한, 상기 특정 정보는, 상기 제1 객체(310A)의 실제적인 실내 이미지와, 제1 객체(310A)의 세부적인 실외 이미지와, 상기 제1 객체(310A)에 대한 세부 정보가 될 수 있다. Furthermore, the specific information may be detailed information about the first object, the actual room with the image, the first object granular and outdoor images, the first object (310A) in the (310A) in the (310A).

이하에서는 도 18 내지 도 19를 참조하여, 본 발명의 제6 실시예에 대해 상세히 설명한다. In reference now to FIGS. 18 to 19, it will be described in detail in the sixth embodiment of the present invention.

[제6 실시예][Sixth Embodiment]

본 발명의 제6 실시예는, 검색어를 입력하여 상기 검색어와 연관된 이미지를 검색하고, 상기 검색된 이미지를 AR 프리뷰 영상에 합성하여 편집하는 과정에 관한 것으로써, 본 발명의 제6 실시예에 따른 UI는 검색어를 이용한 이미지 검색 및 상기 검색된 이미지를 프리뷰 영상에 합성할 수 있는 편집 기능을 제공한다. The sixth embodiment of the present invention, by entering the search term to search for images associated with the search term, and to write the retrieved image relates to a process for synthesizing by editing the AR preview image, UI according to a sixth embodiment of the present invention; provides editing functions that can be synthesized in the image search, and the retrieved image using a search term in the preview image.

이하, 도 18 내지 도 20을 참조하여 본 발명에 따른 제6 실시예에 대해 상세히 설명한다. Hereinafter, will be explained in detail in the sixth embodiment according to the present invention will be described with reference to FIGS. 18 to 20.

이하, 도 23 및 도 24를 참조하여 본 발명에 따른 제9 실시예에 대해 상세히 설명한다. Will be described in detail in a ninth embodiment in accordance with the following, present invention will be described with reference to Figs. 23 and 24.

제어부(180)는 상기 연락처 목록에서 특정 상대방 단말기의 연락처(LEE)가 선택되면, 도 23의 (c)에 도시된 바와 같이, 무선 통신부(110)를 제어하여 상기 편집된 프리뷰 영상이 포함된 신호를 상기 선택된 상대방 단말기의 연락처로 전송한다. The controller 180 is a signal with the contacts (LEE) is, the, the and controls the wireless communication unit 110, the edit preview image as shown in (c) of Fig. 23 when the selection of a specific other party terminal from the contact list, transmits to the other contact of the selected terminal.

이때, 제어부(180)는 상기 편집된 프리뷰 영상(300)의 위치 정보를 상기 신호에 더 포함하여 상기 상대방 단말기의 연락처로 전송할 수 있다. At this time, the controller 180 may transmit the contact of the counterpart terminal further comprises a location information of the preview image 300 with the editing in the signal.

즉, 상대방 단말기는 상기 이동 단말기(100)로부터 상기 편집된 프리뷰 영상(300) 및 상기 프리뷰 영상(300)이 편집된 장소의 위치 정보를 수신한 후에, 현재 위치가 상기 수신된 위치 정보에 해당하면, 상기 수신된 프리뷰 영상(300)을 표시한다. That is, when the other terminal corresponds to after receiving the location information of the location of the preview image 300 and the preview image 300, the edited from the mobile terminal 100 is edited, the current position at which the received position information and it displays the received preview image 300.

또한, 상대방 단말기는 상기 수신된 프리뷰 영상(300)의 위치 정보 없이도 상기 프리뷰 영상이 편집된 장소에 다시 위치하면, 상기 저장된 프리뷰 영상을 표시할 수도 있다. Further, the other terminal is again positioned at this place of the preview image without the need for the location information of the preview image 300 with the received editing, it is also possible to display the stored preview image.즉, 상대방 단말기는 상기 편집된 프리뷰 영상(300)이 수신된 이후에 현재 카메라로부터 입력되는 프리뷰 영상이 상기 수신된 프리뷰 영상(300)과 일치하면, 상기 수신된 프리뷰 영상(300)을 표시할 수 있다. That is, the other terminal matches the preview image 300. The preview image that is currently received from the camera since the preview image 300 with the editing received the received, to display the preview image 300, the received have.

또한, 상대방 단말기는 상기 수신된 프리뷰 영상(300)을 다시 표시할 때, 현재 카메라로부터 입력되는 프리뷰 영상의 위치와 상기 수신된 프리뷰 영상(300)의 위치를 각각 파악하고, 현재의 위치를 기준으로 상기 수신된 프리뷰 영상에 해당하는 장소까지의 거리와, 이동 시간 및 이동 경로 등을 계산하고, 상기 계산된 거리와, 이동 시간 및 이동 경로를 표시할 수도 있다. Further, the other terminal on the basis of the received preview image when re-displayed (300), determine the position of the preview image location and the received preview image 300 of the input current from the camera, respectively, and the current position of the and distance to the place corresponding to the preview image of the received, it is also possible to calculate the travel time and the travel path or the like, and displays the calculated distance and a moving time and the moving path.

상기 외부 서버는, 둘 이상의 단말기들 간에 서로 편집한 프리뷰 영상들을 공유하는 서버이고, 상기 제어부(180)는 상기 편집된 프리뷰 영상을 상기 서버에 송신함으로써, 타 단말기들과 상기 편집된 프리뷰 영상을 공유할 수 있는 것이다. The external server, and the server sharing the preview image editing each other between two or more terminals, the controller 180 and transmits the preview image in which the editing to the server, sharing the edited preview image and the other terminal it can be.

이상, 본 발명은 본 발명의 정신 및 필수적 특징을 벗어나지 않는 범위에서 다른 특정한 형태로 구체화될 수 있음은 당업자에게 자명하다. Above, the present invention can be embodied without departing from the spirit and essential characteristics of the present invention in other specific forms will be apparent to those skilled in the art.

따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. Accordingly, the detailed description of the above is not restrictive construed in all aspects and should be considered as illustrative.본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다. The scope of the invention should be determined by reasonable interpretation of the appended claims and all modifications within the equivalent scope of the invention are included within the scope of the invention.

상기와 같이 설명된 이동 단말기 및 그 제어 방법은 상기 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다. The mobile terminal and the control method described as above is not to be applied to be limited to the configurations and methods of the embodiments described above, the embodiments in which all or a portion of each of the embodiments so that various modifications may be made optional in combination it may be constructed.

Claims (28)

Translated from Korean

메모리; Memory;이동 단말기의 위치 정보를 획득하는 위치 정보부; Position information unit for obtaining position information of a mobile terminal;카메라; camera;디스플레이부; A display unit;및 And증강 현실(Augmented Reality; 이하, 'AR'이라 명칭함) 모드 내에서 상기 카메라를 통해 입력된 제1 이미지를 표시하고, 상기 제1 이미지가 입력되었을 때의 상기 이동 단말기의 제1 위치 정보를 상기 위치 정보부를 통해 획득하고, 상기 획득된 제1 위치 정보를 기반으로 상기 제1 이미지 내의 적어도 하나의 객체에 관한 객체 정보를 표시하고, 상기 제1 이미지의 적어도 일부를 적어도 하나의 방식으로 편집하기 위한 유저 인터페이스(User Interface; 이하, 'UI'라 명칭함)를 상기 제1 이미지 내에 표시하고, 상기 UI를 통해 상기 제1 이미지가 편집되면, 상기 편집된 제1 이미지를 상기 제1 위치 정보와 함께 상기 메모리에 저장하고, 상기 제1 이미지가 더이상 표시되지 않은 상태에서 상기 카메라를 통해 입력된 제2 이미지를 표시하고, 상기 제2 이미지가 입력되었을 때 Wherein a first location information of the mobile station at the time in; (hereinafter referred to as title as 'AR' Augmented Reality) mode is displayed, the first image input by the camera, the first image is input AR obtained through the position information and the obtained first display the object information on the at least one object in the first image based on the position information and for editing at least a portion of the first image with at least one method a user interface (user interface; hereinafter, 'UI' La name box), the first is displayed in the image, the first image is edited via the UI, with the first position information, a first image of the edited stored in the memory and, when the first image is displayed and a second image input through the camera in a state that is not displayed any more, the second image input 상기 이동 단말기의 제2 위치 정보를 상기 위치 정보부를 통해 획득하고, 상기 제2 위치 정보에 해당하는 위치와 상기 저장된 제1 위치 정보에 해당하는 위치가 일치할 때 상기 편집된 제1 이미지를 표시하는 제어부;를 포함하여 이루어지는 이동 단말기. Obtaining second location information of the mobile terminal through the position information, and displaying the edited first image to the position corresponding to the position of the first location of the stored information corresponding to the second position information matches the mobile terminal comprises a; control.

제1 항에 있어서, According to claim 1,상기 UI는, 상기 카메라로부터 입력되는 제1 이미지 내에 메모를 입력하기 위한 기능을 제공하고, The UI is configured to provide the ability to enter a note in a first image received from the camera,상기 제어부는, 상기 UI를 통해 메모할 내용이 입력되면, 상기 메모 내용이 포함된 제1 이미지를 상기 메모리에 저장하는 것을 특징으로 하는 이동 단말기. Wherein, when the information to memory via the UI input, the mobile terminal of the first image with the memorandum characterized in that stored in the memory.

제1 항에 있어서, According to claim 1,상기 UI는, 상기 제1 이미지의 줌인(Zoom-in) 또는 줌아웃(Zoom-out) 기능을 제공하고, The UI is configured to provide a zoomed (Zoom-in) or out (Zoom-out) function of the first image,상기 제어부는, 상기 UI를 통해 줌인 또는 줌아웃된 상태의 제1 이미지를 상기 메모리에 저장하는 것을 특징으로 하는 이동 단말기. Wherein, the mobile terminal of a first image of a zoom in or out condition through the UI characterized in that stored in the memory.

제1 항에 있어서, According to claim 1,상기 UI는, 상기 제1 이미지의 줌인(Zoom-in) 또는 줌아웃(Zoom-out) 기능을 제공하고, The UI is configured to provide a zoomed (Zoom-in) or out (Zoom-out) function of the first image,상기 제어부는, 상기 UI를 통해 상기 제1 이미지가 줌인 또는 줌아웃되면, 상기 줌인 또는 줌아웃된 줌 배율값 및 현재 위치 정보를 상기 메모리에 저장하고, 상기 이동 단말기의 위치가 상기 줌 배율값이 저장된 장소에 다시 위치하면, 현재 상기 카메라로부터 입력되는 이미지에 상기 저장된 줌 배율값을 적용하는 것을 특징으로 하는 이동 단말기. Wherein, if the first image is zoomed in or out through the UI, the zoom-in or store the zoom-out zoom factor value and the current location information in the memory, and the location of the mobile terminal stored in said zoom factor value place Referring back to the location, the mobile terminal, characterized in that the application of the stored zoom magnification value to a current image received from the camera.

제18 항에 있어서, 19. The method of claim 18,상기 특정 정보는, 상기 제1 이미지 내의 특정 객체 및 객체에 관한 정보 중 적어도 하나와 관련된 정보를 포함하고, The specific information includes information related to at least one of information about a particular object and objects in the first image,상기 제어부는, 상기 제1 이미지 내에서 상기 특정 정보가 링크된 객체 및 객체 정보 중 어느 하나가 선택되면, 상기 특정 정보를 상기 제1 이미지 내에 표시하는 것을 특징으로 하는 이동 단말기. Wherein, when in the first image is selected, any one of which the specific information linked objects and information, a mobile terminal, characterized in that to be displayed within the first image of the above-specified information.

삭제 delete

삭제 delete

제1 항에 있어서, According to claim 1,상기 UI는, 적어도 하나의 이미지를 상기 제1 이미지 내에 제공하는 기능 및 상기 적어도 하나의 이미지를 상기 제1 이미지 내에 합성하는 기능을 제공하고, The UI is, provide functionality and the ability to synthesis in the first image of the at least one image to provide at least one image in the first image,상기 제어부는, 상기 UI를 통해 제공된 적어도 하나의 이미지 중 적어도 하나가 선택되면, 상기 선택된 이미지를 상기 제1 이미지 내에 합성하고, 상기 합성된 제1 이미지를 상기 메모리에 저장하는 것을 특징으로 하는 이동 단말기. Wherein, when the at least one image of at least one selection of the provided through the UI, the synthesis of the selected image in the first image and a mobile terminal, characterized in that for storing the first image of the composite on the memory .

제22 항에 있어서, 23. The method of claim 22,상기 제어부는, 상기 적어도 하나의 이미지 중 적어도 하나가 상기 제1 이미지 위의 특정 영역에 드래그 앤 드랍되면, 상기 드래그 앤 드랍된 영역에 상기 적어도 하나의 이미지를 합성하는 것을 특징으로 하는 이동 단말기. Wherein, when the at least one image of at least one of the first drag and drop an image to a specific area on the mobile terminal to the drag-and-drop the area characterized in that the at least one composite image.

삭제 delete

삭제 delete

삭제 delete

삭제 delete

증강 현실(Augmented Reality; 이하, 'AR'이라 명칭함) 모드 내에서 카메라를 통해 입력된 제1 이미지를 표시하는 단계; Displaying a first image input from the camera within; (hereinafter referred to as the name 'AR' Augmented Reality) mode augmented reality;상기 제1 이미지가 입력되었을 때의 이동 단말기의 제1 위치 정보를 획득하는 단계; Obtaining first location information of the mobile terminal at the time when the first image is input;상기 획득된 제1 위치 정보를 기반으로 상기 제1 이미지 내의 적어도 하나의 객체에 관한 객체 정보를 표시하는 단계; Displaying the object information on the at least one object in the first image based on the first position information with the obtained;상기 제1 이미지의 적어도 일부를 적어도 하나의 방식으로 편집하기 위한 유저 인터페이스(User Interface; 이하, 'UI'라 명칭함)를 상기 제1 이미지 내에 표시하는 단계; Displaying in the first image; (also referred to as name, 'UI' User Interface) a user interface for editing at least a portion of the first image with at least one system;상기 UI를 통해 상기 제1 이미지가 편집되면, 상기 편집된 제1 이미지를 상기 제1 위치 정보와 함께 저장하는 단계; If the first image is edited via the UI, further comprising: storing with said first location information of the first image of said editing;상기 제1 이미지가 더 이상 표시되지 않은 상태에서 상기 카메라를 통해 입력된 제2 이미지를 표시하는 단계; Displaying the second image input by the camera while the first image is not longer displayed;상기 제2 이미지가 입력되었을 때의 상기 이동 단말기의 제2 위치 정보를 획득하는 단계; Obtaining second location information of the mobile terminal when the second image is input;및 And상기 제2 위치 정보에 해당하는 위치와 상기 저장된 제1 위치 정보에 해당하는 위치가 일치할 때 상기 편집된 제1 이미지를 표시하는 단계;를 포함하여 이루어지는 이동 단말기의 제어 방법. A control method of a mobile comprising a terminal; the second time the position corresponding to the position information and the position information stored in a first location corresponding to the matching step of displaying a first image of the edited.

KR1020100108596A2010-11-032010-11-03Mobile terminal and method for controlling the same
KR101788046B1
(en)