WO2004068854A1 - 記録媒体、再生装置、記録方法、プログラム、再生方法 - Google Patents

記録媒体、再生装置、記録方法、プログラム、再生方法 Download PDF

Info

Publication number
WO2004068854A1
WO2004068854A1 PCT/JP2004/000891 JP2004000891W WO2004068854A1 WO 2004068854 A1 WO2004068854 A1 WO 2004068854A1 JP 2004000891 W JP2004000891 W JP 2004000891W WO 2004068854 A1 WO2004068854 A1 WO 2004068854A1
Authority
WO
WIPO (PCT)
Prior art keywords
button
graphics
state
information
control information
Prior art date
Application number
PCT/JP2004/000891
Other languages
English (en)
French (fr)
Inventor
Wataru Ikeda
Tomoyuki Okada
Yasushi Uesaka
Masayuki Kozuka
Original Assignee
Matsushita Electric Industrial Co., Ltd.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co., Ltd. filed Critical Matsushita Electric Industrial Co., Ltd.
Priority to MXPA05007922A priority Critical patent/MXPA05007922A/es
Priority to US10/543,515 priority patent/US7729598B2/en
Priority to DE602004026036T priority patent/DE602004026036D1/de
Priority to CA2512058A priority patent/CA2512058C/en
Priority to JP2005504762A priority patent/JP4245607B2/ja
Priority to EP04706788A priority patent/EP1608165B1/en
Priority to KR1020097003190A priority patent/KR100984442B1/ko
Publication of WO2004068854A1 publication Critical patent/WO2004068854A1/ja
Priority to US12/757,128 priority patent/US8463107B2/en

Links

Classifications

    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34Indicating arrangements 
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • G11B20/12Formatting, e.g. arrangement of data block or words on the record carriers
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/105Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/30Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording
    • G11B27/3027Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording used signal is digitally coded
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/30Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording
    • G11B27/3027Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording used signal is digitally coded
    • G11B27/3036Time code signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/84Television signal recording using optical recording
    • H04N5/85Television signal recording using optical recording on discs or drums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • H04N5/92Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N5/9201Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving the multiplexing of an additional signal and the video signal
    • H04N5/9205Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving the multiplexing of an additional signal and the video signal the additional signal being at least another television signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/806Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal
    • H04N9/8063Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal using time division multiplex of the PCM audio and PCM video signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00Record carriers by type
    • G11B2220/20Disc-shaped record carriers
    • G11B2220/25Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
    • G11B2220/2537Optical discs
    • G11B2220/2541Blu-ray discs; Blue laser DVR discs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/775Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television receiver
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/78Television signal recording using magnetic recording
    • H04N5/781Television signal recording using magnetic recording on disks or drums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/907Television signal recording using static stores, e.g. storage tubes or semiconductor memories
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/87Regeneration of colour television signals
    • H04N9/8715Regeneration of colour television signals involving the mixing of the reproduced video signal with a non-recorded signal, e.g. a text signal

Definitions

  • Dialogue control in which a button appears on the screen as the movie is played and the progress of the playback changes according to the operation of this button, has been a dream for creators for many years. This is a revolutionary recording medium. Synchronous playback between the movie and the button is realized by setting the time-stamp so that the button is displayed at any point on the movie's playback time axis.
  • a DVD state control information is provided in a NAVI pack positioned at the head of each VOBU in a stream (Video Object) in which audio and moving images are multiplexed.
  • VOBU includes one GOP of the video stream, and at the same time, audio data and sub-picture data to be read from DVD.
  • the state control information is information that changes the state of a plurality of buttons arranged on the screen in accordance with a user operation.
  • the NAVI pack is a transfer rate and a buffer required for each stream in a GOP. This is information indicating the size. In DVDs, by providing such state control information in the NAVI pack, the state of the buttons can be changed with GOP time accuracy.
  • Figure 1 shows the above dialogue control. The bottom part of the figure is the data allocation in the DVD, and it can be seen that the state control information is stored in the NAVI pack. And this NAVI This state control information is valid during the time period of the GOP to which the pack belongs.
  • the graphics object is stored in the PES bucket and displayed at the same timing as the picture data to be displayed synchronously.
  • Patent Literature 1 showing the prior art includes Patent Literature 1 below.
  • Patent Document 1 Patent No. 2813245
  • the structure of GOPs and VOBUs is determined by the multiplexing that completes the encoding of individual elementary streams, video, sub-picture, and audio, and multiplexes them into one VOB. This is the stage.
  • Such multiplexing is the final stage of authoring, and state control information cannot be incorporated into the VOB until this late stage. Verification must wait until this late stage process. Unless it is the final stage, it is not possible to verify the change in the button state, so there are many cases in the authoring site where a bug related to the state of the button is discovered just before shipping and the stakeholders flutter. Can be seen.
  • buttons that move more complicatedly by animation into a movie work involves a great deal of risk.
  • a simple form of a button that converts colors according to a user operation is mainly used.
  • An object of the present invention is to provide a recording medium capable of verifying a change in button state at an early stage of a briefing.
  • Storing the state control information in the NAVI block for the VOBU was an effective method in consideration of the DVD read rate. If the state control information is stored in the NAVI pack, the state control information can be read from the DVD at the same time when the NAVI pack is read, so that the bandwidth at the time of reading can be reduced. Because.
  • the recording medium provides the graphics data (i) constituting the interactive screen, and changes the state of the interactive screen according to the playback progress of the moving image data and the user operation.
  • the above-mentioned object is achieved by recording a digital stream obtained by multiplexing a graphics stream in which the state control information (ii) to be integrated into a moving image stream is integrated.
  • the information that changes the state of the button is combined with the graphics data to form a graphics stream, so that the encoding of the video stream is completed or multiplexed. Even if you do not wait for the completion, you can verify how the state of the button changes as the playback progresses, as long as you complete the graphics stream alone.
  • the state control information in each display set includes an update flag, and the update flag is set to ON, so that the display set, except for the button command, has the state control information of the preceding display set and the club control information.
  • the update flag By setting the update flag to OFF to indicate that the contents are the same as the graphics data, the display set has the same contents as the state control information and the graphics data of the preceding display set.
  • the pop-up command may be a command to be executed by the playback device when a confirmation operation is performed on a button on the interactive screen.
  • Numerical values are assigned to each of the n buttons on the screen, and the n button information includes the numerical value assigned to itself and whether the button can be selected based on the numerical value. May be included. Each button can be assigned a different number, which is useful for creating titles such as a directory of professional baseball players.
  • FIG. 1 is a diagram showing interactive control in a DVD.
  • FIG. 2 (a) is a diagram showing a mode of use of the recording medium according to the present invention.
  • FIG. 2B is a diagram showing a key arrangement on the remote controller 400 for accepting an operation on the interactive screen from the user.
  • FIG. 3 is a diagram showing a configuration of the BD-HOM.
  • FIG. 4 is a diagram schematically showing how the AVClip is configured.
  • FIG. 5 is a diagram showing the internal structure of Clip information.
  • FIG. 6 is a diagram showing the internal structure of PL information.
  • FIG. 7 is a diagram schematically illustrating indirect reference using PL information.
  • FIG. 8 (a) is a diagram showing a configuration of a graphics stream.
  • Fig. 8 (b) is a diagram showing the internal configuration of the ICS and ODS.
  • FIG. 9 is a diagram showing a logical structure composed of various types of function segments.
  • FIG. 10 (a) is a diagram showing a data structure for defining a graphics object by ODS.
  • FIG. 10 (b) is a diagram showing the data structure of the PDS.
  • FIG. 11 is a diagram showing a data structure of the Interactive Composition Segment.
  • FIG. 12 is a diagram showing the relationship between ODS included in a certain DSn and ICS.
  • FIG. 13 is a diagram showing screen composition at display timing of arbitrary picture data ptl.
  • FIG. 14 is a diagram showing an example of setting button information in the ICS.
  • FIG. 15 is a diagram showing the state transition of the buttons A to D.
  • FIG. 16 is a diagram showing an example of a pattern of 0DS11, 21, 31, 41.
  • FIG. 17 is a diagram showing an example of a pattern of ODSll to 19 for Potan A.
  • FIG. 18 is a diagram illustrating an example of the ICS and ODS included in the DS.
  • FIG. 19 is a diagram showing the order of ODSs belonging to the Display Set and the button-state group.
  • FIG. 20 is a diagram showing a state transition in an interactive screen in which the button-state group in FIG. 19 is arranged.
  • FIG. 21 is a diagram showing the order of ODS in the Display Set.
  • FIG. 22 is a diagram illustrating the evening of synchronized display by the ICS.
  • Figure 23 shows the DTS and PTS settings when the initial display of the interactive screen is composed of multiple ODSs and the default_selected_button_number is valid.
  • Figure 24 is a diagram showing DTS and PTS settings when the initial display of the dialogue screen is composed of multiple ODSs and default_selected_button_number is invalid.
  • FIG. 25 is a diagram showing the internal configuration of the playback device according to the present invention.
  • FIG. 26 is a timing chart showing the pipeline processing by the playback device.
  • FIG. 27 is a timing chart showing pipeline processing by the playback device when the default selected button has not been determined.
  • Figure 28 is a flowchart showing the procedure for executing the LinkPL function by the control unit 20. Yat.
  • FIG. 29 is a flowchart showing a processing procedure for loading a segment.
  • FIG. 30 is a diagram showing how loading processing is performed at the time of cueing.
  • FIG. 31 is a diagram showing a state in which the DS10 is loaded into the Coded Data buffer 13 of the playback device.
  • FIG. 32 is a diagram showing a case where normal reproduction is performed.
  • FIG. 33 is a diagram showing the ports of DS1, 10, and 20 when the normal reproduction is performed as shown in FIG.
  • FIG. 34 is a flowchart illustrating processing corresponding to the main routine in the processing procedure of the Graphical controller 17.
  • FIG. 35 is a flowchart showing a processing procedure of the synchronization control using the time stamp.
  • FIG. 36 is a flowchart showing a processing procedure of the writing processing of the graphics plane 8.
  • FIG. 37 is a flowchart showing the procedure of the auto-actuate processing of the default selected button.
  • FIG. 38 is a flowchart showing the processing procedure for displaying an animation.
  • FIG. 39 is a flowchart showing the procedure of the UO process.
  • FIG. 40 is a flowchart showing a processing procedure for changing the current button.
  • FIG. 41 is a flowchart showing a processing procedure of the numerical value input processing.
  • Fig. 42 is a diagram showing the data structure of ICS in the case of realizing a click sound.
  • Fig. 43 is a diagram showing the data structure of the ICS when a click sound is generated.
  • Figure 44 (a) shows the state control information including button_info (l) (2). You.
  • FIG. 44 (b) is a diagram showing a process in which the ICS including the state control information is read.
  • Figure 44 (c) shows three buttons (button A, button B, and button C) arranged diagonally, and an example of setting button information for these buttons.
  • FIGS. 45 (a) and (b) show the sound control of the click sound data by the ICS read into the preload memory 21.
  • FIG. 45 (c) shows an example of three buttons (button A, button B, and button C) arranged in the horizontal direction and button information settings for these buttons.
  • FIG. 46 is a flowchart showing a process for manufacturing a BD-ROM according to the third embodiment.
  • FIG. 47 is a diagram showing a modified embodiment of the ICS.
  • FIG. 48 is a diagram showing an ICS in which a click sound is defined for each key of the remote controller.
  • FIG. 2 (a) is a diagram showing a mode of use of the recording medium according to the present invention.
  • the recording medium according to the present invention is a BD-ROM 100.
  • This BD-ROM 100 is used for supplying a movie work to a home theater system formed by a playback device 200, a television 300, and a remote controller 400.
  • the remote controller 400 accepts an operation for changing the state of the interactive screen from the user, and is closely related to the recording medium according to the present invention.
  • FIG. 1 is a diagram showing a mode of use of the recording medium according to the present invention.
  • the recording medium according to the present invention is a BD-ROM 100.
  • This BD-ROM 100 is used for supplying a movie work to a home theater system formed by a playback device 200, a television 300, and a remote controller 400.
  • the remote controller 400 accepts an operation for changing the state of the interactive screen from the user, and is closely related to the recording medium according to the present invention.
  • 2B is a diagram showing keys on the remote controller 400 for accepting an operation on the interactive screen from the user.
  • the remote control 400 has a MoveUp key, a MoveDown key, a MoveRight key, and a MoveLeft key.
  • the buttons in the dialogue screen have three states: a normal state, a selected state, and an active state, and these MoveUp, MoveDown, MoveRight, and MoveLeft keys change the state of the button to the normal state.
  • An operation to change the state from the selected state to the active state is received from the user.
  • the normal state is a state that is merely displayed.
  • the selected state refers to a state in which the focus has been set by a user operation but has not been determined.
  • the active state refers to a state that has been determined.
  • the MoveUp key is a key for setting a button above this button to the selected state when a certain button on the interactive screen is in the selected state.
  • the MoveDown key is used to set the button below this button to the selected state
  • the MoveRight key is used to set the button to the right of this button to the selected state
  • the MoveLeft key is used to set this button to the selected state. Key to set the button to the left of the button to the selected state It is.
  • the Activated key is used to activate a button in the selected state.
  • Numeric keys from “0” to “9” are keys for setting a button to which a corresponding numerical value is assigned to a selected state.
  • the “+10” key accepts an operation of adding 10 to the numerical value input so far. Note that the '0' key and '+10' key both accept input of numerical values of 10 digits or more, so either the '0' key or the '+10' key is provided. Just do it.
  • FIG. 3 is a diagram showing a configuration of the BD-ROM.
  • the fourth row of the figure shows the BD-ROM, and the third row shows the tracks on the BD-ROM.
  • the track in this figure is drawn by extending the track spirally formed from the inner circumference to the outer circumference of the BD-ROM by extending it in the horizontal direction.
  • This track includes a read-in area, a volume area, and a lead-out area.
  • the volume area in this figure has layer models of a physical layer, a file system layer, and an application layer. Expressing the application layer format (application format) of the BD-ROM using the directory structure is as shown in the first row of the figure.
  • the BD-ROM has a BDMV directory under the ROOT directory, and XXX.M2TS, XXX.CLPI, YYY.MPLS under the BDMV directory. File exists.
  • the recording medium according to the present invention is produced.
  • AVClip (XXX.M2TS) is a digital stream in MPEG-TS (Transpoi't Stream) format, which includes a video stream and one or more audio streams. It can be obtained by multiplexing a video stream, a presentation graphics stream, and an interactive graphics stream.
  • the video stream is the video part of the movie
  • the audio stream is the audio part of the movie
  • the presentation graphics stream is the subtitles of the movie
  • the interactive graphics stream is the dynamics of the menu. It shows the procedure of typical playback control.
  • FIG. 4 is a diagram schematically showing how the AVClip is configured.
  • AVClip (middle), a video stream consisting of multiple video frames (pictures pjl, 2, 3), an audio stream consisting of multiple odd-off frames (top 1), and PES packets Column (upper second row), and then to TS packets (upper third row).
  • the presentation graphics stream and the interactive graphics stream (lower first row) are converted to PES It is composed by converting to a packet sequence (2nd lower row), further converting to a TS bucket (3rd lower row), and multiplexing these.
  • An AVClip generated through such a process is divided into a plurality of extents and recorded in an area on a BD-ROM, like a normal computer file.
  • AVClip consists of one or more ACCESS UNITs, and can be searched for in units of this ACCESS UNIT.
  • ACCESS UNIT is a minimum decoding unit including one GOP (Group Of Picture) and an audio frame to be read simultaneously with this GOP.
  • the GOP is a bidirectionally predictive predictive (B-hicture, which is compressed using the time correlation characteristics with the images to be reproduced in the past and future directions, and the time correlation characteristics with the images to be reproduced in the backward direction). This includes Predictive (P) pictures that have been compressed and Intra (I) pictures that have been compressed using the spatial frequency characteristics within one frame of the image without using the temporal correlation characteristics.
  • Clip information (XXX.CLPI) is management information for each AVClip.
  • FIG. 5 is a diagram showing the internal structure of Clip information.
  • AVClip is obtained by multiplexing the video stream, 'audio stream'. Since the cueing can be performed in units called ACCESS UNIT, the clip information management items indicate what attributes each video stream and audio stream have, and where the cueing position exists in the AVClip. become.
  • the leader lines in the figure close up the structure of the Clip information. As shown by the leader line hnl, the Clip information (XXX.CLPI) contains “attribute information” for the video stream and audio stream, and “EP” which is a reference table for finding the ACCESS UNIT. — Map ”.
  • the attribute information includes the attribute information (Video attribute information) for the video stream, the number of attribute information (Number), and the multiple audio streams multiplexed into the AVClip, as indicated by the broken line hn2. Attribute information (Audio attribute information #l to #m).
  • the video attribute information is based on the compression method used for the video stream (Coding), as shown by the broken line hn3, and the resolution of the individual picture data that composes the video stream. Indicates (Resolution) What is the aspect ratio (Aspect), and what is the frame rate (Framerate).
  • the attribute information about the audio stream indicates the compression method of the audio stream (Coding), as shown by the broken line hii4. It indicates what the channel number of the audio stream is (Ch.), What language it supports (Lang), and what the sampling frequency is.
  • EP—map is a reference table for indirectly referencing addresses of a plurality of cue positions using time information, and includes a plurality of pieces of entry information as indicated by a broken line hn5. (ACCESS UNIT # 1 entry, ACCESS UNIT # 2 entry, ACCESS UNIT # 3 entry) and one entry number. Each entry indicates the playback start time of the corresponding ACCESS UNIT in association with the address of the ACCESS UNIT, as indicated by the leader line hn6 (note that the size of the first I picture in the ACCESS UNIT (I-size)). May be described). Play ACCESS UNIT The start time is represented by a time stamp (Presentation Time Stamp) of the picture data located at the head of the ACCESS UNIT.
  • a time stamp Presentation Time Stamp
  • the address in the ACCESS UNIT is represented by the serial number of the TS packet (SPN (Source Packet Number)). Because the variable-length code compression method is used, even if the size and playback time of each ACCESS UNI including the GOP vary, by referring to the entry for this ACCESS UNIT, it is possible to start from an arbitrary playback time. Then, it is possible to search for the picture data in the ACCESS UNIT corresponding to the reproduction time. If the file name of XXX.CLPI is XXX, the same name as the AVClip corresponding to the Clip information is used. In other words, the file name of AVClip in this figure is XXX, which means that it corresponds to AVClip (XXX.M2TS). This concludes the description of the Clip information. Next, the playlist information will be described.
  • SPN Source Packet Number
  • YYY.MPLS (play list information) is a table that constitutes a play list, which is playback path information, and includes a plurality of Playltem information (Playltem information # 1, # 2, # 3, # ⁇ ) Playltem information number (Number).
  • FIG. 6 shows the internal structure of the PL information. Playltem information defines one or more logical playback sections that make up the playlist. The structure of Playltem information is highlighted by the leader line hsl. As shown by the leader line, the Playltem information indicates “Clip—Information—file—name” indicating the file name of the AVClip playback section information to which the In and Out points of the playback section belong.
  • Chip_codec identifie
  • time information “IN-time” indicating the start point of the playback section
  • time information indicating the end point of the playback section.
  • the report consists of “OUT—time”.
  • FIG. 7 is a diagram schematically illustrating indirect reference by time.
  • the AVClip is composed of a plurality of ACCESS UNITs.
  • the EP_map in the Clip information contains the sector address of these multiple ACCESS UNITs.
  • the reference (arrow jyl, 2, 3, 4) based on the Playltem information is an indirect time-based reference that specifies the addresses of a plurality of ACCESS UNITs included in the AVClip via the EP_map.
  • the playback section on the BD-ROM consisting of Playltem information — Clip information — AVClip is called “Play Item”.
  • the logical playback unit on the BD-ROM consisting of a set of PL information—Clip information—AVClip is called “Playlist (abbreviated as PL)”.
  • Movie works recorded on BD-ROMs are composed of this logical playback unit (PL). Since movie works on BD-ROMs are composed of logical playback units, if a PL that specifies only scenes where a certain character appears is defined separately from the main movie work, the key This makes it easy to produce a movie work that consists only of scenes where characters appear.
  • FIG. 8 (a) is a diagram showing a configuration of an interactive graphics stream.
  • the first level shows the TS bucket sequence that forms the AVClip.
  • the second row shows the PES packet sequence that makes up the graphics stream.
  • the PES packet sequence in the second stage is configured by extracting the payload from the TS bucket having a predetermined PID out of the TS buckets in the first stage and concatenating them. Note that the presentation graphics stream is not the focus of the present application and will not be described.
  • the third row shows the configuration of the graphics stream.
  • the graphics stream consists of functional segments called ICS (Interactive Composition Segment), PDS (Palette Definition Segment), ODS (Object-Definition-Segment), and END (END of Display Set Segment).
  • ICS Interactive Composition Segment
  • PDS Patent Definition Segment
  • ODS Object-Definition-Segment
  • END END of Display Set Segment
  • These machines Of the functional segments ICS is called the screen composition segment
  • PDS, ODS, and END are called the definition segments.
  • the correspondence between PES packets and functional segments is one-to-one and one-to-many. That is, the functional segment is converted into one PES bucket and recorded on the BD-ROM, or is fragmented, converted into a plurality of PES packets, and recorded on the BD-ROM.
  • FIG. 8 (b) is a diagram showing a PES bucket obtained by converting a functional segment.
  • the PES bucket is composed of a bucket header and a payload, and this payload corresponds to a functional segment entity.
  • the packet header there are DTS and PTS corresponding to this functional segment.
  • j and DTS in the PES bucket in which the functional segment is stored are treated as the DTS and PTS of the functional segment.
  • FIG. 9 is a diagram showing a logical structure composed of various types of functional segments.
  • the function segment is shown in the third row
  • the Display Set is shown in the second row
  • the Epoch is shown in the first row.
  • the second-stage Display Set (abbreviated as DS) refers to a set of graphics that compose a single screen, out of multiple function segments that compose a graphics stream.
  • the dashed line in the figure indicates which DS the functional segment in the third row belongs to. It can be seen that a series of functional segments ICS—PDS—ODS—END constitute one DS.
  • the playback device can compose graphics for one screen by reading the multiple function segments that make up this DS from the BD-ROM.
  • the first stage Epoch refers to one period that has continuity of memory management on the AVClip playback time axis, and a data group assigned to this period.
  • the memory assumed here is a graphics plane for storing graphics for one screen, and an object buffer for storing decompressed graphics data.
  • the seamless reproduction means that the erasure and redrawing of the graphics are completed with a predetermined number of video frames.
  • the number of video frames is four or five.
  • the size of the video frame is determined by the ratio of the size of the fixed area to the entire graphic plane and the transfer rate between the opto-electronic transfer and the graphic plane.
  • Epoch Start A series of DSs called Epoch Start, Acquisition Point, and Normal Case constitutes the first stage Epoch.
  • Epoch Start "Acquisition Point”
  • Normal CaseJ A series of DSs called Acquisition Point and Normal Case constitutes the first stage Epoch.
  • Epoch Start "Acquisition Point”
  • Normal CaseJ is types of DS.
  • the order of Acquisition Point and Normal Case in this figure is only an example, and either order may be used first.
  • Epoch Start is a DS that has a display effect of "new display” and indicates the start of a new Epoch. Therefore, Epoch Start includes all the functional segments required for the next screen composition. Epoch Start is a movie AVClip, such as a chapter in, is placed at a position where cueing is known to be performed.
  • “Acquisition PointJ is a Display Set that has a display effect called“ display refresh ”and is related to the preceding Epoch Start.
  • Acquisition Point There are two types of Acquisition Point: Duplicate and Inherit.
  • Duplicate refers to a Display Set that is exactly the same as the preceding Epoch Start
  • Inherit refers to a Display Set that inherits the functional segment of the preceding Epoch Start but differs only in the button commands.
  • the Acquisition Point DS is not at the start of Epoch, it includes all the functional segments required for the next screen composition, so if the cue is performed from the Acquisition Point DS, the graphics display will be realized reliably. be able to. In other words, the DS, the Acquisition Point, has the role of enabling screen composition from the middle of the Epoch.
  • the Display Set which is the Acquisition Point, is incorporated at a position where it can be searched.
  • Such positions include positions that can be specified by a time search.
  • Time search is an operation that accepts a time input of minutes and seconds from the user and searches for the beginning from the playback point corresponding to the time input.
  • Such time input is performed in a rough unit, such as a unit of 10 minutes or 10 seconds, so that a playback position at a 10-minute interval and a playback position at a 10-second interval can be specified by a time search.
  • Normal Case is a DS that has a display effect of "display update” and includes only the differences from the previous screen composition.
  • the button of a certain DSv has the same pattern as the preceding DSu, but if the state control is different from the preceding DSu, a DSv of only ICS or a DSv of only ICS and PDS is provided and this DSv To DS of Normal Case. In this way, there is no need to provide duplicate ODSs, reducing the capacity of the BD-ROM. Can be contributed to.
  • the DS of the Normal Case is only a difference, the screen configuration cannot be performed by the Normal Case alone.
  • the interactive screen defined by these DSs is an interactive screen created by placing GUI components on the screen.
  • Interactivity in DS refers to changing the state of GUI components according to user operations.
  • a GUI component to be operated by a user is called a button.
  • the state of the button can be a normal state, a selected state, or an active state.
  • Each state, such as the normal state, the selected state, and the active state is composed of multiple uncompressed graphics.
  • the individual uncompressed graphics that represent each button state are called "graphics objects".
  • One state of a button is represented by multiple uncompressed graphics because the state of each button is animated and displayed.
  • “Object—Definition—SegmentJ is information that defines a graphics object. This graphics object will be described below.
  • AVClip recorded on a BD-ROM has a selling point of high image quality comparable to HDTV, so the resolution of graphics objects is also set to a high definition of 1920 x 1080 pixels.
  • the bit length of the index value red color difference component (Cr value), blue color difference component (Cb value), luminance component Y value, transparency (T value)
  • Cr value red color difference component
  • Cb value blue color difference component
  • T value transparency
  • ODS has a data structure as shown in Fig. 10 (a).
  • ODS has a “Segment—Type” indicating that it is itself an ODS, a “segment—length” that indicates the data length of the ODS, and an “object” that uniquely identifies the graphics object corresponding to this ODS in Epoch.
  • ID and the version of ODS in Epoch, TTs“ ob;)
  • the “object-ID” uniquely identifies the graphics object corresponding to this ODS in the Epoch, but when multiple graphics objects defined by multiple ODSs constitute an animation, the The series of "object-IDs" added is a sequential number.
  • “Palette Definition Segment” is information that defines a palette for color conversion.
  • Figure 10 (b) shows the data structure of the PDS. As shown in Fig. 10 (b), the PDS is set to "0x15", so that "segment_type” indicates that the PDS is itself a PDS, and “segment” indicates the data length of the PDS. — Length ”,“ Pallet—id ”that uniquely identifies the pallets included in this PDS,“ version—number ”indicating the version of the Epoch PDS in Epoch, and information about each entry“ Pallet—entry ”. Consists of “: Pallet—entry” indicates the red color difference component (Cr value), blue color difference component (Cb value), luminance component Y. value, and transparency (T value) in each entry.
  • Cr value red color difference component
  • Cb value blue color difference component
  • T value transparency
  • Interactive Composition Segment This is a functional segment that composes an interactive screen.
  • the Interactive Composition Segment has the data structure shown in FIG.
  • ICS uses “segment—type”, “segment—length”, “composition—number”, “composition—state”, “command—update—flag”, and “composition—timeout”.
  • PTS “segment—type”, “segment—length”, “composition—number”, “composition—state”, “command—update—flag”, and “composition—timeout”.
  • PTS “ Selection—timeout—PTS ”,“ UO_Mask—Table ”,“ animation: frame—rate—code ”,“ default—selected—button—numberj ”, and“ default—activated—button— numberj and “button info (l) (2) (3)----) J.
  • Composition—Number is a number from 0 to 15 indicating that an Update is performed in the DS to which the ICS belongs.
  • Composition-statej indicates a DS that is a part of the ICS from this ICS, a force that is a Normal Case, an Acquisition Point, or an Epoch Start.
  • Communication-update-flagj indicates whether the pop-up command in this ICS has changed from the previous ICS or not. For example, if an ICS belongs to the DS power Acquisition Point, this ICS will, in principle, have the same content as the previous ICS. However, if the command—update—flag is set to ON, a button command different from the previous DS can be set to ICS. This flag is effective when a graphic object is used but a command is to be changed.
  • Composition—timeout—PTS describes the end time of the dialogue screen by the button. At the end time, the display of the interactive screen is no longer valid and will not be displayed. Composition—PTS is preferably described with the time accuracy of the playback time axis in video data.
  • Selection—Timeout_PTS describes the end of a valid button selection period. At the time of Selection—Timeout_PTS, the button specified by Default_activated_button_number is activated. Selection— Timeout— PTS is equal to or shorter than composition— time— out— PTS time. Selection_Timeout—PTS is a video frame It is described with the time accuracy of the
  • “UO—Mask—Table” indicates that Z is not permitted for user operation in Display Set corresponding to ICS. If this mask field is set to be disallowed, user operations on the playback device will be invalidated.
  • Animation—frame—rate—code describes the frame rate to be applied to animation-type buttons.
  • the animation frame rate is given by dividing the video frame rate using the value in this field. If this field is 00, only the ODS that defines the graphics object for each button specified by Start_Object_id-XXX will be displayed and will not be animated.
  • “Default—selected—button_number” indicates the button number that should be set to the selected state as the default when the display of the interactive screen starts. If this field is "0", the button with the button number stored in the register of the playback device is automatically set to the active state. If this field is non-zero, this field indicates a valid button value.
  • “Default—activated—button—number” indicates the button that is automatically activated when the user does not activate any buttons before the time defined by Selection—Timeout—PTS. . default— activated— button— If the number is "FF", the currently selected button is automatically selected at the time defined by Selection-- Timeout--PTS. . If the default_activated_button_number is 00, no automatic selection will be made. If the value is other than 00 and FF, this field is interpreted as a valid button number.
  • button information (Button_info)” is information that defines each button synthesized on the interactive screen.
  • the lead line hpl in the figure shows a close-up of the internal structure of the button information i for the i-th button controlled by the ICS.
  • button-numberj is a number that uniquely identifies button i in ICS.
  • “Nmnerically_selectable__flag” is a flag indicating whether or not to permit numerical selection of button i.
  • Auto—action—flag indicates whether to automatically activate button i.
  • auto_action If flag is set to on (bit value 1), button i is active instead of being selected. If auto_action_flag is set to off (bit value 0), button i will only be in the selected state, even if selected.
  • “Upper—button—number” indicates the number of the button that should be in the selected state instead of the button i when the MOVEUP key is pressed while the button i is in the selected state. If the number of button i is set in this field, pressing the MOVEUP key is ignored.
  • “Lower—outton—number”, u left—button—numoer ”, and“ right_button_number ” are used when the MOVE Down key, MOVE Left key, and MOVE Right key are pressed when button i is in the selected state. Indicates the number of the button that should be selected instead of pressing i. If the number of button i is set in this field, pressing of these keys is ignored.
  • Start—object—id—normal means that when a normal button i is drawn by animation, the first number among the serial numbers added to the multiple ODSs that make up the animation object— Described as id—normal.
  • End—object—id—normalj is the last of the consecutive“ object-IDs ”added to the multiple ODSs that make up the animation when the button i in the normal state is drawn by animation. Subsequent numbers are described in this end-object-id-normal. If this End-object-id-normal ID is the same as the start-object-id_normal ID, The still image of the graphic object indicated by this ID becomes the pattern of button i.
  • “Repeated—selected—flag” indicates whether to repeat the animation display of button i in the selected state.
  • Start_object__id—selected means that when the selected button i is drawn by animation, the first number among the serial numbers added to the multiple ODSs that make up the animation is “start_object—id—selected”. It is described in. If the ID shown in this End—object_id—selected is the same as the ID shown in start_object_id_selectedd, the still image of the graphic object shown by this ID becomes the picture of button i.
  • End—object—id—selected means that when a button in the selected state is drawn by animation, the last number of the serial number “object—ID” added to the multiple ODSs that make up the animation is end — object — Described in id_selected.
  • “Repeat—selected—flag” indicates whether or not to continue the animation display of the button i in the selected state. If start-object-id-selected and end-object-id-selected, then this field is set to 00.
  • Start—object—id—activated means that when an activated button i is drawn by animation, the first number among the serial numbers added to the multiple 0DSs that make up the animation is this start—object—id It is described as activated.
  • End—object—id—activated means that when an active button is drawn by animation, the serialized “object—ID” added to the multiple 0DSs that make up the animation is the last. The last number is activated at this end—object—id—activated.
  • a “button-command” is a command that is executed when button i becomes active.
  • the button command can instruct the playback device to play the PL and Playltem.
  • a command that instructs the playback device to play the Playltem and Playltem is called a LinkPL command. This command starts playback of the play list specified by the first argument from the position specified by the second argument. Format: LinkPL (first argument, second argument)
  • the first argument is the play list number, which can specify the PL to be played.
  • the second argument can specify the playback start position using the Playltem included in the PL and the Chapter and Mark in the PL.
  • a LinkPL function that specifies the playback start position by Playltem is added to LinkPLatPlavItemO,
  • the LinkPL function that specifies the playback start position using Mark is called LinkPLatMarkO.
  • the Potan command it is possible to instruct the playback device to acquire the status of the playback device or to set the status.
  • the status of the playback device is indicated in 64 Player Status Registers (these settings are called PSR) and 4096 General Purpose Registers (these settings are called GPR).
  • PSR Player Status Registers
  • GPR General Purpose Registers
  • This function gets the value of the General Purpose Register specified by the argument.
  • FIG. 12 is a diagram showing a relationship between ODS included in a certain DSn and ICS. It is assumed that this DSn includes ODSll to 19, 21 to 29, 31 to 39, 41 to 49. Of these ODS, 0DS11 to 19 depict each state of button A, ODS21 to 29 depict each state of button B, and ODS31 to 39 depict each state of button C.
  • ODS 41 to 49 depict each state of button D (see brackets in the figure). It is assumed that the state control of these buttons A to D is described by the buttons—info (l), ( 2 ), ( 3 ), and ( 4 ) in the ICS (arrows bhl, 2, 3, 4).
  • the execution timing of the control by the ICS is the display timing of arbitrary picture data ptl in the moving picture shown in FIG. 13, the dialog screen tml including the buttons A to D becomes the picture data ptl.
  • Figure 14 shows a description example of ICS when executing the state transition of buttons A to D shown in Fig. 15.
  • Arrows hhl and hh2 in Fig. 15 symbolically represent the state transition of neighbor and infoO of button info (l). Since the lower-button-number in the neighbor-infoO of button inio (l) is set to button C, the UO of pressing the MOVEDown key while the button A is in the selected state If this occurs (up l in Fig. 15), button C will be in the selected state (s] 'l in Fig. 15).
  • button B Since the right-button-number in the neighbor-infoO of button info (l) is set to button B, if the UO of pressing the MOVERight key occurs while button A is in the selected state (Up2 in Fig. 15), button B is in the selected state (s] '2 in Fig. 15).
  • Arrow hh3 in FIG. 15 indicates control of state transition by neighbor_info () of button info (3).
  • the upper—button—number in neighbor_info () of button info (3) is set to button A, so UO of pressing the MOVE Up key while button C is in the selected state (up3) If this occurs, button A returns to the selected state.
  • buttons A to D will be described. It is assumed that ODSs 11, 21, 31, and 41 have the patterns shown in FIG. It is assumed that ODSll to 19 assigned to button A have a pattern as shown in FIG. Normal-state— ⁇ of button-info (l) in ICS
  • FIG. 18 is a diagram illustrating an example of the ICS and ODS included in the DS.
  • ODSs 31 to 33 in this figure indicate the portraits, player names, and uniform numbers of the three baseball players as shown in the upper part of the figure.
  • the ICS belonging to this DS includes three pieces of button information, the start_ob] 'ect_id of the button information (1) is set to indicate ODS31, and the start_object—id of the button information (2) is ODS32 It is assumed that the start_object-id of the button information (3) is set to indicate ODS33.
  • the button number is set to 99 for the button information (1)
  • the button number is set to 42 for the button information (2)
  • the button number is set to 94 for the button information (3).
  • the numerically-selectable-flag is set to 1 in all of the button information (1) to (3).
  • the numerical value of each button corresponding to the button information (1) to (3) can be selected, and if the user inputs a numerical value of “99” with the remote controller 400, the beginner's rack player The button changes to the selected state.
  • the input of the numerical value “99” may be realized by continuously receiving the press of the “4” key and the press of the “9” key.
  • buttons will be in the active state instead of being in the selected state.
  • the included button commands (LinkPL (PL # 21), LinkPL (PL # 22), LinkPL (PL # 23)) are executed. If the link destinations PL # 21, # 22, and # 23 of the button commands included in the three point information are the hit scenes and pitching scenes of the respective players, these hitting scenes and pitching scenes are: It will be reproduced by inputting the numerical value corresponding to the player's uniform number. Direct button selection is possible with a well-known number called a uniform number, which further enhances user operability.
  • the order of ODS in the Display Set will be described.
  • the ODS belonging to the Display Set is specified by the ICS to indicate one state of the button.
  • the order in the Display Set is determined according to these specifications, that is, the specification of the state of the button.
  • the ODSs represent the normal state (1), the selected state (2), and the active state (3). Be converted to A group that represents one state of this button is called a button-state group. Then, these button-state groups are arranged in the following order: normal state ⁇ selected state ⁇ active state. In this way, the order of ODS in the Display Set is determined according to the state of the button.
  • FIG. 19 is a diagram showing the order of ODSs belonging to a Display Set.
  • the second row of the figure shows the three button-state groups in the Display Set.
  • a set of ODSs for drawing the normal state ODSs for Normal state
  • a set of ODS for drawing the selected state of the button ODSs for Selected state
  • a set of ODS for drawing the active state of the button ODSs for Actioned state
  • the order of these button-state groups is It is arranged in the following order: active state ⁇ selected state ⁇ active state. This is to make it easier to read out the ODS that constitutes the initial display of the interactive screen, and to read out the ODS that constitutes the screen display after updating.
  • the first row of Fig. 19 shows the graphics objects An, Bn, Cn, Dn, As, Bs, Cs, Ds, Aa, Ba, Ca, Da drawn by these button-state groups.
  • the subscript n in An, Bn, Cn, and Dn indicates the normal state of each button
  • the subscript s in As, Bs, Cs, and Ds indicates the selected state of each button.
  • the subscript a in Aa, Ba, Ca, and Da indicates the active state of each button.
  • the second row in FIG. 19 shows the button-state group to which the first-level graphics object belongs.
  • ODSl to ODSn are denoted by the same number such as ⁇ 1 '' n, but ODS belonging to N-ODSs, S-ODSs, and A-ODSs are different. is there.
  • the figures with the same notation have the same meaning.
  • FIG. 20 is a diagram showing a state transition in an interactive screen in which the button-state group in FIG. 19 is arranged.
  • the dialogue screen in this figure has multiple states: "initial display”, “update display by 1st user action”, and “update display by 2nd user action”. Arrows in the figure indicate user actions that trigger state transitions. Referring to this figure, four buttons A, B, C, and D have a normal state, a selected state, and an active state, respectively. It can be seen that among these, the graphics display object that draws three normal states and the graphics object that draws one selected state are required for the initial display.
  • the button-state group corresponding to each state is The loops are arranged in the order of normal state, selected state, and active state as shown in the second row of FIG. With this arrangement, it is possible to realize the initial display even if the reading and decoding of the ODS that constitutes the active state are not completed, and it is possible to shorten the period from the start of the display set reading to the completion of the initial display. .
  • FIG. 21 explains the order in which the ODSs shown in Figs. 16 and 17 are arranged.
  • FIG. 21 is a diagram showing the order of ODS in a Display Set.
  • the ODSs for Normal state is composed of ODSll ⁇ 13, ODS21 ⁇ 23, ODS31 ⁇ 33, ODS41 ⁇ 43.
  • ODSs for Selected state consist of ODS14-16, ODS24-26, ODS34-36, ODS44-46, and ODSs for Actioned state consist of ODS17-19, ODS27-29, ODS37-39 'ODS47-49.
  • ODS11 to 13 depict changes in the expression of the character as shown in Fig.17.
  • ODS21 to 23, ODS31 to 33, and ODS41 to 43 are the same, so these ODSs are assigned to the first button-state group.
  • Multiple reference means that the object-id for a certain ODS is defined as two or more normal-state-inio, selected-state-info, activated-state-info in the ICS.
  • the selected state of another button can be drawn by using a graphics object that draws the normal state of a certain button, and the pattern of the graphics object can be shared. Such sharing can reduce the number of ODSs.
  • the question is which button-state group it belongs to.
  • this ODS When the normal state of one button and the selected state of another button are drawn in one ODS, this ODS The question is whether the user belongs to the button-state group corresponding to the normal state or the button-state group corresponding to the selected state. In this case, the ODS is placed in the button-state group corresponding to the state that appears first among the multiple states.
  • Normal state Selected state There are three states: active state. If an ODS is referenced multiple times in the normal state and the selected state, this ODS is placed in the button-state group corresponding to the normal state. If another ODS is in the selected state, the active state is multi-referenced, this ODS is placed in the button-state group corresponding to the selected state. The above is the description of the order of the multiple reference ODS.
  • the order of ODS in the button-state group corresponding to the selected state is explained.
  • the button-state group corresponding to the selected state which ODS is positioned at the top depends on whether the default selected button is confirmed or undetermined.
  • the confirmed default select button is a value specified by setting a valid value other than 00 in the default— selected— button— number in ICS. Refers to a button.
  • the ODS representing the default selected button is placed at the top of the button-state group.
  • An undetermined default selected button is a button that is set to the selected state by default in a Display Set whose ICS deiault— selected— button—number indicates a value of 00.
  • One is
  • the default-selected-button-number that indicates the value 00 is set in, for example, the case where the AVClip in which the Display Set is multiplexed is the junction of multiple playback paths. It is. If the preceding multiple playback paths are Chapters 1, 2, and 3, respectively, and the Display Set at the merging point displays buttons corresponding to Chapters 1, 2, and 3, default- For se ⁇ ected— button— number, it's strange to decide which button should be selected in an anonymous note.
  • Potan corresponds to Chapter 2
  • when arriving from Chapter 2 Potan corresponds to Chapter 2
  • the button that should be in the selected state is changed.
  • default-selected-button-number is set to 0 to indicate invalid.
  • the selected state changes depending on the playback path. Therefore, no consideration is given to placing a specific ODS at the top of the button-state group.
  • An Epoch is a period in which memory management is continuous on the playback time axis. Since an Epoch is composed of one or more Display Sets, the problem is how to assign Display Sets to the playback time axis of AVClip.
  • the playback time axis of the AVClip refers to an assumed time axis for defining decoding timing and playback timing of individual picture data constituting a video stream multiplexed on the AVClip. In this playback time axis, the decoding timing and playback timing are expressed with a time accuracy of 90 KHz.
  • the time accuracy of 90KHz takes into account the common multiple of the frame frequency of NTSC signal, PAL signal, DolbyAC-3, and MPEG audio.
  • the DTS added to the ICS and ODS in the Display Set; PTS indicates the timing at which synchronous control should be realized on this playback time axis.
  • Synchronization control using DTS and PTS added to ICS and ODS is the assignment of Display Set to the playback time axis.
  • DTS indicates the time at which ODS decoding should start, with a time accuracy of 90 KHz, and PTS indicates the decode deadline.
  • ODS decoding is not instantaneous and is time consuming.
  • DTS and PTS for ODS indicate the decoding start time and decoding deadline.
  • ODSj Since the value of PTS is dead line, ODSj must be decoded by the time indicated in PTS and an uncompressed graphic object must be obtained in the object buffer on the playback device.
  • the decode start time of any ODSj belonging to Display Setn is indicated in DTS. (DSn [ODS]) with a time accuracy of 90 KHz, and the time obtained by adding the maximum time required for decoding to this is the ODSj of Display Set. Will be the decode dead line.
  • the decode deadline (90 KHz) to be indicated by the PTS is calculated.
  • the PTS of the ICS is obtained by decoding the ODS PTS value (1), the time required for clearing the graphics plane (2), and decoding of the ODS, among the 0DS that constitute the initial display of DSn. It is set to the value obtained by adding the transfer time (3) for transferring the obtained graphics object to the graphics plane.
  • the initial display can be performed as long as the decoding of the ODS that draws the normal state of all buttons and the decoding of the ODS that draws the selected state of the default button are completed.
  • the ODS that draws the selected state of multiple buttons in the initial display is called S-ODSs, and the one with the earliest decode time (in this case, the one that draws the default button) is called S'ODSsfirst.
  • S-ODSsfirst PTS value is used as the ICS PTS standard as the ODS PTS value with the latest decode time.
  • S-ODSslast the one with the latest decode time.
  • the PTS value of this S-ODSslast is used as the PTS value of the ICS as the PTS value of the ODS with the latest decoded time.
  • the width of the rectangular area that can be drawn in the graphic plane is video—width
  • the vertical width is video—height
  • the writing rate to the graphics plane is 128 Mbps
  • the time required to clear the graphics plane is , 8 X video—width X video—heiglit ⁇ 128,000,000,000. If this is expressed with a time accuracy of 90 KHz, the time when the graphics plane is cleared ⁇ (2) is 90,000 X (8 X video-width x video-height ⁇ 128,000,000).
  • SIZE (DSn [ICS.BUTTON [i]]) // expressed as 128,000,000. If this is expressed with a time accuracy of 90 KHz, the clear time (3) of the graphic plane is 90,000 X ( ⁇ SIZE (DSn [ICS.BUTTON [i]]) // 128,000,000).
  • PTS (DSn [ICS]) is expressed as the following equation.
  • this formula is the default-selected-button_number power in ICS ; "It is only a calculation formula when you are young. Default_selected_button — When number is invalid, the calculation formula is as follows.
  • Fig. 22 shows an example of synchronous display by setting PTS and DTS as described above.
  • the button is displayed at the timing of displaying arbitrary picture data pyl in the moving image.
  • the PTS value of the ICS must be set to the display time of this picture data.
  • the DTS of the ICS is set to indicate the time before the time indicated by the PTS.
  • Fig. 23 is a diagram showing the settings of DTS and PTS when the initial display of the interactive screen is composed of multiple ODSs and the default selected button is confirmed. If the decoding of S-ODSsfirst, which is the slowest decoding among the ODSs that realizes the initial display, ends after the elapse of the period ddl in the figure, the PTS of this S-ODSsfirst (DSn [S-ODSsfirst]) Set to indicate when the period ddl has elapsed.
  • Figure 24 is a diagram showing the settings of DTS and PTS when the initial display of the dialogue screen is composed of multiple ODSs and the default selected button is undecided.
  • the PTS of this S-ODSslast '(DSn [S-ODSslast] ) Is set to indicate when the period dd2 has elapsed.
  • the PTS (DSn [S-ODSslast]) must be cleared because the screen must be cleared and the decoded Dallas-Fixed object must be transferred. ) Value, the time required to clear the screen (90,000 x (8 x video— width x video— height ⁇ 128, 000, 000)), the decoded graphic
  • the ICS PTS (DSn [ICS]) is calculated after adding the transfer period (90,000 ( ⁇ SIZE (DSn [ICS.BUTTON [i]]) // 128,000,000)) of the sobject. ). The above is the synchronous control by ICS.
  • the period during which interactive control is valid is the period of the VOBU, which is the GOP of the video stream.
  • the valid period is set arbitrarily by the PTS and DTS of the ICS included in the Epoch. obtain. For this reason, interactive control in BD-ROM does not depend on GOP.
  • Synchronous control by ICS FTS includes not only control to display the button at a certain time on the playback time axis, but also control to enable the pop-up menu to be displayed for a certain period on the playback time axis.
  • the pop-up menu is a menu that is displayed as a pop-up when a menu key provided on the remote controller 400 is pressed, and this pop-up display can be enabled by the display timing of certain picture data in the AVClip. Synchronous control by PTS.
  • the ODS that composes the Popup menu like the ODS that composes the button, completes decoding of the ODS, and the graphic object obtained by the decoding is written to the graphic plane. If writing to the graphics plane has not been completed, it will not be possible to respond to menu calls from the user. Therefore, when synchronizing the pop-up menu, the ICS PTS indicates the time at which pop-up display is possible.
  • FIG. 25 is a diagram showing the internal configuration of the playback device according to the present invention.
  • the reproducing apparatus according to the present invention is industrially produced based on the inside shown in the drawing.
  • the reproducing apparatus according to the present invention mainly includes three parts, a system LSI, a driving apparatus, and a microcomputer system, and can be industrially manufactured by mounting these parts on a cabinet and a substrate of the apparatus.
  • a system LSI is an integrated circuit that integrates various processing units that perform the functions of a playback device.
  • the playback devices are BD drive 1, track buffer 2, PID filter 3, Transport Buffer 4a, b, c, peripheral circuit 4d, video decoder 5, video plane 6, audio decoder 7, graphics plane 8, GLUT section 9. , Adder 10, Graphics Decoder 12, Coded Data Buffer 13, Peripheral Circuit 13 a, Stream Graphics Processor 14, Object Buffer 15, Composition Buffer 16, Graphical Controller 17, UO Controller 1 8, consisting of a player register group 19 and a control unit 20.
  • the BD-ROM drive 1 performs a loading Z read noise of the BD-ROM and accesses the BD-ROM.
  • the track buffer 2 is a FIFO memory in which the TS buckets read from the BD-ROM are stored in a first-in first-out manner.
  • the PID filter 3 filters a plurality of TS packets output from the track buffer 2.
  • the filtering by PID filter 3 is TS No. This is done by writing only those with the desired PID to the Transport Buffer 4a, b, c. No filtering is required for filtering by PID filter 3. Therefore, the TS bucket input to the PID filter 3 is written to the Transport Buffers 4a, b, c without time delay.
  • Transport Buffers 4 a, b, and c are memories that store TS packets output from PID filter 3 on a first-in first-out basis.
  • the peripheral circuit 4d is a wire logic that performs a process of converting a TS packet read from the Transport Buffer 4a, b, c into a functional segment.
  • the functional segment obtained by the conversion is stored in the coded data buffer 13.
  • the video decoder 5 decodes the plurality of TS packets output from the PID filter 3, obtains an uncompressed picture, and writes the picture in the video plane 6.
  • Video plane 6 is a plane for moving images.
  • the audio decoder 7 outputs the TS bucket output from the PID filter 3. It decodes the data and outputs uncompressed audio data.
  • the graphics plane 8 is a memory having an area for one screen, and can store uncompressed graphics for one screen.
  • the CLUT unit 9 converts the index colors in the uncompressed graphics stored in the graphics plane 8 based on the Y, Cr, and Cb values indicated in the PDS.
  • the adder 10 multiplies the uncompressed graphics color-converted by the CLUT unit 9 by the T value (transmittance) shown in the PDS, and stores the uncompressed picture data stored in the video plane 6 and the pixel data for each pixel. To obtain a composite image and output it.
  • the graphics decoder 12 decodes the graphics stream, obtains uncompressed graphics, and writes the uncompressed graphics to the graphics plane 8 as a graphics object. Subtitles and menus will appear on the screen due to the decoration of the graphics stream.
  • the graphic decoder 12 is composed of a Coded Data NOF 13, a peripheral circuit 13 a, a Stream Grapnics processor 14, an Object Buffer 15, a Composition NOF 16, and a Graphical controller 17. Be composed.
  • Code Data Buffer 13 is a buffer in which functional segments are stored together with DTS and PTS.
  • the function segment is to remove the TS packet header and the PES packet header from each TS bucket of the transport stream stored in the Transport Buffer 4a, b, and c, and arrange the payloads sequentially. It was obtained by PTSZDTS of the removed TS bucket header and PES packet header is stored in association with the PES packet.
  • the peripheral circuit 13a is a logic that realizes transfer between the Coded Data buffer 13 and the Stream Graphics processor 14 and transfer between the Coded Data buffer 13 and the Composition buffer 16. In this transfer processing, if the current time is the time indicated in the DTS of the ODS, the ODS is transferred from the Coded Data buffer 13 to the Stream Graphics processor 14. When the current time reaches the time indicated in the DTS of the ICS and PDS, the ICS and PDS are transferred to the Composition Buffer 16.
  • the Stream Graphics Processor 14 encodes the ODS, and writes the uncompressed uncompressed graphics composed of the index colors obtained by decoding as graphics objects to the Object Buffer 15.
  • the decoding by the Stream Graphics Processor 14 starts at the time of the DTS associated with the ODS and ends by the decode deadline indicated by the PTS associated with the ODS.
  • the decode rate Rd of the graphics object described above is the output rate of the Stream Graphics processor 14.
  • Object Buffer 15 a graphics object obtained by decoding by the Stream Graphics Processor 14 is placed.
  • the composition buffer 16 is a memory in which ICS and PDS are arranged.
  • the Graphical controller 17 decodes the ICS placed in the Composition buffer 16 and performs control based on the ICS.
  • the execution timing of this control is based on the value of PTS added to ICS.
  • the UO controller 18 detects a user operation performed on the front panel of the remote control / playback apparatus, and outputs information indicating the user operation (hereinafter referred to as UO (User Operation)) to the control unit 20.
  • UO User Operation
  • the player register group 19 is a register built in the control unit 20, and is composed of 32 Player Status Registers and 32 General Purppose Registers.
  • the meaning of the setting value (PSR) of the Player Status Register is as follows.
  • PSR (x) below means the setting value of the Xth Player Status Register.
  • PSR (2) stream of the sub-video stream to be decoded number
  • PSR (8) is updated every time each picture data belonging to AVClip is displayed. That is, when the playback device displays new picture data, PSR (8) is updated to a value indicating the display start time (Presentation Time) of the new picture data. By referring to this PSR (8), the current playback point can be obtained.
  • the control unit 20 performs integrated control through bidirectional communication with the graphics decoder 12.
  • the exchange from the control unit 20 to the graphics decoder 12 is to output the UO accepted by the UO controller 18 to the graphics decoder 12.
  • the exchange from the graphics decoder 12 to the control unit 20 is to output a button command included in the ICS to the control unit 20.
  • each component performs a decoding process in a pipeline manner.
  • Figure 26 is a timing chart showing the temporal transition of how ODS decoding is performed. 6 is a timing chart showing a temporal transition of how ODS decoding is performed.
  • the fourth row shows the Display Set in the BD-ROM, and the third row shows the reading period of ICS, PDS, and ODS from Coded Data Buffer 13.
  • the second row shows the decoding period of each ODS by the Stream Graphics Processor 14.
  • the first tier shows the processing period by the Graphical controller 17.
  • the decoding start time of each ODS is shown in DTS11, DTS12 and DTS13 in the figure. Since the decoding start time is specified in the DTS, each ODS must be read out to the Coded Data Buffer 13 by the time indicated in its own DTS. Therefore, the reading of ODS1 has been completed just before the ODS1 decoding period dpi to the Coded Data buffer 13. The reading of ODSn from the Coded Data buffer 13 has been completed just before the ODS2 decoding period dp2.
  • the decode line of each ODS is shown in PTS11, PTS12 and PTS13 in the figure.
  • Decoding of ODS1 by Stream Graphics Processor 14 is completed by PTS11, and decoding of ODSn is completed by the time indicated in PTS12.
  • the ODS is read out to the Coded Data buffer 13 and the ODS read out in the Coded Data buffer 13 is read out by the time indicated in the PTS of each ODS.
  • Decode and write to Object Buffer 15. These processes are performed by a single Stream Graphics processor 14. This is done in a prime manner.
  • the period cdl in the first row of the figure is a period required for the graphical controller 17 to clear the graphics plane 8.
  • the period tdl is a period required for writing the graphics object obtained on the Object Buffer 15 to the graphics plane 8.
  • the writing destination in the graphics plane 8 is the place where TS is located at button_horizontal-position and button-vertical-position in ICS.
  • the value of the PTS13 of the ODS is added to the screen clear period cdl and the writing period tdl of the graphics object obtained by decoding, the uncompressed graphics that make up the interactive screen will become the graphics plane 8. Will be obtained above. If the color conversion of the uncompressed graphics is performed by the CLUT unit 9 and the adder 10 performs synthesis with the uncompressed picture stored in the video plane 6, a synthesized image is obtained. .
  • the completion of decoding of the button-state group corresponding to the selected state and the button-state group corresponding to the active state are completed. Since the initial display can be performed without waiting, the execution of the initial display is accelerated by the period hyl in the figure. .
  • ODSl to ODSn are denoted by the same number such as “n” on 1 above.
  • ODS belonging to N-ODSs, S-ODSs, and A-ODSs are different. is there.
  • figures with the same notation have the same meaning.
  • the stream graphics processor 14 continues to decode while the graphic controller 17 clears the graphics plane 8 and writes to the graphics plane 8. (Decoding period of the second stage ODSn, decoding period of ODS1, decoding period n of ODSn).
  • Graphical controller 1 7 While the graphics plane 8 is being cleared and the graphics plane 8 is being written, the decoding of the remaining ODSs is continued, and the decoding of the remaining ODSs is completed quickly. . Since the decoding of the remaining ODSs is completed early, the preparation for updating the dialogue screen is quickly completed, so the dialogue screen update using these remaining ODSs can also respond immediately to user operations. Through the above-described pipeline processing, both the initial display and the update of the conversation screen can be quickly performed.
  • Fig. 26 assumes the case where the default selected button is confirmed
  • Fig. 27 is a timing chart showing the pipeline processing by the playback device when the default selected button is not confirmed. . If the default selected button is undetermined, all ODSs belonging to the button-state group are decoded and the graphics object is obtained on graphics plane 8, and the graphics object required for initial display is obtained. Are all available. Compared to the case where the initial display is performed after decoding all ODSs included in the Display Set, the initial display can be performed without waiting for the completion of decoding of the button-state group corresponding to the active state become. Therefore, the execution of the initial display is accelerated by the period hy2 in the figure.
  • the above is the internal configuration of the playback device. Next, how to implement the control unit 20 and the graphics decoder 12 will be described.
  • the control unit 20 can be implemented by creating a program for performing the processing procedures of FIGS. 28 and 29 and causing the general-purpose CPU to execute the program. Hereinafter, the processing procedure of the control unit 20 will be described with reference to FIGS. 28 and 29.
  • FIG. 28 is a flowchart showing an execution procedure of the LinkPL function by the control unit 20. At the time of decoding the command including the LinkPL function, the control unit 20 performs processing according to the flowchart of FIG.
  • the Playltem to be processed is PIy
  • the ACCESS UNIT to be processed is ACCESS UNITv.
  • This flowchart reads the current PL information (.mpls) specified by the argument of LinkPL. (Step S1), the first PI information of the current PL information is set to Ply (step S2). Then, the Clip information specified by Ply's Clip_information-file-name is read (step S3).
  • the IN_time of Ply is converted into an address using the EP-map of the current Clip information (step S4).
  • the ACCESS UNIT specified by the conversion address is set to ACCESS UNITv (step S5).
  • the Out-time of Ply is converted into an address using the EP-map of the current Clip information (step S6).
  • the ACCESS UNI specified by the translation address is set to ACCESS UNITw (step S7) o
  • the BD drive is instructed to read from the ACCESS UNITv to the ACCESS UNITw (step S8), and the decoded output from the IN-time to the Out_time of Ply is output to the video decoder 5, the audio decoder 7, It commands the graphics decoder 12 (step S9).
  • Step S11 is the end determination of this flowchart, and determines whether Ply has become PIz. If step S11 is Yes, this flow chart ends, otherwise, Ply is set to the next Playltem (step S12), and the process returns to step S3. Thereafter, the processing of step S1 to step S10 is repeated until step S11 is determined to be Yes.
  • Step S10 is a step of loading the functional segment into the coded data buffer 13 with reading of the ACCESS UNIT.
  • FIG. 29 is a flowchart showing a processing procedure for loading a functional segment.
  • SegmentK is a variable that means each of the segments (ICS, ODS, PDS) read together with ACCESS UNIT
  • the ignore flag is a flag that switches whether to ignore or load this SegmentK.
  • This flowchart has a loop structure in which, after the ignore flag is initialized to 0, the processing of steps S21 to S24 and steps S27 to S35 is repeated for all SegmentKs (step S21). Step S25, Step S26).
  • Step S21 is a determination as to whether or not SegmentK is ICS. If SegmentK is ICS, determination in steps S27 and S28 is performed.
  • Step S27 is for determining whether or not the Segment-Type in the ICS is Acquisition Point. If SegmentK is the Acquisition Point, the process proceeds to step S28. If SegmentK is Epoch Start or Normal Case, the process proceeds to step S33.
  • Step S28 is for judging whether the preceding DS exists in the Coded Data buffer 13 on the player, and is executed when Step S27 is Yes.
  • a case in which no DS exists on the Coded Data Knob 13 is a case where cueing has been performed. In this case, the display must be started from the DS, the Acquisition Point, so that the process proceeds to step S30 (No in step S28).
  • step S28 If there is a preceding DS in the Coded Data buffer 13 (Yes in step S28), the ignore flag is set to 1 (step S29), and the process proceeds to step S31.
  • step S31 it is determined whether or not command-update-flag power 1 is set. If it is 1 (Yes in step S31), only the button command of the button information is loaded into the coded data buffer 13 and the others are ignored (step S32). If it is 0, go to step S22. As a result, the ICS indicating the Acquisition Point is ignored (step S24).
  • step S22 If the ignore flag is set to 1, all functional segments belonging to the DS, which is the acquisition point, will be ignored since step S22 becomes No.
  • Step S33 is for determining whether or not the Segment-Type in the ICS is Normal Case. If SegmentK is Epoch Start, set the ignore flag to 0 in step S30. If the ignore flag is 0 (Yes in step S22), the SegmentK is loaded into the Coded Data buffer 13 (step S23),
  • Step S34 is the same as step S28, and determines whether the preceding DS exists in the coded data buffer 13 on the player. If so, set the ignore flag to 0 (step S30). If it does not exist, the ignore flag is set to 1 (step S35). With such a flag setting, when the preceding DS does not exist in the Coded Data buffer 13 on the player, the functional segments constituting the Normal Case are ignored.
  • buttons (1) to (3) will be in an active state instead of a selected state.
  • the button commands (LinkPL (PL # 21), LinkPL (PL # 22), LinkPL (PL # 23)) included in are executed. If the link destinations PL # 21, # 22, and # 23 of the button commands included in the three button information are the hit scenes and pitching scenes of the respective players, these hitting scenes and pitching scenes It will be reproduced by inputting the numerical value corresponding to the number. Direct button selection is possible with a well-known number called a uniform number, which further enhances user operability.
  • the DS is multiplexed as shown in FIG. 30, how the DS is read will be described.
  • three DSs are multiplexed with a moving image.
  • the first DS1 has a Segment-Type of Epoch-Start, a Command-up date-flag of 0, and includes a button command called LinkPL (PL # 5).
  • DS10 is a duplicate of DS1
  • Segment-Type is Acquision Point
  • Command-update-flag is set to 0
  • DS20 is an Inherit of DS1, and Segment-Type is Acquision Point. It is the button command that has changed from DS1. (LinkPL (PL # 10)), Command-update-flag is set to 1 to indicate this.
  • step S27 the segment-type is determined to be Acquisition Point, but since the preceding DS does not exist in the Coded Data buffer 13, the ignore flag is set to 0, and this DS10 is set as shown in Fig. 31. Loaded to the Coded Data buffer 13 of the playback device.
  • the cue position is later than the display set existence position (dashed line hstl in Fig. 30), Display Set 20 (hst2 in Fig. 31) following Display Set IO is read out to the Coded Data buffer 13 .
  • DS1,10,20 when normal playback is performed as shown in Fig.32 is as shown in Fig.33.
  • the DS1 whose ICS Segment—Type is Epoch Start is directly sent to the Coded Data Buffer 13 (step S23), but the ICS Segment—Type is Acquisition Point For DS10, since the ignore flag is set to 1 (step S29), the functional segments that make up this are ignored by the Coded Data sofa 13 without being spoken (step S24). .
  • step S31 becomes Yes and only the button commands are loaded, and the Coded Data Only the button commands in the ICS among the DSs in the knocker 13 can be replaced with these (step S32). However, since the ignore flag still shows 1, other than this button command is ignored without being loaded.
  • FIG. 34 is a flowchart illustrating a process corresponding to a main routine in the processing procedure of the Graphical controller 17.
  • three processes a time stamp synchronization process (step S35), an animation display process (step S36), and a UO process (step S37) are repeatedly executed.
  • FIG. 34 is a flowchart illustrating processing corresponding to a main routine in the processing procedure of the Graphical controller 17.
  • three processes of a synchronous process step S35
  • an animation display process step S36
  • a UO process step S37
  • FIG. 35 is a flowchart showing a processing procedure of the synchronization control based on the time stamp. This flowchart determines whether any of the events from step S43 to step S47 is true, and if any of the events is true, executes the corresponding process and returns to the main routine. Is constructed.
  • Step S43 is a determination as to whether or not the current playback time is the time indicated in the PTS of the ODS. If so, the writing process to the graphics plane 8 is performed (step S51), and the main Return to routine.
  • step S45 it is determined whether or not the current playback point is the ICS PTS. If so, the output of the contents stored in the graphics plane 8 is started.
  • the output destination of the stored contents is the CLUT unit 9, the color conversion is performed by the CLUT unit 9, and the interactive screen is combined with the stored contents of the video plane 6.
  • the initial display is executed (step S52).
  • 1 is set to the variable q (step S53), and the process returns to the main routine.
  • the variable q is a global variable used in the animation display (meaning that it is valid over multiple flow charts), and its meaning will be described later.
  • Steps S46 and S47 are for judging whether or not the current reproduction point has reached the time information described in the ICS.
  • Step S46 is a judgment as to whether the current playback time is the time indicated in selection-TimeOut-PTS, and if so, specified by defaut-activated_button-number. Activate the button and return to the main routine (step S54).
  • Step S47 is a determination as to whether or not the current playback point is Composition-TimeOut-PTS. If so, the screen is cleared and the process returns to the main routine (step S55).
  • the above is the synchronization process using the time stamp.
  • the processing procedures of step S51 and step S54 are subroutines. The processing procedure of the subroutine of step S51 will be described with reference to FIG.
  • FIG. 36 is a flowchart showing a processing procedure of the writing process of the graphics plane 8. Writing to graphics plane 8 is necessary prior to initial display.
  • the ODSx in this flowchart is the ODS with the PTS at the current playback point indicated by PSR (IO).
  • Steps S61 to S63 determine whether this ODS is the last of the ODSs necessary for the initial display of the dialogue screen. If the ODS is the last ODS, step S6 4 to Step S72 are executed.
  • Step S61 is a determination as to whether the specification by default_selected-button-number is valid. If so, in step S63, it is determined whether ODSx is S-ODSsfirst. . If step S63 is No, this flowchart is terminated and the main routine is returned.
  • step S62 ODSx determines whether or not it is S-ODSslast. If step S62 is No, this flowchart is terminated and the process returns to the main routine.
  • step S64 the segment type in the ICS is Epoch Start. If it is Epoch Start, the graphics plane 8 is cleared in step S65, and then the processing of steps S66 to S72 is performed. The period required to clear the graphics plane 8 is the period cdl in FIGS. 23 and 24. If it is not Epoch Start, step S65 is skipped and steps S66 to S72 are performed.
  • Step S66 to step S72 form a loop process that is repeated for each button information in the ICS (step S66, step S67).
  • the button information to be processed in this loop processing is called button information (p).
  • button information (p) it is determined whether button_info (p) is the button information corresponding to the default selected button specified by default—selectedjbutton—number.
  • the start-object-id-normal graphics object pointed to by normal-state_info of button-info, p) is converted to the graphics object (graphics object). It is specified from the Object Buffer 15 as p) (step S69). If it is the button information corresponding to the default selected button, the start_object—id—selected graphics object specified in selected_state—info of button_info (p) is converted to the graphics object. (P) is specified from the Object Buffer 15 (step S70), and the button (p) is changed to the current button (step S71).
  • the current button is a button that is in the selected state in the currently displayed interactive screen, and the playback device stores the identifier of the current button as PSR (10).
  • step S69 If the graphics object (p) is specified by going through step S69 and step S70, it is displayed in button_horizontal position, button-vertical vertical position of button_info (p). Write a graphics object (p) at a position on the fix plane 8 (step S72). ⁇ This process is performed for each button information in ICS. By repeating, the first graphics object of the multiple graphics objects representing the state of each button is written on the graphics plane 8. The period required to execute such processing for all the graphics objects on the Object Buffer 15 is the period tdl in FIGS. 23 and 24. The above is the details of step S51. Next, the processing procedure of the subroutine of step S54 will be described with reference to FIG.
  • FIG. 37 is a flowchart showing a procedure for processing an auto-actuate of the default selected button.
  • default_activated_— button— number is 0 or FF (step S91). If it is 00, the process returns to the main routine without performing any processing. If default—activated——button—number is FF, the power button is set to button u (step S95).
  • button specified by default-activated-button-number is set to button u (step S92), and button u is transited to the active state (step S93).
  • This transition is performed by moving the graphics objects from start-object-id-activated to end_object_id_activated in the activated-state-lnio.
  • button-vertical-position of button u is done by writing to a location that has been compromised.
  • the process returns to the main routine.
  • the button in the selected state is shifted to the active state after the lapse of the predetermined time.
  • FIG. 38 is a flowchart showing a processing procedure of the animation display.
  • the initial display is the norma of each button—info and the start—object—id_normal and selected—state of the state—info in mio This is achieved by writing the graphics object specified by start_object_id_selected to graphics plane 8.
  • An animation is defined as an arbitrary frame (a graphics object located at the q-th frame) of each button is overwritten on the graphics plane 8 every time the loop processing from step S35 to step S37 is completed. This is the process to do.
  • This update is done by writing the graphics objects pointed to by button-info normal-state-info and selected-state-info to the graphics plane 8 one by one and returning to the main routine.
  • the variable q is a variable for specifying an individual graphics object specified by norma of state_info and selected_state_info of button_info of each button information.
  • Step S80 is for judging whether or not the initial display has been completed. If not, the process returns without performing any processing. If it has been completed, the processing of steps S81 to S90 is executed. Steps S81 to S90 form a loop process of repeating the processing of steps S83 to S87 for each button-info in the ICS (steps S81 and S87). 8 2).
  • step S83 it is determined whether or not button-info (p) is btton_info corresponding to the current button.
  • button_info (p) .normal_state_mfo T start—object—id—the identifier obtained by adding the variable q to selected is ID (q) (Step S84). If the button is not a force button, enter button-info, p selected- state-info in start-object-id-selected in info and add the variable q to the identifier ID (q) (Step S85).
  • Step S87 the graphic ex- ject (p) having ID (q) existing in the Object Buffer 15 is displayed on the Graphics Plane 8 indicated by the button-horizontal-position, button-vertical-position of button-info (p).
  • Step S87 The above process is repeated for all button-info in ICS (step S81, step S82).
  • Suat S 8 8 is a determination of whether end-oDject__id-normal force start-object-ia-normal + q has been reached, and if so, initializes q to 0 and then returns to main routine. Turn (step S89). If not reached, the variable q is incremented and the process returns to the main routine (step S90).
  • step S80 to S90 the pattern of each button on the dialogue screen is updated to a new graphics object every time steps S35 to S37 are performed. If the processing of steps S35 to S37 is repeated many times, so-called animation becomes possible.
  • the Graphical Controller 17 adjusts the time so that the table fe of one graphics object becomes the value of ⁇ in animation-frame-rate-code. The execution of such time adjustment is the same in other flowcharts. This concludes the description of the animation display processing.
  • FIG. 39 is a flowchart showing a processing procedure of the UO processing.
  • Step S1000 is for determining whether or not UOmaskTable is set to "1". If it is set to, the process returns to the main routine without performing any processing.
  • Step S101 is a determination as to whether the MoveUP / Down / Left / Right key has been pressed. If these keys are pressed, the current button is changed (step S104) and the key is changed. It is determined whether the auto-action-flag of the rent button is 01 (step S108). If not, return to main routine. If so, go to step S105.
  • Step S102 is a determination as to whether the activated key has been pressed, and if so, in step S105, the current button is transitioned to the active state.
  • This state transition activates the graphics object from start-object-id-activated to end-object-id-activated in the current button's activated-state-inio. This is done by writing at the position indicated by the button—horizontal—position, button—vertical—position of the rent button. As a result, it is possible to realize a state transition in which a character drawn with a button moves according to a user operation. After such a state transition, a button command corresponding to the current button is executed (step S106).
  • Step S103 is a judgment as to whether or not the input is a numerical value. If the input is a numerical value, a numerical value input process is performed (step S107), and the process returns to the main routine.
  • steps S104 and S107 are subroutines.
  • Fig. 40 and Fig. 41 show the processing procedure of this subroutine. From now on these flow charts Will be described.
  • FIG. 40 is a flowchart showing a processing procedure for changing the current button.
  • the drawing is performed on the assumption that the number of frames of the animation in each button is the same. This is because if the number of frames differs for each button, the processing procedure will be complicated, so we want to simplify it.
  • the upper_button_number, lower_button_number, left_button_number, and right_button_number in the neighbor_info of the current button the one corresponding to the pressed key is specified (step S110).
  • Step S112 is a determination as to whether the button specified in step S111 matches the button i. If they match, return to the main routine without performing any processing. If they do not match, the processing of steps S113 to S120 is performed.
  • the processing from step S113 to step S120 is realized by animating the processing of transitioning button; j to the selected state and transitioning button i to the normal state.
  • the variable r is initialized to 0.
  • the variable r is a variable indicating a frame of the animation. The process in step S 1 1.
  • step S 1 1 9 is the (r) th one of the graphics Kkuobu Jeku preparative showing a normal state of the button, the button;) 'multiple graphics Kkuobujeku bets showing a Serekutetsu de state of Of these, the process of writing the r-th piece to the graphic plane is repeated for each of the plurality of graphic objects.
  • the identifier specified by adding a variable r to start—object—id—normal in button_info (i) .norma and state—info is set as ID (r) (step S1). 14 ).
  • ID (r) is specified in this way, the graphic object having the ID (r) in the Object Buffer 15 is converted to the button—horizontal—position, button—vertical—position of button—mfo (i). Is written to the position on Graphics Plane 8 shown in (1) (step S115).
  • Dutton—info, j) .se ⁇ ected—state—mfo (start—object— ⁇ —selected is added to variable r, and the identifier specified is ID (r) (step S 1 16) ).
  • ID (r) the graphic object having the ID (r) in the Object Buffer 15 is converted to the button_horizontal position, button—vertical one position of the button_info (j). Is written to the position on Graphics Plane 8 where ⁇ ⁇ is set (step S117).
  • Step S118 is a determination of whether the identifier obtained by adding variable r to start_ob] 'ect—id_normal matches end_object_id—normal, and if not, increments variable r (step S1-18). 20), and return to step S114.
  • the processing from step S114 to step S120 is repeated until step S118 is determined to be Yes. By this repetition, it is possible to realize a state transition in which the character drawn by the button moves according to the user operation. If step S118 is determined to be Yes in this repetition, the button; j is set as a current button (step S119), and the process returns to the main routine.
  • FIG. 41 is a flowchart showing the processing procedure of the numerical value input processing. It is determined whether or not Button info.j having the button—number that matches the input numerical value exists (step S 1 2 1), and whether or not numerically—selectable_flag in Button info.j is 1 is determined. A judgment is made (step S122). If step S122 and step S122 are Yes, it is determined whether auto-action-flag of Button info.j is 01 (step S123).
  • buttons horizontal— position
  • button vertical Write to the position indicated by one position (step S124). This causes the button] 'to transition to the selected state. Then, change the button; j to the current button (step Step S125) Return to the main routine.
  • step S126 the current button is changed to the active state. This state transition is used to transfer the graphics objects from start-object-id-activated to end-object-id-activated in the current button's activated_state_mfo. To the power plane in Graphics Plane8. This is done by writing to the position indicated by the button's button—horizontal—position, button—vertical—position. Then, in step S127, the button command corresponding to the button;) 'is executed, and the process returns to the main routine.
  • the above is the processing procedure of the Graphical Controller 17 when performing the synchronous display.
  • the Stream Graphics Processor 14 and the Graphical Controller 17 perform the following processing. That is, the same processing as in the case of synchronous display is performed.
  • a graphics object is obtained in the graphics plane 8.
  • the UO controller 18 receives a UO indicating a menu call after the elapse of the reproduction time, the UO controller 18 outputs the UO to the CLUT unit 9 so as to combine the graphic objects stored in the graphics plane 8. If such an output is performed in synchronization with UO, a pop-up display can be realized in response to a menu call being pressed.
  • the Epoch composed of ICS and ODS is incorporated in the AVClip, a specific process is performed on the playback device in the evening when a frame of a certain moving image appears on the screen. This is useful for interactive control that is executed, that is, for describing interactive control that is precisely synchronized with the video content. Since Epochs are multiplexed on the AVClip itself, the number of sections for which playback control is It is not necessary to store all Epochs corresponding to those hundreds in memory.
  • the ICS corresponding to the video section to be currently played is resident in the memory, and when the playback of this video section ends, the Epoch is deleted from the memory and the next The ICS corresponding to the video section may be stored in the memory. Epochs are multiplexed into AVClip, so even if the number of Epochs reaches several hundred, the memory load can be minimized.
  • the second embodiment relates to an improvement in which, when the state of a button changes to a selected state or an active state, a click sound is generated in accordance with the change.
  • a click sound is generated in accordance with the change.
  • the buttons shown in Fig. 16 and Fig. 17, that is, buttons that symbolize the character of the movie work are to be operated, the sound of the character is used as a click sound when the state of these buttons changes.
  • the user can intuitively know which button he or she is operating. By doing so, the user's awareness of button operation is increased.
  • One of the problems in generating a click sound for each button is coexistence with the main sound.
  • the main voice here is the speech or BGM of a character in a movie.
  • the audio stream which is the main audio
  • the audio decoder 7 decodes the AVClip.
  • you want to play the click sound you need to control to turn off the main sound and play the click sound.
  • the reproducing apparatus has an internal configuration as shown in FIG.
  • the internal configuration diagram in this figure is obtained by newly adding a preload memory 21 and a mixing unit 22 to the internal configuration shown in FIG.
  • the preload memory 21 is a memory in which uncompressed LPCM data to be generated as a click sound is stored in advance.
  • the mixing unit 22 mixes the uncompressed LPCM data stored in the preload memory 21 with the reproduction output of the audio decoder 7.
  • the mixing ratio for this mixing is in accordance with the instruction from the Graphical Controller 17 in the Graphics Decoder 12 (see FIG. 25). Since the click sound is generated by the mixing parameters, the click sound can be generated without stopping the decoding output of the audio decoder 7. .
  • the above is the internal configuration of the playback device according to the second embodiment.
  • uncompressed LPCM data recorded on the BD-ROM must be loaded from the BD-ROM to the preload memory 21 in advance.
  • uncompressed LPCM data has a large data size.
  • LPCM-format audio data with a sampling frequency of 48 KHz and a quantization bit rate of 16 bits has a size of 1 megabyte even if it is short in less than 10 seconds.
  • the ICS according to the present embodiment has a data structure shown in FIG. 43 in order to meet the demand for reducing the size of the preload memory 21.
  • FIG. 43 is a diagram showing a data structure of the ICS when the click sound is generated.
  • the ICS in this figure differs from the one shown in Fig. 11 in that button-info's selected-state-info (), actioned-state-infoO have the following: Information ”is provided.
  • “Audio designation information” indicates the audio designation information to be read by the playback device when the state of the button corresponding to button-info changes and to be played back as a click sound, by file name or identifier.
  • the click sound data read to the preload memory 21 is specified by the selected—state—info () and the actioned—state—info0 of the ICS button_info.
  • the click sound data read out to the pre-storage memory 21 is supplied to the mixing unit 22.
  • “Sound generation control information” is composed of a plurality of mixing parameters.
  • each mixing parameter the ratio of each component of the audio data is Indicates whether to mix with audio.
  • the value of the mixing parameter takes a value from 0 to 1.0, and when the click sound data is generated, the value indicated by the mixing parameter is multiplied when the click sound data is reproduced and output.
  • the sound generation control information includes a mixing parameter for the L component and a mixing parameter for the R component, and the mixing indicated by the mixing ratio of these is supplied to the mixing unit 22. Order.
  • the L component of the uncompressed LPCM data is the click sound of button A
  • the R component is the click sound of button B
  • the sound can be combined into one.
  • the sound control information specified to output only the L component is included in the button information (1), and the sound control information specified to output only the R component is included in the button information (2). Then, at the timing when the button A transitions to the selected state, the playback of the L component of the uncompressed LPCM data is started based on the sound generation control information of the button information (1). Click sound can be produced.
  • FIG. 44 (a) includes button-info (l) (2).
  • the audio specification information of button_info (l) (2) all specifies the same click sound data as stereo sound.
  • the sound control information of button_info (l) includes the mixing parameter of the L sound
  • the sound control information of button_info (2) includes the mixing parameter of the R sound.
  • FIG. 44 (b) shows a process in which the ICS including such state control information is read. Prior to reading this ICS, the click sound data is read into preload memory 21.
  • FIGS. 45 (a) and (b) show the control of click sound data generation by the ICS read into the preload memory 21.
  • the graphics decoder 12 controls the audio decoder 7 to perform reproduction based on the sound generation control information in button-info (l).
  • L sound is output.
  • the graphics decoder 1 2 plays based on the sound control information in button-info (2).
  • the audio decoder 7 is controlled as follows. As a result, the R sound is output from the click sound data as a stereo sound.
  • the click sound data is configured as stereo sound, and when the button A is in the selected state, the L sound is reproduced as the click sound of the button A, and when the button B is in the selected state, the click of the button B is clicked. Playback of R sound as a click sound can be started.
  • buttons are integrated into one uncompressed LPCM data.
  • the button information of the present embodiment is designed so that the click sounds can be heard from different directions when the buttons are operated. You can also make the sound of the sound beep.
  • FIGS. Fig. 45 (c) is an example of setting three buttons (button A, button B, and button C) arranged in the horizontal direction and the button information for these buttons.
  • the mixing parameter for button A on the left is 1.0 for the L voice
  • the mixing parameter for the middle button B is 0.5 and 0.5 for the L and R voices
  • the mixing parameter for button C is 1.0 for R voice.
  • button A on the left is in the selected state.
  • button C on the right is in the selected state, and when the button B in the middle is in the selected state, both buttons are in the selected state.
  • I can hear the pronunciation from the speakers.
  • the direction in which the click sound is heard can be changed according to the position of the button on the screen.
  • the direction in which the click sound can be heard can be changed in accordance with the position of the pressed button in this manner, thereby increasing the sense of reality for button operation.
  • the audio designation information and the pronunciation control information for each button—info By using, the integrated voice can be played as the click sound of each button.
  • the size of the click sound data can be reduced, and the scale of the preload memory 21 for reading out the click sound data can be reduced.
  • the click sound data in the case of stereo sound is shown.
  • the click sound data may be a 5.2-channel uncompressed audio data.
  • Figure 44 (c) shows an example of setting the mixing parameters when the specific example shown in Fig. 45 (c) is played back with 5.2CH audio.
  • 5.2 Audio data of a channel includes a Center component, a Rear Left component, and a Rear Right component in addition to the L component and the R component. It is assumed that the buttons arranged on the dialogue screen are diagonally arranged like buttons A, B, and C.
  • the mixing parameter of the L component is set to 1.0 for the button information of button A
  • the mixing parameter of the Rear Right component is set to 1.0 for the button information of button C
  • the L component and R are set for the button information of button B.
  • Set the component, Center component, Rear Left component, and Rear Right component to 0.1, 0.1, 0.4, 0.2, 0.2.
  • the direction in which the click sound can be heard can be changed according to the position of the pressed button in this way, so that the sense of presence for the button operation increases (in this specific example, the center component of button B is set to 1.0, Others may be set to 1.0;)).
  • an audio decoder for the click sound may be provided separately from the audio decoder 7.
  • the pre-stored memory 21 stores compressed audio data. Then, the click sound audio decoder retrieves and decodes the audio data in the preload memory 21 according to the change in the state of the button. If a click sound audio decoder is provided, the compressed audio data 1 can be loaded into the preload memory 2 1, reducing the capacity of the pre-load memory 21. can do.
  • FIG. 46 is a flowchart showing a process for manufacturing the BD-ROM according to the third embodiment.
  • the BD-ROM production process is a material production process S201, which creates materials such as video recording and audio recording, and an authoring process S202, which uses an authoring device to generate an application format. -Includes a pressing step S203 to create a master disk of the ROM and press and paste to complete the BD-ROM.
  • the authoring step for the BD-ROM includes the following steps S204 to S209.
  • step S204 a video stream, an audio stream, and a sub-picture stream are encoded to obtain a video stream, an audio stream, and a graphics stream.
  • step S205 the operation of the graphics stream is verified.
  • the graphics stream includes Since the state control information of the button is included together with the data, the operation verification of the graphic stream alone can be performed. If there is any abnormality (No in step S206), the graphics stream alone is corrected (step S207), and the operation of the graphics stream is verified again.
  • step S208 if there is no abnormality in the graphics stream (Yes in step S206), the video stream, audio stream, and graph obtained by the material encoding in step S208.
  • the interleaved multiplex of the stream is converted to a single digital stream.
  • step S209 various types of information are created based on the scenario for the BD-ROM, and the scenario and the digital stream are adapted to the BD-ROM format.
  • the ICS that changes the state of the button constitutes a graphics stream by being integrated with the graphics data. Therefore, the encoding of the moving image stream is completed or the multiplexing is performed. Even if you do not wait for the completion, you can verify how the state of the button changes as the playback progresses, as long as you complete the graphics stream alone. Since such a state change can be verified at an early stage of the sourcing, a problem is not found immediately before the shipment of the BD-ROM, and the situation in which the concerned parties do not panic is eliminated. Since the operation of the graphics stream alone can be verified, buttons that move in a complicated way by animation can be positively incorporated into movie works.
  • the recording medium according to the present invention is implemented as a BD-ROM, but the recording medium according to the present invention has a feature in a recorded graphics stream.
  • the recording medium according to the present invention has a feature in a recorded graphics stream.
  • Any recording medium that can record dynamic scenarios and graphics streams may be used.
  • optical discs such as DVD-ROM, DVD-RAM, DVD-RW, DVD-R, DVD + RW, DVD + R, CD-, and CD-RW, and magneto-optical discs such as PD; Is also good.
  • a semiconductor memory card such as a compact flash card, smart media, memory stick, multi-media card, PCM-CIA card, etc.
  • It may be a magnetic recording disk (i) such as a flexible disk, SuperDisk, Zip, Clik !, etc., or a removable hard disk drive (ii) such as an ORB, Jaz, SparQ, SyJet, EZFley, or micro drive.
  • a hard disk with a built-in device may be used.
  • the playback device in all embodiments decodes the AVClip recorded on the BD-ROM and outputs it to the TV
  • the playback device is only a BD-ROM drive, and the other components
  • the playback device and the TV can be incorporated in a home network connected by IEEE1394.
  • the playback device in the embodiment is of a type used by connecting to a television, but may be a playback device integrated with a display.
  • only a portion that forms an essential part of the processing may be used as the playback device.
  • the playback device is based on the internal configuration of the playback device described in the first to third embodiments.
  • an act of manufacturing a playback device is an act of practicing the invention described in the specification of the present application.
  • the first embodiment to the third embodiment The transfer of the raw equipment for free (sold for a fee, gifts for a free charge), lending, and importing are also the practicing actions of the present invention.
  • the act of offering the transfer or lending to a general user through in-store display, solicitation of log, and pamphlet distribution is also the practice of the playback device.
  • the act of implementing the program alone includes the act of producing these programs (1), the act of transferring the program for a fee or free of charge (2), the act of lending (3), the act of importing (4), There are acts of offering to the public through electronic communication lines (5), and offering or transferring the program to general users through store displays, solicitation of catalogs, and distribution of pamphlets (6).
  • TP-extra-header For recording on a BD-ROM, it is desirable to add an extension header to each TS packet constituting the AVClip.
  • the extension header is called "TP-extra-header", and has four-byte data including "Arribval-Time-Stamp", "ucopy-permission-ind.icator” and 3 ⁇ 4 :.
  • the 32 TS packets with EX stored in 3 sectors are called "Aligned Unii;".
  • the playback device 200 When used in a home network connected via IEEE1394, the playback device 200 transmits Aligned Units by the following transmission processing. In other words, the sender's device removes the TP-extra-header from each of the 32 EX-attached TS packets included in the Aligned Unit, encrypts the TS packet body based on the DTCP standard, and outputs it.
  • an isochronous bucket is inserted everywhere between the TS buckets. This insertion position is based on the time indicated in the Arribva Time- Stamp of the TP-extra-header. With the output of the TS bucket, the playback device 200 outputs a DTCP-Descriptor.
  • DTCP-Descriptor indicates copy permission / prohibition setting in TP_extra_header. If the DTCP-Descriptor is described to indicate “copy prohibited” here, TS packets will not be recorded on other devices when used on a home network connected via IEEE1394.
  • the digital stream in each embodiment is an AVClip of the BD-ROM standard, but may be a VOB (Video Object) of the DVD-Video standard or DVD-Video Recording standard.
  • VOB is a program stream compliant with the ISO / IEC13818-1 standard obtained by multiplexing video streams and small streams.
  • the video stream in AVClip may be MPEG4 or WMV.
  • the audio stream may be a Linear-PCM system, a Dolby-AC3 system, an MP3 system, or an MPEG'AAC system.
  • the video editing in each embodiment may be obtained by encoding an analog video signal broadcast by analog broadcasting. It may be stream data composed of a transport stream broadcasted by digital broadcasting. Also, the contents may be obtained by encoding analog / digital video signals recorded on a video tape. Further, the content may be obtained by encoding an analog Z digital video signal directly taken from a video camera. Alternatively, digital works distributed by a distribution server may be used.
  • the ICS may specify what processing is to be performed at the time of a time-out.
  • the ICS timeout is specified by the composition_time_out_pts shown in the first embodiment.
  • Fig. 47 is a diagram showing an embodiment of the change implementation of the ICS. What is new in the ICS in this figure is that Pause / Still information is set.
  • the Pause / Still information indicates whether the operation of the playback device is to be Still or Pause when a time-out indicated by composition_time_out_pts occurs.
  • the operation of the playback device includes a decoding operation by the video decoder 5, the Stream Graphics processor 14, and the graphics decoder 12, and a navigation operation by the Graphical controller 17, and the control unit 20.
  • Still means to stop both the decoding operation and the navigation operation in the playback device.
  • Pause on the other hand, means that the decoding operation of the decoding operation and the navigation operation is stopped and the navigation operation is continued.
  • the navigation operation since the navigation operation is stopped, the last reproduced picture data at the time point is displayed as a stop picture, and the state of the button cannot be changed.
  • Pause the navigation operation does not stop, so the button state transition by the user is possible.
  • Pause / Still information in the ICS it is possible to specify what control should be performed at the time of time out at the time of authoring.
  • the click sound for each button can be defined in the button information.
  • the click sound for each key on the remote control may be defined in the ICS.
  • FIG. 48 is a diagram showing an ICS in which a click sound is defined for each key of the remote controller.
  • “Lower—audio” is audio designation information and sound control information to be referenced when the MoveDown key is pressed
  • Left—audio is audio designation information and sound control information to be referenced when the MoveLeft key is pressed
  • “Right—audio” is audio designation information and sound control information to be referenced when the MoveRight key is pressed
  • Activated—audio is audio designation information and sound control information to be referred to when the Activated key is pressed.
  • the preload memory 21 and the mixing unit 22 perform processing referring to the audio designation information and sound generation control information of the corresponding key, so that a click sound can be generated. Pronunciation becomes possible.
  • the graphic objects shown in the first to third embodiments are run-length encoded raster data.
  • the reason why the run-length coding method was adopted as the encoding method for graphic graphics compression is that run-length coding is most suitable for subtitle compression and decompression.
  • Subtitles have the property that the horizontal continuation length of the same pixel value is relatively long, and a high compression rate can be obtained by performing compression by run-length encoding.
  • the load for decompression is light, and it is suitable for software decoding.
  • the same compression / decompression method as for subtitles has been adopted for graphic objects in order to standardize the device configuration for decoding between subtitles and one graphic object.
  • the use of the run-length encoding method for the graphic object is not essential to the present invention, and the graphic object may be a PNG data. Further, the data may be vector data instead of raster data, and may be a transparent picture.
  • the recording medium and the playback device according to the present invention can provide interactive control to a movie work, a movie work with higher added value is supplied to the market. And revitalize the movie market and consumer electronics market. Therefore, the recording medium and the playback device according to the present invention have high applicability in the movie industry and the consumer electronics industry.

Abstract

 BD-ROMには、ビデオストリーム及びグラフィクスストリームを多重化することにより得られたデジタルストリームが記録されている。ビデオストリームは、複数ピクチャデータからなる動画データを構成していて、グラフィクスストリームは、状態制御情報を格納したPESパケット(ICS)、及び、クラフィクスデータを格納したPESパケット(ODS)を含んでいる。クラフィクスデータは、対話画面を構成するデータであり、状態制御情報は、当該対話画面におけるボタンの状態を、動画データの再生進行及びユーザ操作に応じて変化させる情報である。 ICSには、対話画面と同期すべきピクチャデータの表示タイミングを示すPTSが付加されており、ODSには、前記クラフィクスデータのデコードタイミングであって、当該表示タイミングより前の時点を示すPTSが付加されている。

Description

明細書
記録媒体、 再生装置、 記録方法、 プログラム、' 再生方法 技術分野 BD-ROM等、 映画作品の頒布のための記録媒体と、 その再生 装置とに関し、 特に、 対話的な制御を実現する場合の改良に関する。 背景技術
動画の再生に伴ってボタンが画面に出現し、 このボタンに対する操作 によつて再生の進行が変化するという対話制御は、 制作者にとつて長年 の夢であり、 DVDはかかる再生制御を現実のものにした画期的な記録媒 体である。 動画と、 ボタンとの同期再生は、 動画の再生時間軸における 任意の時点に、 ボタンが表示されるようタイムス夕ンプを設定すること により、 実現される。
ただし、 対話性を実現するには、 ボタンを構成するクラフィ クスデー タを記録媒体に記録しておくだけでは足りない。 画面に配置された複数 ポタンの状態を、 ユーザ操作に応じて変化させたり、 動画データの再生 進行に応じてボタンの状態を変化させるという制御を再生装置に実行さ せねばならない。 かかる状態制御を実現するため、 DVDでは音声'動画 を多重化したス ト リーム(Video Object)において、 各 VOBUの先頭に位 置する NAVIパックに状態制御情報を設けている。 VOBUとは、 動画ス ト リームの 1つの GOP と、これと同時に DVDから読み出されるべきォ 一ディォデータ、 副映像データを含む。 また状態制御情報は、 画面に配 置された複数ボタンの状態を、 ユーザ操作に応じて変化させる情報であ り、 NAVIパックとは、 GOPにおいてス ト リーム毎に必要とされる転送 レートやバッファサイズを示す情報である。 DVDでは NAVIパックに、 かかる状態制御情報を設けることにより、 GOPの時間精度でのボタンの 状態変化を実現している。 以上の対話制御を現したのが図 1である。 本 図の最下段が、 DVDにおけるデータアロケーションであり、状態制御情 報は、 NAVI パックに格納されていることがわかる。 そしてこの NAVI パックが属する GOP の時間帯において、 この状態制御情報は有効にな つている。またグラフィ クスオブジェク トは、 PESバケツ トに格納され、 同期表示すべきピクチャデータと同じタイ ミ ングで表示される。 かかる 先行技術を示した文献 1には、 以下の特許文献 1がある。
く特許文献 1 >特許第 2813245号
ところが DVD のォーサリングにおいて、 GOP及び VOBUの構造が 決まるのは、 ビデオ,副映像、 オーディォという個々のェレメンタ リス ト リームのェンコ一ドが完了し、 これらを 1つの VOB に多重化するとい う多重化の段階である。 かかる多重化は、 ォーサリングにおいて終盤の 工程であり、 この終盤の段階になるまで、 状態制御情報を VOB に組み 込むことはできないので、.画面におけるボタンがどのように変化するか というポタン状態変化の検証作業は、 この終盤の工程になるまで、 待た ねばならない。 終盤の工程にならないと、 ポタン状態の変化を検証する ことはできないので、 出荷間際になつてボタンの状態に係るバグが発覚 し、 関係者が慌てふためく という事例が、 ォーサリングの現場では数多 く見られる。 更に検証期間が極僅かなので、 アニメーシ ョ ンにより複雑 に動く ようなボタンを映画作品に組み入れることは、 大きなリスクを伴 うことになる。そのため現状のォーサリングでは、ユーザ操作に応じて、 色が変換するような単純な形態のポタンが主流になっている。
発明の開示
本発明の目的は、 ボタン状態の変化を検証するという作業を、 ォ一サ リ ングの早い時期に行うことができる記録媒体を提供することである。
VOBUに対する NAVIノ、 °ックに、状態制御情報を格納するというのは、 DVDにおける読出レートを考えれば有効な手法であった。何故なら、状 態制御情報を NAVIパックに格納しておけば、 NAVIパックに対する読 み出しで、 同時に状態制御情報を DVD から読み出することができるの で、 読み出し時の帯域を低く抑えることができるからである。
しかし BD-ROM における読出レートを考えればそれ程有効とはいえ ない。 何故なら、 BD-ROMの読出レートは DVDより遥かに高く、 かか る帯域抑制に対する危惧は薄れるからである。
かかる媒体側の進歩に鑑み、 本発明に係る記録媒体は、 対話画面を構 成するクラフ ィ クスデータ(i)、 当該対話画面の状態を、 動画データの再 生進行及びユーザ操作に応じて変化させる状態制御情報 (ii)を一体化し たグラフ ィ クスス ト リームを、 動画ス ト リームに多重化することにより 得られるデジタルス ト リームを記録することで上記目的の達成を図って いる。 本記録媒体によれば、'ポタンの状態を変化させる情報は、 クラフ ィ クスデータと一体になつてグラフィ クスス ト リームを構成しているの で、 動画ス ト リームのエンコー ド完了や、 多重化完了を待たなくても、 グラフ ィ クスス ト リーム単体を完成しさえすれば、 再生進行に応じてボ 夕ンの状態がどのように変化するかの検証が可能になる。 かかる状態変 化の検証がォーサリ ングの早い段階(多重化作業より前)で可能になるの で、 記録媒体の出荷直前に不具合が発見され、 関係者が慌てふためく と いう事態はなくなる。 グラフィ クスス ト リーム単体での動作検証が可能 になるので、 アニメーシ ョ ンにより複雑に動く ようなボタンを積極的に 映画作品に組み入れることができる。
ここで各ディ スプレイセッ トにおける状態制御情報はアツプデートフ ラグを含み、 当該アップデー トフラグはオンに設定されることにより、 当該ディ スプレイセッ トは、 ポタンコマンドを除き先行するディスプレ ィセッ トの状態制御情報及びクラフ ィ クスデータと同じ内容である旨を、 当該アップデー トフラグはオフに設定されることにより、 当該ディ スプ レイセッ トは、 先行するデイ スプレイセッ トの状態制御情報及びクラフ ィ クスデータと同じ内容である旨を示すものであり、 ポタンコマン ドと は、 対話画面上のボタンに対し、 確定操作が行われた場合に、 再生装置 に実行させるべきコマンドであってもよい。
上述した構成では、 再生が進行することにより、 ボタンコマンドによ る分岐先が変化してゆく ようなタイ トルを制作することができる。 ここ' で制作すべきタイ トルがクイズ集であり、 2 つのディ スプレイセッ トが 設問である場合、 ユーザの回答が遅れれば遅れる程不利な分岐先に分岐 するようなタイ トルを制作することができる。
ここで対話.画面における n個のボタンのそれぞれには、 数値が割り当 てられており、前記 n個のボタン情報は、自身に割り当てられた数値と、 その数値によるボタン選択が可能か否かを示すフラグを含んでいてもよ い。ボタンの 1つ 1つに飛び飛びの番号を割り当てることができるので、 プロ野球選手の選手名鑑のようなタイ トルの作成に便利である。
つまり各選手が活躍するプレーの映像に分岐するようなボタンコマン ドを作成し、 このボタンコマンドを含むボタン情報に、 選手の背番号を 割り当てることにより、 背番号の数値入力にて、 各選手のプレーのシー ンに分岐するような再生制御を実現することができる。
図面の簡単な説明
図 1 は、 DVDにおける対話制御を示す図である。
図 2 ( a ) は、 本発明に係る記録媒体の、 使用行為についての形態を 示す図である。
図 2 ( b ) は、 対話画面に対する操作をユーザから受け付けるための リモコン 4 0 0におけるキー配置を示す図である。
図 3は、 BD-HOMの構成を示す図である。
図 4は、 AVClipがどのように構成されているかを模式的に示す図であ る。
図 5は、 Clip情報の内部構成を示す図である。
図 6は、 PL情報の内部構成を示す図である。
図 7は、 PL情報による間接参照を模式化した図である。
図 8 ( a ) は、 グラフ ィ クスス ト リームの構成を示す図である。
図 8 ( b ) は、 ICS、 ODSの内部構成を示す図である。
図 9は、 様々な種別の機能セグメ ン トにて構成される論理構造を示す 図である。
図 1 0 ( a ) は、 ODSによるグラフィ クスォブジェク トを定義するた めのデータ構造を示す図である。
図 1 0 ( b ) は、 PDSのデータ構造を示す図である。 図 1 1 は、 Interactive Composition Segmentのデ一夕構造を示す図 である。
図 1 2は、 ある DSnに含まれる ODS と、 ICS との関係を示す図であ る。
図 1 3は、 任意のピクチャデータ ptlの表示タィ ミ ングにおける画面 合成を示す図である。
図 1 4は、 ICSにおけるボタン情報の設定例を示す図である。
図 1 5は、 ボタン A〜ボタン Dの状態遷移を示す図である。
図 1 6は、 0DS11,21,31,41の絵柄の一例を示す図である。
図 1 7は、 ポタン A用の ODSll〜19の絵柄の一例を示す図である。 図 1 8は、 DSに含まれる ICS、 ODSの一例を示す図である。
図 1 9は、 Display Setに属する ODSの順序及び button-stateグル一 プを示す図である。
図 2 0は、 図 1 9の button-stateグループが配置された対話画面にお ける状態遷移を示す図である。
図 2 1 は、 Display Setにおける ODSの順序を示す図である。
図 2 2は、 ICSによる同期表示時の夕ィ ミ ングを示す図である。 図 2 3 は、 対話画面の初期表示が複数 ODS にて構成され、 default_selected_button_numberが有効である場合の DTS、 PTS の設 定を示す図である。
図 2 4 は、 対話画面の初期表示が複数 ODS にて構成され、 default_selected_button_numberが無効である場合の DTS、 PTSの設 定を示す図である。
図 2 5は、 本発明に係る再生装置の内部構成を示す図である。
図 2 6は、 再生装置によるパイプライ ン処理を示すタイ ミングチヤ一 トである。
図 2 7は、 デフ ォルトセ レクテツ ドボタンが未確定である場合の、 再 生装置によるパイプライン処理を示すタイ ミ ングチャートである。 図 2 8は、 制御部 2 0による LinkPL関数の実行手順を示すフローチ ヤートである。
図 2 9は、 Segmentのロード処理の処理手順を示すフローチヤ一トで ある。
図 3 0は、 頭出し時におけるロード処理がどのように行われるかを示 す図である。
図 3 1 は、 DS10が再生装置の Coded Dataノ ッファ 1 3にロードさ れる様子を示す図である。
図 3 2は、 通常再生が行われる場合を示す図である。
図 3 3は、 図 3 2のように通常再生が行われた場合の DS1, 10,20の口 —ドを示す図である。
図 3 4は Graphicalコントローラ 1 7の処理手順のうち、 メインル一 チンにあたる処理を描いたフローチャー トである。
図 3 5は、 タイムスタンプによる同期制御の処理手順を示すフローチ ャ一 トである。
図 3 6は、 グラフィクスプレーン 8の書込処理の処理手順を示すフロ —チヤ一 トである。
図 3 7は、 デフォルトセレクテツ ドポタンのオートァクティペートの 処理手順を示すフローチャートである。
図 3 8は、 アニメーション表示の処理手順を示すフ口一チャートであ る。
図 3 9は、 UO処理の処理手順を示すフローチャートである。
図 4 0は、 カ レントボタンの変更処理の処理手順を示すフローチヤ一 トである。
図 4 1 は、 数値入力処理の処理手順を示すフローチヤートである。 図 4 2は、 ク リ ツク音の発音を実現する場合の ICSのデータ搆造を示 す図である。
図 4 3は、 クリ ツク音の発音を実現する場合の ICSのデータ構造を示 す図である。
図 4 4 ( a ) は、 button_info(l)(2)を含む状態制御情報を示す図であ る。
図 4 4 ( b ) は、 状態制御情報を含む ICSが読み出される過程を示す 図である。
図 4 4 ( c ) は、 対角線方向に並べられた 3つのボタン(ボタン A、 ポ タン B、 ボタン C)と、 これらのボタンについてのボタン情報の設定例で める。
図 4 5 ( a ) ( b ) は、 プリロー ドメモリ 2 1 に読み出された ICS に よるクリ ツク音データの発音制御を示す。
図 4 5 ( c ) は、 横方向に並べられた 3つのポタン(ポタン A、 ポタン B、ボタン C)と、これらのボタンについてのボタン情報の設定例である。 図 4 6は、 第 3実施形態に係る BD-ROM の製造工程を示すフローチ ヤー トである。
図 4 7は、 ICSの変更実施の形態を示す図である。
図 4 8は、 リモコンのキー毎にク リ ック音を定義するようにした ICS を示す図である。
発明を実施するための最良の形態
(第 1実施形態) ·
以降、 本発明に係る記録媒体の実施形態について説明する。 先ず始め に、 本発明に係る記録媒体の実施行為のうち、 使用行為についての形態 を説明する。 図 2 ( a ) は、 本発明に係る記録媒体の、 使用行為につい ての形態を示す図である。 図 2において、 本発明に係る記録媒体は、 BD-ROM 1 0 0である。 この BD-ROM 1 0 0は、 再生装置 2 0 0、 テ レビ 3 0 0、 リモコン 4 0 0により形成されるホームシアターシステム に、 映画作品を供給するという用途に供される。 このうちリモコン 4 0 0は、 対話画面の状態を変化させるための操作をユーザから受け付ける ものであり、 本発明に係る記録媒体に深い係りをもつ。 図 2 ( b ) は、 対話画面に対する操作をユーザから受け付けるためのリモコン 4 0 0に おけるキーを示す図である。 本図に示すよう にリ モ コ ン 4 0 0は、 MoveUp キー、 MoveDownキー、 MoveRightキー、 MoveLeftキー力 設 けられている。 ここで対話画面におけるボタンは、 ノーマル状態、 セレ クテツ ド状態、ァクティブ状態という 3つの状態をもち、これら MoveUp キ一、 MoveDownキ一、 MoveRightキ一、 MoveLeftキ一は、 このボタ ンの状態をノーマル状態→セレクテツ ド状態→ァクティブ状態と変化さ せる操作をユーザから受け付ける。 ノーマル状態とは、 単に表示されて いるに過ぎない状態である。 これに対しセレクテッ ド状態とは、 ユーザ 操作によりフォーカスが当てられているが、 確定に至っていない状態を いう。ァクティブ状態とは、確定に至った状態をいう。 MoveUpキーは、 対話画面においてあるボタンがセレクテツ ド状態である場合、 このボタ ンより上にあるボタンをセレクテツ ド状態に設定するためのキーである。 MoveDownキーは、 このボタンより下にあるボタンをセレクテツ ド状態 に設定するためのキー、 MoveRightキーは、 このボタンより右にあるポ タンをセレクテツ ド状態に設定するためのキー、 MoveLeft キーは、 こ のボタンより左にあるポタンをセレクテツ ド状態に設定するためのキー である。
Activated キーは、 セレクテッ ド状態にあるボタンをァクティブ状態 (ァクティペート)するためのキーである。 「0」〜「9」の数値キ一は、 該当 する数値が割り当てられたボタンをセレクテツ ド状態にするキーである。 「+10」キーとは、 これまで入力された数値に 10をプラスするという操作 を受け付けるキーである。 尚、' 「0」キー、 「+10」キーは、 何れも 10桁以 上の数値の入力を受け付けるものなので、 「0」キー、 「+10」キーは、 どち らかが具備されていればよい。
以上が本発明に係る記録媒体の使用形態についての説明である。
続いて本発明に係る記録媒体の実施行為のうち、 生産行為についての 形態について説明する。 本発明に係る記録媒体は、 BD-ROMの^用層に 対する改良により実施することができる。 図 3は、 BD-ROMの構成を示 す図である。
本図の第 4段目に BD-ROMを示し、第 3段目に BD-ROM上のトラッ クを示す。 本図のトラックは、 BD-ROMの内周から外周にかけて螺旋状 に形成されている トラックを、 横方向に引き伸ばして描画している。 こ のトラックは、 リー ドイン領域と、 ボリ ューム領域と、 リードアウ ト領 域とからなる。本図のボリ ユーム領域は、物理層、フ ァイルシステム層、 応用層という レイヤモデルをもつ。ディ レク ト リ構造を用いて BD-ROM の応用層フォーマツ ト(アプリケーシ ョ ンフォーマツ ト)を表現すると、 図中の第 1段目のようになる。本図に示すように BD-ROMには、 ROOT ディ レク ト リの下に BDMVディ レク ト リがあり、 BDMVディ レク ト リ の配下には、 XXX.M2TS、 XXX.CLPI,YYY.MPLSといったフアイルが存 在する。 本図に示すようなアプリケーションフォーマツ トを作成するこ とにより、 本発明に係る記録媒体は生産される。
このアプリケーシ ョ ンフ ォーマッ トにおける各フ ァイルについて説明 する。 最初に説明するのは、 AVClip(XXX.M2TS)である。
AVClip(XXX.M2TS)は、 MPEG-TS(Transpoi't Stream)形式のデジ夕 ルス ト リームであり、 ビデオス ト リーム、 1 つ以上のオーディオス ト リ ーム、 プレゼンテーショ ングラフィ クスス ト リーム、 インタラクティブ グラフィ クスス ト リームを多重化することで得られる。 ビデオス ト リー ムは映画の動画部分を、 オーディオス ト リームは映画の音声部分を、 プ レゼンテ一シヨングラフイ クスス ト リームは、 映画の字幕を、 インタラ クティブグラフィ クスス ト リームは、 メニュ を対象とした動的な再生 制御の手順をそれぞれ示している。 図 4は、 AVClipがどのように構成さ れているかを模式的に示す図である。
AVClipは(中段)、複数のビデオフ レーム(ピクチャ pjl,2,3)からなるビ デォス ト リーム、 複数のォ一ディオフ レームからなるオーディオス ト リ —ムを(上 1段目)、 PESパケッ ト列に変換し(上 2段目)、 更に TSパケッ 卜に変換し(上 3段目)、 同じくプレゼンテーショングラフィ クスス ト リ ーム、 イ ンタラクティ ブグラフ ィ クスス ト リーム(下 1段目)を、 PESパ ケッ ト列に変換し(下 2段目)、 更に TS バケツ トに変換して(下 3段目)、 これらを多重化することで構成される。
かかる過程を経て生成された AVClip は、 通常のコンピュータフアイ ル同様、 複数のェクステン トに分割され、 BD-ROM上の領域に記録され る。 AVClipは、 1つ以上の ACCESS UNITとからなり、 この ACCESS UNIT の単位で頭出 し可能である。 ACCESS UNIT とは、 1 つの GOP(Group Of Picture)と、 この GOPと同時に読み出されるべきオーデ ィオフ レームとを含む最小デコード単位である。 GOPは、 過去方向およ ぴ未来方向に再生されるべき画像との時間相関特性を用いて圧縮されて いる Bidirectionally predictive Predictive(B ヒクチャ、 去方向に再 生さ れる べき画像と の時間相関特性を用いて圧縮されてい る Predictive(P)ピクチャ、 時間相関特性を用いず、 一フ レーム分の画像内 での空間周波数特性を利用して圧縮されている Intra( I )ピクチャを含 む。
Clip情報 (XXX.CLPI)は、 個々の AVClip についての管理情報である。 図 5は、 Clip 情報の内部構成を示す図である。 AVClip はビデオス ト リ ーム、 ' オーディ オス ト リームを多重化することで得られ、 AVClip は ACCESS UNITと呼ばれる単位での頭出しが可能なので、 各ビデオス ト リーム、 オーディオス ト リームはどのような属性をもっているか、 頭出 し位置が AVClip内の何処に存在するかが、 Clip情報の管理項目になる。 図中の引き出し線は Clip情報の構成をクローズァップしている。引き出 し線 hnl に示すように、 Clip情報 (XXX.CLPI)は、 ビデオス ト リーム、 オーディオス ト リームについての 「属性情報」 と、 ACCESS UNITを頭 出しするためのリファ レンステーブルである「EP— map」 とからなる。 属性情報 (Attribute)は、破線の引き出し線 hn2に示すようにビデオス ト リームについての属性情報 (Video属性情報)、 属性情報数 (Number)、 AVClip に多重化される複数オーディオス ト リームのそれぞれについて の属性情報 (Audio属性情報 #l〜#m)からなる。 ビデオ属性情報は、 破線 の引き出し線 hn3 に示すようにそのビデオス ト リームがどのような圧 縮方式で圧縮されたか(Coding), ビデオス ト リームを構成する個々のピ クチャデータの解像度がどれだけであるか(Resolution) ァスぺク ト比 はどれだけであるか(Aspect)、 フ レーム レー ト はどれだけであるか (Framerate)を示す。
一方、 オーディオス ト リームについての属性情報 (Audio属性情報 #1〜 #m)は、 破線の引き出し線 hii4に示すようにそのオーディォス ト リーム がどのような圧縮方式で圧縮されたか(Coding), そのオーディオス ト リ ームのチャネル番号が何であるか(Ch.)、何という言語に対応しているか (Lang), サンプリ ング周波数がどれだけであるかを示す。
EP— mapは、 複数の頭出し位置のア ド レスを、 時刻情報を用いて間接 参照するためのリファ レンステーブルであり、破線の引き出し線 hn5に 示すよ う に複数のェン ト リ ー情報(ACCESS UNIT#1 エン ト リ ー、 ACCESS UNIT#2エン ト リ一、 ACCESS UNIT#3ェン ト リー )と、 エン ト リ一数(Number)とからなる。 各エン ト リ一は、 引き出し線 hn6 に示すように、 対応する ACCESS UNIT の再生開始時刻を、 ACCESS UNITのァドレスと対応づけて示す(尚、 ACCESS UNITにおける先頭 I ピクチャのサイズ (I-size)を記載してもよい。 )。 ACCESS UNITの再生 開始時刻は、 ACCESS UNIT先頭に位置するピクチャデータのタイムス タンプ (Presentation Time Stamp)で表現される。 また ACCESS UNIT におけるアドレスは、 TSパケットの連番(SPN(Source Packet Number)) で表現される。 可変長符号圧縮方式が採用されるため、 GOP を含む各 ACCESS UNI のサイ ズや再生時間がバラバラであっても、 この ACCESS UNITについてのエント リ一を参照することにより、 任意の再 生時刻から、その再生時刻に対応する ACCESS UNIT内のピクチャデー タへと頭出しを行うことが可能になる。 尚、 XXX.CLPI のフ ァイル名 XXXば、 Clip情報が対応している AVClip と同じ名称が使用される。 つ ま り 本図におけ る AVClip のフ ァ イ ル名 は XXX である か ら、 AVClip(XXX.M2TS)に対応していることを意味する。以上が Clip情報に ついての説明である。 続いてプレイ リス ト情報について説明する。
YYY.MPLS (プレイ リス ト情報)は、 再生経路情報であるプレイ リス ト を構成するテーブルであり、 複数の Playltem 情報(Playltem 情報 #1,#2,#3 · · ·#η)と、 これら Playltem情報数 (Number)とからなる。 図 6 は、 PL情報の内部構成を示す図である。 Playltem情報は、 プレイ リス トを構成する 1 つ以上の論理的な再生区間を定義する。 Playltem 情報 の構成は、 引き出し線 hslによりクローズアップされている。 この引き 出し線に示すように Playltem情報は、 再生区間の In点及び Out点が 属 す る AVClip の 再 生 区 間 情 報 の フ ァ ィ ル 名 を 示 す 『Clip— Information— file— name』 と、 当該 AVClip がどのような符号化 方式で符号化されているかを示す 『 Clip _codec— identifie と、 再生区 間の始点を示す時間情報 『IN—time』 と、 再生区間の終点を示す時間情 報 『OUT— time』 とから構成される。
Playltem情報の特徴は、 その表記法にある。 つまり EP— map をリフ ア レンステーブルとして用いた時間による間接参照の形式で、 再生区間 が定義されている。図 7は、時間による間接参照を模式化した図である。 本図において AVClipは、 複数の ACCESS UNITから構成されている。 Clip情報内の EP_mapは、 これら複数 ACCESS UNITのセクタァ ドレ スを、 矢印 ayl, 2,3,4に示すように指定している。 図中の矢印 jyl, 2,3, 4 は、 Playltem情報による ACCESS UNITの参照を模式化して示してい る。 つまり、 Playltem情報による参照(矢印 jyl,2,3,4)は、 EP_mapを介 することにより、 AVClip内に含まれる複数 ACCESS UNITのアドレス を指定するという時間による間接参照であることがわかる。
Playltem情報— Clip情報— AVClipの組みからな'る BD-ROM上の再 生区間を 『プレイアイテム』 という。 PL情報— Clip情報— AVClipの組 みからなる BD-ROM上の論理的な再生単位を 『プレイ リス ト(PL と略 す)』 という。 BD-ROM に記録された映画作品は、 この論理的な再生単 位 (PL)にて構成される。 論理的な再生単位にて、 BD-ROMにおける映画 作品は構成されるので、 本編たる映画作品とは別に、 あるキャラクタが 登場するようなシーンのみを指定するような PL を定義すれば、 そのキ ャラクタが登場するシーンのみからなる映画作品を簡単に制作すること ができる。
BD-ROMに記録される映画作品は、上述した論理構造をもつているの で、 ある映画作品のシーンを構成する AVClip を他の映画作品で引用す るという" 使い回し" を効率良く行うことができる。
続いてインタラクティブグラフィ クスス ト リームについて説明する。 図 8 ( a ) は、 インタラクティブグラフィ クスス ト リームの構成を示す 図である。 第 1段目は、 AVClipを構成する TSバケツ ト列を示す。 第 2 段目は、 グラフィ クスス ト リ一ムを構成する PESパケッ ト列を示す。第 2段目における PESパケッ ト列は、第 1段目における TSバケツ トのう ち、 所定の PIDをもつ TSバケツ トからペイロードを取り出して、 連結 することにより構成される。 尚、 プレゼンテーショ ングラフィ クスス ト リームについては、 本願の主眼ではないので説明は行わない。
第 3段目は、 グラフ ィ クスス ト リームの構成を示す。 グラフ ィ クスス ト リ ームは、 ICS(Interactive Composition Segment)、 PDS(Palette Difinition Segment), ODS(Object— Definition— Segment), END(END of Display Set Segment)と呼ばれる機能セグメン トからなる。 これらの機 能セグメントのうち、 ICSは、画面構成セグメン ト と呼ばれ、 PDS、ODS、 END は定義セグメントと呼ばれる。 PES パケッ ト と機能セグメントと の対応関係は、 1対 1 の関係、 1対多の関係である。 つまり機能セグメ ントは、 1つの PESバケツ トに変換されて BD-ROMに記録されるか、 又は、 フラグメント化され、 複数 PESパケッ トに変換されて BD-ROM に記録される。
図 8 ( b ) は、 機能セグメントを変換することで得られる PESバケツ トを示す図である。 図 8 ( b ) に示すように PESバケツ トは、 バケツ ト ヘッダと、 ペイロードとからなり、 このペイロー ドが機能セグメン ト実 体にあたる。 またパケッ トヘッダには、 この機能セグメン トに対応する DTS、 PTSが存在する。 尚以降の説明では、 機能セグメン トが格納され る PESバケツ トのへ、 j、 ダ内に存在する DTS及び PTSを、機能セグメン 卜の DTS及び PTS として扱う。
これら様々な種別の機能セグメン トは、 図 9のような論理構造を構築 する。 図 9は、 様々な種別の機能セグメントにて構成される論理構造を 示す図である。本図は第 3段目に機能セグメントを、第 2段目に Display Setを、 第 1段目に Epochをそれぞれ示す。
第 2段目の Display Set(DS と略す)とは、 グラフィ クスス ト リームを 構成する複数機能セグメン トのうち、 一画面分のグラフィ クスを構成す るものの集合をいう。 図中の破線は、 第 3段目の機能セグメントが、 ど の DS に帰属しているかという帰属関係を示す。 ICS— PDS— ODS— END という一連の機能セグメントが、 1つの DSを構成していることが わかる。再生装置は、この DSを構成する複数機能セグメントを BD-ROM から読み出せば、 一画面分のグラフィ クスを構成することができる。 第 1段目の Epoch とは、 AVClip の再生時間軸上においてメモリ管理 の連続性をもっている一つの期間、 及び、 この期間に割り当てられたデ ータ群をいう。 ここで想定しているメモリ とは、 一画面分のグラフイ ク スを格納しておくためのグラフィ クスプレーン、 伸長された状態のクラ. フィ クスデータを格納しておくためのオブジェク トバッファである。 こ れらについてのメモリ管理に、 連続性があるというのは、 この Epochに あたる期間を通じてこれらグラフィ クスプレーン及びォブジヱク トバッ ファのフラッシュは発生せず、 グラフィ ックプレーン内のある決められ た矩形領域内でのみ、 グラフィクスの消去及び再描画が行われることを いう(※ここでフラッシュとは、プレーン及びバッファの格納内容を全部 クリアしてしまうことである。 )。 この矩形領域の縦横の大きさ及び位置 は、 Epochにあたる期間において、 終始固定されている。 グラフィ ック プレーンにおいて、 この固定化された領域内で、 グラフィ クスの消去及 ぴ再描画を行つている限り、シームレス再生が保障される。つまり Epoch は、 シーム レス再生の保障が可能な再生時間軸上の一単位ということが できる。 グラフ ィ ックプレーンにおいて、 グラフィ タスの消去'再描画を 行うべき領域を変更したい場合は、 再生時間軸上においてその変更時点 を定義し、 その変更時点以降を、 新たな Epochにせねばならない。 この 場合、 2つの Epochの境界では、 シーム レス再生は保証されない。
尚、ここでのシームレス再生とは、グラフィ クスの消去及び再描画が、 所定のビデオフ レーム数で完遂することをいう。 インタラクティブグラ フィ クスス ト リームの場合、 このビデオフ レーム数は、 4,5 フ レームと なる。 このビデオフ レームをどれだけにするかは、 グラフィ ックプレー ン全体に対する固定領域の大きさの比率と、 ォプジヱク トノ ッファ一グ ラフィ ックプレーン間の転送レートとによって定まる。
図中の破線 hkl,2は、 第 2段目の機能セグメン トが、 どの Epochに帰 属 し て い る か と い う 帰属関係を示す。 Epoch Start,Acquisition Point, Normal Caseという一連の DSは、 第 1段目の Epochを構成して いることカ ゎ力、る。『Epoch Start』、『 Acquisition Point』、『 Normal CaseJ は、 DSの類型である。 本図における Acquisition Point、 Normal Case の順序は、 一例にすぎず、 どちらが先であってもよい。
『Epoch Start』は、"新表示" という表示効果をもたらす DSであり、 新たな Epochの開始を示す。 そのため Epoch Startは、 次の画面合成に 必要な全ての機能セグメン トを含んでいる。 Epoch Startは、 映画作品 におけるチャプター等、 AVClipのうち、 頭出しがなされることが判明し ている位置に配置される。
『 Acquisition PointJ は、" 表示リ フ レッシュ" という表示効果をも たらす Display Set であり、 先行する Epoch Start と関連性をもつ。 Acquisition Point の類型には、 『Duplicate』 と、 『Inherit』 とがある。 Duplicate とは、先行する Epoch Startと全く同じ Display Setをいい、 Inherit とは、 先行する Epoch Startの機能セグメントを継承している が、 ポタンコマンドのみが違う Display Setをいう。 Acquisition Point たる DSは、 Epochの開始時点ではないが、 次の画面合成に必要な全て の機能セグメントを含んでいるので、 Acquisition Pointたる DSから頭 出しを行えば、 グラフィ ックス表示を確実に実現することができる。 つ まり Acquisition Pointたる DSは、 Epochの途中からの画面構成を可能 するという役割をもつ。
Acquisition Pointたる Display Setは、 頭出し先になり得る位置に組 'み込まれる。 そのような位置には、 タイムサーチにより指定され得る位 置がある。 タイムサーチとは、 何分何秒という時間入力をユーザから受 け付けて、 その時間入力に相当する再生時点から頭出しを行う操作であ る。 かかる時間入力は、 10 分単位、 10 秒単位というように、 大まかな 単位でなされるので、 10 分間隔の再生位置、 10秒間隔の再生位置がタ ィムサーチにより指定され得る位置になる。 このようにタイムサーチに より指定され得る位置に Acquisition Point を設けておく ことにより、 タイムサーチ時のグラフィ クスス ト リーム再生を好適に行うことができ る。
『Normal Case』 は、" 表示アップデート" という表示効果をもたらす DSであり、 前の画面合成からの差分のみを含む。 例えば、 ある DSvの ボタンは、 先行する DSuと同じ絵柄であるが、 状態制御が、 この先行す る DSu とは異なる場合、 ICS のみの DSv、 又は、 ICS と PDS のみの DSvを設けてこの DSvを Normal Caseの DSにする。 こうすれば、 重 複する ODSを設ける必要はなくなるので、 BD-ROMにおける容量削減 に寄与することができる。 一方、 Normal Caseの DSは、 差分にすぎな いので、 Normal Case単独では画面構成は行えない。
これらの DSにより定義される対話画面は、画面上に GUI部品を配置 することにより作成される対話画面である。 そして DS における対話性 とは、 GUI部品の状態をユーザ操作に応じて変化させることをいう。 本 実施形態では、 ユーザ操作の対象となる GUI部品をボタンという。 ボタ ンにおける状態には、 ノーマル状態、 セレクテッ ド状態、 アクティブ状 態といつたものがある。 ノーマル状態、 セレクテッ ド状態、 アクティブ 状態といった各状態は、 複数の非圧縮状態のグラフィ タスから構成され る。 ボタンの各状態を表現する個々の非圧縮グラフィ クスを" グラフィ クスオブジェク ト" という。 あるポタンの 1つの状態を、 複数の非圧縮 グラフィ クスで表現しているのは、 各ボタンの 1つの状態をアニメ一シ ョン表示することを念頭に置いているからである。
続いて: Definition Segment(ODS、 PDS)について説明する。
『Object— Definition— SegmentJ は、 グラフィ クスオブジェク トを定 義する情報である。 このグラフィ クスオブジェク トについて以下説明す る。 BD-ROMに記録されている AVClipは、 ハイビジョン並みの高画質 をセールスポイントにしているため、 グラフィ クスオブジェク トの解像 度も、 1920 X 1080 画素という高精細な大きさに設定されている。 画素 の色にあたっては、 一画素当たりのインデックス値 (赤色差成分(Cr 値), 青色差成分 (Cb値),輝度成分 Y値,透明度 (T値))のビッ ト長が 8ビッ トに なっており、 これによりフルカラーの 16,777,216色から任意の 256色 を選んで画素の色として設定することができる。
ODSによるグラフィ クスオブジェク トの定義は、 図 1 0 ( a ) に示す ようにデータ構造をもってなされる。 ODSは、 自身が ODSであること を示す『 Segment— Type』 と、 ODSのデータ長を示す『 segment— length』 と、 Epoch においてこの ODS に対応するグラフィクスォブジェク トを 一意に識別する 『object— ID』 と、 Epochにおける ODSのバ一ジヨンを TTs 『ob;)ect— version— numberj と、 『last— msequence— ilag』 と、 グフ フ ィ ク スォブジ ヱ ク ト の一部又は全部である連続バイ ト長データ
『object— aata— iragment』 とからなる。
『object— ID』 は、 Epochにおいてこの ODSに対応するグラフィ クス ォブジェク トを一意に識別するものだが、 複数 ODS により定義される 複数グラフィ ックオブジェク トがアニメーシ ョ ンを構成する場合、 これ らの 0DSに付加された一連の 『object— ID』 は、 連番になる。
『last— insequence_flag』、 『ob]'ect— data— fragment』 について説日刀す る。 PESバケツ トのペイロードの制限から、 ボタンを構成する非圧縮グ ラフイ クスが 1つの ODS では格納できない場合がある。 そのような場 合、ボタンコマンドを分割することにより得られた 1部分(フラグメント) が object— data— fragmentに設定される。 1つのグラフィ クスォブジェク トを複数 ODS で格納する場合、 最後のフラグメントを除く全てのフラ グメントは同じサイズになる。 つまり最後のフラグメン トは、 それ以前 のフラグメントサイズ以下となる。これらフラグメン トを格納した ODS は、 DS において同じ順序で出現する。 グラフィ クスオブジェク トの最 後は、 last—sequence— flagをもつ ODSにより指示される。上述した ODS のデータ構造は、前の PESパケッ トからフラグメ ン トを詰めてゆく格納 法を前提にしているが、各 PESバケツ トに空きが生じるように、詰めて ゆく という格納法であっても良い。 以上が ODSの説明である。
『Palette Difinition Segment』 は、 色変換用のパレッ トを定義する情 報である。 PDSのデータ構造を図 1 0 ( b ) に示す。 図 1 0 ( b ) に示 すように PDS は、" 0x15" に設定されることにより、 自身が PDSであ る こ と を 示 す 『 segment_type 』 、 PDS の デ ー タ 長 を 示 す 『 segment— length』、 この PDS に含まれるパレツ トを一意に識別する 『Pallet— id』、 Epoch における Epoch の PDS のバージョ ンを示す 『 version— number』、 各ェント リ一についての情報 『 Pallet— entry』 か らなる。 『: Pallet— entry』 は、 各ェント リーにおける赤色差成分(Cr 値), 青色差成分 (Cb値),輝度成分 Y.値,透明度 (T値)を示す。
続いて ICSについて説明する。 Interactive Composition Segmentは、 対話的な画面を構成す る機能セ グメ ン ト であ る 。 Interactive Composition Segmentは、 図 1 1 に示すデータ構造で構成される。 本図 に示すように ICS は、 『 segment— type』 と、 『 segment— length』 と、 『 composition— number 』 と 、 『 composition— state 』 と 、 『 command— update— flag』 と 、 『 Composition— timeout— PTS』 と 、 『 Selection— timeout— PTS 』 と 、 『 UO_Mask— Table 』 と 、 『 animation一: frame— rate— code』と、『 default— selected— button— numberj と、 『default— activated— button— numberj と、 『ボタ ン情報群(button info(l)(2)(3) - - - -)J とからなる。
『 Composition— Number』 は、 ICS が属する DS において、 Update がなされることを示す 0から 15までの数値である。
『 composition— statej は、 本 ICS から女台まる DSせ、 Normal Case である力、、 Acquisition Pointであるか、 Epoch Startであるかを示す。
『command— update— flagj は、 本 ICS 内のポタンコマン ドは、 前の ICSから変化しているかを否かを示す。 例えば、 ある ICSが属する DS 力、 Acquisition Pointであれば、 この ICSは、 原則 1つ前の ICS と同 じ内容になる。 しかし command— update— flagをオンに設定しておけば、 1つ前の DSと違うボタンコマン ドを ICSに設定しておく ことができる。 本フラグは、 グラフィ ックオブジェク トは流用するが、 コマンドは変更 したい場合に有効となる。
『 Composition— timeout— PTS』 は、 ポタンによる対話画面の終了時刻 を記述する。 終了時刻において対話画面の表示は、 もはや有効ではなく 表示されない。 Composition— PTSは、 動画データにおける再生時間軸の 時間精度で記述しておく ことが好ましい。
『 Selection— Timeout_PTS』 は、 有効なボタン選択期間の終了時点を 記 述 す る 。 Selection— Timeout_PTS の 時 点 に お い て 、 Default_activated_b tton_numberにより特定されるボタンがァクティ ベートされる。 Selection— Timeout— PTSは、 composition— time— out— PTS の時間と等しいかそれより短い。 Selection_Timeout— PTSはビデオフレ ームの時間精度で記述される。
『UO— Mask— Table』 は、 ICSに対応する Display Setにおけるユーザ 操作の許可 Z不許可を示す。 このマスクフィールドが不許可に設定され ていれば、 再生装置に対するユーザ操作は無効になる。
『 animation— frame— rate— code』 は、 アニメーシ ョ ン型ポタンに適用 すべきフレームレートを記述する。 アニメーションフ レーム.レートは、 本フィールドの値を用いて、 ビデオフ レームレートを割ることにより与 えられる。 本フィールドが 00 なら、 各ボタンのグラフィ クスオブジェ ク トを定義する ODSのうち、 Start_Object_id— XXXにて特定されるもの のみが表示され、 アニメーションされない。
『default— selected— button_number』 は、 対話画面の表示が始まった とき、 デフオルトとしてセレクテツ ド状態に設定すべきボタン番号を指 示する。 本フィールドが" 0" であれば、 再生装置のレジスタに格納さ れたボタン番号のボタンが自動的にァクティブ状態に設定される。 もし このフィールドが非ゼロであれば、 このフィールドは、 有効なボタンの 値を意味する。
『 default— activated— button— number』 は、 Selection一 Timeout— PTS により定義された時間の前に、 ユーザがどのボタンもァクティブ状態に しなかったとき、 自動的にアクティブ状態に設定されるボタンを示す。 default— activated— button— number が " FF " で あ れ ば 、 Selection— Timeout— PTSにより定義される時刻において、 現在セレクテ ッ ド 状 態 に あ る ボ タ ン が 自 動 的 に 選 択 さ れ る 。 こ の default_activated_button_number が 00 であれば、 自動選択はなされ ない。 00,FF以外の値であれば本フィールドは、 有効なボタン番号とし て解釈される。
『ボタン情報 (Button_info)』 は、 対話画面において合成される各ボタ ンを定義する情報である。図中の引き出し線 hplは ICSにより制御され る i番目のボタンについてのボタン情報 iの内部構成をクローズアップ している。 以降、 ボタン情報 iを構成する情報要素について説明する。 『button— numberj は、 ポタン iを、 ICSにおいて一意に識別する数 値である。
『nmnerically_selectable__flag』 は、 ボタン i の数値選択を許可する か否かを示すフラグである。
『auto— action— flag』 は、 ポタン iを自動的にァクティブ状態にするか どうかを示す。 auto_action— flagがオン(ビッ ト値 1)に設定されれば、 ボ タン i は、 セレクテツ ド状態になる代わりにァクティ ブ状態になる。 auto_action_flagがオフ(ビッ ト値 0)に設定されれば、 ボタン iは、 選択 されたとしてもセレクテツ ド状態になるにすぎない。
『object_horizontal一 position』、 『object一 vertica丄—positionj 【 、 対 古 画面におけるボタン iの左上画素の水平位置、 垂直位置を示す。
『upper— button— number』 は、 ボタン iがセレクテツ ド状態である場 合において MOVEUPキーが押下された場合、 ポタン iの代わりに、 セ レクテツ ド状態にすべきボタンの番号を示す。 もしこのフィールドにボ タン iの番号が設定されていれば、 MOVEUPキーの押下は無視される。
『 lower— outton— number 』 , u left— button— numoer 』 , 『right_button_number』 は、 ボタン i がセレクテッ ド状態である場合 において MOVE Down キー, MOVE Left キー, MOVE Right キーが押 下された場合、 ポタン iの押下の代わりに、 セレクテッ ド状態にすべき ボタンの番号を示す。 もしこのフィールドにボタン iの番号が設定され ていれば、 これらのキーの押下は無視される。
『start— object— id— normal』 は、 ノーマル状態のポタン iをアニメーシ ョンで描画する場合、 アニメ一ションを構成する複数 ODS に'付加され た連番のうち、最初の番号がこの start— object— id— normalに記述される。
『end— object— id— normalj は、 ノーマル状態のボタン iをアニメーシ ョンで描画する場合、 アニメ一ションを構成する複数 ODS に付加され た 連 番 た る 『 object— ID 』 の う ち 、 最 後 の 番 号 が こ の end—object— id— normalに 述される。 この End— object— id— normalに示 される IDが、 start— object— id_normalに示される IDと同じである場合、 この ID にて示されるグラフィ ックオブジェク トの静止画が、 ボタン i の絵柄になる。
『repeated— selected— flag』 は、 セレクテツ ド状態にあるポタン iのァ ニメーション表示を反復させるかどうかを示す。
『start_object__id— selected』 は、 セレクテッ ド状態のボタン iをァニ メーションで描画する場合、 アニメーションを構成する複数 ODS に付 加された連番のうち、 最初の番号がこの start— object— id— selected に記 述 さ れ る 。 こ の End— object_id— selected に示 さ れ る ID せ、 start_object_id_selectdに示される ID と同じである場合、 この IDにて 示されるグラフイ ツクオブジヱク トの静止画が、ボタン iの絵柄になる。
『end— object— id— selected』 は、 セレク ト状態のボタンをアニメーショ ンで描画する場合、 アニメーションを構成する複数 ODS に付加された 連番たる『 object— ID』のうち、最後の番号がこの end— object— id_selected に記述される。
『repeat— selected— flag』 は、 セレクテツ ド状態にあるボタン iのァニ メ 一 シ ヨ ン 表 示 を 、 反 復 継 続 す る か ど う か を 示 す 。 start一 object一 id— selectedと、 end— object— id— selectedと力 ι口 Jし になる なら、 本フィールド 00に設定される。
『start— object— id— activated』 は、 アクティ ブ状態のボタン iをアニメ ーシヨンで描画する場合、 アニメーションを構成する複数 0DS に付加 された連番のうち、 最初の番号がこの start— object— id一 activatedに記述 される。
『end— object— id— activated』 は、 ァクティ ブ状態のボタンをアニメ一 ションで描画する場合、 アニメーションを構成する複数 0DS に付加さ れ た 連 番 た る 『 object— ID 』 の う ち 、 最 後 の 番 号 が こ の end— object— id— activatedに Sれる。
続いてボタンコマンドについて説明する。
『ボタンコマン ド(button— command)』 は、 ボタン iがアクティブ状態 になれば、 実行されるコマンドである。 ボタンコマンドでは、 PL、 Playltem を対象とした再生を再生装置に 命じることができる。 Playltem, Playltem を対象とした再生を、 再生 装置に命じるコマン ドを LinkPLコマンドという。 本コマンドは、 第 1 引数で指定するプレイ リ ス トの再生を、 第 2引数で指定する位置から再 生を開始させるものである。 書式: LinkPL (第 1引数, 第 2引数)
第 1引数は、 プレイ リ ス トの番号で、 再生すべき PL を指定すること ができる。 第 2引数は、 その PLに含まれる Playltemや、 その PLにお ける Chapter, Markを用いて再生開始位置を指定することができる。
Playltem に よ り 再生開始位置 を指定 し た LinkPL 関数 を LinkPLatPlavItemO、
Chapter に よ り 再生 開始位置 を 指定 し た LinkPL 関数 を ijinkPLatChapterO、
Mark に よ り 再 生 開 始 位 置 を 指 定 し た LinkPL 関 数 を LinkPLatMarkOという。 またポタンコマン ドでは、 再生装置の状態取得や状態設定を再生装置 に命じることができる。 再生装置の状態は、 64 個の Player Status Register (これの設定値は、 PSR と呼ばれる)と、 4096 個の General Purpose Register (これの設定値は、 GPR と呼ばれる)とに示されてい る。 ボタンコマン ドでは、 以下の(i)〜(iv)のコマン ドを使用することに より、 これらのレジスタに値を設定したり、 これらのレジスタから値を 取得したりすることができる。
Uノ Get value of Player Status Register コマン ト
書式: Get value of Player Status Register (引数)
この関数は、 引数で指定された Player Status Registerの設定値を取 得する。 (ii)Set value of Player Status Registerコマンド
書式 : Set value of Player Status Register (第 1引数、 第 2引数) この関数は、 第 1引数で指定された Player Status Registerに、 第 2 引数で指定された値を設定させる。
Uiiノ Get value of General Purpose Register コ マ ン ド
書式 : Get value of General Purpose Register (弓 1数)
この関数は、引数で指定された General Purpose Registerの設定値を 取得する関数である。
(iv)Set value of General Purpose Registerコマント
書式 : Set value of General Purpose Register (第 1弓 I数、 第 2引数) この関数は、 第 1引数で指定された General Purpose Registerに、 第 2引数で指定された値を設定させる。 以上が ICSの内部構成である。 ICSによる対話制御の具体例について 以下説明する。本具体例は、図 1 2のような ODS、ICSを想定している。 図 1 2は、ある DSnに含まれる ODS と、 ICSとの関係を示す図である。 この DSnには、 ODSll〜19,21~ 29,31〜39,41〜49が含まれているもの とする。 これらの ODSのうち、 0DS11〜19は、 ボタン Aの各状態を描 いたものであり、 ODS21〜29 は、 ポタン B の各状態を描いたもの、 ODS31〜39は、 ボタン Cの各状態を描いたもの、 ODS41〜49は、 ボタ ン D の各状態を描いたものとする(図中の括弧 }を参照)。 そして ICS に おける button— info(l),(2),(3),(4)にて、 これらのボタン A〜ポタン D の 状態制御が記述されているものとする(図中の矢印 bhl,2,3,4参照)。
この ICS による制御の実行タィ ミ ングが、 図 1 3に示す動画のうち、 任意のピクチャデータ ptlの表示タィ ミングであれば、 ボタン A〜ボタ ン Dからなる対話画面 tmlが、 このピクチャデータ ptl に合成(gsl)さ れて表示されることになる(gs2)。 動画の中身に併せて、 複数ボタンから なる対話画面が表示されるので、 ICSによりボタンを用いたリアルな演 出が可能になる。
図 1 5に示すボタン A〜ボタン D の状態遷移を実行する場合の ICS の記述例を図 1 4に示す。 図 1 5における矢印 hhl,hh2 は、 button info(l)の neighbor一 infoOによる状態遷移を象徴的に表現している。 button inio(l)の neighbor— infoOにお る lower—button— numberは、 ホ タン Cに設定されているため、ポ夕ン Aがセレクテツ ド状態になってい る状態で、 MOVEDownキー押下の UO が発生すれば(図 1 5の up l)、 ボタン C がセレクテツ ド状態になる(図 1 5の s]' l)。 button info(l)の neighbor— infoOにおける right— button— number は、 ポタン B に設定さ れているため、 ボタン A がセレクテツ ド状態になっている状態で、 MOVERightキー押下の UOが発生'すれば(図 1 5の up2)、 ボタン Bが セ レクテツ ド状態になる(図 1 5の s]'2)。
図 1 5における矢印 hh3は、 button info(3)の neighbor_info()による 状態遷移の制御を示す。 button info (3)の neighbor_info()における upper—button— numberは、 ポタン Aに設定されているため、 ボタン C がセ レクテツ ド状態になっている状態で(up3)、 MOVE Up キー押下の UOが発生すれば、 ポタン Aがセレクテツ ド状態に戻る。
続いてボタン A〜ボタン Dの絵柄について説明する。 ODS11, 21,31, 41 が図 1 6に示す絵柄であるものとする。 そしてボタン Aに割り当てられ た ODSll〜19 は、 図 1 7のような絵柄であるものとする。 ICS におけ る button一 info(l) の normal— state— ιηιοθ お
start— object一 id— normal,encl—ob;ject_id— norma丄 は、 ODSll〜13 を ί旨定 しているため、 ボタン Α のノーマル状態は、 ODSll〜13 によるアニメ ーシヨンで表現される。 また button— info(l)の selected— state— infoOに お (フ る start— object— id一 selected, end— ooject— id— selected は、 ODSl4〜 16を指定しているため、 ボタン Aのセレクテツ ド状態は、 ODS14~ 16 で表現される。 ユーザがこのボタン Aをセレクテツ ド状態にすることに より、ポタン Aの絵柄たる肖像は、 ODSll〜13によるものから、 ODS14 〜 16 に よ る も のへ と変.ィ匕す る。 こ こ で normal— state— info ()、 selected— state— inio()における repeat— normal一 flag, repeat— select— flag を 1にしておけば、 0DS11〜13によるアニメーショ ン、 ODS14〜: 16に よるアニメーシ ョ ンは、 図中の「→(A)」,「(A)→」,「→(B)」,「(B)→」,に示す ように、 アニメーション表示は反復継続する。
アニメーション描画が可能な複数 ODSが、 ポタン A〜ポタン D に割 り当てられており、 これらによる制御が ICSに記述されていれば、 ユー ザ操作に併せてキヤラクタの表情が変わるような、 リアルなボタンの状 態制御を実現することができる。
続いて numerically_selectable__flagによる応用について説明する。図 1 8は、 DSに含まれる ICS、 ODSの一例を示す図である。 本図におけ る ODS31〜33 は、 図中上段に示すような 3人の野球選手の肖像及び選 手名、 背番号を示すものとする。 一方、 この DSに属する ICSは、 3つ のボタン情報を含んでおり、ボタン情報(1)の start_ob]'ect_idは、 ODS31 を示すよう設定され、 ボタン情報 (2)の start_object— idは、 ODS32を示 すよう、 ポタン情報(3)の start_object— idは、 ODS33を示すよう設定さ れているものとする。一方、ポタン情報(1)は、 button numberが 99に、 ポタン情報(2)は button number カ 42 に、 ポタン情報(3)は button numberが 94に設定されているものとする。またボタン情報(1)〜(3)は、 全て numerically— selectable— flagが 1に設定されているものとする。こ の場合、ボタン情報(1)〜(3)に対応する各ボタンの数値選択が可能になる ので、 ユーザにより リモコン 4 0 0による「99」の数値入力がなされれば、 ビギナーズ ·ラック選手のボタンがセレクテツ ド状態になる。 数値「99」 の入力は、 「4」キーの押下と、 「9」キーの押下とを連続して受け付けるこ とで実現しても良い。 また「9」キーの押下と、 「+10」キーの 4回の押下と を連続して受け付けることで実現しても良い。 「42」 の数値入力がなさ れれば、 ケアレス ·ミス選手のボタンがセレクテッ ド状態、 「94」 の数値 入力がなされれば、デッ ド ·ス ト ック選手のボタンがセレクテツ ド状態に なる。
これらのボタン情報(1)〜(3)の auto— action— flagが 1 に設定されてい れば、 これら 3つのボタンはセレクテツ ド状態になる代わりにァクティ ブ状態にな り 、 ボタ ン情報の 内部 ίこ含ま れる ポタ ン コ マ ン ド (LinkPL(PL#21),LinkPL(PL#22),LinkPL(PL#23))が実行される。 3つの ポ夕ン情報に含まれるボタンコマン ドのリ ンク先 PL#21,#22,#23が、そ れそれの選手の打擊シーン、 投球シーンであれば、 これら打撃シーン、 投球シーンは、選手の背番号にあたる数値入力で再生されることになる。 背番号という、 知名度が高い番号でのダイ レク トなボタン選択が可能に なるので、 ユーザによる操作性は一段と高まる。
続いて Display Setにおける ODSの順序について説明する。 Display Setに属する ODSは、 ボタンの 1つの状態を表すよう ICSにて指定さ れていることは、上述した通りである。 ODSは、 こう した指定、つまり、 ボタンのどの状態を示すかという指定に応じて、 Display Set における 順序が決められる。
詳しくいうと Display Setにおいて ODSは、ノーマル状態を表すもの (1)、 セ レクテッ ド状態を表すもの(2)、 アクティブ状態を示すもの(3)と いうように、 同じ状態を表すもの同士がグループ化される。 このポタン の 1つの状態を表すグループを button-stateグループという。そしてこ れら button-stateグループを、 ノ一マル状態→セレクテツ ド状態→ァク ティブ状態というように並べる。 このようにボタンのどの状態を表すか に応じて、 ODSの順序を決めるというのが、 Display Setにおける ODS の順序である。
図 1 9は、 Display Setに属する ODSの順序を示す図である。 本図の 第 2段目に、 Display Setにおける 3つの button-stateグループを示す。 本図においてノーマル状態を描く ODSの集合(ODSs for Normal state)、 ボタンのセレクテツ ド状態を描く ODSの集合(ODSs for Selected state)、 ボタンのアクティブ状態を描く ODSの集合(ODSs for Actioned state) が示されている。 そしてこれら button-stateグループの順序は、 ノーマ ル状態→セレクテツ ド状態→ァクティブ状態というように並べられてい る。 これは ODS のうち、 対話画面の初期表示を構成するものを早く読 み出させ、 アップデ一ト後の画面表示を構成するものの読み出しを後に するという配慮である。
図 1 9の第 1段目は、 これら button-stateグループにより描かれるグ ラフイ クスオブジェク ト An,Bn,Cn,Dn,As,Bs,Cs,Ds,Aa,Ba,Ca,Da を示 す。 本図における An,Bn,Cn,Dnにおける添字 nは各ボタンのノーマル 状態を表し、 As,Bs,Cs,Ds における添字 sは各ボタンのセレクテツ ド状 態を表す。 Aa,Ba,Ca,Daにおける添字 aは各ボタンのァクティブ状態を 表す。 図 1 9の第 2段目は、 第 1段目のグラフ ィ クスオブジェク トが属 する button-stateグループを示す。 尚、 本図における ODSl〜ODSnと いう表記は、 「1 「n」というような同じ番号が付されているが、 これら N-ODSs,S-ODSs,A-ODSsに属する ODSは別々のものである。 以降、 同 様の表記の図は同じ意味であるとする。
図 2 0は、 図 1 9の button-stateグループが配置された対話画面にお ける状態遷移を示す図である。
本図における対話画面は、" 初期表示"、" 1stユーザアクショ ンによる 更新表示"、" 2ndユーザアクショ ンによる更新表示" という複数の状態 をもつ。 図中の矢印は、 状態遷移のト リガとなるユーザアクショ ンを表 す。 この図を参照すると、 4つのボタン A,B,C,Dはそれぞれノーマル状 態、 セレクテッ ド状態、 アクティブ状態という状態をもっている。 この うち初期表示に必要なのは、 3 つのノーマル状態を描く グラフィ クスォ ブジェク トと、 1 つのセレクテツ ド状態を描く グラフィ クスオブジェク トであることがわかる。
デフォルトセレクテッ ドボタンが未確定であり、 ボタン A〜ボタン D のうち、 どのポタンがセレクテッ ド状態になるかが不定であっても、 各 ボタンのノーマル状態、 セレクテツ ド状態を表すグラフィ クスォブジェ タ トのデコードが完了すれば、 初期表示を実現することができる。 この ことを意識して、 本実施形態では、 各状態に対応する button-stateグル ープを、 図 1 9の第 2段目に示すようにノーマル状態→セレクテツ ド状 態→アクティブ状態の順に配列している。 かかる配列により、 ァクティ プ状態を構成する ODS の読み出しやデコードが未完であっても、 初期 表示を実現することができ、 Display Set の読み出し開始から初期表示 の完了までの期間を短くすることができる。
図 2 1 は、 図 1 6、 図 1 7に示した ODS を、 どのような順序で配列 させるかについて説明する。 図 2 1は、 Display Setにおける ODSの順 序を示す図である。 本図において ODSs for Normal stateは、 ODSll〜 13,ODS21〜23,ODS31〜33,ODS41〜43 から構成されている。 また ODSs for Selected state は、 ODS14〜 16,ODS24〜 26,ODS34〜 36,ODS44~ 46から構成され、 ODSs for Actioned stateは、 ODS17〜 19,ODS27〜29,ODS37〜39'ODS47〜49 から構成されている。 ODS11 〜13は、 図 1 7に示したような、 キャラクターの表情変化を描く もので あり、ODS21〜23,ODS31〜33,ODS41〜43も同様なので、これらの ODS を先頭の button-stateグループに配置することにより、 Display Setの 読み出しの途中であっても、 初期表示の準備を整えることができる。 こ れによりアニメーションを取り入れた対話画面を、 遅滞なく実行するこ とができる。
続いて複数のポタン状態からの多重参照される ODS の順序について 説明する。多重参照とは、 ある ODSについての object— idが ICSにおけ る 2 以 上 の normal— state—inio, selected— state一 info, activated— state— info 【こよ り 定されて 、ることをいう。 かかる多重参照を行えば、 あるポタンのノー マル状態を描くグラフィ クスォブジヱク トを用いて、 他のボタンのセレ クテッ ド状態を描く ことができ、 グラフィ クスオブジェク トの絵柄を共 用することができる。 かかる共用により、 ODSの数を少なくすることが できる。 多重参照される ODSについては、 どの button-state グループ に属するかが問題になる。 つまりあるポタンのノーマル状態と、 別のボ タンのセレクテツ ド状態とが 1つの ODSで描かれている場合、この ODS は、 ノーマル状態に対応する button-stateグループに属するか、 セレク テツ ド状態に対応する button-state グループに属するかが問題となる。 この場合 ODS は、 複数状態のうち、 最も早く出現する状態に対応する button-state グループに配置される。 ノーマル状態 セレクテツ ド状態 ーァクティブ状態という 3つの状態があり、ある ODSがノーマル状態、 セ レクテツ ド状態で多重参照されるなら、 ノ一マル状態に対応する button-stateグループにこの ODSは配置される。 また別の ODSがセレ クテッ ド状態、 アクティブ状態 多重参照されるなら、 セレクテッ ド状 態に対応する button-state グループにこの ODSは配置される。 以上が 多重参照される ODSの順序についての説明である。
セレクテツ ド状態に対応する button-state グループにおける、 ODS の順序について説明する。 セレクテツ ド状態に対応する button-stateグ ループにおいて、 どの ODS が先頭に位置するかは、 デフォルトセレク テツ ドボタンが確定しているか未確定であるかによって変わる。 確定し た デ フ オ ノレ ト セ レ ク テ ッ ド ボ タ ン と は 、 ICS に お け る default— selected— button— numberに 00以外の有効な値が設定され、 こ の値で指示されるボタンのことをいう。 この場合、 デフオルトセレクテ ッ ドボタンを表す ODSが、 button-stateグループの先頭に配置される。 未確定のデフ オ ノレ ト セ レク テ ッ ドボタ ン と は、 ICS における deiault— selected— button— numberが値 00 を示しているような Display Set において、 デフォルトでセレクテツ ド状態に設定されるボタンをい つ。 値 00を示すよつ、 default— selected— button— numberを設疋してお くのは、 例えば、 Display Setが多重されている AVClipが、 複数再生経 路の合流点になっているようなケースである。 先行する複数再生経路が それぞれ第 1、 第 2、 第 3章であり、 合流点にあたる Display Setが第 1章、 第 2章、 第 3章に対応するボタンを表示させるものである場合、 default— se丄 ected— button— numberにお ヽて、ァ ノオノレトでセレクテツ ド 状態とすべきポタンを決めてしまうのは、 おかしい。
第 1章からの到達時には第 2章にあたるポタン、 第 2章からの到達時 には第 3章にあたるボタン、 第 3章からの到達時には第 4章にあたるボ タンというように、 この Display Setに到達するまでに、 先行する複数 再生経路のうち、 どの再生経路を経由するかによって、 セレクテッ ド状 態とすべきボタンを変化させるのが理想的である。 先行する再生経路に よって、 セレクテッ ド状態とすべきポタンが変わるようなケースにおい て、 default— selected— button— numberは無効を示すよう、 0に設定され る。 どの再生経路を経由するかによって、 セレクテッ ド状態とすべきポ. 夕ンを変化するから、 特定の ODSを button-state グループの先頭に配 置するというような配慮は行わない。
以上が ODS の順序についての説明である。 続いてこれら ICS、 ODS を有した Display Setが、 AVClipの再生時間軸上にどのように割り当て られるかについて説明する。 Epochは、 再生時間軸上においてメモリ管 理が連続する期間であり、 Epochは 1つ以上の Display Setから構成さ れるので、 Display Setをどうやって AVClipの再生時間軸に割り当てる かが問題になる。 ここで AVClipの再生時間軸とは、 AVClipに多重され たビデオス ト リームを構成する個々のピクチャデ一夕のデコード夕イ ミ ング、 再生タイ ミ ングを規定するための想定される時間軸をいう。 この 再生時間軸においてデコー ドタイ ミ ング、 再生タイ ミ ングは、 90KHz の時間精度で表現される。 90KHz の時間精度は、 NTSC 信号、 PAL信 号、 DolbyAC-3、 MPEGオーディォのフレーム周波数の公倍数を考慮し たものである。 Display Set内の ICS、ODSに付加された DTS、; PTSは、 この再生時間軸において同期制御を実現すべきタイ ミ ングを示す。 この ICS, ODS に付加された DTS、 PTS を用いて同期制御を行うことが、 再生時間軸への Display Setの割り当てである。
先ず、 ODS に付加された DTS、 PTS により、 どのような同期制御が なされるかについて説明する。
DTSは、 ODSのデコードを開'始すべき時間を 90KHzの時間精度で示 しており、 PTSはデコードデッ ドラインを示す。
ODS のデコードは、 瞬時には完了せず、 時間的な長さをもっている。 このデコ一 ド期間の開始点 ·終了点を明らかにしたいとの要望から、
ODS についての DTS、 PTS はデコード開始時刻、 デコードデッ ドライ ンを示している。
PTS の値はデッ ドライ ンであるので、 PTS に示される時刻までに ODSj のデコードがなされて、 非圧縮状態のグラフィ ックオブジェク ト が、 再生装置上のォブジヱク トバッファに得られなければならない。
Display Setn に属する任意の ODSj のデコード開始時刻は、 90KHz の時間精度で DTS.(DSn[ODS])に示されるので、 これにデコードを要す る最長時間を加えた時刻が、 Display Set の ODSj のデコードデッ ドラ インになる。
ODSj のサイズを" SIZE(DSn[ODS]'])"、 ODS のデコードレートを" Rd " と す る と 、 デ コ ー ド に 要 す る 最 長 時 間 (秒) は 、 " SIZE(DSn[ODSj])//Rd" になる。
この最長時間を 90KHzの時間精度に変換し、 ODSj の DTSに加算す ることにより、 PTSで示されるべきデコードデッ ドライン(90KHz)は算 出される。
DSn に属する ODSj の PTS を、 数式で表すと、 以下の式のようにな る。
PTS(DS[ODSj])=DTS(DSn[ODSj])+90,000 x (SIZE(DSn[ODSj])//Rd) 次に ICSの、 PTS値について説明する。
ICSの PTSは、 DSnの初期表示を構成する 0DSのうち、 デコ一ド時 刻が最も遅い ODSの PTS値(1)、 グラフイ クスプレーンのクリァに要す る時間(2)、 ODS のデコードにより得られたグラフィ クスオブジェク ト をグラフィ クスプレーンに転送する転送時間(3)を足した値に設定され る。
ICS において default_selected_button— number が指定されている場 合は、 全てのボタンのノーマル状態を描画する ODS のデコードと、 デ フォルトボタンのセ レクテツ ド状態を描画する ODS のデコードさえ完 了すれば、 初期表示を行うことができる。 初期表示における複数ポタン のセ レクテツ ド状態を描画する ODSを、 S-ODSsと呼び、 そのうちデコ ード時刻が最も早いもの(この場合、 デフ ォルトボタンを描画するもの) を S'ODSsfirst と呼ぶ。 この S-ODSsfirstの PTS値を、 デコード時刻 が最も遅い ODSの PTS値として、 ICSの PTSの基準に用いる。
ICS において default_selected_button— number が指定されていない 場合は、 どのボタンがセレクテッ ド状態になるかわからないから、 全ポ タンのノーマル状態、セレクテツ ド状態を描画する準備が整なわないと、 初期表示の準備が完了しない。 初期表示における複数ボタンのセ レクテ ッ ド状態を描画する S-ODSs のうち、 デコー ド時刻が最も遅いものを S-ODSslast と呼ぶ。 この S-ODSslastの PTS値を、 デコ一ド時刻が最 も遅い ODSの PTS値として、 ICSの PTSの基準値に用いる。
S-ODSsfirstのデコードデッ ドラインを PTS(DSn[S'ODSsfirst])とす ると、 PTS(DSn[ICS])は、 PTS(DSn[S-ODSsfirst])に、 グラフィ クスプ レーンのクリアに要する時間(2)、 ODS のデコードにより得られたグラ フィ クスォブジェク トをグラフィ クスプレーンに書き込む書込時間(3) を足した値になる。
グラフ ィ ッ クプレ一ン内において描画可能な矩形領域の横幅を video— width,縦幅を video— heightとし、 グラフィ ックプレ一ンへの書込 レートを 128Mbps とすると、 グラフィ ックプレーンのクリアに要する 時間は、 8 X video— width X video— heiglit〃128, 000, 000と表現される。 こ れを 90KHz の時間精度で表現すれば、 グラフィ ックプレーンのクリア 時 Γ (2)は 90,000 X (8 X video一 width x video— height〃128,000,000)にな る。
ICSに含まれる全ボタン情報により、 指定されるグラフィ ックォブジ ェク 卜の総サイズを∑ SIZE(DSn[ICS.BUTTON[i]]とし、 グラフィ ック プレーンへの書込レートを 128Mbps とすると、 グラフィ ックプレーン へ の 書 き 込 み に 要 す る 時 間 は 、 ∑
SIZE(DSn[ICS.BUTTON[i]])//128,000,000 と表現さ れ る 。 こ れを 90KHz の時間精度で表現すれば、 グラフィ ックプレーンのクリア時間 (3)は 90,000 X (∑ SIZE(DSn[ICS.BUTTON[i]])//128,000,000)になる。 以上の数式を用いることにより、 PTS(DSn[ICS])は、 以下の数式のよ うに表現される。
PTS(DSn[ICS])≥ PTS(DSn[S-ODSsfirst])
+90,000x(8xvideo_widthxvideo_height//128,000,000)
+90,000x(∑SIZE(DSn[ICS.BUTTON[i]])//128,000,000) 尚、 本式は、 ICS における default— selected— button_number 力 ; "有幼 である場合の算出式に過ぎない。 default_selected_button— numberが無 効である場合の算出式は、 以下の通りになる。
PTS(DSn[ICS])≥ PTS(DSn[S-ODSslast])
+90,000x(8xvideo_widthxvideo_height//128,000,000)
+90,000x(∑SIZE(DSn[ICS.BUTTON[i]])//128,000,000) 以上のようにして PTS、 DTSを設定することにより、 同期表示を実現 する場合の一例を図 2 2に示す。 本図において動画における任意のピク チヤデータ pylの表示タイ ミ ングで、 ボタンを表示させる場合を想定す る。 この場合、 ICSの; PTS値は、 このピクチャデータの表示時点になる よう設定せねばならない。 尚 ICSの DTSは、 PTSにより示される時刻 より前の時刻を示すよう設定される。
そして ICSの PTSから、 画面のクリァ期間 cdl、 グラフィクスォブジ ェク トの転送期間 tdlを差し引いた時刻に、 DSnの初期表示を構成する ODSのうち、 デコード時刻が最も遅い ODSのデコードが完了せねばな らないから、 図中の時点 (女1)に、 ODSの PTS値が設定しなければなら ない。 更に、 ODSのデコードには期間 ddlを要するから、 この PTSよ り期間 ddlだけ早い時点に、この ODSの DTS値を設定せねばならない。 図 2 2において、 動画と合成される ODS は 1つだけであり、 単純化 されたケースを想定している。 動画と合成されるべき対話画面の初期表 示が、 複数の ODSで実現される場合、 ICSの PTS及び DTS、 ODS の PTS, DTSは図 2 3のように設定せねばならない。
図 2 3は、 対話画面の初期表示が複数 ODS にて構成され、 デフオル トセレクテツ ドボタンが確定している場合の DTS、PTSの設定を示す図 である。 初期表示を実現する ODS のう ち、 デコー ドが最も遅い S-ODSsfirstのデコードが図中の期間 ddlの経過時に終了するなら、 こ の S-ODSsfirstの PTS(DSn[S-ODSsfirst])は、期間 ddlの経過時を示す よう設定される。
'更に、 初期表示の実現には、 画面クリアを行い、 デコードされたダラ フ ィ ク ス ォ ブ ジ ェ ク ト を 転送せ ね ば な ら な い か ら 、 こ の PTS(DSn[S-ODSsfirst])の値に画面ク リ ァに要する期間(90,000 x (8 x video— width x video— height〃128, 000, 000))、 デコードされたグラフイ ク ス オ ブ ジ ェ ク ト の 転 送 期 間 (90,000 X ( ∑ SIZE(DSn[ICS.BUTTON[i]])//128,000,000))を足した時点以降を、 ICS の PTS(DSn[ICS])として設定せねばならない。
図 2 4は、 対話画面の初期表示が複数 ODS にて構成され、 デフオル トセレクテツ ドボタンが未定である場合の DTS、PTSの設定を示す図で ある。 初期表示を実現する S-ODSs のう ち、 デコー ドが最も遅い S-ODSslastのデコードが図中の期間 dd2 の経過時に終了するなら、 こ の S-ODSslast 'の PTS(DSn[S-ODSslast])は、 期間 dd2の経過時を示す ように設定される。
更に、 初期表示の実現には、 画面クリアを行い、 デコードされたダラ フ ィ ク ス ォ ブ ジ ヱ ク ト を転送せね ば な ら な い か ら 、 こ の PTS(DSn[S-ODSslast])の値に画面ク リ ァに要する期間(90,000 x (8 x video— width x video— height〃128, 000, 000))、 デコ一ドされたグラフィ ク ス ォ ブ ジ ヱ ク ト の 転 送 期 間 (90,000 ( ∑ SIZE(DSn[ICS.BUTTON[i]])//128,000,000))を足した時点以降を、 ICS の PTS(DSn[ICS])として設定せねばならない。 以上が ICS による同期 制御である。
DVDにおいて、対話制御が有効になる期間は、 そのビデオス ト リーム の GOP にあたる VOBUの期間であつたが、 BD-ROMでは、 Epoch に 含まれる ICS の PTS、 DTS によりこの有効期間を任意に設定し得る。 このため BD-ROMにおける対話制御は、 GOP との依存性をもたない。 尚、 ICSの FTSによる同期制御は、 再生時間軸上のあるタイ ミ ングで ボタンを表示するという制御のみならず、 再生時間軸上のある期間で Popup メニューの表示を可能とする制御を含む。 Popup メニューとは、 リモコン 4 0 0に設けられたメニューキーの押下で Popup 表示される メニューであり、 この Popup表示が、 AVClip におけるあるピクチャデ ―タの表示タイ ミ ングで可能になることも、 ICSの PTSによる同期制御 である。 Popupメニューを構成する ODSは、 ボタンを構成する ODS と 同様、 ODSのデコードが完了し、 デコードにより得られたグラフィ ック オブジェク トがグラフィ ックプレーンに書き込まれる。 このグラフィ ッ クプレーンへの書き込みが完了していなければ、 ユーザからのメニュー コールに応ずることはできない。そこで Popupメニューの同期表示にあ たって、 ICS の PTS に、 Popup 表示が可能になる時刻を示しておくの である。
以上が本発明に係る記録媒体の実施形態である。 続いて本発明に係る 再生装置の実施形態について説明する。 図 2 5は、 本発明に係る再生装 置の内部構成を示す図である。 本発明に係る再生装置は、 本図に示す内 部に基づき、 工業的に生産される。 本発明に係る再生装置は、 主として システム LSIと、 ドライプ装置、 マイコンシステムという 3つのパーツ からなり、 これらのパーツを装置のキャビネッ ト及び基板に実装するこ とで工業的に生産することができる。 システム LSIは、 再生装置の機能 を果たす様々な処理部を集積した集積回路である。 こう して生産される 再生装置は、 BD ドライブ 1、 トラックバッファ 2、 PID フィルタ 3、 Transport Buffer 4 a,b,c, 周辺回路 4 d、 ビデオデコーダ 5、 ビデオプ レーン 6、 オーディオデコーダ 7、 グラフィ クスプレーン 8、 GLUT部 9、 加算器 1 0、 グラフィ クスデコーダ 1 2、 Coded Data バッファ 1 3、 周辺回路 1 3 a、 Stream Graphicsプロセッサ 1 4、 Object Buffer 1 5、 Composition ノ ッファ 1 6、 Graphical コン トローラ 1 7、 UO コントローラ 1 8、 プレーヤレジスタ群 1 9、 制御部 2 0から構成され -る。
BD-ROM ドライブ 1は、 BD-ROM のローディ ング Zリードノイジェ ク トを行い、 BD-ROMに対するアクセスを実行する。
ト ラ ッ クノ ッ フ ァ 2は、 FIFO メモ リ であり、 BD-ROMから読み出さ れた TSバケツ トが先入れ先出し式に格納される。
PID フィルタ 3は、 トラックバッファ 2から出力される複数 TSパケ ッ トに対してフィルタリングを施す。 PIDフィルタ 3によるフィルタ リ ングは、 TS ノ、。ケッ トのうち、 所望の PID をもつもののみを Transport Buffer 4 a,b,cに書き込むことでなされる。 PIDフィルタ 3によるフィル タリ ングでは、 ノ ッファ リ ングは必要ではない。 従って、 PIDフィルタ 3に入力された TSバケツ トは、時間遅延なく、 Transport Buffer 4 a,b,c に書き込まれる。
Transport Buffer 4 a,b,cは、 PIDフィルタ 3から出力された TSパケ ッ トを先入れ先出し式に格納しておく メモ リである。
周辺回路 4 dは、 Transport Buffer 4 a,b,cから読み出された TSパケ ッ トを、 機能セグメントに変換する処理を行うワイアロジックである。 変換により得られた機能セグメントは Coded Dataバッファ 1 3に格納 される。
ビデオデコ一ダ 5は、 PID フィルタ 3から出力された複数 TSパケッ トを復号して非圧縮形式のピクチャを得てビデオプレーン 6に書き込む。 ビデオプレーン 6は、 動画用のプレーンである。
オーディオデコーダ 7は、 PID フィルタ 3から出力された TSバケツ トを復号して、 非圧縮形式のオーディオデータを出力する。
グラフィクスプレーン 8は、 一画面分の領域をもったメモリであり、 一画面分の非圧縮グラフィ クスを格納することができる。
CLUT部 9は、 グラフィクスプレーン 8に格納された非圧縮グラフィ クスにおけるインデックスカラ一を、 PDSに示される Y,Cr, Cb値に基づ き変換する。
加算器 1 0は、 CLUT部 9により色変換された非圧縮グラフイ クスに、 PDSに示される T値 (透過率)を乗じて、 ビデオプレーン 6に格納された 非圧縮状態のピクチャデータと画素毎に加算し、 合成画像を得て出力す る。
グラフィクスデコーダ 1 2は、 グラフィ クスス ト リームをデコードし て、 非圧縮グラフィ クスを得て、 これをグラフィ クスオブジェク トとし てグラフィクスプレーン 8に書き込む。 グラフィ クスス ト リームのデコ —ドにより、 字幕やメニューが画面上に現れることになる。 このグラフ イ クスデコーダ 1 2は、 Coded Data ノ ソ フ ァ 1 3、 周辺回路 1 3 a、 Stream Grapnicsプロセッサ 1 4、 Object Buffer 1 5、 Composition ノヽ ッフ ァ 1 6、 Graphical コン ト ローラ 1 7から構成される。
Code Data Buffer 1 3は、 機能セグメン トが DTS、 PTS と共に格納 されるバッファである。 かかる機能セグメン トは、 Transport Buffer 4 a,b,cに格納された トランスポートス ト リームの各 TSバケツ 卜から、 TS パケッ トへッダ、 PESパケッ トヘッダを取り除き、 ペイロードをシーケ ンシャルに配列することにより得られたものである。 取り除かれた TS バケツ トへッダ、 PES パケッ トヘッダのうち、 PTSZDTS は、 PES パ ケッ ト と対応付けて格納される。
周辺回路 1 3 aは、 Coded Dataノ ッファ 1 3 - Stream Graphicsプ 口セッサ 1 4間の転送、 Coded Data ノ ソフ ァ 1 3 - Composition ッ ファ 1 6間の転送を実現するヮィャロジックである。 この転送処理にお いて現在時点が ODSの DTSに示される時刻になれば、 ODSを、 Coded Dataノ ッファ 1 3から Stream Graphicsプロセッサ 1 4に転送する。 また現在時刻が ICS、 PDSの DTSに示される時刻になれば、 ICS、 PDS を Composition ノ ッファ 1 6に転送するという処理を行う。
Stream Graphics Processor 1 4は、 ODSをアコードして、 デコード により得られたイ ンデックスカラーからなる非圧縮状態の非圧縮グラフ イ クスをグラフィ クスオブジェク トとして Object Buffer 1 5に書き込 む。 この Stream Graphicsプロセッサ 1 4によるデコードは、 ODS に 関連付けられた DTSの時刻に開始し、 ODSに関連付けられた PTSに示 されるデコードデッ ドラインまでに終了する。 上述したグラフイ ツクオ ブジェク 卜のデコードレート Rdは、 この Stream Graphicsプロセッサ 1 4の出力レートである。
Object Buffer 1 5には、 Stream Graphicsプロセッサ 1 4のデコード により得られたグラフィ クスォブジェク トが配置される。
Compositionバッファ 1 6は、 ICS、PDSが配置されるメモリである。
Graphical コン トローラ 1 7は、 Composition ノ ッファ 1 6に配置さ れた ICSを解読して、 ICSに基づく制御をする。 この制御の実行夕イ ミ ングは、 ICSに付加された PTSの値に基づく。
UO コントローラ 1 8は、 リモコンゃ再生装置のフロントパネルに対 してなされたユーザ操作を検出 して、 ユーザ操作を示す情報(以降 UO(User Operation)という)を制御部 2 0に出力する。
プレーヤレジスタ群 1 9は、制御部 2 0に内蔵されるレジスタであり、 32個の Player Status Registerと、 32個の General Purppose Register とからなる。 Player Status Registerの設定値(PSR)がどのような意味を もっかは、 以下に示す通りである。 以下の PSR(x)という表記は、 X番目 の Player Status Registerの設定値を意味する。
PSR(0) : Reserved
PSR(l) : デコード対象たるオーディオス ト リーム
のス ト リ一ム番号
PSR(2) : デコード対象たる副映像ス ト リームのス ト リーム 番号
PSR(3) ユーザによるアングル設定を示す番号
PSR(4) 現在再生対象とされているタイ トルの番号 PSR(5) 現在再生対象とされている Chapterの番号 PSR(6) 現在再生対象とされている PLの番号
PSR(7) 現在再生対象とされている Playltemの番号 PSR(8) 現在の再生時点を示す時刻情報
PSR(9) ナビゲーショ ンタイマのカウン ト値
PSR(IO) 現在セレクテツ ド状態にあるボタンの番号 PSR(ll)' (12) Reserved
PSR(13) ユーザによるバレンタルレベルの設定
PSR(14) 再生装置の映像再生に関する設定
PSR(15) 再生装置の音声再生に関する設定
PSR(16) 再生装置における音声設定を示す言語コード PSR(17) 再生装置における字幕設定を示す言語コー ド PSR(18) メニュ一描画のための言語設定
PSR(19)' (63) Reserved
PSR(8)は、 AVClip に属する各ピクチャデータが表示される度に更新 される。 つまり再生装置が新たなピクチャデータを表示させれば、 その 新たなピクチャデータの表示開始時刻(Presentation Time)を示す値に PSR(8)は更新される。 この PSR(8)を参照すれば、 現在の再生時点を知 得することができる。
制御部 2 0は、 グラフィ クスデコーダ 1 2との双方向のやりとりを通 じて、 統合制御を行う。 制御部 2 0からグラフィ クスデコーダ 1 2への やりとりとは、 UO コン ト ローラ 1 8が受け付けた UO を、 グラフイ ク スデコーダ 1 2に出力することである。 グラフィ クスデコーダ 1 2から 制御部 2 0へのやりとりとは、 ICSに含まれるポタンコマンドを制御部 2 0に出力することである。 W
以上のように構成された再生装置において、 各構成要素はパイプライ ン式にデコード処理を行う。
図 2 6は、 ODSのデコ一ドがどのように行われるかの時間的遷移を示 すタイ ミ ングチャートである。 ODSのデコードがどのように行われるか の時間的遷移を示すタイ ミ ングチャートである。 第 4段目は、 BD-ROM における Display Setを示し、 第 3段目は、 Coded Dataノ ッファ 1 3へ の ICS、 PDS、 ODSの読出期間を示す。 第 2段目は、 Stream Graphics プロセッサ 1 4による各 ODS のデコ一 ド期間を示す。 第 1段目は、 Graphicalコントローラ 1 7による処理期間を示す。各 ODS .のデコ一ド 開始時刻は、 図中の DTS11,DTS12,DTS13に示されている。 デコード開 始時刻が DTS に規定されているので、 各 ODS は、 自身.の DTS に示さ れる時刻までに Coded Dataバッファ 1 3に読み出されなければならな い。そのため ODS1の読み出しは、 Coded Dataバッファ 1 3への ODS1 のデコ一ド期間 dpiの直前までに完了している。 Coded Dataバッファ 1 3への ODSnの読み出しは、 ODS2のデコ一ド期間 dp2の直前までに 完了している。
一 方 、 各 ODS の デ コ ー ド デ ッ ド ラ イ ン は 、 図 中 の PTS11,PTS12,PTS13に示されている。 Stream Graphicsプロセッサ 1 4による ODS1 のデコードは PTS11 までに完了し、 ODSnのデコード は、 PTS12 に示される時刻までに完了する。 以上のように、 各 ODSの DTS に示される時刻までに、 ODS を Coded Dataバッファ 1 3に読み 出し、 Coded Dataバッファ 1 3に読み出された ODSを、各 ODSの PTS に示される時刻までに、 デコードして Object Buffer 1 5に書き込む。 こ れらの処理を、 1つの Stream Graphicsプロセッサ 1 4は、 ノ、。ィプライ ン式に行う。
デフォルトセレクテツ ドボタンが確定している場合、 対話画面の初期 表示に必要なグラフィ クスォブジェク トが Object Buffer 1 5上で全て 揃うのは、 ノーマル状態に対応する button-stateグループ、 セレクテツ ド状態に対応する button-state グループの先頭 0DSのデコ一ドが完了 した時点である。 本図でいえば、 PTS13に示される時点で、 対話画面の 初期表示に必要なグラフィ クスォブジヱク トは全て揃う。
本図の第 1段目における期間 cdlは、 Graphical コン ト ローラ 1 7が グラフィ タスプレーン 8をクリァするのに要する期間である。 また期間 tdlは、 Object Buffer 1 5上にえられたグラフィ クスオブジェク トを、 グラフィ クスプレーン 8に書き込むのに要する期間である。 グラフイ ク ス プ レ ー ン 8 に お け る 書 込 先 は 、 ICS に お け る button_horizontal—position,button— vertical— position に T Sれて Vヽる 場所である。 つまり ODSの PTS13の値に、 画面クリアの期間 cdl と、 デコードにより得られたグラフィ クスオブジェク 卜の書込期間 tdl とを 足し合わせれば、 対話画面を構成する非圧縮グラフイ クスがグラフイ ク スプレーン 8上に得られることになる。 この非圧縮グラフィ タスの色変 換を CLUT部 9に行わせ、 ビデオプレーン 6に格納されている非圧縮ピ クチャとの合成を加算器 1 0に行わせれば、 合成画像が得られることに なる。
Display Setに含まれる全ての ODSをデコードした上で初期表示を行 う場合と比較すると、 セレクテツ ド状態に対応する button-stateグルー プ、 ァクティブ状態に対応する button-stateグループのデコ一ド完了を 待つことなく、 初期表示は可能になるので、 図中の期間 hylだけ、 初期 表示の実行は早められることになる。 .
尚、 本図における ODSl〜ODSnという表記は、 「1上「n」というような 同じ番号が付されているが、 これら N-ODSs,S-ODSs,A-ODSsに属する ODSは別々のものである。 以降、 同様の表記の図は同じ意味であるとす る。
グラフィ クスデコーダ 1 2において、 Graphical コントローラ 1 7が グラフィ クスプレーン 8のクリアやグラフ ィ クスプレーン 8への書き込 みを実行している間においても、 Stream Graphicsプロセッサ 1 4のデ コードは継続して行われる(第 2段目の ODSnのデコード期間, ODS1 の デコード期間, ODSn のデコード期間 n,)。 Graphical コン ト ローラ 1 7 によるグラフ ィ クスプレーン 8のク リ アやグラフ ィ クスプレーン 8への 書き込みが行われている間に、 残りの ODS に対するデコードは、 継続 してなされるので、残りの ODSのデコードは早く完了する。残りの ODS のデコードが早く完了することにより対話画面を更新するための準備は 早く整うので、 これら残りの ODS を用いた対話画面更新も、 ユーザ操 作に即応することができる。 以上のようなパイプライン処理により、 対 話画面の初期表示、 更新の双方を迅速に実施することができる。
図 2 6ではデフォルトセレクテツ ドボタンが確定している場合を想定 したが、 図 2 7は、 デフォルトセレクテッ ドボタンが未確定である場合 の、再生装置によるパイプライン処理を示すタイ ミ ングチャートである。 デフォルトセレクテツ ドボタンが未確定している場合、 button-state グ ループに属する全ての ODS をデコードして、 グラフィ クスオブジェク トをグラフィ クスプレーン 8に得れば、 初期表示に必要なグラフイ クス ォブジェク トは全て揃う。 Display Setに含まれる全ての ODSをデコ一 ドした上で初期表示を行う場合と比較すると、 アクティブ状態に対応す る button-stateグループのデコ一ド完了を待つことなく、 初期表示は可 能になる。 そのため図中の期間 hy2だけ、 初期表示の実行は早められる ことになる。
以上が再生装置の内部構成である。 続いて制御部 2 0及びグラフイ ク スデコーダ 1 2を、 どのようにして実装するかについて説明する。 制御 部 2 0は、 図 2 8、 図 2 9の処理手順を行うプログラムを作成し、 汎用 C P Uに実行させることにより実装可能である。 以降、 図 2 8、 図 2 9 を参照しながら、 制御部 2 0の処理手順について説明する。
図 2 8は、 制御部 2 0による LinkPL関数の実行手順を示すフローチ ャ一 トである。 LinkPL 関数を含むコマン ドの解読時において、 制御部 2 0は本図のフローチャートに従って、 処理を行う。
本フローチャートにおいて処理対象たる Playltem を PIy、 処理対象 たる ACCESS UNITを ACCESS UNITvとする。 本フローチャー トは、 LinkPL の引数で指定された力 レン ト PL情報(.mpls)の読み込みを行い (ステップ S 1 )、 カ レント PL情報の先頭の PI情報を Plyにする(ステ ップ S 2 )。 そして Ply の Clip_information— file— name で指定される Clip情報を読み込む(ステツプ S 3 )。
Clip情報を読み込めば、 カ レント Clip情報の EP— map を用いて Ply の IN_timeを、 ア ドレスに変換する(ステップ S 4 )。 そして変換アドレ スにより特定される ACCESS UNITを ACCESS UNITvにする(ステツ プ S 5 )。 一方、 Plyの Out— timeを,力 レント Clip情報の EP— mapを用 いてアドレスに変換する(ステップ S 6 )。 そして、 その変換アドレスに より特定される ACCESS UNI を ACCESS UNITwにする(ステップ S 7 ) o
こう して ACCESS UNITv,w が決まれば、 ACCESS UNITv から ACCESS UNITwまでの読み出しを BD ドライブに命じ(ステップ S 8 )、 Plyの IN— timeから Out_timeまでのデコード出力をビデオデコーダ 5、 オーディオデコーダ 7、グラフィ クスデコーダ 1 2に命じる(ステップ S 9 )。
ステップ S 1 1 は、 本フローチャー トの終了判定であり、 Ply が PIz になつたかを判定している。 もしステップ S 1 1が Yesなら本フローチ ャ一 トを終了し、 そうでないなら、 Plyを次の Playltemに設定して(ス テツプ S 1 2 )、 ステップ S 3に戻る。 以降、 ステップ S 1 1が Yesと判 定されるまで、 ステップ S 1〜ステップ S 1 0の処理は繰り返される。 ステップ S 1 0は、 ACCESS UNITの読み出しにともなって機能セグ メントを Coded Dataバッファ 1 3にロードするステップである。
図 2 9は、 機能セグメン トのロード処理の処理手順を示すフ口一チヤ ートである。本フローチャートにおいて SegmentKとは、 ACCESS UNIT と共に読み出された Segment(ICS,ODS,PDS)のそれぞれを意味する変 数であり、 無視フラグは、 この SegmentKを無視するかロードずるかを 切り換えるフラグである。 本フローチャートは、 無視フラグを 0に初期 化した上で、 ステップ S 2 1〜S 2 4、 ステップ S 2 7〜 S 3 5の処理 を全ての SegmentK について繰り返すループ構造を有している(ステツ プ S 2 5、 ステップ S 2 6 )。
ステップ S 2 1 は、 SegmentKが ICSであるか否かの判定であり、 も し SegmentKが ICSであれば、 ステップ S 2 7、 ステップ S 2 8の判定 を行う。
ステップ S 2 7は、 ICSにおける Segment— Typeが Acquisition Point であるか否かの判定である。 SegmentKが Acquisition Pointであるな ら、ステップ S 2 8に移行し、 SegmentKがもし Epoch Startか Normal Caseであるなら、 ステップ S 3 3に移行する。
ステップ S 2 8は、 先行する DSがプレーヤ上の Coded Dataバッフ ァ 1 3に存在するかどうかの判定であり、 ステップ S 2 7が Yesである 場合に実行される。 Coded Dataノ ッファ 1 3上に DS が存在しないケ ースとは、頭出しがなされたケースをいう。 この場合、 Acquisition Point たる DSから、 表示を開始せねばならないので、 ステップ S 3 0に移行 する(ステップ S 2 8で No)。
Coded Dataバッファ 1 3上に先行する DSが存在する場合は(ステッ プ S 2 8,で Yes)、 無視フラグを 1 に設定して(ステップ S 2 9 )、 ステツ プ S 3 1 に移行する。
ステップ S 3 1 は、 command— update— flag力 1 であるか否かの判定 である。 もし 1 であるなら(ステップ S 3 1で Yes)、 ボタン情報のボタ ンコマンドのみを Coded Dataバッファ 1 3にロードし、 それ以外を無 視する(ステップ S 3 2 )。 もし 0 であるなら、 ステップ S 2 2に移行す る。 これにより Acquisition Pointを示す ICSは無視されることになる (ステップ S 2 4 )。
無視フラグが 1に設定されていれば、 Acquisition Pointたる DSに属 する機能セグメントは全て、 ステップ S 2 2が No になって、 無視され ることになる。
ステップ S 3 3は、 ICSにおける Segment— Typeが Normal Caseで あるか否かの判定である。 SegmentKが Epoch Startであるなら、 ステ ップ S 3 0において無視フラグを 0に設定する。 無視フラグが 0であれば(ステップ S 2 2で Yes;)、 SegmentKを Coded Dataノ ッファ 1 3にロードし(ステップ S 2 3 )、
SegmentKがもし Epoch Startか Normal Caseであるなら、 ステツ プ S 3 4に移行する。ステップ S 3 4は、ステップ S 2 8と同じであり、 先行する DSがプレーヤ上の Coded Dataバッファ 1 3に存在するかど うかの判定を行う。 もし存在するなら、 無視フラグを 0に設定する(ステ ップ S 3 0 )。 存在しないなら、 無視フラグを 1 に設定する(ステップ S 3 5 )。 かかるフラグ設定により、 先行する DS がプレーヤ上の Coded Dataバッファ 1 3に存在しない場合、 Normal Case を構成する機能セ グメン トは無視されることになる。
これらのボタン情報(1)〜(3)の auto— action— flagカ 1 に設定されてい れば、 これら 3つのボタンはセレクテツ ド状態になる代わりにァクティ ブ状態に な り 、 ポタ ン情報の 内部に含まれる ボタ ン コ マ ン ド (LinkPL(PL#21),LinkPL(PL#22),LinkPL(PL#23))が実行される。 3つの ボタン情報に含まれるボタンコマン ドのリンク先 PL#21,#22,#23が、そ れそれの選手の打撃シーン、 投球シーンであれば、 これら打撃シーン、 投球シーンは、選手の背番号にあたる数値入力で再生されることになる。 背番号という、 知名度が高い番号でのダイ レク トなボタン選択が可能に なるので、 ユーザによる操作性は一段と高まる。
DSが、 図 3 0のように多重化されている場合を想定して、 DSの読み 出しがどのように行われるかを説明する。 図 3 0の一例では、 3つの DS が動画と多重化されている。 この 3 つの DS のうち、 初めの DS1 は、 Segment— Typeが Epoch— Startであり、 Command一 up date— flagカ 0に 設定され、 LinkPL(PL#5)というボタンコマン ドを含む。
DS10は、 DS1の duplicateであり、 Segment— Typeは Acquision Point, Command— update— flagが 0に設定され、 LinkPL(PL#5)というボタンコ マン ドを含む。
DS20は、 DS1の Inheritであり、 Segment— Typeは Acquision Point になっ ている。 DS1 か ら変化があるのはボタ ン コ マ ン ドであ り (LinkPL(PL#10))、 これを示すべく Command— update— flagカ 1に設定 されている。
かかる 3つの DSが、 動画と多重化されている AVClip において、 ピ クチャデータ ptlO からの頭出しが行われたものとする。 この場合、 頭 出し位置に最も近い DS10が、 図 2 9のフローチャー トの対象となる。 ステップ S 2 7において segment— typeは Acquisition Pointと判定され るが、 先行する DSは Coded Dataバッファ 1 3上に存在しないため、 無視フラグは 0に設定され、 この DS10が図 3 1 に示すように再生装置 の Coded Data ノ ッフ ァ 1 3にロー ドされる。 一方、 頭出し位置が Display Set の存在位置よ り後である場合は(図 3 0の破線 hstl)、 Display SetlOに後続する Display Set20(図 3 1の hst2)が Coded Data バッファ 1 3に読み出される。
図 3 2のように通常再生が行われた場合の DS1, 10,20のロードは、 図 3 3に示すものとなる。 3 つの DS のうち、 ICS の Segment— Type が Epoch Startである DS1は、 そのまま Coded Data ノ ッファ 1 3に口一 ドされるが(ステップ S 2 3 )、 ICS の Segment— Type が Acquisition Pointである DS10については、 無視フラグが 1に設定されるため(ステ ップ S 2 9 )、 これを構成する機能セグメントは Coded Data ノ ソファ 1 3に口一ドされず無視される(ステップ S 2 4 )。また DS20については、 ICS の . Segment— Type は Acquisition Point で あ る が 、 Command_update_£lagが 1 に設定されているので、 ステップ S 3 1が Yesになり、 ポタンコマンドのみがロードされて、 Coded Dataノ ッファ 1 3上の DSのうち、 ICS 内のボタンコマン ドのみをこれに置き換えら れる(ステップ S 3 2 )。 しかし無視フラグは依然として 1 を示している ので、 このボタンコマンド以外は、 ロードされることなく無視される。
DSによる表示内容は同じであるが、 DS20への到達時には、 ボダンコ マンドは、 DS の LinkPL(#5)から LinkPL(#10)に置き換えられている。 かかる置き換えにより、 再生進行に伴い、 ポタンコマン ドの内容が変化 するという制御が可能になる。 続いて Graphical コン ト ローラ 1 7の 処理手順について説明する。 図 3 4は Graphicalコントローラ 1 7の処 理手順のうち、 メインル一チンにあたる処理を描いたフローチャー 卜で ある。本フローチャートは、タイムス夕ンプ同期処理(ステップ S 3 5 )、 アニメーシ ョ ン表示処理(ステップ S 3 6 )、 UO 処理(ステップ S 3 7 ) という 3つの処理を繰り返し実行するというものである。
続いて Graphicalコントローラ 1 7の処理手順について説明する。 図 3 4は Graphicalコントローラ 1 7の処理手順のうち、 メインルーチン にあたる処理を描いたフローチャー トである。 本フローチャートは、 同 期処理(ステップ S 3 5 )、 アニメーシ ョ ン表示処理(ステツプ S 3 6 )、 UO 処理(ステップ S 3 7 )という 3 つの処理を繰り返し実行するという ものである。
図 3 5は、 タイムスタンプによる同期制御の処理手順を示すフローチ ヤートである。 本フローチャートは、 ステップ S 4 3〜ステップ S 4 7 の何れかの事象が成立しているかどうかを判定し、 もしどれかの事象が 成立すれば、 該当する処理を実行してメイ ンルーチンにリターンすると いうサブルーチンを構成する。
ステップ S 4 3は、 現在の再生時点が ODSの PTSに示される時刻で あるかの判定であり、 もしそうであれば、 グラフィクスプレーン 8への 書き込み処理を行って(ステツプ S 5 1 )、 メイ ンルーチンにリ ターンす る。
ステップ S 4 5は、 現在の再生時点が ICS の PTSであるかの判定で ある。 もしそうであれば、 グラフィ クスプレーン 8の格納内容の出力を 開始させる。 この格納内容の出力先は、 CLUT部 9であり、 CLUT部 9 により色変換がなされた上で、 対話画面はビデオプレーン 6の格納内容 と合成される。 これにより初期表示が実行される(ステップ S 5 2 )。 そ して変数 qに 1 を設定して(ステップ S 5 3 )、 メインルーチンにリタ一 ンする。 尚、 変数 qはアニメーショ ン表示に用いられるグローバル変数 (複数フローチヤ一トにわたつて有効になるという意味である)であり、 その意味合いについては後述する。 ステップ S 4 6、 ステップ S 4 7は、 ICSに記述された時間情報に現 在の再生時点が到達したかどうかの判定である。
ステップ S 4 6は、 現在の再生時点が selection— TimeOut—PTS に示 さ れ る 時刻 で あ る か の 判定 で あ り 、 も し そ う で あ れ ば、 defaut—activated_button— number で指定されるボタンをァクティベー トする処理を行い、 メインルーチンにリターンする(ステップ S 5 4 )。 ステップ S 4 7は、 現在の再生時点が Composition— TimeOut—PTSで あるかの判定であり、 もしそうであれば、 画面ク リアを行ってメインル —チンにリターンする(ステップ S 5 5 )。 以上がタイムスタンプによる 同期処理である。 この同期処理において、 ステップ S 5 1、 ステップ S 5 4の処理手順は、 サブルーチン化されている。 ステップ S 5 1のサブ ルーチンの処理手順を、 図 3 6を参照しながら説明する。
図 3 6は、 グラフィ クスプレーン 8の書込処理の処理手順を示すフ口 —チャートである。 グラフィ クスプレーン 8への書込は、 初期表示に先 立ち必要なものである。本フローチャートにおける ODSxとは、 PSR(IO) に示される、 現在の再生時点にあたる PTS をもつ ODS のことである。 ステップ S 6 1〜ステツプ S 6 3は、 この ODS が、 対話画面の初期表 示に必要な ODS のうち、 最後のものであるかの判定であり、 もし最後 の ODSであれば、ステップ S 6 4〜ステップ S 7 2の処理を実行する。 ステップ S 6 1 は、 default_selected— button— numberによる指定が有 効であるか否かの判定であり、 もし有効であるなら、 ステップ S 6 3に おいて ODSx は S-ODSsfirst であるかを 定する。 ステップ S 6 3が No ならそのまま本フローチャートを終了してメインル一チンにリタ一 ンする。
ステップ S 6 1 において No と判定されれば、 ステップ S 6 2におい て ODSx は, S-ODSslast であるか否かを判定する。 ステップ S 6 2が No ならそのまま本フローチャートを終了してメインルーチンにリタ一 ンする。
ステップ S 6 4は、 ICSにおける Segment— typeが Epoch Startであ るか否かの判定であり、 もし Epoch Startであればステップ S 6 5にお いてグラフィ クスプレーン 8をクリァしてから、 ステップ S 6 6〜ステ ップ S 7 2の処理を行う。 グラフィ クスプレーン 8のク リアに要する期 間が、 図 2 3、 図 2 4の期間 cdlである。 もし Epoch Startでなければ ステップ S 6 5をスキップしてステップ S 6 6〜ステップ S 7 2の処理 を行つ。
ステップ S 6 6〜ステップ S 7 2は、 ICSにおける各ポタン情報につ いて繰り返されるループ処理を形成している(ステップ S 6 6、ステップ S 6 7 )。本ループ処理において処理対象になるべきボタン情報をボタン 情 報 (p) と い う 。 ス テ ッ プ S 6 8 は 、 button_info(p) は default— selectedjbutton— number により指定されたデフォルトセレク テッ ドボタンに対応するボ夕ン情報であるかの判定である。
デフォルトセレクテッ ドボタンに対応するボタン情報でないなら、 button— info、p) の normal一 state_info に 指 疋 さ れ て い る start— object— id— normal のグラフィ クスオブジェク トを、グラフ ィ クス ォブジヱク ト(p)として Object Buffer 15から特定する(ステップ S 6 9 )。 デフ ォル トセレクテツ ドボタンに対応するボタン情報であるなら、 button_info(p) の selected— state— info に 指 定 さ れ て い る start— object— id— selected のグラフィ クスオブジェク トを、グラフィ クス ォブジェク ト(p)として Object Buffer 15から特定して(ステップ S 7 0 )、 ポタン(p)をカ レン トポタンにする(ステップ S 7 1 )。 カ レントポタンと は、 現在表示中の対話画面において、 セレクテッ ド状態になっているボ タンであり、 再生装置はこのカ レン トボタンの識別子を、 PSR(10)とし て格納している。
ステップ S 6 9、 ステップ S 7 0を経ることでグラフィ クスオブジェ ク ト (p) が 特 定 さ れ れ ば 、 button_info(p) の button— horizontal一 position, button一 vertical— position に示 sれ グラ フィ クスプレーン 8上の位置に、グラフィ クスォブジェク ト(p)を書き込 む(ステツプ S 7 2 )。· かかる処理を ICSにおける各ボタン情報について 繰り返せば、 各ボタンの状態を表す複数グラフィ クスォプジェク トのう ち、 最初のグラフィ クスォブジェク トがグラフィ クスプレーン 8上に書 き込まれることになる。 Object Buffer 1 5上の全てのグラフィ クスォブ ジェク トについて、 かかる処理を実行するのに要する期間が、 図 2 3、 図 2 4の期間 tdlである。 以上がステップ S 5 1 の詳細である。 続いて ステップ S 5 4のサブルーチンの処理手順を、 図 3 7を参照しながら説 明する。
図 3 7は、 デフォルトセレクテツ ドボタンのオートァクティペートの 処 理 手 順 を 示 す フ ロ ー チ ャ ー ト で あ る 。 先 ず default_activated_— button— numberが 0であるか, FFであるかどうかを 判定し(ステップ S 9 1 )、 00であれば何の処理も行わずメィンルーチン にリターンする。 もし default— activated——button— numberが FFなら、 力 レン トボタンをボタン uとする(ステップ S 9 5 )。
00でも、 FFでもなければ、 default— activated— button— numberで指 定されるボタンをボタン u とし(ステップ S 9 2 )、 ポタン uをァクティ ブ状態に遷移する(ステ ッ プ S 9 3 )。 この遷移は、 ポタ ン u の activated— state— lnio. に お け る start— object—id— activated か ら end_object_id_activatedまでのグラフィ クスオブジェク トを、 ボタン u の button— horizontal— position, button— vertical— position に不されてい る位置に書き込むことでなされる。 そしてボタン uに対応するポタンコ マン ドを実行した後(ステップ S 9 4 )、 メインル一チンにリターンする。 以上の処理により、 セレクテッ ド状態のボタンは、 所定時間の経過時 においてアクティブ状態に遷移させられることになる。 以上が、 図 3 7 のフローチャー トの全容である。
続いて、 メニューにおけるアニメーション(ステップ S 3 6 )について 説明する。 図 3 8は、 アニメーショ ン表示の処理手順を示すフローチヤ ートである。
こ こで初期表示は、 各 button— info の normaし state—info における start— object— id_normal 、 selected— state一 mio に お け る start_object_id_selected で指定されているグラフィ クスォブジェク ト を、 グラフィ クスプレーン 8に書き込まれることにより実現した。 ァニ メーシヨンとは、 ステップ S 3 5〜ステップ S 3 7のループ処理が一巡 する度に、 各ボタンにおける任意のコマ(qコマ目にあるグラフィ クスォ ブジェク ト)をこのグラフィ クスプレーン 8に上書する処理である。 この 更新は、 button— infoの normal— state— info、 selected— state— infoで指 されているグラフィ クスォブジェク トを、 一枚ずつグラフィ クスプレー ン 8に書き込んでメインルーチンにリターンすることでなされる。 ここ で変数 q とは、 各ボタン情報の button_info の normaし state_info、 selected_state_infoで指定されている個々のグラフィ クスォブジヱク ト を指定するための変数である。
このアニメ一ション表示を実現するための処理を、 図 3 8を参照しな がら説明する。 尚本フローチャートにおいては、 各ポタンにおけるァニ メーシヨンのコマ数を同じであるとの想定で作図している。 これはコマ 数がポタン毎に異なると、 処理手順が複雑になるため、 簡略化したいと の配慮である。 また本フローチャートは、 記述の簡略化を期するため、 ICSの repeat— normal— flag、 repeat— selected— flagが繰り返し要と設定 されているとの前提で作図している。
ステップ S 8 0は初期表示が済んでいるか否かの判定であり、 もし済 んでいなけれ何の処理も行わずにリターンする。 もし済んでいればステ ップ S 8 1〜ステップ S 9 0の処理を実行する。 ステップ S 8 1〜ステ ップ S 9 0は、 ICS における各 button— info について、 ステップ S 8 3 〜ステップ S 8 7の処理を繰り返すというループ処理を構成している (ステップ S 8 1、 ステップ S 8 2 )。
ステップ S 8 3は、 button— info(p)が、 カ レン トポタ ンに対応する b tton_infoであるか否かの判定である。
力 レ ン ト ボ タ ン に 対 応 す る ボ タ ン で あ れ ば 、 button_info(p).normal_state_mfo こお T start— object— id— selectedに 変数 qを足した識別子を ID(q)とする(ステップ S 8 4 )。 力 レ ン ト ボ タ ン 以 外 の ポ タ ン な ら ば 、 button— info、p入 selected— state一 info における start— object— id— selected に変数 qを足した識別子を ID(q)とする(ステップ S 8 5 )。
そして Object Bufferl5に存在する、 ID(q)を有するグラフイ クスォブ ジ ヱ ク ト (p) を 、 button— info(p) の button— horizontal— position, button一 vertical一 position に 示 さ れ る Graphics Plane8上の位置に書き込む(ステツプ S 8 7 )。以上の処理は、 ICSにおける全ての button— infoについて繰り返される(ステップ S 8 1 、 ステップ S 8 2 )。
以上のループ処理により、 カ レン トボタンのセレクテッ ド状態及びそ の他のボタンのノーマル状態を構成する複数グラフイ クスォブジヱク ト のうち、 q 枚目のものがグラフィ クスプレーン 8に書き込まれること なる。
スアツフ S 8 8は、 end— oDject__id— normal力 start— object— ia— normal + qに達したか否かの判定であり、 もし達したなら qを 0に初期化した 後メイ ンル一チンにリ ターンする(ステップ S 8 9 )。 まだ達しないなら 変数 q をインクリメント した後メインルーチンにリターンする(ステツ プ S 9 0 )。
以上のステップ S 8 0〜ステップ S 9 0により対話画面における各ポ タンの絵柄は、 ステップ S 3 5〜ステップ S 3 7がー巡する度に新たな グラフィ クスオブジェク 卜に更新される。 ステップ S 3 5〜ステップ S 3 7の処理が何度も反復されれば、 いわゆるアニメ一ションが可能にな る。 アニメーションにあたって、 グラフィ クスオブジェク ト一コマの表 feは、 animation— frame— rate— code に τ される値になるよつ に Graphical コン トローラ 1 7は時間調整を行う。 このような時間調整を 実行するのは、 他のフローチャートでも同様である。 以上でアニメーシ ョン表示処理についての説明を終わる。 続いてメインルーチンのステツ プ S 3 7における UO処理の処理手順について図 3 9を参照しながら説 明する。 図 3 9は、 UO 処理の処理手順を示すフローチヤ一トである。 本フロ —チャートは、 ステップ S 1 0 0〜ステップ S 1 0 3の何れかの事象が 成立しているかどうかを判定し、 もしどれかの事象が成立すれば、 該当 する処理を実行してメイ ンルーチンにリターンする。 ステップ S 1 0 0 は、 UOmaskTableが" 1"に設定されているかどうかの判定であり、 もし に設定されていれば、 何の処理も行わずに、 メイ ンルーチンにリターン する。
ステップ S 1 0 1 は、 MoveUP/Down/Left/Rightキーが押下されたか どうかの判定であり、 もしこれらのキーが押下されれば、 カレントボタ ンを変更して(ステップ S 1 0 4 )、 カ レン トポタンの auto— action— flag が 01かどうかを判定する(ステップ S 1 0 8 )。 もし違うならメインル一 チンにリターンする。 もしそうであるなら、 ステップ S 1 0 5に移行す る。
ステップ S 1 0 2は、 activated キーが押下されたかどうかの判定で あり、 もしそうであれば、 ステップ S 1 0 5においてカ レントボタンを アク テ ィ ブ状態に遷移する。 この状態遷移は、 カ レン ト ボタ ンの activated— state— inio. に お け start— object一 id— activated 力、 ら end— object— id— activatedまでのグラフィ クスオブジェク トを、 Graphics Plane8 内 の 力 レ ン ト ボ タ ン の button— horizontal— position,button一 vertical— position に示されている 位置に書き込むことでなされる。 これにより、 ポタンで描かれたキャラ クタが、 ユーザ操作に応じて動く ような状態遷移を実現することができ る。 かかる状態遷移の後、 カ レントポタンに対応するボタンコマン ドを 実行する(ステップ S 1 0 6 )。
ステップ S 1 0 3は、 数値入力であるかどうかの判定であり、 もし数 値入力であれば、 数値入力処理を行って(ステップ S 1 0 7 )、 メインル 一チンにリターンする。 図 3 9の処理手順のうち、 ステップ S 1 0 4、 ステップ S 1 0 7はサブルーチン化されている。 このサブルーチンの処 理手順を示したのが図 4 0、 図 4 1である。 以降これらのフローチヤ一 トについて説明する。
図 4 0は、 カ レントボタンの変更処理の処理手順を示すフローチヤ一 トである。 尚本フローチャートにおいては、 各ボタンにおけるアニメ一 シヨンのコマ数を同じであるとの想定で作図している。 これはコマ数が ポタン毎に異なると、 処理手順が複雑になるため、 簡略化したいとの配 慮である。 先ず初めに、 カ レン トボタンの neighbor— info における upper_button_number,lower_button_number,left_button_number,rig ht— button— number のうち、押下されたキーに対応するものを特定する (ステップ S 1 1 0 )。
そしてカ レントポタンをポタン i とし、 新たにカ レン トポタンになる ポタンをボタン ]' とする(ステップ S 1 1 1 )。 ステップ S 1 1 2は、 ス テツプ S 1 1 1で特定されたボタン ] ' が、 ボタン i と一致しているかど うかの判定である。 もし一致していれば、 何の処理も行わずにメインル —チンにリターンする。 もし一致しなければ、 ステップ S 1 1 3〜ステ ップ S 1 2 0の処理を行う。 ステップ S 1 1 3〜ステップ S 1 2 0の処 理は、 ポタン; j をセレクテッ ド状態に遷移させ、 ポタン i をノーマル状 態に遷移させるという処理をアニメ一ションで実現する。 アニメーショ ンにおいてまず初めに、 変数 rを 0で初期化する。 変数 rは、 アニメ一 ションのーコマを示す変数である。 このステップ S 1 1 3〜ステップ S 1 1 9の処理は、 ボタン のノーマル状態を示す複数グラフィ ックオブ ジェク トのうち r枚目のもの、 ボタン;) ' のセレクテツ ド状態を示す複数 グラフィ ックオブジェク トのうち r枚目のものを、 グラフィ ックプレ一 ンに書き込むという処理を、 複数グラフィ ックオブジェク 卜のそれぞれ について繰り返すものである。
具体的 に い う と 、 button_info(i).normaし state— info に お け る start— object— id— normalに変数 rを足すことにより特定される識別子を ID(r)とする(ステップ S 1 1 4 )。 このようにして ID(r)を特定すると、 Object Buffer 1 5において ID(r)を有するグラフィ ックオブジェク トを button— mfo(i)の button— horizontal— position, button一 vertical— position に示される Graphics Plane8上の位置に書き込む(ステツプ S 1 1 5 )。
Dutton— info、j).se丄 ected— state— mfoにお〔ナる start— object— ια— selected に変数 rを足すことにより特定される識別子を ID(r)とする(ステップ S 1 1 6 )。 このようにして ID(r)を特定すると、 Object Buffer 1 5におい て ID(r)を有するグラフ ィ ッ ク オブジ ェ ク ト を、 button_info(j)の button— horizontal— position, button— vertical一 position に τ ^ さ れ る Graphics Plane8上の位置に書き込む(ステップ S 1 1 7 )。
ステップ S 1 1 8は、 start_ob]'ect— id_normalに変数 rを足した識別 子が end_object_id— normal に一致するかの判定であり、 一致しなけれ ば、 変数 r をインクリメン ト して(ステップ S 1 2 0 )、 ステップ S 1 1 4に戻る。 ステップ S 1 1 4〜ステップ S 1 2 0の処理は、 ステップ S 1 1 8が Yesと判定されるまで繰り返される。 この繰り返しにより、 ボ タンで描かれたキヤラクタが、 ユーザ操作に応じて動く ような状態遷移 を実現することができる。 この繰り返しにおいてステップ S 1 1 8が Yes と判定されれば、 ボタン; j をカ レン トボタンにして(ステップ S 1 1 9 )メインルーチンにリターンする。
図 4 1 は、 数値入力処理の処理手順を示すフローチャートである。 入 力された数値に合致する button— numberを有した Button info.jが存在 するかどうかの判定を行い(ステップ S 1 2 1 )、 Button info.j における numerically— selectable_flag は 1 であるかどうかの判定を行う(ステツ プ S 1 2 2 )。 ステップ S 1 2 1及びステップ S 1 2 2が Yes なら、 Button info.jの auto— action— flagは 01であるかを判定する(ステップ S 1 2 3 )。
01 でな い な ら 、 ポ タ ン j の selected— state— info.に お け る start— object— id— selectedから end— oDject— id— selectedまでのグラフィ ク ス オ ブ ジ ェ ク ト を 、 ボ タ ン ]· の button— horizontal— position, button—vertical一 position に示されている 位置に書き込む(ステツプ S 1 2 4 )。 これにより、ボタン ] 'をセレクテツ ド状態に遷移させる。 その後、 ボタン ; jをカ レントボダンにして(ステツ プ S 1 2 5 )メインルーチンにリターンする。
01であるなら、ステップ S 1 2 6においてカ レントボタンをァクティ ブ状 態 に 遷移 す る 。 こ の 状 態 遷移 は 、 カ レ ン ト ポ タ ン の activated_state_mfo. に お け start— object— id— activated か ら end— object— id— activatedまでのグラフィクスオブジェク トを、 Graphics Plane8 内 の 力 レ ン ト ボ タ ン の button— horizontal— position, button一 vertical— position に示 sれている 位置に書き込むことでなされる。 その後、 ステップ S 1 2 7においてボ タン;) ' に対応するポタンコマンドを実行してメインルーチンにリターン する。
ステップ S I 2 1〜S 1 2 3のどちらかが No なら、 そのままメイン ルーチンにリターンする。
以上が同期表示を行う場合の Graphicalコン トローラ 1 7の処理手順 である。 Popup表示のように、 ユーザ操作をト リガとした対話画面表示 を行う場合、 Stream Graphicsプロセッサ 1 4、 Graphical コン ト ロー ラ 1 7は以下のような処理を行う。 つまり、 同期表示の場合と同様の処 理を行う。 これにより、 グラフィ クスプレーン 8にはグラフィ ックォブ ジェク 卜が得られる。 このようにグラフィ ックオブジェク トを得た後、 現在の再生時点が、 ICSに付加された PTSに示される時点を経過するの を待つ。 そしてこの再生時点の経過後、 UO コントローラ 1 8がメニュ 一コールを示す UOを受け付れば、 グラフイ クスプレーン 8に格納され たグラフィ ックオブジェク トを合成させるよう、 CLUT部 9に出力する。 UO に同期して、 かかる出力を行えば、 メニューコールの押下に応じた Popup表示を実現することができる。
以上のように本実施形態によれば、 ICS,ODS から構成される Epoch を AVClip に組み込んでおくので、 ある動画の一コマが画面に現れた夕 イ ミ ングに、 特定の処理を再生装置に実行させるという対話制御、 つま り動画内容と緻密に同期した対話制御の記述に便利である。 また Epoch は、 AVClip 自身に多重化されているので、再生制御を行いたい区間が数 百個であっても、それらに対応する Epochの全てをメモリに格納してお く必要はない。 Epoch はビデオパケッ トと共に BD-ROMから読み出さ れるので、現在再生すべき動画区間に対応する ICSをメモリに常駐させ、 この動画区間の再生が終われば、 その Epochをメモリから削除して、 次 の動画区間に対応する ICS をメモリ に格納すればよい。 Epoch は、 AVClip に多重化されるので、 たとえ Epochの数が数百個になつてもメ モリの搭載量を必要最低限にすることができる。
(第 2実施形態)
第 2実施形態は、 ボタンの状態がセレクテツ ド状態、 ァクティブ状態に 変化した際、 この変化に伴いクリ ック音を発音させる改良に関する。 例 えば図 1 6、 図 1 7のようなボタン、 つまり、 映画作品のキャラクター を象徴するようなボタンが操作対象である場合、 それらポタンの状態変 化時に、 キャラクタの音声をクリ ック音として再生させることができれ ば、 ユーザは、 自分がどのボタンを操作しているかを直感的に知ること ができる。 こうすることにより、 ユーザに対するボタン操作の認知度は 高まる。 ボタン毎のクリ ック音を発音させるにあたって、 問題になるの が主音声との併存である。 ここでの主音声とは、 映画作品における登場 人物の台詞や BGMのことである。主音声たるオーディォス ト リームは、 ビデオス ト リ一ム、 グラフ ィ クスス ト リームと多重されて AVClip を構 成しているので、 オーディオデコーダ 7はこれのデコードを行う。 しか しクリ ック音を再生しょうとすると、 主音声を消してクリ ック音を再生 するという制御が必要になる。 この際、 オーディオデコーダ 7の動作を 止める必要があるが、 この動作停止により、 再生の途切れ音が出力され る恐れがあり望ましくない。
かかる途切れ音の発生を防止するべく、 再生装置は図 4 2に示すよう な内部構成を有する。 本図の内部構成図は、 図 2 5に示した内部構成に プリロードメモリ 2 1、 ミキシング部 2 2を新規に設けたものである。 プリロードメモリ 2 1 は、 クリ ック音として発音すベき非圧縮 LPCM データを予め格納しているメモリである。 ミキシング部 2 2は、 プリロー ドメモリ 2 1 に格納されている非圧縮 LPCMデータをオーディオデコーダ 7の再生出力にミキシングする。 こ のミキシングにあたっての混合比率は、 グラフィ クスデコーダ 1 2内の Graphical コ ン ト ローラ 1 7 (図 2 5参照)からの指示に従う。 かかるミ キシングパラメータでクリ ック音を発音させるので、 オーディオデコー ダ 7のデコード出力を止めなくても、 クリ ツク音を発音させることがで ぎる。.
以上が第 2実施形態に係る再生装置の内部構成である。
以上のような併存を実現するには、 BD-ROM に記録された非圧縮 LPCMデ一夕を予め BD-ROMからプリロードメモリ 2 1 にロードして おかねばならない。だが非圧縮 LPCMデータは、データサイズが大きい。 サンプリ ング周波数が 48KHz、量子化ビッ ト数が 16 ビッ 卜の LPCM形 式のオーディオデータは、 10秒足らずの短いものでも、 そのサイズは 1 メガバイ トになる。
プリロードメモリ 2 1 の規模を小さく したいとの要望に応えるべく、 本実施形態に係る ICSは、 図 4 3のデータ構造を有する。 図 4 3は、 か かるクリ ック音の発音を実現する場合の ICSのデータ構造を示す図であ る。 本図の ICS が図 1 1 に示したものと異なるのは、 button— info の selected—state— info()、 actioned— state— infoOに『ォ一ティォ指定' 1"肯幸 』、 『発音制御情報』 が備えられている点である。
『オーディオ指定情報』 は、 button— info に対応するボタンの状態が 変化した際、 再生装置に読み出させ、 クリ ック音として再生させるべき オーディォ指定情報をファィル名又は識別子で示す。 プリロー ドメモリ 2 1 に読み出されるク リ ッ ク音データは、 ICS の button_info の selected— state— info()、 actioned— state— info 0により指定されたものであ る。 かかるプリ口一ドメモリ 2 1 に読み出されたクリ ック音データはミ キシング部 2 2に供される。
『発音制御情報』 は、 複数のミキシングパラメータからなる。 各ミキ シングパラメ一夕は、 オーディォデータの各成分をどれだけの比率で主 音声に混合するかを示す。 ミキシングパラメ一夕は 0〜1.0の値をとり、 クリ ック音データの発音時において、 クリ ック音データの再生出力時に は、 このミキシングパラメータに示される値が乗じられる。 ここでォー ディォデータに R成分、 L成分がある場合、 発音制御情報は、 L成分の ミキシングパラメータ、 R成分のミキシングパラメ一夕を備え、 これら の混合比に示されるミキシングをミキシング部 2 2に命じる。
このような発音制御情報が設けられたことにより、非圧縮 LPCMデー 夕の L成分がボタン Aのクリ ック音、 R成分がボタン B のクリ ック音 というように、 2つのボタンについてのクリ ック音を 1つにまとめるこ とができる。
かかる統合を行いつつも、 L成分のみの出力を行うよう規定した発音 制御情報をポタン情報(1)に組み込み、 R成分のみの出力を行うよう規定 した発音制御情報をボタン情報 (2)に組み込んでおけば、ポタン Aがセレ クテツ ド状態に遷移したタイ ミングで、 ポタン情報(1)の発音制御情報に 基づき、非圧縮 LPCMデ一夕の L成分の再生を開始させることにより、 ボタン A用のクリ ック音を発音させることができる。
またポタン Bがセレクテツ ド状態に遷移したタイ ミ ングで、 ボタン情 報 (2)の発音制御情報に基づき、 非圧縮 LP C Mデータの R成分の再生を 開始させることにより、 ボタン B用のクリ ック音を発音させることがで ぎる。 以上のように構成された ICS、 再生装置によりクリ ツク音の発音がど のように行われるかの具体例を、 図 4 4、 図 4 5を参照しながら説明す る。 本具体例は、 図 4 4 ( a ) ( b ) のような状態制御情報を想定してい る。 図 4 4 ( a ) における状態制御情報は、 button— info(l)(2)を含んで いる。 本図における矢印 syl,2に示すように button_info(l)(2)のオーデ ィォ指定情報は何れも、 同じ、 ステレオ音声たるクリ ック音データを指 定している。 一方、 button_info(l)の発音制御情報は、 L音声のミキシン グパラメータを含み、 button_info(2)の発音制御情報は、 R 音声のミキ シングパラメータを含む
図 4 4 ( b ) は、 かかる状態制御情報を含む ICSが読み出される過程 を示す。 この ICSの読み出しに先立ち、 クリ ック音データがプリ ロード メモ リ 2 1 に読み出す。
図 4 5 ( a ) ( b ) は、 プリロードメモリ 2 1 に読み出された ICS に よるク リ ック音データの発音制御を示す。 button— info(l)に対応するポ タン A がセレクテッ ド状態である場合、 グラフィ クスデコーダ 1 2は button— info(l)における発音制御情報に基づき再生を行うようオーディ ォデコーダ 7を制御する。 これによりステレオ音声たるクリ ック音デ一 タのうち、 L音声が出力される。 button— info(2)に対応するポタン B が セ レ ク テ ツ ド状態であ る場合、 グラ フ ィ ク ス デコ ー ダ 1 2 は button— info(2)における発音制御情報に基づき再生を行うようオーディ ォデコーダ 7を制御する。 これによりステレオ音声たるクリ ック音デ一 夕のうち、 R音声が出力される。
かかる制御により、 クリ ック音データをステレオ音声として構成して おき、ボタン Aのセレクテツ ド状態時にはボタン Aのクリ ック音として L音声の再生を、 ポタン Bのセレクテツ ド状態時にはボタン Bのク リ ッ ク音として R音声の再生を開始させることができる。
以上は、複数ボタンのクリ ツク音を 1つの非圧縮 LPCMデータに統合 する場合の具体例であつたが、 本実施形態のポタン情報は、 ボタンの操 作時に、 異なる方向から聞こえるように、 クリ ック音を発音させること もできる。 そのような具体例を図 4 5を参照しながら説明する。 図 4 5 ( c ) は、 横方向に並べられた 3つのポタン(ボタン A、 ボタン B、 ボタ ン C)と、 これらのポタンについてのポタン情報の設定例である。 これら 3つのボタン情報のうち、 左側のボタン Aについてのミキシ.ングパラメ 一夕は、 L音声が 1.0、 真ん中のポ夕ン B についてのミキシングパラメ 一夕は L,R音声がそれぞれ 0.5,0.5、 右側のボタン C についてのミキシ ングパラメータは、 R音声が 1.0になっている。 ミキシングパラメータ がこのように設定されているので、 左側のボタン Aがセレクテツ ド状態 になつた際には、 左側のスピー力から、 右側のボタン Cがセレクテツ ド 状態になつた際には右側のスピーカから、 真ん中のボタン Bがセレクテ ッ ド状態になつた際には、 両方のスピーカから発音が聞こえる。 このよ うなボタン情報の設定により、 画面におけるボタンの位置に応じて、 ク リ ック音が聞こえる方向を変えることができる。 このように押下された ポ夕ンの位置に応じて、 クリ ック音が聞こえる方向を変えることができ るので、 ボタン操作に対する臨場感が増す。
以上のように本実施形態によれば、 複数ボタンについてのクリ ック音 がステレオ音声たる 1つのクリ ック音データに統合されたとしても、 各 button— info についてのオーディオ指定情報、 発音制御情報を用いて、 統合された音声を個々のボタンのクリ ック音として再生させることがで きる。 かかる統合により、 クリ ック音データのサイズを少なくすること ができ、 ク リ ック音デ一夕を読み出しておくためのプリロー ドメモリ 2 1の規模を小規模にすることができる。
尚、 本実施形態においてステレオ音声である場合のクリ ック音デ一夕 の一例を示したが、 クリ ック音デ一夕は 5.2chの非圧縮オーディォデ一 夕であってもよい。 図 4 5 ( c ) のような具体例を、 5.2CHの音声で再 生する場合のミキシングパラメータの設定例を図 4 4 ( c ) に示す。 5.2 チャネルのオーディォデータには、 L成分、 R成分に加え、 Center成分、 Rear Left成分、 Rear Right成分がある。 そして、 対話画面に配置され るポタンは、 ボタン A、 ボタン B、 ボタン Cのように対角線上に配置さ れているものとする。 この場合、 ボタン Aのポタン情報については L成 分のミキシングパラメータを 1.0に、 ボタン Cのボタン情報については Rear Right成分のミキシングパラメータを 1.0に、ポタン Bのポタン情 報については、 L成分、 R成分、 Center成分、 Rear Left成分、 Rear Right 成分を、 0.1、 0.1、 0.4、 0.2、 0.2に設定しておく。 このように設定する ことで、 ボタン Aがセレクテツ ド.状態になった際には、 左側からクリ ッ ク音が発音され、 ボタン Cがセレクテツ ド状態になった際には右側から クリ ック音が聞こえる。 そして真ん中のボタン Bがセレクテツ ド状態に なった際には、 全ての方向からクリ ック音が聞こえる。 このように押下 されたボタンの位置に応じて、 クリ ック音が聞こえる方向を変えること ができるので、 ボタン操作に対する臨場感が増す(この具体例において、 ボタン B については Center成分を 1.0 にし、 それ以外を 1.0 にしても よい。 ;)。
また、 クリ ック音用のオーディオデコーダを、 オーディオデコーダ 7 とは別に設けてもよい。 かかるプリ口一ドメモリ 2 1 には、 圧縮された オーディオデータを格納しておく。 そしてクリ ック音用オーディオデコ —ダは、 ボタンの状態変化に応じてプリロードメモリ 2 1 におけるォ一 ディォデータを取り出し、 デコードする。 クリ ック音用オーディオデコ —ダを設ければ、 圧縮された状態のオーディォデータく 1 をプリロー ド メモリ 2 1 にロードしておけばよいので、 プリ口一ドメモリ 2 1の容量 削減を実現することができる。
(第 3実施形態)
本実施形態は、 BD-ROMの製造工程に関する実施形態である。 図 4 6 は、 第 3実施形態に係る BD-ROM の製造工程を示すフローチヤ一トで ある。
BD-ROMの制作工程は、 動画収録、 音声収録等の素材作成を行う素材 制作工程 S 2 0 1、 ォーサリング装置を用いて、 アプリケーショ ンフォ 一マッ トを生成するォーサリ ング工程 S 2 0 2 . BD-ROMの原盤を作成 し、 プレス '貼り合わせを行って、 BD-ROM を完成させるプレス工程 S 2 0 3を含む。
これらの工程のうち、 BD-ROMを対象としたォーサリ ング工程は、 以 下のステップ S 2 0 4〜ステップ S 2 0 9を含む。
先ずステップ S 2 0 4において、 ビデオ素材、 オーディオ素材、 副映 像素材のそれぞれをエンコードして、 ビデオス ト リーム、 オーディオス ト リ一ム、 グラフィ クスス ト リームを得る。 次にステップ S 2 0 5にお いて、 グラフ ィ クスス ト リームの動作検証を行う。 第 1実施形態に示し たように、 グラフィ クスス ト リームにはボタンを構成するクラフィ クス データと共に、 ポタンの状態制御情報が含まれているため、 グラフイク スス ト リーム単体での動作検証が可能になる。 もし異常があれば(ステツ プ S 2 0 6で No)、 グラフィ クスス ト リーム単体の修正を行い(ステツプ S 2 0 7 )、 再度グラフィ クスス ト リ一ムの動作検証を行う。
動作検証において、グラフ ィ クスス ト リームに異常がなければ(ステツ プ S 2 0 6で Yes)、 ステップ S 2 0 8において素材ェンコ一ドにより得 られた、 ビデオス ト リーム、 オーディ オス ト リーム、 グラフ ィ クスス ト リームをインターリーブ多重して、 これらを 1本のデジタルス ト リーム に変換する。 続く ステップ S 2 0 9において、 BD-ROM向けシナリオを 元に、 各種情報を作成して、 シナ リ オ及びデジタルス ト リ ームを BD-ROMのフ ォーマツ トに適合させる。
以上のように本実施形態によれば、ボタンの状態を変化させる ICSは、 クラフィ クスデータと一体になつてグラフィ クスス ト リームを構成して いるので、 動画ス ト リームのエンコード完了や、 多重化完了を待たなく ても、 グラフ ィ クスス ト リーム単体を完成しさえすれば、 再生進行に応 じてボタンの状態がどのように変化するかの検証が可能になる。 かかる 状態変化の検証がォ一サリ ングの早い段階で可能になるので、 BD-ROM の出荷直前に不具合が発見され、 関係者が慌てふためく という事態はな くなる。 グラフィ クスス ト リ一ム単体での動作検証が可能になるので、 アニメーショ ンにより複雑に動く ようなボタンを積極的に映画作品に組 み入れることができる。
(備考) .
以上の説明は、 本発明の全ての実施行為の形態を示している訳ではな い。 下記 (A)(B)(C)(D) の変更を施した実施行為の形態によっても、 本発明の実施は可能となる。 本願の請求項に係る各発明は、 以上に記載 した複数の実施形態及びそれらの変形形態を拡張した記載、 ないし、 一 般化した記載としている。 拡張ないし一般化の程度は、 本発明の技術分 野の、 出願当時の技術水準の特性に基づく。 しかし請求項に係る各発明 は、 従来技術の技術的課題を解決するための手段を反映したものである から、 請求項に係る各発明の技術範囲は、 従来技術の技術的課題解決が 当業者により認識される技術範囲を超えることはない。 故に、 本願の請 求項に係る各発明は、 詳細説明の記載と、 実質的な対応関係を有する。 (A)全ての実施形態では、 本発明に係る記録媒体を BD-ROMとして実 施したが、 本発明の記録媒体は、 記録されるグラフ ィ クスス ト リームに 特徴があり、 この特徴は、 BD-ROMの物理的性質に依存するものではな い。動的シナリォ、グラフィ クスス ト リームを記録しうる記録媒体なら、 ど の よ う な 記 録 媒 体 で あ っ て も よ い 。 例 え ば 、 DVD-ROM,DVD-RAM,DVD-RW,DVD-R,DVD+RW,DVD+R,CD- ,CD-R W等の光ディスク、 PD;MO等の光磁気ディスクであってもよい。また、 コンパク ト フラッシュカー ド、 スマー ト メディ ア、 メモリ スティ ッ ク、 マルチメディ ァカー ド、 PCM-CIA カー ド等の半導体メモリ カー ドであ つてもよい。 フ レシキブルディ スク、 SuperDisk,Zip,Clik!等の磁気記録 ディ スク(i)、 ORB,Jaz,SparQ,SyJet,EZFley,マイ クロ ドライブ等のリ ム 一バルハードディ スク ドライブ (ii)であつてもよい。 更に、 機器内蔵型の ハー ドディ スクであってもよい。
(B)全ての実施形態における再生装置は、 BD-ROM に記録された AVClipをデコ一ドした上で TVに出力していたが、再生装置を BD-ROM ドライブのみとし、 これ以外の構成要素を TVに具備させてもい、 この 場合、 再生装置と、 TVとを IEEE1394で接続されたホームネッ トヮ一 クに組み入れることができる。 また、 実施形態における再生装置は、 テ レビと接続して利用されるタイプであつたが、 ディ スプレイ と一体型と なつた再生装置であつてもよい。更に、各実施形態の再生装置において、 処理の本質的部分をなす部分のみを、 再生装置としてもよい。 これらの 再生装置は、 何れも本願明細書に記載された発明であるから、 これらの 何れの態様であろうとも、 第 1実施形態〜第 3実施形態に示した再生装 置の内部構成を元に、 再生装置を製造する行為は、 本願の明細書に記載 された発明の実施行為になる。 第 1実施形態〜第 3実施形態に示した再 生装置の有償'無償による譲渡 (有償の場合は販売、 無償の場合は贈与に なる)、 貸与、 輸入する行為も、 本発明の実施行為である。 店頭展示、 力 夕ログ勧誘、 パンフ レツ ト配布により、 これらの譲渡や貸渡を、 一般ュ —ザに申し出る行為も本再生装置の実施行為である。
(C)各フローチヤ一トに示したプログラムによる情報処理は、ハードウ エア資源を用いて具体的に実現されていることから、 上記フローチヤ一 卜に処理手順を示したプログラムは、 単体で発明として成立する。 全て の実施形態は、 再生装置に組み込まれた態様で、 本発明に係るプログラ ムの実施行為についての実施形態を示したが、 再生装置から分離して、 第 1実施形態〜第 3実施形態に示したプログラム単体を実施してもよい。 プログラム単体の実施行為には、 これらのプログラムを生産する行為(1) や、 有償 ·無償によりプログラムを譲渡する行為 (2)、 貸与する行為 (3)、 輸入する行為 (4)、双方向の電子通信回線を介して公衆に提供する行為 (5)、 店頭展示、 カタログ勧誘、 パンフ レッ ト配布により、 プログラムの譲渡 や貸渡を、 一般ユーザに申し出る行為(6)がある。
(D)各フ口一チャー トにおいて時系列に実行される各ステップの「時」 の要素を、 発明を特定するための必須の事項と考える。 そうすると、 こ れちのフローチャー トによる処理手順は、 再生方法の使用形態を開示し ていることがわかる。 各ステップの処理を、 '時系列に行うことで、 本発 明の本来の目的を達成し、 作用及び効果を奏するよう、 これらのフロー チャー トの処理を行うのであれば、 本発明に係る記録方法の実施行為に 該当することはいうまでもない。
(E) BD-ROMに記録するにあたつて、 AVClipを構成する各 TSパケッ ト には、 拡張ヘッダを付与しておく こどが望ま しい。 拡張ヘッダは、 TP— extra— header と 呼 ば、 れ 、 『 Arribval— Time— Stamp 』 と 、 u copy— permission— ind.icator』 と ¾:含み 4ノ ィ トのテ一タ 有する。 TP— extra— header付き TS バケツ ト(以下 EX付き TS バケツ ト と略す) は、 32 個毎にグループ化されて、 3 つのセクタに書き込まれる。 32 個 の EX付き TSバケツ トからなるグループは、 6144バィ ト(=32 192)で あり、 これは 3個のセクタサイズ 6144パイ ト(=2048 X 3)と一致する。 3 個のセクタに収められた 32個の EX付き TSパケッ トを" Aligned Unii;" という。
IEEE1394を介して接続されたホームネッ トワークでの利用時におい て、 再生装置 2 0 0は、 以下のような送信処理にて Aligned Unitの送信 を行う。 つまり送り手側の機器は、 Aligned Unitに含まれる 32個の EX 付き TSパケッ トのそれぞれから TP— extra— headerを取り外し、 TSパ ケッ ト本体を DTCP規格に基づき暗号化して出力する。 TSバケツ トの 出力にあたっては、 TSバケツ ト間の随所に、 isochronousバケツ トを揷 入する。 この挿入箇所は、 TP— extra— header の Arribvaし Time— Stamp に示される時刻に基づいた位置である。 TS バケツ トの出力に伴い、 再 生装置 2 0 0は DTCP— Descriptorを出力する。 DTCP— Descriptorは、 TP_extra_headerにおけるコピー許否設定を示す。 ここで「コピー禁止」 を示すよう DTCP— Descriptor を記述しておけば、 IEEE1394 を介して 接続されたホームネッ トワークでの利用時において TS パケッ トは、 他 の機器に記録されることはない。
(F)各実施形態におけるデジ夕ルス ト リ ームは、 BD-ROM 規格の AVClip であったが、 DVD-Video 規格、 DVD-Video Recording 規格の VOB(Video Object)であってもよい。 VOBは、 ビデオス ト リーム、 ォ一 ディォス ト リームを多重化することにより得られた ISO/IEC13818- 1規 格準拠のプログラムス ト リームである。 また AVClip におけるビデオス ト リームは、 MPEG4や WMV方式であってもよい。 更にオーディオス ト リームは、 Linear-PCM方式、 Dolby-AC3方式、 MP3方式、 MPEG'AAC 方式であってもよい。
(G)各実施形態における映像編集は、アナ口グ放送で放送されたアナ口 グ映像信号をェンコ一ドすることにより得られたものでもよい。 デジタ ル放送で放送されたトランスポートス ト リームから構成されるス ト リ一 ムデータであってもよい。 またビデオテープに記録されているアナログ /デジタルの映像信号を エンコードしてコンテンツを得ても良い。 更にビデオ力メラから直接取 り込んだアナログ Zデジタルの映像信号をェンコ一ドしてコンテンッを 得ても良い。 他にも、 配信サーバにより配信されるデジタル著作物でも よい。
(H)ICSは、タイムァゥ ト時にどのような処理を行うかを規定してもよ い 。 ICS の タ イ ム ア ウ ト は 、 第 1 実 施 形 態 に 示 し た composition_time_out_ptsにより規定される。 図 4 7は、 ICSの変更実 施の形態を示す図である。 本図の ICS で新規なのは、 Pause/Still情報 が 設 け ら れ て い る こ と で あ る 。 Pause/Still 情 報 は 、 composition_time_out_ptsに示されるタイムァゥ トが発生した際、再生 装置の動作を Still するか、 Pause するかを示す。 再生装置における動 作には、 ビデオデコーダ 5、 Stream Graphicsプロセッサ 1 4、 グラフ イ クスデコーダ 1 2によるデコード動作と、 Graphical コン ト ローラ 1 7、 制御部 2 0によるナビ動作とがある。 Stillとは、 再生装置における デコード動作、ナビ動作の双方を停止することである。一方 Pause とは、 デコード動作、 ナビ動作のうちデコード動作を止めて、 ナビ動作を継続 実行することである。 Stillでは、 ナビ動作が停止するので、 タイムァゥ トの時点で最後に再生されたピクチャデータが止め絵として表示され、 ボタンの状態を遷移させられない状態となる。
Pauseではナビ動作は停止しないので、 ユーザによるボタンの状態遷 移は可能となる。 Pause/Still情報を ICS に設けることにより、 タイム ァゥ ト時にどのような制御を行うべきかをォーサリング時に規定してお く ことができる。
(I)第 2実施形態では、 各ポタンについてのクリ ック音をボタン情報に 定義できるようにしたが、 リモコンにおけるキー毎のクリ ック音を ICS に定義できるようにしてもよい。 図 4 8は、 リモコンのキー毎にクリ ツ ク音を定義するようにした ICSを示す図である。
『upper— audioj は、 MoveUn キーの押下時に参照すべきオーディオ 指定情報及び発音制御情報、
『lower— audio』 は、 MoveDown キーの押下時に参照すべきオーディ ォ指定情報及び発音制御情報、
『left— audio』 は、 MoveLeftキーの押下時に参照すべきオーディオ指 定情報及び発音制御情報、
『 Right— audio』 は、 MoveRight キーの押下時に参照すべきオーディ ォ指定情報及び発音制御情報、
『Activated— audio』 は、 Activatedキーの押下時に参照すべきオーデ ィォ指定情報及び発音制御情報である。 リモコン 4 0 0におけるキー押 下時に、 該当するキーのオーディオ指定情報及び発音制御情報を参照し た処理をプリ ロードメモリ 2 1、 ミキシング部 2 2に行わせることによ り、 クリ ック音の発音が可能になる。
(J)第 1実施形態〜第 3実施形態に示したグラフィ ックオブジェク ト は、 ランレングス符号化されたラスタデータである。 グラフィ ックォブ ジヱク トの圧縮 '符号化方式にランレングス符号方式を採用したのは、ラ ンレングス符号化は字幕の圧縮'伸長に最も適しているためである。字幕 には、 同じ画素値の水平方向の連続長が比較的長くなるという特性があ り、 ラン レングス符号化による圧縮を行えば、 高い圧縮率を得ることが できる。 また伸長のための負荷も軽く、 復号処理のソフ トウェア化に向 いている。 デコー ドを実現する装置構成を、 字幕一グラフ ィ ックォブジ ェク ト間で共通化する目的で、字幕と同じ圧縮'伸長方式をグラフイ ツク オブジェク トに採用している。 しかし、 グラフィ ックオブジェク トにラ ンレングス符号化方式を採用したというのは、 本発明の必須事項ではな く、 グラフイ ツクオブジェク トは PNG デー夕であってもよい。 またラ スタデータではなくベクタデータであってもよい、 更に透明な絵柄であ つてもよい。
産業上の利用可能性
本発明に係る記録媒体、 再生装置は、 対話的な制御を映画作品に付与 することができるので、 より付加価値が高い映画作品を市場に供給する ことができ、 映画市場や民生機器市場を活性化させることができる。 故 に本発明に係る記録媒体、 再生装置は、 映画産業や民生機器産業におい て高い利用可能性をもつ。

Claims

請 求 の 範 囲
1 . デジタルス ト リームが記録された記録媒体であって、
デジタルス ト リームは、 動画ス ト リーム及ぴグラフ ィ クスス ト リーム を多重化してなり、
グラフ ィ クスス ト リームは、 対話画面を構成するクラフ イ クスデータi)、 当該対話画面の状態を、 動画データの再生進行及びユーザ操作に応 じて変化させる状態制御情報 (ii)を一体化したス ト リームである
ことを特徴とする記録媒体。
2 . グラフ ィ クスス ト リームはバケツ ト列であり、
当該バケツ ト列は、 状態制御情報を格納したバケツ ト、 及び、 クラフ ィクスデータを格納したバケツ トの組みを 1つ以上含んでおり、 状態制御情報を格納したバケツ トには、 対話画面と同期すべきピクチ ャデータの表示タィ ミングを示すタィムスタンプが付加されている ことを特徴とする請求項 1記載の記録媒体。
3 . グラフ ィ クスス ト リームは、 状態制御情報及ぴクラフ イ クスデ一 夕の組みを複数含み、
状態制御情報及びクラフィ クスデ一夕の各組みはデイ スプレイセッ ト を構成しており、
各状態制御情報は、 タイプ情報を含み、
タィプ情報は、 その状態制御情報が属するディ スプレイセッ トが、 グ ラフイ クスス ト リームにおいて先行するディ スプレイセッ トと同じ内容 か否かを示す
ことを特徴とする請求項 1記載の記録媒体。
4 . 各ディスプレイセッ トにおける状態制御情報はアツプデートフラ グを含み、
当該アップデートフラグはオンに設定されることにより、 当該ディス プレイセッ トは、 ポタンコマンドを除き先行するディ スプレイセッ トの 状態制御情報及びクラフイ クスデータと同じ内容である旨を、
当該アップデートフラグはオフに設定されることにより、 当該ディス プレイセッ トは、 先行するディ スプレイセッ トの状態制御情報及び、クラ フ ィ クスデータと同じ内容である旨を示すものであり、
ボタンコマンドとは、 対話画面上のポタンに対し、 確定操作が行われ た場合に、 再生装置に実行させるべきコマンドである
ことを特徴とする請求項 3記載の記録媒体。
5 . 前記対話画面は、 ボタンを n個配置してなり、 そのうち任意の 1 つのボタン iは、 m個の状態をもち、
前記状態制御情報は n個のボタン情報を含み、 前記ボタン iについて のポタン情報は m個の状態情報を含み、
ポタン iの m個の状態のうち任意の 1つの状態を状態 j とした場合、 i番目のポタン情報における ]'番目の状態情報は、複数のクラフ ィ クスデ ータのうちどれを用いて、 ボタン iの状態; iを表現すべきかを示す
ことを特徴とする請求項 1記載の記録媒体。
6 . 前記ボタン情報 iは、 近隣情報を含んでおり、
近隣情報は、 ボタン iがカ レン トボタンであり、 尚且つ、 方向を指定 する操作がユーザによりなされた場合、 n個のボタンのうち、 どれを力 レントボタンにすべきかを示す
ことを特徴とする請求項 5記載の記録媒体。
7 . n個のボタンのそれぞれには、 数値が割り当てられており、 前記 n個のボタン情報は、
自身に割り当てられた数値と、 その数値によるボタン選択が可能か否 かを示すフラグを含む
ことを特徴とする請求項 5記載の記録媒体
8 . ボタン情報 iはクリ ック音制御情報を含み、
クリ ツク音制御情報は、
. ポタン iの状態遷移が生じた場合、 発音すべきオーディオデータと、 当該オーディオデータの発音にあたって、 再生装置側で行うべき制御と を示す
ことを特徴とする請求項 5記載の記録媒体。
9 . グラフ ィ クスス ト リームはパケッ ト列であり、
当該パケッ ト列は、 状態制御情報を格納したパケッ ト、 及び、 クラフ イ クスデータを格納したバケツ トの組みを 1つ以上含んでおり、 状態制御情報を格納したバケツ 卜にはタイムスタンプが付加されてお Ό、
当該夕ィムス夕ンプは、
ユーザ操作に応じた対話画面の表示が、 動画ス ト リームの再生時間軸 上において何時から可能になるかを示す
ことを特徴とする請求項 1記載の記録媒体。
1 0 . ビデオス ト リーム、 グラフ ィ クスス ト リームが多重化されたデ ジタルス ト リームについての再生装置であって、
ビデオス ト リームをデコ一ドして動画像を得るビデオデコーダと、 グラフ ィ クスス ト リームをデコードして対話画面をえるグラフ ィ クス デコーダとを備え、
グラフ ィ クスス ト リームは、 クラフ ィ クスデータと、 状態制御情報と を含み、
状態制御情報は対話画面の状態を、 動画データの再生進行及びユーザ 操作に応じて変化させる情報であり、 グラフ ィ クスデコーダは、
グラフ ィ クスス ト リームに含まれるクラフ ィ クスデータをデコー ドし て対話画面を得る処理部と、
対話画面の状態を、 状態制御情報に基づき制御するコントローラとを を備えることを特徴とする再生装置。
1 1 . 前記グラフ ィ クスス ト リームは、 パケッ ト列であり、
当該バケツ ト列は、 状態制御情報を格納したバケツ ト、 及び、 クラフ イ クスデータを格納したバケツ トの組みを 1つ以上含んでおり、
状態制御情報を格納したパケッ トには、 対話画面と同期すべきピクチ ャデータの表示タィ ミングを示すタィムスタンプが付加されており、 処理部によるデコード及ぴコン トローラによる制御は、 状態制御情報 を格納したパケッ トのタイムス夕ンプを参照して行われる
ことを特徴とする請求項 1 0記載の再生装置。
1 2 . グラフ ィ クスス ト リームにおいて、 クラフ ィ クスデータ及び状 態制御情報の組みは、 複数含まれており、 個々のクラフ ィ クスデータ及 び状態制御情報の組みはディスプレイセッ トを構成しており、
状態制御情報は、 ディ スプレイセッ トのタイプを示すタイプ情報を備 え、
前記コン ト ローラは、
通常再生が行われる場合、 ディスプレイセッ トのうち、 タイプ情報が 先行ディ スプレイセッ ト と同じ内容である旨を示しているものを無視し、 頭出しが行われる場合、 頭出し位置以降に存在するディ スプレイセッ トのうち、 タイプ情報が先行ディスプレイセッ トと同じ内容である旨を 示しているものをデコードする
ことを特徴とする請求項 1 0記載の再生装置。
1 3 . 前記状態制御情報は、 アップデートフラグを含み、 前記コントローラは、
通常再生時において、 状態制御情報のアップデ一トフラグがオンを示 しているなら、 タイプ情報が先行ディ スプレイセッ トと同じ内容を示し ていたとしてもボタンコマンドのみを取り入れる
ことを特徴とする請求項 1 2記載の再生装置。
1 4 . 前記対話画面は、 ポタンを n個配置してなり、 そのうち任意の 1つの タン iは、 m個の状態をもち、
前記状態制御情報は n個のボタン情報を含み、 前記ポ夕ン iについて のポタン情報は m個の状態情報を含み、
前記コン トローラは、
ボタン iの m個の状態のうち任意の 1つの状態を状態 j とした場合、 i 番目のボタン情報における ;)' 番目の状態情報に示されるクラフィ クス データを用いて、 ボタン iの状態; jを表現する
ことを特徴とする請求項 1 0記載の再生装置。
1 5 . 前記ボタン情報 iは、 近隣情報を含んでおり、
前記コントローラは、 ボタン iがカ レントポタンであり、 尚且つ、 移 動操作がユーザによりなされた場合、ボタン iを通常状態に戻すと共に、 n個のボタンのうち近隣情報により示されるものをカ レントボタンにす る
ことを特徴とする請求項 1 4記載の再生装置。
1 6 . ユーザ操作が数値入力である場合、 前記コントローラは、 ボタ ンのうち、 数値入力された値が割り当てられたボタンの状態を変化させ る
ことを特徴とする請求項 1 0記載の再生装置。
1 7 . デジタルス ト リームに多重されているェレメンタリス ト リーム をデコードして、 音声出力を行うオーディオデコーダと、
非圧縮状態のオーディォデータを格納するプリロードメモリ と、 ユーザによるボタンの確定操作に応じて、 プリロー ドメモリに格納さ れている非圧縮状態のオーディォデータを、 音声エンコーダの再生出力 とミキシングして出力するミキサー部とを備える
ことを特徴とする請求項 1 6記載の再生装置。
1 8 . 前記状態制御情報は複数のボタン情報を備え、
ボタン情報はク リ ック音制御情報を含み、
クリ ック音制御情報は、
ボタンの状態遷移が生じた場合、 発音すべきオーディオデータと、 当 該オーディオデータの発音にあたって、 再生装置側で行うべき制御とを 示し、
対話画面において、 ユーザが、 k番目のポタンを確定した場合、 ミキ サ一部によるミキシングは、 k番目のボタン情報に含まれるクリ ック音 制御情報に基づきなされる
ことを特徴とする請求項 1 7記載の再生装置。
1 9 . 前記グラフ ィ クスス ト リームは、 パケッ ト列であり、 当該パケッ ト列は、 状態制御情報を格納したパケッ ト、 及び、 クラフ ィ クスデータを格納したバケツ トの組みを 1つ以上含んでおり、 状態制御情報を格納したバケツ 卜にはタイムスタンプが付加されてお り、
当該タイムスタンプは、
ユーザ操作に応じた対話画面の表示が、 動画ス ト リームの再生時間軸 上において何時から可能になるかを示し、
前記再生装置はユーザ操作を受け付ける受付手段を備え、
前記コン ト ローラは、
現在の再生時点が、 状態制御情報を格納したバケツ トのタイムスタン プに示される時点を経過した後、 受付手段がユーザ操作を受け付れば、 対話画面表示を実行するよう制御を行う
ことを特徴とする請求項 1 0記載の再生装置。
2 0 . 記録媒体の記録方法であって、
アプリケ一ションデータを作成するステツプと、
作成したデータを記録媒体に記録するステップとを有し、
前記アプリケーショ ンデータは、 動画ス ト リーム及ぴグラフィ クスス ト リームを多重化してなるデジタルス ト リームを含み、
グラフィ クスス ト リームは、 対話画面を構成するクラフィ クスデータ
(i)、 当該対話画面の状態を、 動画データの再生進行及びユーザ操作に応 じて変化させる状態制御情報 (ii)を一体化したス ト リームである
ことを特徴とする記録方法。
2 1 . ビデオス ト リーム、 グラフィ クスス ト リームが多重化されたデ ジタルス ト リームについての再生をコンピュータに実行させるプロダラ ムであって、
ビデオス ト リームをデコードして動画像を得る第 1 ステップと、 グラフィ クスス ト リームをデコードして対話画面をえる第 2ステップ とを備え、
グラフィ クスス ト リームは、 クラフィ クスデータと、 状態制御情報と を含み、
状態制御情報は対話画面の状態を、 動画データの再生進行及びユーザ 操作に応じて変化させる情報であり、
第 2ステップは、
グラフィクスス ト リームに含まれるクラフィクスデータをデコー ドし て対話画面を得るサブステップと、
対話画面の状態を、 状態制御情報に基づき制御するサブステップとを をコンピュータに要求させることを特徴とするプログラム。
2 2 . ビデオス ト リーム、 グラフ ィ クスス ト リームが多重化されたデ ジタルス ト リームについての再生方法であって、
ビデオス ト リームをデコ一ドして動画像を得る第 1 ステップと、 グラフィ クスス ト リームをデコードして対話画面をえる第 2ステップ とを備え、
グラフ ィ クスス ト リームは、 クラフ ィ クスデータと、 状態制御情報と を含み、
状態制御情報は対話画面の状態を、 動画データの再生進行及びユーザ 操作に応じて変化させる情報であり、
第 2ステップは、
グラフィ クスス ト リームに含まれるクラフィ クスデータをデコ一ドし て対話画面を得るサブステップと、
対話画面の状態を、 状態制御情報に基づき制御するサブステップとを 有することを特徴とするプログラム。
PCT/JP2004/000891 2003-01-31 2004-01-30 記録媒体、再生装置、記録方法、プログラム、再生方法 WO2004068854A1 (ja)

Priority Applications (8)

Application Number Priority Date Filing Date Title
MXPA05007922A MXPA05007922A (es) 2003-01-31 2004-01-30 Medio de grabacion, aparato de reproduccion, metodo de grabacion, programa y metodo de reproduccion.
US10/543,515 US7729598B2 (en) 2003-01-31 2004-01-30 Recording medium, reproduction apparatus, recording method, program, and reproduction method
DE602004026036T DE602004026036D1 (de) 2003-01-31 2004-01-30 AUFZEICHNUNGSMEDIUM, WIEDERGABEVORRICHTUNG, AUFZEICHNUNGSVERFAHREN, PROGRAMM UND WIEDERGABEVERFAHREN für einen Grafikdatenstrom zur Definition von interaktiven Schaltflächen.
CA2512058A CA2512058C (en) 2003-01-31 2004-01-30 Recording medium, reproduction apparatus, recording method, program, and reproduction method
JP2005504762A JP4245607B2 (ja) 2003-01-31 2004-01-30 記録方法、再生装置、再生方法、プログラム
EP04706788A EP1608165B1 (en) 2003-01-31 2004-01-30 RECORDING MEDIUM, REPRODUCTION DEVICE, RECORDING METHOD, PROGRAM, AND REPRODUCTION METHOD for a graphics stream specifying interactive buttons
KR1020097003190A KR100984442B1 (ko) 2003-01-31 2004-01-30 재생장치 및 재생방법
US12/757,128 US8463107B2 (en) 2003-01-31 2010-04-09 Recording medium, reproduction apparatus, recording method, program, and reproduction method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US44387603P 2003-01-31 2003-01-31
US60/443,876 2003-01-31

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US10543515 A-371-Of-International 2004-01-30
US12/757,128 Division US8463107B2 (en) 2003-01-31 2010-04-09 Recording medium, reproduction apparatus, recording method, program, and reproduction method

Publications (1)

Publication Number Publication Date
WO2004068854A1 true WO2004068854A1 (ja) 2004-08-12

Family

ID=32825388

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2004/000891 WO2004068854A1 (ja) 2003-01-31 2004-01-30 記録媒体、再生装置、記録方法、プログラム、再生方法

Country Status (10)

Country Link
US (2) US7729598B2 (ja)
EP (2) EP2194532A3 (ja)
JP (4) JP4245607B2 (ja)
KR (5) KR100999743B1 (ja)
CN (4) CN101510980B (ja)
CA (1) CA2512058C (ja)
DE (1) DE602004026036D1 (ja)
ES (1) ES2343065T3 (ja)
MX (1) MXPA05007922A (ja)
WO (1) WO2004068854A1 (ja)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006070298A1 (en) * 2004-12-27 2006-07-06 Koninklijke Philips Electronics N.V. Method and apparatus for enabling an application to cooperate with running ofa program
WO2006090300A1 (en) 2005-02-28 2006-08-31 Koninklijke Philips Electronics N.V. Fallback mechanism for data reproduction
WO2006095300A3 (en) * 2005-03-10 2006-11-09 Koninkl Philips Electronics Nv Method and device for displaying virtual objects
EP1770705A1 (en) * 2004-12-01 2007-04-04 Matsushita Electric Industrial Co., Ltd. Recording medium, reproduction device, program, reproduction method, and integrated circuit
EP1920609A2 (en) * 2005-08-29 2008-05-14 Sony Corporation Slicing interactive graphic data in disc authoring
EP1938578A2 (en) * 2005-08-29 2008-07-02 Sony Corporation Abstractions in disc authoring
JP2008547142A (ja) * 2005-06-15 2008-12-25 エルジー エレクトロニクス インコーポレーテッド 記録媒体、オーディオデータミキシング装置及びミキシング方法
JP2009506479A (ja) * 2005-08-29 2009-02-12 ソニー株式会社 再生可能コンテンツ
WO2009040966A1 (ja) * 2007-09-26 2009-04-02 Panasonic Corporation データ処理装置及び方法
JP2009093789A (ja) * 2005-07-15 2009-04-30 Sony Corp データ、記録媒体、記録装置、製造方法
EP1713269A4 (en) * 2004-01-13 2010-01-27 Panasonic Corp RECORDING MEDIUM, PLAYING DEVICE, RECORDING METHOD, PROGRAM AND PLAYBACK PROCESS
US7660516B2 (en) 2004-02-17 2010-02-09 Panasonic Corporation Recording medium, reproduction device, program, and reproduction method
US7729598B2 (en) 2003-01-31 2010-06-01 Panasonic Corporation Recording medium, reproduction apparatus, recording method, program, and reproduction method
US7814422B2 (en) 2003-02-28 2010-10-12 Panasonic Corporation Reproduction apparatus, reproduction method and recording method
US8175444B2 (en) 2004-01-14 2012-05-08 Samsung Electronics Co., Ltd. Method of reproducing from storage medium storing interactive graphics stream activated in response to user's command
US8559787B2 (en) 2004-07-06 2013-10-15 Panasonic Corporation Recording method and recording medium playback system
TWI466110B (zh) * 2005-12-23 2014-12-21 Koninkl Philips Electronics Nv 使應用程式配合節目運行之方法及裝置

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100448452B1 (ko) * 2000-06-09 2004-09-13 엘지전자 주식회사 고밀도 광 기록매체의 메뉴 지원방법
AU2003245096A1 (en) * 2002-07-04 2004-01-23 Lg Electronics Inc. Read-only recording medium containing menu data and menu displaying method therefor
RU2355048C2 (ru) * 2002-09-07 2009-05-10 Эл Джи Электроникс Инк. Носитель записи со структурой данных для управления воспроизведением статических изображений из записанного на нем файла клипа и способы и устройства записи и воспроизведения
EP1547067A4 (en) * 2002-10-02 2009-06-24 Lg Electronics Inc RECORDING MEDIUM WITH A DATA STRUCTURE FOR MANAGING THE REPRODUCTION OF GRAPHICS DATA AND RECORDING AND PLAYING METHODS AND DEVICES
CN100487807C (zh) 2002-10-04 2009-05-13 Lg电子有限公司 有管理图形数据再现的数据结构的录制介质及录制与再现方法和装置
JP2006506772A (ja) * 2002-11-20 2006-02-23 エルジー エレクトロニクス インコーポレーテッド 記録されたデータの再生を管理するためのデータ構造を有する記録媒体、それによる記録及び再生方法及び装置
KR100998906B1 (ko) * 2003-01-20 2010-12-09 엘지전자 주식회사 기록된 정지 영상의 재생을 관리하기 위한 데이터 구조를갖는 기록 매체, 그에 따른 기록 및 재생 방법 및 장치
TWI271721B (en) * 2003-01-20 2007-01-21 Lg Electronics Inc Recording medium having data structure for managing reproduction of still pictures recorded thereon and recording and reproducing methods and apparatuses
US7734154B2 (en) * 2003-02-14 2010-06-08 Lg Electronics Inc. Recording medium having data structure for managing reproduction duration of still pictures recorded thereon and recording and reproducing methods and apparatuses
US8055117B2 (en) * 2003-02-15 2011-11-08 Lg Electronics Inc. Recording medium having data structure for managing reproduction duration of still pictures recorded thereon and recording and reproducing methods and apparatuses
EP1618562A4 (en) * 2003-04-29 2011-03-16 Lg Electronics Inc RECORDING MEDIUM HAVING A DATA STRUCTURE FOR MANAGING REPRODUCTION OF GRAPHIC DATA, METHODS AND APPARATUSES FOR RECORDING AND REPRODUCING THEM
US7616865B2 (en) 2003-04-30 2009-11-10 Lg Electronics Inc. Recording medium having a data structure for managing reproduction of subtitle data and methods and apparatuses of recording and reproducing
CN1839627B (zh) * 2003-06-18 2015-04-01 松下电器产业株式会社 再现装置以及再现方法
KR100897466B1 (ko) * 2003-06-30 2009-05-14 파나소닉 주식회사 기록매체, 재생장치, 기록방법, 재생방법
KR20050005074A (ko) 2003-07-01 2005-01-13 엘지전자 주식회사 고밀도 광디스크의 그래픽 데이터 관리방법 및 그에 따른고밀도 광디스크
KR20050004339A (ko) 2003-07-02 2005-01-12 엘지전자 주식회사 고밀도 광디스크의 그래픽 데이터 관리방법 및 그에 따른고밀도 광디스크
KR20050064150A (ko) 2003-12-23 2005-06-29 엘지전자 주식회사 고밀도 광디스크의 메뉴 구성방법 및 실행방법과기록재생장치
KR20050072256A (ko) 2004-01-06 2005-07-11 엘지전자 주식회사 고밀도 광디스크의 메뉴 사운드 구성방법 및 재생방법과기록재생장치
KR100782808B1 (ko) * 2004-01-13 2007-12-06 삼성전자주식회사 인터렉티브 그래픽 스트림을 기록한 저장 매체 및 그 재생장치
KR101089974B1 (ko) * 2004-01-29 2011-12-05 소니 주식회사 재생 장치, 재생 방법, 및 기록 매체
KR100561417B1 (ko) * 2004-02-09 2006-03-16 삼성전자주식회사 Av 데이터의 재생상태를 전환할 수 있는 인터랙티브그래픽 스트림을 기록한 정보저장매체, 그 재생방법 및 장치
MXPA06012895A (es) * 2004-05-11 2007-01-26 Matsushita Electric Ind Co Ltd Dispositivo de reproduccion.
JP2006012300A (ja) * 2004-06-25 2006-01-12 Funai Electric Co Ltd ディスク再生装置
US20060143566A1 (en) * 2004-12-28 2006-06-29 Meng-Han Tsai Recording medium, method for previewing on-demand digital multimedia data on the recording medium
US8799757B2 (en) * 2005-07-01 2014-08-05 Microsoft Corporation Synchronization aspects of interactive multimedia presentation management
US20070006238A1 (en) * 2005-07-01 2007-01-04 Microsoft Corporation Managing application states in an interactive media environment
EP1902445B1 (en) * 2005-07-14 2013-11-27 Thomson Licensing Method and apparatus for providing an auxiliary media in a digital cinema composition playlist
JP4251298B2 (ja) * 2005-07-15 2009-04-08 ソニー株式会社 再生装置および再生方法、プログラム、プログラム格納媒体、データ、記録媒体、記録装置、および、記録媒体の製造方法
JP2007282023A (ja) * 2006-04-10 2007-10-25 Nec Electronics Corp 多重化装置及び多重化方法
JPWO2008146421A1 (ja) * 2007-05-30 2010-08-19 パナソニック株式会社 情報再生装置及び映像表示装置
KR101208380B1 (ko) 2007-09-27 2012-12-05 미쓰비시 마테리알 가부시키가이샤 ZnO 증착재와 그 제조 방법, 및 ZnO 막
JP5224862B2 (ja) * 2008-03-25 2013-07-03 キヤノン株式会社 コンテンツ切換装置およびコンテンツ切換方法
JP4596060B2 (ja) 2008-08-29 2010-12-08 ソニー株式会社 電子機器、動画像データ区間変更方法及びプログラム
US8638818B2 (en) * 2010-04-20 2014-01-28 Samsung Electronics Co., Ltd Interface apparatus and method for transmitting and receiving media data
JP5899751B2 (ja) * 2011-09-28 2016-04-06 ソニー株式会社 情報処理装置、および情報処理方法、並びにプログラム
KR20130038745A (ko) * 2011-10-10 2013-04-18 삼성전자주식회사 휴대 단말기에서 키 효과음을 제공하는 장치 및 방법
MX2019004303A (es) * 2014-10-17 2019-10-15 Panasonic Ip Corp America Medio de grabacion, metodo de reproduccion y dispositivo de reproduccion.
MX364240B (es) * 2014-10-17 2019-04-17 Panasonic Ip Corp America Medio de grabación, método de reproducción y dispositivo de reproducción.

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01221073A (ja) * 1988-02-29 1989-09-04 Pioneer Electron Corp 画像情報の再生方法
EP0898279A2 (en) 1997-08-22 1999-02-24 Sony Corporation Recording medium and menu control
US6226446B1 (en) 1995-08-21 2001-05-01 Matsushita Electric Industrial Co., Ltd. Machine readable recording medium, reproduction apparatus and method for controlling selection of menu items within a video object
WO2001076256A1 (en) * 2000-03-31 2001-10-11 Koninklijke Philips Electronics N.V. Methods and apparatus for making and replaying digital video recordings, and recordings made by such methods
JP2002533000A (ja) * 1998-12-14 2002-10-02 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 記録担体、記録担体を再生する装置及び方法、並びに記録担体を製造する方法

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3259272B2 (ja) 1990-10-23 2002-02-25 ソニー株式会社 画像表示制御装置および方法
US5600838A (en) * 1994-01-18 1997-02-04 Sybase, Inc. Object oriented dispatch and supercall process and arrangement
WO1996032720A1 (fr) * 1995-04-14 1996-10-17 Kabushiki Kaisha Toshiba Support d'enregistrement, dispositif et procede pour l'enregistrement des donnees sur le support, et dispositif et procede pour la reproduction des donnees a partir du support
JP2813245B2 (ja) 1995-08-21 1998-10-22 松下電器産業株式会社 光ディスクの再生装置及び再生方法
DE69609154T2 (de) 1995-08-21 2000-12-14 Matsushita Electric Ind Co Ltd Multimedia optische platte, die ein dynamisches schalten zwischen wiedergabeausgangen und wiedergabegeraten ermoglicht
JP3345411B2 (ja) 1995-08-21 2002-11-18 松下電器産業株式会社 記録媒体の記録方法
JPH0981118A (ja) 1995-09-11 1997-03-28 Casio Comput Co Ltd 画像制御装置
TW436777B (en) 1995-09-29 2001-05-28 Matsushita Electric Ind Co Ltd A method and an apparatus for reproducing bitstream having non-sequential system clock data seamlessly therebetween
KR100423772B1 (ko) 1996-03-29 2004-06-30 마츠시타 덴끼 산교 가부시키가이샤 인터랙티브한재생진행의성능을향상시킨멀티미디어광디스크,재생장치및재생방법
JPH09282848A (ja) 1996-04-05 1997-10-31 Pioneer Electron Corp 情報記録媒体並びにその記録装置及び再生装置
US6567612B2 (en) 1996-04-05 2003-05-20 Pioneer Electronic Corporation Information record medium, apparatus for recording the same and apparatus for reproducing the same
US5859642A (en) * 1996-09-26 1999-01-12 Sandia Corporation Virtual button interface
US6381398B1 (en) 1996-11-13 2002-04-30 Matsushita Electric Industrial Co., Ltd. Apparatus and method of generating bit stream for information recording disc storage which enables seamless reproduction of a plurality of pieces of image information, and recording medium on which program applied to the generating apparatus is recorded
JP3655433B2 (ja) 1997-06-20 2005-06-02 パイオニア株式会社 コンピュータ読み取り可能な記録媒体及び情報再生装置
US6806893B1 (en) * 1997-08-04 2004-10-19 Parasoft Corporation System and method for displaying simulated three dimensional buttons in a graphical user interface
US5929857A (en) 1997-09-10 1999-07-27 Oak Technology, Inc. Method and apparatus for dynamically constructing a graphic user interface from a DVD data stream
JP3407287B2 (ja) 1997-12-22 2003-05-19 日本電気株式会社 符号化復号システム
JP2000067522A (ja) 1998-08-25 2000-03-03 Sony Corp 情報再生装置および方法、情報記録装置および方法、提供媒体、並びに記録媒体
EP1798948A3 (en) 1998-12-24 2008-09-10 Matsushita Electric Industrial Co., Ltd. Recording/reproduction device and method for digital broadcasting
JP3615954B2 (ja) * 1999-01-29 2005-02-02 大日本スクリーン製造株式会社 基板処理装置用の槽内液面検出装置
JP3805985B2 (ja) 1999-02-18 2006-08-09 株式会社東芝 ストリームデータの情報記憶媒体、その記録方法、再生方法、記録装置および再生装置
US6466220B1 (en) 1999-03-05 2002-10-15 Teralogic, Inc. Graphics engine architecture
JP2001052470A (ja) 1999-08-04 2001-02-23 Toshiba Corp キー操作ナビゲーション装置及び方法
US7099561B1 (en) 1999-08-20 2006-08-29 Thomson Licensing User interface and processing system for digital video, audio and ancillary data
JP2003512789A (ja) 1999-10-21 2003-04-02 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 再生装置及び記録担体を再生するための方法
WO2001031497A1 (en) 1999-10-22 2001-05-03 Activesky, Inc. An object oriented video system
US6600502B1 (en) * 2000-04-14 2003-07-29 Innovative Technology Application, Inc. Immersive interface interactive multimedia software method and apparatus for networked computers
JP2001332006A (ja) 2000-05-17 2001-11-30 Toshiba Corp 背景画像取り込みシステム
US6867781B1 (en) 2000-08-23 2005-03-15 Nintendo Co., Ltd. Graphics pipeline token synchronization
WO2002079902A2 (en) 2000-12-01 2002-10-10 Smartdisk Corporation Systems, methods and computer program products for managing multimedia content
US20020163543A1 (en) * 2001-05-02 2002-11-07 Minoru Oshikiri Menu item selection method for small-sized information terminal apparatus
JP2003249057A (ja) 2002-02-26 2003-09-05 Toshiba Corp デジタル情報媒体を用いるエンハンスド・ナビゲーション・システム
US20030182402A1 (en) * 2002-03-25 2003-09-25 Goodman David John Method and apparatus for creating an image production file for a custom imprinted article
WO2004049710A1 (ja) 2002-11-28 2004-06-10 Sony Corporation 再生装置、再生方法、再生プログラムおよび記録媒体
DE602004026036D1 (de) * 2003-01-31 2010-04-29 Panasonic Corp AUFZEICHNUNGSMEDIUM, WIEDERGABEVORRICHTUNG, AUFZEICHNUNGSVERFAHREN, PROGRAMM UND WIEDERGABEVERFAHREN für einen Grafikdatenstrom zur Definition von interaktiven Schaltflächen.
CN1757231B (zh) 2003-02-28 2013-06-05 松下电器产业株式会社 再现装置、记录方法和再现方法
KR20050005074A (ko) * 2003-07-01 2005-01-13 엘지전자 주식회사 고밀도 광디스크의 그래픽 데이터 관리방법 및 그에 따른고밀도 광디스크

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01221073A (ja) * 1988-02-29 1989-09-04 Pioneer Electron Corp 画像情報の再生方法
US6226446B1 (en) 1995-08-21 2001-05-01 Matsushita Electric Industrial Co., Ltd. Machine readable recording medium, reproduction apparatus and method for controlling selection of menu items within a video object
EP0898279A2 (en) 1997-08-22 1999-02-24 Sony Corporation Recording medium and menu control
JP2002533000A (ja) * 1998-12-14 2002-10-02 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 記録担体、記録担体を再生する装置及び方法、並びに記録担体を製造する方法
WO2001076256A1 (en) * 2000-03-31 2001-10-11 Koninklijke Philips Electronics N.V. Methods and apparatus for making and replaying digital video recordings, and recordings made by such methods

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP1608165A4 *

Cited By (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8463107B2 (en) 2003-01-31 2013-06-11 Panasonic Corporation Recording medium, reproduction apparatus, recording method, program, and reproduction method
US7729598B2 (en) 2003-01-31 2010-06-01 Panasonic Corporation Recording medium, reproduction apparatus, recording method, program, and reproduction method
US8676040B2 (en) 2003-02-28 2014-03-18 Panasonic Corporation Recording medium, reproduction apparatus, and recording method
US7962012B2 (en) 2003-02-28 2011-06-14 Panasonic Corporation Recording medium, reproduction apparatus, recording method, program and reproduction method
US7814422B2 (en) 2003-02-28 2010-10-12 Panasonic Corporation Reproduction apparatus, reproduction method and recording method
EP1713269A4 (en) * 2004-01-13 2010-01-27 Panasonic Corp RECORDING MEDIUM, PLAYING DEVICE, RECORDING METHOD, PROGRAM AND PLAYBACK PROCESS
US7894711B2 (en) 2004-01-13 2011-02-22 Panasonic Corporation Recording medium, reproduction device, recording method, program, and reproduction method
EP2257059A2 (en) 2004-01-13 2010-12-01 Panasonic Corporation Recording medium, reproduction device, recording method, program, and reproduction method
US8515238B2 (en) 2004-01-13 2013-08-20 Panasonic Corporation Reproduction device, recording method, program, and reproduction method
US8538248B2 (en) 2004-01-14 2013-09-17 Samsung Electronics Co., Ltd. Storage medium storing interactive graphics stream activated in response to user's command, and reproducing apparatus for reproducing from the same
US8275235B2 (en) 2004-01-14 2012-09-25 Samsung Electronics Co., Ltd. Storage medium storing interactive graphics stream activated in response to user's command, and reproducing apparatus for reproducing from the same
US8190003B2 (en) 2004-01-14 2012-05-29 Samsung Electronics Co., Ltd. Storage medium storing interactive graphics stream activated in response to user's command, and reproducing apparatus for reproducing from the same
US8180201B2 (en) 2004-01-14 2012-05-15 Samsung Electronics Co., Ltd. Storage medium storing interactive graphics stream activated in response to user's command, and reproducing apparatus for reproducing from the same
US8396344B2 (en) 2004-01-14 2013-03-12 Samsung Electronics Co., Ltd. Method of reproducing from storage medium storing interactive graphics stream activated in response to user's command
US8542977B2 (en) 2004-01-14 2013-09-24 Samsung Electronics Co., Ltd. Method of reproducing from storage medium storing interactive graphics stream activated in response to user's command
US8175444B2 (en) 2004-01-14 2012-05-08 Samsung Electronics Co., Ltd. Method of reproducing from storage medium storing interactive graphics stream activated in response to user's command
US7660516B2 (en) 2004-02-17 2010-02-09 Panasonic Corporation Recording medium, reproduction device, program, and reproduction method
US8369682B2 (en) 2004-02-17 2013-02-05 Panasonic Corporation Reproduction device, recording method and playback method
US8559787B2 (en) 2004-07-06 2013-10-15 Panasonic Corporation Recording method and recording medium playback system
JP2011096361A (ja) * 2004-12-01 2011-05-12 Panasonic Corp 記録媒体、再生装置、管理プログラム、再生方法
US8842978B2 (en) 2004-12-01 2014-09-23 Panasonic Corporation Recording medium, reproduction device, program, reproduction method, and integrated circuit
EP1770705A4 (en) * 2004-12-01 2012-08-01 Panasonic Corp RECORDING MEDIA, PLAYING DEVICE, PROGRAM, PLAY PROCESS AND INTEGRATED CIRCUIT
KR101226487B1 (ko) 2004-12-01 2013-01-28 파나소닉 주식회사 기록매체, 재생장치, 재생방법
EP1770705A1 (en) * 2004-12-01 2007-04-04 Matsushita Electric Industrial Co., Ltd. Recording medium, reproduction device, program, reproduction method, and integrated circuit
WO2006070298A1 (en) * 2004-12-27 2006-07-06 Koninklijke Philips Electronics N.V. Method and apparatus for enabling an application to cooperate with running ofa program
US8787131B2 (en) 2005-02-28 2014-07-22 Koninklijke Philips N.V. Fallback mechanism for data reproduction
WO2006090300A1 (en) 2005-02-28 2006-08-31 Koninklijke Philips Electronics N.V. Fallback mechanism for data reproduction
WO2006095300A3 (en) * 2005-03-10 2006-11-09 Koninkl Philips Electronics Nv Method and device for displaying virtual objects
JP2008547142A (ja) * 2005-06-15 2008-12-25 エルジー エレクトロニクス インコーポレーテッド 記録媒体、オーディオデータミキシング装置及びミキシング方法
JP2009093789A (ja) * 2005-07-15 2009-04-30 Sony Corp データ、記録媒体、記録装置、製造方法
EP1938578A2 (en) * 2005-08-29 2008-07-02 Sony Corporation Abstractions in disc authoring
EP1920609A2 (en) * 2005-08-29 2008-05-14 Sony Corporation Slicing interactive graphic data in disc authoring
JP2009506479A (ja) * 2005-08-29 2009-02-12 ソニー株式会社 再生可能コンテンツ
EP1920609A4 (en) * 2005-08-29 2010-07-07 Sony Corp SLICES OF INTERACTIVE GRAPHIC DATA IN DATA CARRIER CREATION
EP1938578A4 (en) * 2005-08-29 2010-07-28 Sony Corp ABSTRACTIONS FOR DISC CREATION
TWI466110B (zh) * 2005-12-23 2014-12-21 Koninkl Philips Electronics Nv 使應用程式配合節目運行之方法及裝置
JP5190458B2 (ja) * 2007-09-26 2013-04-24 パナソニック株式会社 データ処理装置及び方法
WO2009040966A1 (ja) * 2007-09-26 2009-04-02 Panasonic Corporation データ処理装置及び方法

Also Published As

Publication number Publication date
JP4213765B2 (ja) 2009-01-21
CN101510980B (zh) 2011-06-15
MXPA05007922A (es) 2005-09-30
CA2512058A1 (en) 2004-08-12
EP2194532A2 (en) 2010-06-09
US20060188223A1 (en) 2006-08-24
CN101510980A (zh) 2009-08-19
CN1745579A (zh) 2006-03-08
JP2008198354A (ja) 2008-08-28
JP4549404B2 (ja) 2010-09-22
KR20090026366A (ko) 2009-03-12
KR101019346B1 (ko) 2011-03-07
US8463107B2 (en) 2013-06-11
EP1608165A4 (en) 2008-10-08
JP2008199661A (ja) 2008-08-28
US7729598B2 (en) 2010-06-01
KR20090026365A (ko) 2009-03-12
EP1608165A1 (en) 2005-12-21
JP4245607B2 (ja) 2009-03-25
CN100474915C (zh) 2009-04-01
EP2194532A3 (en) 2011-09-28
CN101510982B (zh) 2010-12-29
KR101019333B1 (ko) 2011-03-07
KR100984442B1 (ko) 2010-09-29
CA2512058C (en) 2013-01-15
KR20050104361A (ko) 2005-11-02
JPWO2004068854A1 (ja) 2006-05-25
JP2008245303A (ja) 2008-10-09
KR20090026364A (ko) 2009-03-12
CN101510982A (zh) 2009-08-19
JP4213764B2 (ja) 2009-01-21
KR20090060374A (ko) 2009-06-11
CN101510981A (zh) 2009-08-19
ES2343065T3 (es) 2010-07-22
EP1608165B1 (en) 2010-03-17
DE602004026036D1 (de) 2010-04-29
KR100999743B1 (ko) 2010-12-08
US20100195982A1 (en) 2010-08-05
KR101019360B1 (ko) 2011-03-07
CN101510981B (zh) 2011-08-10

Similar Documents

Publication Publication Date Title
KR100999743B1 (ko) 재생장치
JP4388972B2 (ja) 再生装置
JP4148971B2 (ja) システムlsi

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS JP KE KG KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NA NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): BW GH GM KE LS MW MZ SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LU MC NL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

WWE Wipo information: entry into national phase

Ref document number: 2005504762

Country of ref document: JP

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 2512058

Country of ref document: CA

WWE Wipo information: entry into national phase

Ref document number: PA/a/2005/007922

Country of ref document: MX

WWE Wipo information: entry into national phase

Ref document number: 1020057013952

Country of ref document: KR

WWE Wipo information: entry into national phase

Ref document number: 20048033137

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 2004706788

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 1020057013952

Country of ref document: KR

WWE Wipo information: entry into national phase

Ref document number: 2006188223

Country of ref document: US

Ref document number: 10543515

Country of ref document: US

WWP Wipo information: published in national office

Ref document number: 2004706788

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 10543515

Country of ref document: US