WO2004077827A1 - 記録媒体、再生装置、記録方法、プログラム、再生方法 - Google Patents

記録媒体、再生装置、記録方法、プログラム、再生方法 Download PDF

Info

Publication number
WO2004077827A1
WO2004077827A1 PCT/JP2004/002343 JP2004002343W WO2004077827A1 WO 2004077827 A1 WO2004077827 A1 WO 2004077827A1 JP 2004002343 W JP2004002343 W JP 2004002343W WO 2004077827 A1 WO2004077827 A1 WO 2004077827A1
Authority
WO
WIPO (PCT)
Prior art keywords
button
graphics
stream
time
state
Prior art date
Application number
PCT/JP2004/002343
Other languages
English (en)
French (fr)
Inventor
Hiroshi Yahata
Tomoyuki Okada
Wataru Ikeda
Joseph Mccrossan
Original Assignee
Matsushita Electric Industrial Co., Ltd.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co., Ltd. filed Critical Matsushita Electric Industrial Co., Ltd.
Priority to DE602004027607T priority Critical patent/DE602004027607D1/de
Priority to CN2004800055189A priority patent/CN1757231B/zh
Priority to EP04715507A priority patent/EP1605696B1/en
Priority to JP2005502942A priority patent/JP3878650B2/ja
Priority to KR1020077017082A priority patent/KR100886527B1/ko
Publication of WO2004077827A1 publication Critical patent/WO2004077827A1/ja
Priority to US11/212,387 priority patent/US7412152B2/en
Priority to US11/606,810 priority patent/US7499629B2/en
Priority to US11/606,829 priority patent/US7466903B2/en

Links

Classifications

    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • H04N5/92Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/42Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of patterns using a display memory without fixed position correspondence between the display memory contents and the display position on the screen
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B19/00Driving, starting, stopping record carriers not specifically of filamentary or web form, or of supports therefor; Control thereof; Control of operating function ; Driving both disc and head
    • G11B19/02Control of operating function, e.g. switching from recording to reproducing
    • G11B19/022Control panels
    • G11B19/025'Virtual' control panels, e.g. Graphical User Interface [GUI]
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B19/00Driving, starting, stopping record carriers not specifically of filamentary or web form, or of supports therefor; Control thereof; Control of operating function ; Driving both disc and head
    • G11B19/02Control of operating function, e.g. switching from recording to reproducing
    • G11B19/027Remotely controlled
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • G11B20/12Formatting, e.g. arrangement of data block or words on the record carriers
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/105Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/30Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording
    • G11B27/3027Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording used signal is digitally coded
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/30Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording
    • G11B27/3027Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording used signal is digitally coded
    • G11B27/3036Time code signal
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/32Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier
    • G11B27/327Table of contents
    • G11B27/329Table of contents on a disc [VTOC]
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34Indicating arrangements 
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/4104Peripherals receiving signals from specially adapted client devices
    • H04N21/4135Peripherals receiving signals from specially adapted client devices external recorder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/426Internal components of the client ; Characteristics thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4348Demultiplexing of additional data and video streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/84Television signal recording using optical recording
    • H04N5/85Television signal recording using optical recording on discs or drums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • H04N5/93Regeneration of the television signal or of selected parts thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8227Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being at least another television signal
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/40Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which both a pattern determined by character code and another pattern are displayed simultaneously, or either pattern is displayed selectively, e.g. with character code memory and APA, i.e. all-points-addressable, memory
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00Record carriers by type
    • G11B2220/20Disc-shaped record carriers
    • G11B2220/21Disc-shaped record carriers characterised in that the disc is of read-only, rewritable, or recordable type
    • G11B2220/213Read-only discs
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00Record carriers by type
    • G11B2220/20Disc-shaped record carriers
    • G11B2220/21Disc-shaped record carriers characterised in that the disc is of read-only, rewritable, or recordable type
    • G11B2220/215Recordable discs
    • G11B2220/216Rewritable discs
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00Record carriers by type
    • G11B2220/20Disc-shaped record carriers
    • G11B2220/21Disc-shaped record carriers characterised in that the disc is of read-only, rewritable, or recordable type
    • G11B2220/215Recordable discs
    • G11B2220/218Write-once discs
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00Record carriers by type
    • G11B2220/20Disc-shaped record carriers
    • G11B2220/25Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
    • G11B2220/2537Optical discs
    • G11B2220/2541Blu-ray discs; Blue laser DVR discs
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00Record carriers by type
    • G11B2220/20Disc-shaped record carriers
    • G11B2220/25Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
    • G11B2220/2537Optical discs
    • G11B2220/2545CDs
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00Record carriers by type
    • G11B2220/20Disc-shaped record carriers
    • G11B2220/25Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
    • G11B2220/2537Optical discs
    • G11B2220/2562DVDs [digital versatile discs]; Digital video discs; MMCDs; HDCDs
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00Record carriers by type
    • G11B2220/20Disc-shaped record carriers
    • G11B2220/25Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
    • G11B2220/2537Optical discs
    • G11B2220/2562DVDs [digital versatile discs]; Digital video discs; MMCDs; HDCDs
    • G11B2220/2575DVD-RAMs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42212Specific keyboard arrangements
    • H04N21/42213Specific keyboard arrangements for facilitating data entry
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/44Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/44504Circuit details of the additional information generator, e.g. details of the character or graphics signal generator, overlay mixing circuits
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/775Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television receiver
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/78Television signal recording using magnetic recording
    • H04N5/781Television signal recording using magnetic recording on disks or drums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/907Television signal recording using static stores, e.g. storage tubes or semiconductor memories
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/806Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal
    • H04N9/8063Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal using time division multiplex of the PCM audio and PCM video signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal

Definitions

  • Dialogue control in which a button appears on the screen as the video plays and the progress of the playback changes according to the operation of this button, has long been a dream for the creator. This is a revolutionary recording medium. Synchronous playback between the video and the button is realized by setting a time stamp so that the button is displayed at any point on the video playback time axis.
  • a state control information is provided in a NAVI pack positioned at the head of each V0BU in a stream (Video Object) in which audio and moving images are multiplexed.
  • V0BU includes one G0P of the video stream, along with audio and sub-picture data to be read from DVD at the same time.
  • the state control information is information that changes the state of a plurality of buttons arranged on the screen according to a user operation.
  • the NAV I knock is a transfer rate required for each stream in G0P. ⁇ Information indicating the puffer size.
  • Figure 1 shows the above dialogue control. The bottom row of the figure is the data allocation in the DVD. It can be seen that the state control information is stored in the NAV I pack. This state control information is valid in the G0P time zone to which this NAVI pack belongs. Graphics objects are stored in PES packets and should be displayed synchronously. Is displayed in the same evening as the current picture data. Patent Literature 1 showing such prior art includes Patent Literature 1 below.
  • This request includes a request to realize the state transition of the button by animation.
  • Such an animation requires a large number of graphics to be decoded and a heavy decoding load. In some cases, we cannot respond immediately.
  • an interactive screen has four buttons, and each button has three states: "normal state”, "selected state", and "active state”.
  • the state of each button is represented by an animation display of 2 to 3 seconds. Even if one piece of graphics data is displayed every 5th frame of the video signal, about 30 graphics data must be displayed to achieve an animation of 2 to 3 seconds.
  • An object of the present invention is to provide a recording medium capable of displaying an interactive screen with animation without causing a decrease in response to a user operation.
  • a recording medium has a digital stream obtained by multiplexing a moving image stream and a graphics stream recorded therein.
  • Graphic The graphics stream is composed of an interactive screen that includes various button members and is displayed on the moving image.
  • the graphics stream contains state control information and an array of multiple graphics data.
  • the timing is the sum of the decoding end time of the graphics data located in the middle of the graphics data array and a predetermined period, and
  • the state control information is stored in a bucket, the bucket includes a time stamp, and the time stamp indicates an initial display timing of an interactive screen.
  • the initial display of the interactive screen can be performed in a period obtained by adding a predetermined period to the end time of the one positioned in the middle of multiple graphics. If this predetermined period is short, the initial display can be executed even if the decoding of all graphics is incomplete. Since the timing of this initial display is indicated by the time stamp of the packet storing the state control information, by referring to this time stamp, the playback device may not have decoded all the graphics incompletely. It can respond immediately to user operations. With such quick response, it is possible to execute interactive control by animation without a decrease in response.
  • FIG. 1 is a diagram showing interactive control in a DVD.
  • FIG. 2 (a) is a diagram showing a mode of use of the recording medium according to the present invention.
  • FIG. 2B is a diagram showing a key arrangement on the remote controller 400 for accepting an operation on the interactive screen from the user.
  • FIG. 3 is a diagram showing a configuration of the BD-R0M.
  • FIG. 4 is a diagram schematically showing how the AVC Lip is configured.
  • FIG. 5 is a diagram showing the internal structure of the Clip information.
  • FIG. 6 is a diagram showing the internal structure of PL information.
  • FIG. 7 is a diagram schematically illustrating indirect reference using PL information.
  • FIG. 8A is a diagram showing the configuration of a graphics stream.
  • FIG. 8B is a diagram showing the internal configuration of ICS and 0DS.
  • FIG. 9 is a diagram showing a logical structure composed of various types of functional segments.
  • Figure 10 (a) is a diagram showing the data structure for defining a graphics object by 0DS.
  • FIG. 10 (b) is a diagram showing the data structure of the PDS.
  • FIG. 11 is a diagram showing a data structure of the Interactive Composition Segment.
  • FIG. 12 is a diagram showing a relationship between 0DS included in a certain DSn and ICS.
  • FIG. 13 is a diagram showing screen composition at display timing of arbitrary picture data ptl.
  • FIG. 14 is a diagram showing an example of setting button information in the ICS.
  • Figure 15 shows a button A ⁇ button! FIG.
  • FIG. 16 is a diagram showing an example of the pattern of 0DS11, 21, 31, 41.
  • FIG. 17 is a diagram showing an example of a pattern of 0DS11 to 0DS for button A.
  • FIG. 18 is a diagram illustrating an example of the ICS and ODS included in the DS.
  • FIG. 19 is a diagram showing the order of 0DS belonging to the Display Set and the bubble-state group.
  • FIG. 20 is a diagram showing a state transition in an interactive screen in which the button-state group in FIG. 19 is arranged.
  • FIG. 21 is a diagram showing the order of 0DS in the Display Set.
  • Figures 23 (a) and (b) show buttons A to N-ODSs! ) Are included, and buttons A ⁇ ! This figure shows the value of ⁇ SIZE (DSn [ICS. BUTTON [i]]) when multiple 0DSs are included.
  • FIG. 24 is a diagram showing timing at the time of synchronous display by the ICS.
  • Figure 25 shows the DTS and PTS settings when the initial display of the interactive screen is composed of multiple 0DS and default_selected—button number is enabled
  • Figure 26 is a diagram showing the settings of DTS and PTS when the initial display of the interactive screen is composed of multiple 0DS and default-selected-button-immber is disabled.
  • FIG. 27 is a diagram showing the internal configuration of the playback device according to the present invention.
  • FIG. 28 is a diagram showing the contents stored in the Object Buffer 15 in comparison with the graphics plane 8.
  • FIG. 29 is a diagram showing processing of the Graphics Controller 17 at the time of initial display.
  • FIG. 30 is a diagram showing the processing of the Graphics Controller 17 when updating the interactive screen by lstUserAction (MoveRight).
  • FIG. 31 is a diagram showing processing of the graphics controller 17 at the time of updating the interactive screen by lstUserAcUon (MoveDown).
  • FIG. 32 is a diagram showing processing of the Graphics Controller 17 when updating the interactive screen by lstUserAction (Activated).
  • Fig. 33 is an evening chart showing the pipeline processing by the playback device.
  • FIG. 34 is a timing chart showing the pipeline processing by the playback device when the default selected button is dynamically changed.
  • FIG. 35 is a flowchart showing a procedure of executing the LinkPL function by the control unit 20.
  • FIG. 36 is a flowchart showing the processing procedure for loading a segment.
  • FIG. 37 is a diagram illustrating an example of multiplexing.
  • FIG. 38 is a diagram illustrating a state where the DS10 is loaded into the Coded Data buffer 13 of the playback device.
  • FIG. 39 is a diagram showing a case where normal reproduction is performed.
  • FIG. 40 is a diagram showing the modes of DS1, 10, and 20 when normal reproduction is performed as shown in FIG.
  • Figure 41 shows the main routine of the processing procedure of the Graphics Controller 17. This is a D-chart depicting a process corresponding to a chin.
  • FIG. 42 is a flowchart showing the processing procedure of synchronization control using a time stamp.
  • FIG. 43 is a flow chart showing the processing procedure of the writing processing of the graphics plane 8.
  • FIG. 44 is a flowchart showing the procedure for processing the auto-activate page of the default selected button.
  • FIG. 45 is a flowchart showing the procedure for displaying an animation.
  • FIG. 46 is a flowchart showing the procedure of the U0 process.
  • FIG. 47 is a flowchart showing the procedure for changing the current button.
  • FIG. 48 is a flowchart showing a processing procedure of the numerical value input processing.
  • FIG. 49 is a diagram showing a pipeline in the playback device based on PTS in DTS and PDS.
  • FIG. 50 is a diagram illustrating the meaning of END during the pipeline operation of the playback device.
  • FIG. 51 is a flowchart showing a BD-ROM manufacturing process according to the second embodiment.
  • FIG. 2 (a) is a diagram showing a mode of use of the recording medium according to the present invention.
  • the recording medium according to the present invention is BD-R0M100.
  • the BD-R0M 100 is used for supplying a movie work to a home theater system formed by a reproducing apparatus 200, a television 300, and a remote controller 400.
  • the remote controller 400 accepts an operation for changing the state of the interactive screen from the user, and is deeply related to the recording medium according to the present invention.
  • Figure 2 (b) shows the dialogue FIG.
  • buttons in the dialogue screen have three states: normal state, selected state, and active state. These MoveU key-MoveDon key, MoveRight key, and MoveLeft key change the state of this button from normal state to selected state. Operation to change from state to active state is received from the user.
  • the normal state is a state that is merely displayed.
  • the selected state refers to a state in which the focus has been applied by a user operation, but has not been determined.
  • the active state is the state that has been confirmed.
  • the MoveUp key is used to set the button above this button to the selected state when a certain button is in the selected state on the interactive screen.
  • the MoveDown key is used to set the buttons below this button to the selected state.
  • the MoveR i ght key is used to set the buttons to the right of this button to the selected state. Is a key for setting the button to the left of this button to the selected state.
  • FIG. 3 is a diagram showing a configuration of the BD-R0M.
  • AVClip (XXX.M2TS) is a digital stream in MPEG-TS (Transport Stream) format, which includes a video stream, one or more audio streams, a presentation graphics stream, and an interactive graphics stream. Are multiplexed.
  • the video stream covers the video portion of the movie
  • the audio stream covers the audio portion of the movie
  • the presentation graphics stream covers the subtitles of the movie
  • the interactive graphics stream covers the menu.
  • FIG. 4 is a diagram schematically showing how the AVClip is configured.
  • AVClip (middle) is a video stream composed of multiple video frames (pictures pjl, 2,3) and an audio stream composed of multiple audio frames.
  • the stream is converted to a PES packet sequence (upper second row), and further converted to a TS packet (upper third row).
  • the presentation graphics stream, the interactive A pixgraph stream (lower first stage) is converted to a PES bucket sequence (lower second stage), and further converted to a TS bucket (lower third stage) to multiplex these. It consists of.
  • An AVClip generated through such a process is divided into a plurality of extents and recorded in an area on a BD-ROM, like a normal computer file.
  • AVCli consists of one or more ACCESS UNITs, and can be searched for in units of this ACCESS UNIT.
  • ACCESS UNIT is one decoding unit starting from an Intra (I) picture.
  • attribute information about audio streams indicates how the audio stream was compressed (Coding) and what the channel number of the audio stream is (Ch. What Indicates the language (Lang) and what the sampling frequency is.
  • EP—map is a reference table for indirectly referencing addresses at a plurality of cue positions using time information. As shown by a broken line hn5, a plurality of entry information ( ACCESS UNIT # 1 entry, ACCESS
  • Each entry indicates the playback start time of the corresponding ACCESS UNIT in association with the address of the ACCESS UNIT as shown by the leader line hn6 (note that the size of the first I picture in the ACCESS UNIT (The playback start time of the ACCESS UNIT is represented by the time stamp (Presentation Time Stamp) of the picture data located at the beginning of the ACCESS UNIT.
  • the playback start time of the ACCESS UNIT is represented by the time stamp (Presentation Time Stamp) of the picture data located at the beginning of the ACCESS UNIT.
  • FIG. 6 is a diagram showing the internal structure of the PL information.
  • Playltem information defines one or more logical playback sections that make up the play list. The structure of Playltem information is highlighted by the leader line hsl. This drawer As indicated by the dashed line, the Playltem information indicates the file name of the file information of the playback section information of the AVClip to which the In and Out points of the playback section belong, and describes the “ClipJnformation_file_name” and the AVClip.
  • FIG. 7 is a diagram schematically illustrating indirect reference by time.
  • the AVClip is composed of a plurality of ACCESS UNITs.
  • the EP-map in the Clip information specifies the addresses of these multiple ACCESS UNITs as indicated by arrows ayl.2,3,4.
  • Arrows jyl, 2, 3, and 4 in the figure schematically show ACCESS UNIT reference by Playltem information.
  • reference by Playltem information (arrows jyl, 2, 3, 4) may be a time-directed indirect reference to specify addresses of multiple ACCESS UNITs included in the AVClip through the EP-map. Understand.
  • Playltem information-Clip information-A playback section on the BD-ROM consisting of a set of AVClips is called a "play item”.
  • the logical playback unit on the BD-ROM consisting of a set of PL information, Clip information, and AVClip is called a play list (abbreviated as PL).
  • Movie works recorded on BD-ROM are composed of these logical playback units (PL). Since the movie work in BD-R0M is composed of logical playback units, if a PL that specifies only a scene where a certain character appears is defined separately from the main movie work, that character It is possible to simply produce a movie work consisting only of the scenes in which it appears.
  • the movie work recorded on the BD-R0M has the above-mentioned logical structure. It is possible to efficiently use "AVClip" that constitutes a scene of one movie work in another movie work. .
  • FIG. 8 (a) is a diagram showing the configuration of an interactive graphics stream.
  • the first level shows the TS bucket sequence that forms the AVClip. No. 2
  • the second row shows the PES bucket sequence that makes up the graphics stream.
  • the row of PES packets in the second row is constructed by extracting pay ports from TS buckets having a predetermined PID out of the TS buckets in the first row and connecting them.
  • the presentation graphics stream will not be described because it is not the focus of the present application.
  • the third row shows the configuration of the graphics stream.
  • the graphics stream is composed of functional segments called ICS (Interactive Composition Segment) ⁇ PDS (Palette Definition Segment), 0DS (Object—Definition—Segment), and END (END of Display Set Segment).
  • ICS is called a screen composition segment
  • PDS, 0DS, and END are called definition segments.
  • the correspondence between PES packets and functional segments is one-to-one and one-to-many. That is, the functional segment is converted into one PES packet and recorded on the BD-ROM, or is converted into a fragment, converted into a plurality of PES packets, and recorded on the BD-R0M.
  • Fig. 8 (b) shows a PES bucket obtained by converting functional segments.
  • a PES packet is composed of a packet header and a payload, and this payload corresponds to a functional segment entity.
  • the packet header has DTS and PTS corresponding to this functional segment.
  • the DTS and PTS existing in the header of the PES packet storing the functional segment will be treated as the DTS and PTS of the functional segment.
  • FIG. 9 is a diagram showing a logical structure composed of various types of functional segments.
  • the function segment is shown in the third row
  • the Display Set is shown in the second row
  • the Epoch is shown in the first row.
  • the second-stage Display Set (abbreviated as DS) refers to a set of graphics that compose a single screen, out of multiple function segments that compose a graphics stream.
  • the broken line in the figure indicates the DS to which the functional segment in the third row belongs.
  • the first-stage Epoch refers to one period that has continuity of memory management on the playback time axis of AVC Lip, and a data group assigned to this period.
  • the memory assumed here is a graphics plane for storing graphics for one screen, and an object buffer for storing decompressed graphics data.
  • the continuity of the memory management for these means that the graphics plane and the object buffer do not flush during the period of this Epoch, and that the graphics plane and the object buffer do not flash within a certain rectangular area in the graphics plane. This means that the erasure and redrawing of the graphics are performed only in (*) (Flash here means clearing the entire contents of the plane and the buffer).
  • the horizontal and vertical size and position of this rectangular area are fixed throughout the Epoch period.
  • Epoch is a unit on the playback time axis that can guarantee seamless playback. If you want to change the area where graphics are to be erased and redrawn on the graphics plane, you must define the point of change on the playback time axis, and create a new Epoch after the point of change. In this case, seamless regeneration is not guaranteed at the boundary between the two Epochs.
  • the seamless playback means that erasing and redrawing of graphics are completed with a predetermined number of video frames.
  • the number of video frames is 4, 5 frames.
  • the size of this video frame is determined by the ratio of the size of the fixed area to the entire graphic plane and the transfer rate between the object buffer graphic planes.
  • Epoch Start a series of DSs called Epoch Start, Acquisition Point, and Normal Case constitute the first stage Epoch.
  • Epoch Start "Acquisition Point”
  • Normal Case a series of DSs called Acquisition Point and Normal Case.
  • the order of Acquisition Point and Norm l Case in this figure is only an example, and either order may be used.
  • Epoch StartJ is a DS that has a display effect of" new display "and indicates the start of a new Epoch. Therefore, Epoch Start includes all the functional segments required for the next screen composition.
  • the Epoch Start is placed in the AVClip, such as a chapter in a movie work, at a position where it is known that cueing will be performed.
  • “Acquisition Point” is a Display Set that has a display effect called “display refresh” and is related to the preceding Epoch Start.
  • Acquisition Point There are two types of Acquisition Point: Duplicate and Inherit.
  • Duplicate refers to a Display Set that is exactly the same as the preceding Epoch Start
  • Inherit refers to a Display Set that inherits the functional segment of the preceding Epoch Start but differs only in the button commands.
  • the Acquisition Point DS is not at the start of Epoch, it includes all the functional segments required for the next screen composition, so if you jump to the Acquisition Point DS, the graphics display will be reliable. Can be realized. In other words, the DS, which is the Acquisition Point, has the role of enabling screen composition from the middle of the Epoch.
  • the Display Set which is the Acquisition Point, is installed at the position where it can be searched.
  • locations include those that can be specified by a time search.
  • Time search is an operation that accepts a time input of minutes and seconds from the user and searches for the beginning from the playback time point corresponding to the time input.
  • Such time input is performed in a rough unit, such as a unit of 10 minutes or 10 seconds, so that the playback position at 10-minute intervals and the playback position at 10-second intervals are positions that can be specified by the time search.
  • Normal CaseJ is a DS that has a display effect of" display update "and includes only the differences from the previous screen composition.
  • the button of a certain DSv has the same pattern as the preceding DSu, but if the state control is different from this preceding DSu, set a DSv with only ICS or a DSv with only ICS and PDS
  • This DSv is used as the DS of No rmal case. This eliminates the need to provide overlapping 0DSs, which can contribute to a reduction in the capacity of the BD-R0M.
  • the screen configuration cannot be performed by Normal Case alone.
  • the interactive screen defined by these DSs is an interactive screen created by placing GUI components on the screen.
  • Interactivity in DS means that the state of the GUI component changes according to the user operation.
  • a GUI component to be operated by a user is called a button.
  • button states There are three types of button states: normal, selected, and active. Each state, such as the normal state, the selected state, and the active state, is composed of multiple uncompressed graphics. Each uncompressed graphic that represents each state of the button is called a "graphics object".
  • One state of a button is represented by multiple uncompressed graphics because it is intended to animate and display one state of each button.
  • “Object_Definition_Segment” is information that defines a graphics object. This graphics object will be described below. Since the AVC lip recorded on the BD-R0M has a sales point of high image quality comparable to that of HDTV, the resolution of the graphics object is also set to a high-definition size of 1920 x 1080 pixels. For the color of a pixel, the bit length of the index value (red difference component (Cr value), blue difference component (Cb value), luminance component Y value, transparency (T value)) per pixel is 8 bits. This allows you to select any 256 colors from the full-color 16,777,216 colors and set them as pixel colors. The definition of graphical objects by ODS is made with a data structure as shown in Fig. 10 (a).
  • the 0DS has “Segment—Type” indicating that it is itself a 0DS, “segment—length” that indicates the data length of the ODS, and “object_ID” that uniquely identifies the graphics object corresponding to this 0DS in the Epoch. , "Object-version-n-ber” indicating the version of 0DS in Epoch, "last-insequence-flag”, and the continuous pet length which is a part or all of the graphics object The data “object—data—fragment” and power.
  • the “object_ID” uniquely identifies the graphics object corresponding to this 0DS in Epoch, but when multiple graphics objects defined by multiple 0DS constitute an animation, a series of graphics objects added to these 0DS "Object_ID” is a sequential number.
  • fPalette Definition SegmentJ is information that defines a palette for color conversion.
  • Figure 10 (b) shows the data structure of the PDS. As shown in Fig. 10 (b), the PDS has a rsegraent_typej indicating that it is itself a PDS, a “segment—length” that indicates the data length of the PDS, and a “Pallet_id” that uniquely identifies the pallets included in this PDS.
  • Epoch PDS version at Epoch It consists of “version—number”, which indicates the entry, and information about each entry, “Pallet-entry”. “Pallet_entry” indicates the red difference component (Cr value), blue difference component (Cb value), luminance component Y value, and transparency (T value) in each entry.
  • END of Display Set SegmentJ is an index indicating the end of transmission of Display Set, and is placed immediately after the last 0DS among ICS, PDS, and 0DS in Display Set.
  • the internal configuration of the END of Display SetSegment consists of a segment_type indicating that the function segment is an END of Display SetSegment, and a segment_length indicating the data length of the function segment. is necessary components are not c therefore not shown.
  • the Interactive Composition Segment is a functional segment that composes an interactive screen.
  • the Interactive Composition Segment has the data structure shown in FIG.
  • ICS is composed of “segment—type”, “segment—length”, “composition—number”, “composition—state”, “command—update_flag”, and “Composition— timeout—PTS, Selection—timeout—PTS, U0_Mask—Table, animation—frame—rate_code, default—selected—button—number, and default_activated—button—number And “a button information group (button info (l) (2) (3) ----) J”.
  • Composition_Nuniber is a numerical value from 0 to 15 indicating that Update is performed in the DS to which the ICS belongs.
  • composition—state indicates whether this ICS power, DS power, Normal Case, Acquisition Point power, or Epoch Start.
  • “Command_update_nag” indicates whether or not the button command in this ICS has changed from the previous ICS. For example, if the DS to which a certain ICS belongs is-. Acquisition Point, this ICS will, in principle, have the same content as the previous ICS. But if you set commancLupdate—flag to on, one A button command different from the previous DS can be set in ICS. This flag is effective when graphics objects are diverted but commands are to be changed.
  • Composition—timeout—PTS describes the end time of the dialogue screen by the button. At the end time, the display of the interactive screen is no longer valid and will not be displayed. Composition_timeout_PTS is preferably described with the time accuracy of the playback time axis in video data.
  • Selection—Timeou PTS describes the end of a valid button selection period. At the time of Selection— Timeout— PTS, the button identified by Default_activated— button— number is activated. Selection— Timeout— PTS is equal to or shorter than composition— time— out— PTS time. Selection—Timeout—The PTS is described with the time accuracy of the video frame.
  • “U0_Mask-One Table” indicates permission or rejection of user operation in the Display Set corresponding to ICS. If this mask field is set to be disallowed, user operations on the playback device will be invalidated.
  • Animation—frame—rate—code describes the frame rate that should be applied to the animation-type button.
  • the animation frame rate is given by dividing the video frame rate using the value of this field. If this field is 00, only the ones specified by Start_0bject_id_xxx among the 0DS that define the graphics object for each button are displayed and are not animated.
  • “Default_selected—button—number” indicates the button number that should be set to the selected state as the default when the display of the interactive screen starts. If this field is "0", the button with the button number stored in the register of the playback device is automatically set to the active state. If this field is non-zero, this field signifies a valid button value.
  • activated_button activates any button before the time defined by Selection—Timeout—PTS. Indicates a button that will automatically be set to the active state if not found. defau — activated— button— number If "FF", the button currently in the selected state will be automatically selected at the time defined by Selection-- Timeout_PTS. If this default—activated—button—activated ber is 00, no automatic selection is made. If the value is other than 00, FF, this field is interpreted as a valid button number.
  • button-info is information that defines each button to be synthesized on the interactive screen.
  • the lead line hpl in the figure closes up the internal structure of the button information i for the i-th button controlled by the ICS.
  • information elements constituting the button information i will be described.
  • button_number is a numerical value that uniquely identifies button i in ICS.
  • “Numerically one selectable—flag” is a flag indicating whether or not to permit numerical selection of button i.
  • Auto_action—flag indicates whether to activate button i automatically. Auto—If the action flag is set to on (bit value 1), button i goes active instead of being selected. Auto_action—If flag is set to off (bit value 0), button i is only selected, even if selected.
  • Object-horizontal-position and uobject-vertical-positionj indicate the horizontal and vertical positions of the upper left pixel of button i in the interactive screen.
  • “Upper—button—numberj indicates the number of the button that should be placed in the selected state instead of button i when the M0VEUP key is pressed while button i is in the selected state. If the number of button i is set in this field, pressing the M0VEUP key is ignored.
  • “Lower—button—number”, “left_button—number”, and “right_button—numberj are used when the MOVE Down key, MOVE Left key, and MOVE Right key are pressed when the button i is in the selected state.
  • a button that should be in the selected state instead of pressing button i Indicates the number. If the number of button i is set in this field, pressing of these keys is ignored.
  • S tar t—obj ec t_id—norma 1 means that when the button i in the normal state is drawn by animation, the first number among the serial numbers added to the multiple 0DS that make up the animation is This is described in start-object-id-normal.
  • End—object—id—normal is the last “object-ID” of the serial number added to the multiple 0DSs that make up the animation when the normal button i is drawn by animation. Is described in this end_object-id-normal.
  • ID indicated by End-object-id-normal is the same as the ID indicated by start_object_id_normal, the still image of the graphics object indicated by this ID becomes the pattern of button i.
  • Start_object_id_selected means that when drawing the selected button i by animation, the first number among the serial numbers added to the multiple 0DSs that compose the animation is the start-object-id-selected. Is described. If the ID indicated by this End—objec and id—selected is the same as the ID indicated by start_object_id_selectedd, the still image of the graphics object represented by this ID becomes the picture of button i.
  • end_object_id_selected is the last number of the consecutive “object_ID” added to the multiple 0DSs that make up the animation when drawing a selected button with animation. end—object—id—selected.
  • “Repeat—selected_flag” indicates whether or not to continue repeating the display of the button i in the selected state.
  • start_object_id selected and end—object—id—selected If the values are the same, this field is set to 00.
  • Start—object_id_activated means that when an active button i is drawn by animation, the first number among the serial numbers assigned to the multiple 0DSs that make up the animation is the start_object—id—activated. Is described.
  • rend_object_id_activatedJ is the last number of the serialized “object-ID” added to the multiple 0DSs that make up the animation when the active button is drawn by animation. The signal is described in this end-object-id-activated.
  • buttons-command is a command that is executed when button i becomes active.
  • LinkPL commands This command starts playback of the play list specified by the first argument from the position specified by the second argument. Format: LinkPL (first argument, second argument)
  • the first argument is the play list number, which can specify the PL to be played.
  • the second argument can specify the playback start position using the Playltem included in the PL, and the Chapter and Mark in the PL.
  • LinkPLatPlayltemO A LinkPL function specifying the playback start position by Playltem is called LinkPLatPlayltemO
  • LinkPL function specifying the playback start position is defined as LinkPLatChapterO
  • the LinkPL function whose playback start position is specified by Mark is called LinkPLatMark ⁇ .
  • the button command it is possible to instruct the playback device to acquire the status of the playback device or to set the status.
  • the status of the playback device is 64 Player Status Registers (their settings are called PSRs) and 4096 General Purpose Registers (their settings are called GPRs).
  • PSRs Player Status Registers
  • GPRs General Purpose Registers
  • This function gets the setting value of the Player Status Register specified by the argument.
  • This function gets the value of the General Purpose Register specified by the argument.
  • FIG. 12 is a diagram showing the relationship between 0DS included in a certain DSn and ICS.
  • This DSn includes 0DS11-19,21-29,31-39,41-49 I do.
  • 0DS11 to 19 depict each state of button A
  • 0DS2 29 shows each state of button B
  • 0DS3 39 shows each state of button C.
  • buttons A to D depict each state of Potan D (see brackets in the figure). Then, button-info (1), (2), (3), (4) in ICS-. It is assumed that the state control of these buttons A to D is described (arrows in the figure). bhl, 2,3,4).
  • the execution timing of the control by the ICS is the display timing of an arbitrary picture data ptl of the moving picture shown in FIG. 13, the dialog screen tml including the buttons A to D is displayed in the picture data ptl. Will be combined (gsl) and displayed (gs2). Since an interactive screen consisting of multiple buttons is displayed along with the contents of the video, ICS enables realistic effects using buttons.
  • Figure 14 shows a description example of ICS when executing the state transition of buttons A to D shown in Fig. 15.
  • Arrows hhl and hh2 in FIG. 15 symbolically represent the state transition of button info (l) by neighbor_info (). Since button info (l) 's neighbor— infoO lower— button— number is set to button C, if U0 occurs when the MOVEDown key is pressed while button A is in the selected state (Fig. 15 upl), button C is in the selected state (sjl in Fig. 15). Since right_button_number in neighbor_info () of button info (l) is set to button B, if U0 of pressing the MOVERight key occurs while button A is in the selected state (Fig. 1 5 up2), Potato B becomes selected (sj2 in Fig. 15) 0
  • Arrow hh3 in FIG. 15 indicates control of state transition by neighbor_inf o ⁇ of button info (3). Since upper_button_number in neighbor-info 0 of buUon info (3) is set to button A, if U0 of pressing the MOVEUp key occurs when the button is in the selected state (up3) , Button A returns to the selected state.
  • buttons A to D will be described. It is assumed that ODSll.21, 31, 41 have the pattern shown in FIG. And assigned to button A It is assumed that 0DS11 to 19 have a pattern as shown in FIG.
  • Start—object—id—normal, end—object—id—normal in button—info (1) of button—info (1) in ICS specifies 0DS11 ⁇ 13.
  • the normal state of is represented by an animation using 0DS11 ⁇ 13.
  • start—object—id—selected, end—object—id—selected specifies 0DS14-16, so the selected state of button A is , 0DS14-16.
  • the multiple 0DS that can draw animations are Potan A ⁇ Potan! ), And if these controls are described in the ICS, it is possible to realize realistic button state control that changes the expression of characters in response to user operations.
  • FIG. 18 is a diagram illustrating an example of the ICS, 0DS included in the DS. 0DS31 to 33 in this figure indicate the portraits, player names, and uniform numbers of the three baseball players as shown in the upper part of the figure.
  • the ICS belonging to this DS includes three button information, the button information (start_object-id of 0 is set to indicate 0DS31, and the start_object_id of button information (2) indicates 0DS32, It is assumed that the start_.bject-id of the button information (3) is set to indicate 0DS33, while the button information (1) has a button number of 99 and the button information (2) has a button number of 42.
  • the button information (3) has the button number set to 94.
  • the button information (1) to (3) are all assumed to have immerically_selectable_nag set to 1. In this case, it is possible to select the numerical values of the buttons corresponding to the button information (1) to (3). If the user inputs “99” with the remote controller 400, the buttons of the beginners rack player It goes into the selected state.
  • the input of the numerical value “99” may be realized by continuously receiving the press of the “9” key and the press of the “9” key. Alternatively, it may be realized by continuously receiving the press of the “9” key and the press of the “+10” key nine times.
  • the button of Careless' Miss player is in the selected state
  • the numerical value of "94" is entered, the button of the dead stock player is in the selected state. .
  • the order of ODS in the Display Set will be described.
  • the ODS belonging to the Dspray Set is specified in ICS to represent one state of the button.
  • 0DS determines the order in the Display Set according to such a specification, that is, the specification of the state of the button.
  • the ODSs represent the same state, such as those that represent the normal state (1), those that represent the selected state (2), and those that represent the active state (3). Be grouped. A group that represents one state of this button is called a button-state group. Then, these button-state groups are arranged as., Normal state ⁇ selected state ⁇ active state. In this way, the order of 0DS is determined according to which state of the button is represented in the Display Set. ODS order.
  • FIG. 19 is a diagram showing the order of 0DS belonging to the Display Set.
  • the second row of the figure shows the three button-state groups in the Display Set.
  • a set of ODSs for drawing the normal state ODSs for Normal state
  • a set of 0DS for drawing the selected state of the button ODSs for Selected state
  • a set of 0DS for drawing the active state of the button ODSs for Actioned state
  • Normal state ⁇ selected state ⁇ active state. This is to ensure that the initial display of the interactive screen is read out earlier in the 0DS, and that the display that constitutes the updated screen display is read later.
  • the first row of Fig. 19 shows the graphics objects An, Bn, Cn, Dn, As, Bs, Cs, Ds, Aa, Ba, and Ca.Da drawn by these button-state groups.
  • the subscript n in ⁇ , ⁇ , Cn.Dn indicates the normal state of each button
  • the subscript s in As, Bs, Cs, Ds indicates the selected state of each button.
  • the subscript a in Aa, Ba, Ca, and Da indicates the active state of each button.
  • the second row in FIG. 19 shows the button-state group to which the graphics object in the first row belongs.
  • FIG. 20 is a diagram showing a state transition in the dialogue screen in which the button-state group in FIG. 19 is arranged.
  • the dialogue screen in this figure has a plurality of states: "initial display”, “update display by 1st user action”, and “update display by 2nd user action”. Arrows in the figure represent user actions that trigger state transitions. Referring to this figure, the four buttons A, B, C, and D have a normal state II, a selected state, and an active state, respectively. Of these, the initial display requires a graphics object that draws three normal states and a graphics object that draws one selected state. It turns out that it is.
  • buttons A to D changes to the selected state dynamically.
  • Normal state of each button When the decoding of the data is completed, the initial display can be realized.
  • the button-state groups corresponding to each state are arranged in the order of the normal state, the selected state, and the active state as shown in the second row of FIG. I have. With this arrangement, it is possible to realize the initial display even if the reading or decoding of the 0DS constituting the active state is not completed, and it is possible to shorten the period from the start of the display set reading to the completion of the initial display. .
  • FIG. 21 is a diagram showing the order of ODS in the Display Set.
  • the ODSs for Normal state are composed of 0DS11 to 13, 0DS21 to 23, 0DS31 to 33, and 0DS41 to 43.
  • ODSs for Selected state consists of 0DS14-16, 0DS24-26, 0DS34-36, 0DS44-46, and ODSs for Actioned state consists of 0DS17-19, 0DS27-29, 0DS37-39, and 0DS47-49.
  • 0DS11 to 13 depict changes in the facial expression of characters, as shown in Fig. 17.
  • Multiple reference means that the object-id for a certain 0DS is specified by two or more normal-state-info, selected-state_info, activated_state_info in ICS. If such multiple reference is performed, the selected state of another button can be drawn using the graphics object that draws the normal state of a certain button, and the pattern of the graphics object can be drawn. Can be shared. By such sharing, the number of 0DS can be reduced. For a multiple referenced 0DS, the question is which button-state group it belongs to.
  • this 0DS belongs to the but ton-state group corresponding to the normal state, or the selected state It becomes a problem whether it belongs to the button-state group corresponding to.
  • 0DS is placed only once in the but ton-state group corresponding to the state that appears first among the multiple states.
  • this 0DS is placed in the button-state group (N-ODSs) corresponding to the normal state and the button-state group (S-ODSs) corresponding to the selected state. ODSs). If another 0DS is multiple-referenced in the selected state and the active state, this 0DS is placed in the but ton-state group (S-ODSs) corresponding to the selected state and the but ton-state corresponding to the active state. Not placed in -state group (A- ODSs). The 0DS thus multi-referenced is placed only once in the button-state group corresponding to the earliest appearing state. This concludes the description of the order of multiple reference in 0DS.
  • S-ODSs which 0DS is positioned at the top depends on whether the default selection is static or dynamic.
  • the confirmed default selected button is a button specified by a valid value other than 00 in default—selected_but ton_number in ICS, and indicated by this value.
  • def au lt selected—button—number, 1 direct 00 When the button indicates 00, the button set to the selected state by default changes dynamically depending on the state of the playback device.
  • Setting default-selected-button_number to indicate a value of 0 is, for example, the case where the AVClip on which the Display Set is multiplexed is the junction of multiple playback paths.
  • the preceding multiple playback paths are Chapters 1, 2, and 3, respectively, and the Display Set at the merging point is one that displays the buttons corresponding to Chapters 1, 2, and 3 defaul t_selected — Button— number It is strange to decide which button should be selected in the tech note.
  • the broken line ssl shows how the 0DS array in S-ODSs is when the default—selected—button—number force and tan B are shown.
  • defaul t- selected- button- case indicate a number force 3 ⁇ 4 button B
  • ODSBs indicating the Serekutetsu de state of the button B is placed at the beginning of S-ODSs, other The 0DS of the button is postponed.
  • ODSAs indicating the selected state of button A are placed at the top.
  • An Epoch is a period during which memory management is continuous on the playback time axis. Since an Epoch is composed of one or more Display Sets, the problem is how to assign a Display Set to the AVClip playback time axis.
  • the playback time axis of the AVClip is an assumed time axis for defining decoding timing and playback timing of individual picture data constituting a video stream multiplexed on the AVClip. In this playback time axis, decoding timing and playback timing are expressed with a time accuracy of 90 KHz.
  • the DTS and PTS added to the ICS and 0DS in the Display Set indicate when synchronous control should be realized on this playback time axis.
  • Performing synchronous control using the DTS and PTS added to the ICS and 0DS is the assignment of Display Sets to the playback time axis.
  • DTS indicates the time to start decoding 0DS with a time accuracy of 90 KHz
  • PTS indicates the decoding end time
  • the decoding of 0DS is not completed instantaneously, but has a long time.
  • the DTS and PTS for 0DS indicate the decoding start time and decoding end time.
  • the ODSj Since the value of the PTS is the end time, the ODSj must be decoded by the time indicated in the PTS, and an uncompressed graphics object must be obtained in the object buffer on the playback device.
  • the decoding start time of any ODSj belonging to Display Setn is indicated in DTS (DSn [ODS]) with a time accuracy of 90 KHz, and the time obtained by adding the longest time required for decoding to this is the ODSj of Display Set. This is the guaranteed end time of the Decode.
  • the size after expansion of ODSj is "SIZE (DSn [ODSj])", and the decoding rate of 0DS If "Rd” is used, the maximum time (seconds) required for decoding is “SIZE (DSn [ODSj]) // Rd”.
  • the decode end time (haze Hz) to be indicated by the PTS is calculated.
  • the PTS of ICS is the PTS value of the 0DS that has the latest decoding time among the 0DS that constitute the initial display of DSn immediately after the start of Epoch (1), the time required for clearing the graphics plane (2), 0DS It is set to a value equal to or longer than the value obtained by adding the write time (3) for writing the graphics object obtained by decoding of the graphics plane to the graphics plane. On the other hand, if it is an Acquisition Point, it is set to a value obtained by adding the plane write period (3) to the PDS value (1) of 0DS (0TS PTS value (1) + plane write period (3)).
  • ICS if default—selected_button—number is specified, the normal state of all buttons is drawn. 0DS decoding, and the default state of the selected button is drawn. 0DS decoding is completed, initial display is completed. It can be performed. The 0DS that draws the selected state of multiple buttons in the initial display is called S-ODSs, of which the decode time Is the fastest one (in this case, the one that draws the default button)
  • the PTS value of this S-ODSsfirst is used as the PTS value of ICS as the PTS value of 0DS, which is the latest decoding time.
  • the time required to clear the graphics plane is 8x video_widt xvideo_height // Expressed as 128, 000, 000. If this is expressed with a time accuracy of 90 KHz, the clearing time (2) of the graphic plane is 90,000 X (8 X video one width x video_eight // 128, 000, 000).
  • ⁇ SIZE (DSn [ICS.BUTT0N [i]]) is a graphic representing each button. Of Obujiweku bets, initially it indicates a total size of what appears c This ⁇ SIZE (DSn [ICS.BUTTON [i ]]) is dynamic and if Defuoru preparative cell Rekutetsu Dobota emissions are Make 'constant It will be different value when it changes to If the default selected button is statically determined ⁇ SIZE (DSn [ICS.BUTTON [i]]) indicates the selected state of the default selected button This is the sum of the first displayed one of the multiple 0DSs and the first one of the multiple 0DSs indicating the normal state of the buttons other than the default selected button.
  • a graphics object (0DSnl) representing the first sheet in the normal state of any button X and a graphics object (0DSnl) representing the first sheet in the selected state of button X ( Among ODSsl), the one with the larger size (Max (0DSnl, 0DSsl)) is considered as the graphics object to be displayed first for one button x.
  • Figures 23 (a) and 23 (b) show the case where N-ODSs contains multiple 0DSs constituting buttons A to D, and S-ODSs contains multiple 0DSs constituting buttons A to D. It is a figure which shows what value SIZE (DSn [ICS. BUTTON [i]]) takes. Here, if default— selected— button_number indicates a valid 5 ⁇ value, ⁇ SIZE (DSn [ICS. BUTTON [i]]) is the sum of the sizes of the four 0DS indicated by the thick frames. "Asl” is the first displayed 0DS among the multiple 0DSs indicating the selected state of button A. "Bnl", “Cnl”, “Dnl” are buttons B ⁇ !
  • the screen clear period cdl the graphics
  • the decoding of the 0DS that has the latest decoding time among the 0DSs that constitute the initial display of DSn must be completed.
  • PTS value must be set.
  • the DTS value of this 0DS must be set at a point earlier than this PTS by the period ddl.
  • Figure 25 is a diagram showing the settings of DTS and PTS when the initial display of the interactive screen is composed of multiple 0DS and the default selected button is statically determined. If decoding of S-ODSsfirst, which is the slowest decoding among the 0DS that realizes the initial display, ends when the period ddl in the figure has elapsed, the PTS of this S-ODSsfirst (DSn [S-ODSsfirst]) It is set to indicate when the period ddl has elapsed.
  • the PTS (DSn [DS-ODSsfirst]) must be cleared since the screen must be cleared and the decoded Dallax object must be transferred. ) Value, the time required for screen clearing (90,000 x (8 x video_idthxvideo_height // 128, 000, 000)), the transmission period of the decoded graphics object (90,000 X (X SIZE (DSn [ICS. BUTTON [i]]) // 128, 000, 000)) must be set as the ICS PTS (DSn [ICS]).
  • Fig. 26 is a diagram showing the settings of DTS and PTS when the initial display of the dialogue screen is composed of multiple 0DS and the default selected button is undecided. If the decoding of S-ODSslast, which is the slowest decoding among the S-ODSs that realizes the initial display, ends when the period dd2 in the figure has elapsed, the PTS (DSn [S-ODSslast]) of this S-0DSslast is Set to indicate when dd2 has elapsed.
  • the period during which interactive control is valid was the period of V0BU, which is the G0P of the video stream.
  • V0BU the period during which interactive control is valid
  • the validity period is set arbitrarily by the ICS PTS and DTS included in the Epoch. I can do it. For this reason, the dialog control in BD-R0M does not depend on G0P.
  • the ICS PTS synchronous control not only controls the button to be displayed at a certain time on the playback time axis, but also controls
  • the pop-up menu is a menu that is displayed by pressing a menu key provided on the remote control 400, and this pop-up display can be enabled by the display timing of certain picture data in AVClip. Synchronous control by PTS.
  • the 0DS that constitutes the pop-up menu is the same as the 0DS that constitutes the button, the decoding of the 0DS is completed, and the graphics object obtained by the decoding is written to the graphics plane. If writing to the graphics plane has not been completed, it will not be possible to respond to menu calls from the user. Therefore, when synchronizing the pop-up menu, the ICS PTS indicates the time at which pop-up display is possible.
  • the data structure of the Display Set (ICS, PDS, 0DS) described above is an instance of the class structure described in the programming language, and the authoring author can write this class structure. These data structures on BD-R0M can be obtained.
  • FIG. 27 is a diagram showing the internal configuration of the playback device according to the present invention.
  • the reproducing apparatus according to the present invention is industrially produced based on the inside shown in the drawing.
  • the playback device according to the present invention mainly includes three parts: a system LSI, a drive device, and a microcomputer system. These parts can be industrially produced by mounting them on the cabinet of the device and the substrate.
  • a system LSI is an integrated circuit that integrates various processing units that perform the functions of a playback device.
  • the playback devices produced in this way include BD drive 1-track buffer 2-PID filter 3 Transport Buffer 4 a, b, c, peripheral circuit 4 d, video decoder 5, video plane 6, audio decoder 7, Graphics plane 8, CLUT section 9, adder 10, graphics decoder 12, coded data buffer 13, peripheral circuit 13a, stream graphics processor 14, object buffer 15, composition buffer 1 6, Graphics controller 17, U0 controller 18, player register group 19, and control unit 20.
  • BD-R0M drive 1 performs loading / read ejection of BD-R0M and executes access to BD-R0M.
  • Track buffer 2 is a FIFO memory in which TS packets read from BD-R0M are stored on a first-in first-out basis.
  • the PID filter 3 filters a plurality of TS buckets output from the track buffer 2. Filtering by the PID filter 3 is performed by writing only TS packets having a desired PID into the Transport Buffers 4a, b, and c. Buffering is not required for PID filter 3 filtering. Therefore, the TS packets input to the PID filter 3 are written to the Transport Buffers 4a, b, c without time delay.
  • Transport Buffers 4a, 4b, and 4c are memories for storing TS packets output from PID filter 3 on a first-in first-out basis.
  • the peripheral circuit 4d is a wire logic that performs a process of converting a TS packet read from the Transport Buffer 4a into a functional segment.
  • the functional segments obtained by the conversion are stored in the coded data buffer 13 o
  • the video decoder 5 decodes a plurality of TS packets output from the PID filter 3 to obtain an uncompressed picture and obtains a video plane 6 Write to.
  • Video plane 6 is a plane for moving images.
  • the audio decoder 7 decodes the TS packet output from the PID filter 3 and outputs uncompressed audio data.
  • the graphics plane 8 is a memory having an area for one screen, and can store uncompressed graphics for one screen.
  • the CLUT unit 9 converts the index colors in the uncompressed graphics stored in the graphics plane 8 based on the Y, Cr, and Cb values indicated in the PDS.
  • the adder 10 multiplies the uncompressed graphics color-converted by the CLUT unit 9 by the T value (transmittance) indicated in the PDS, and outputs the uncompressed picture data stored in the video plane 6 and the pixel data for each pixel. To obtain a composite image and output it.
  • the graphics decoder 12 decodes the graphics stream, obtains uncompressed graphics, and writes the uncompressed graphics to the graphics plane 8 as a graphics object. Subtitles and menus will appear on the screen due to the decoding of the graphics stream.
  • the graphics decoder 12 consists of a Coded Data buffer 13, peripheral circuits 13 a, a Stream Graph ics processor 14, an Object Buf fer 15, a Compos inition, an 'offer 16, and a Graph i It consists of cs controller 17.
  • Coded Data Buffer 13 is a buffer in which functional segments are stored along with DTS and PTS. For such a functional segment, the TS packet header and the PES packet header are removed from each TS bucket of the transport stream stored in the Transport Buffer 4a, and the pay ports are arranged in sequence. It was obtained by Of the removed TS packet header and PES packet header, PTS / DTS is stored in association with the PES packet.
  • the peripheral circuit 13a is wire logic that realizes transfer between the Coded Data buffer 13 and the Stream Graph ics processor 14 and transfer between the Coded Data buffer 13 and the Composion buffer 16.
  • 0DS is set to Coded Data Buffer 13 to the Stream Graphics processor 14.
  • the process of transferring the ICS and PDS to the composition buffer 16 is performed.
  • the Stream Graphics Processor 14 encodes the uncompressed uncompressed graphics composed of the index color obtained from the tecode into the Object Buffer 15 as graphics objects.
  • the decoding by the Stream Graphics processor 14 starts at the time of the DTS associated with the 0DS and ends by the decoding end time indicated by the PTS associated with the 0DS.
  • the above-described decode rate Rd of the graphics object is the output rate of the Stream Graphics Processor 14.
  • FIG. 28 is a diagram showing the storage contents of the Object Buffer 15 in comparison with the graphics plane 8.
  • This storage content assumes that 0DS in the specific examples shown in FIGS. 16 and 17 is written to the Object Buffer 15.
  • the animation of four buttons is realized by 36 ODSs (ODS11 to 49).
  • 0DS which represents all the frames of this animation, This is stored in Object Buffer 15.
  • the display position of each 0DS stored in the Object Buffer 15 is defined.
  • This display position is defined by the Button-horizontal-position and Button_vertical-position of each button information, and each frame of multiple 0DS stored in Object Buffer 15 is transferred one frame at a time. Then, the animation is realized by writing the display position on the graphics plane 8.
  • the composition buffer 16 is a memory in which ICS and PDS are arranged.
  • the graphics controller 17 decodes the ICS placed in the composition buffer 16 and performs control based on the ICS. The execution timing of this control is based on the value of PTS added to ICS.
  • FIG. 29 is a diagram showing processing of the Graphics Controller 17 at the time of initial display. As shown in this figure, .. 0DS belonging to S-ODSs of button A is written in the display position specified by Button_horizontal_position ⁇ Button— vertical—position of button information of button A, and buttons B and C are displayed.
  • the Graphics Controller 17 writes the 0DS belonging to the N-ODSs of the buttons B and CD at the display position specified by the Button-horizontal-position, Button_vertica, and position of the button information in D and D. Control is performed (arrows wl, w2, w3, and w4 in the figure indicate this writing symbolically). By this writing, the initial display shown in FIG. 20 can be created. It should be noted here that not all 0DS are required for the initial display of the dialogue screen, and 0DS belonging to the default selected button S-ODSs and even 0DS belonging to the N-ODSs of other buttons are Object Buffer 1 If it exists in 5, the initial display of the dialogue screen is completed.
  • the Graphics Controller 17 can start writing for the initial display of the interactive screen.
  • FIG. 30 is a diagram showing processing of the Graphics Controller 17 when updating an interactive screen by lstUserAction (MoveRight).
  • the position of the button information in the button information of the button B in the button information of the button B is set to the position indicated by the Button—horizontal—positioiu Button—vertical—position.
  • -Write 0DS belonging to -ODSs and write the 0DS belonging to N-ODSs of Button A to the display position specified by Button_horizontal_position and Button_vertical_position of button information in Button A
  • the controller 17 performs control (arrows w5, w6, w7, and 3 ⁇ 4'8 in the figure symbolically indicate this writing). By this writing, the state transition as shown in FIG. 20 can be realized. Buttons C and D remain in the normal state as in the initial display of the dialogue screen, but writing to the graphics plane 8 is continued to continue the animation.
  • Figure 31 and Figure 32 show the processing of the Graphics Controller 17 when updating the screen with respect to the tongue in the case of lstUserAction, MoveDown, and Activated.
  • S-ODSs and A-ODSs for buttons other than the default selected button are also required, and it is desirable that all 0DS be stored in the Object Buffer 15.
  • the above is the processing content of the Graphics Controller 17.
  • the U0 controller 18 detects a user operation performed on the front panel of the remote control / playback apparatus, and outputs information indicating the user operation (hereinafter referred to as UOOJser Operation) to the control unit 20.
  • the player registration evening group 19 is a registration evening built in the control unit 20, and is composed of 32 Player Status Registers and 32 General Purppose Registers.
  • the meaning of the setting value (PSR) of the Player Status Register is as follows.
  • PSR (x) below means the setting value of the Xth Player Status Register.
  • PSR (8) is updated each time each picture data belonging to AVClip is displayed. That is, when the playback device displays new picture data, PSR (8) is updated to a value indicating the display start time (Presentation Time) of the new picture data.
  • the current playback point can be known.
  • the control unit 20 performs integrated control through bidirectional communication with the graphics decoder 12.
  • the exchange from the control unit 20 to the graphics decoder 12 is to output U0 received by the U0 controller 18 to the graphics decoder 12.
  • the exchange from the graphics decoder 12 to the control unit 20 is to output a button command included in the ICS to the control unit 20.
  • each component performs decoding processing in a pipeline manner.
  • FIG. 33 is a timing chart showing the pipeline processing by the playback device.
  • the fourth level, BD- indicates Display Set in the ROM
  • third level, ICS to Coded Data of buffers 1 3 shows a reading period of PDS 3 ⁇ 4 ODS.
  • the second row shows the decoding period of each 0DS by the Stream Graphics Processor 14.
  • the first row shows the processing period by the Graphics Controller 17.
  • the decoding start time of each 0DS is shown in DTSll, DTS12.DTS13 in the figure.
  • N-0DSs [0DSl] The storage of 0DS (N-0DSs [0DSl]) is completed by DTS11, and the storage of the last 0DS (N-0DSs [0DSn]) belonging to N-ODSs in Coded Data Buffer 13 is the time indicated in DTS12. Complete by Thus, each 0DS has completed reading to the Coded Data buffer 13 by the time indicated in its own DTS.
  • the decoding end time of each 0DS is shown in PTS11, PTS12, and PTS13 in the figure.
  • N-ODSs ODSl
  • ODSn N-ODSs
  • the period cdl in the first row of the figure is a period required for the graphics controller 17 to clear the graphics plane 8.
  • the period tdl is a period required for writing a graphics object constituting the first one of the interactive screens of the graphics objects obtained on the Object Buffer 15 into the graphics plane 8. .
  • the destination in the graphics plane 8 is the location indicated by button—horizontal—position, button—vertical—position in the ICS.
  • the screen clear period cdl and the graphics object write period tdl obtained by decoding to the value of PTS13 of 0DS the uncompressed graphics that make up the interactive screen can be represented by the graphics plane 8. Will be obtained above.
  • the color conversion of the uncompressed graphics is performed by the CLUT unit 9 and the uncompressed graphics stored in the video plane 6 are converted. If the adder 10 performs synthesis with the texture, a synthesized image will be obtained.
  • the button-state group corresponding to the selected state and the button-state group corresponding to the active state are decoded. Since the initial display can be performed without waiting for the completion, the execution of the initial display is advanced by the period hyl in the figure.
  • the Stream Graphic cs processor 1 can be used while the Graphic cs controller 17 is executing the clearing of the graphics plane 8 and the writing to the graphics plane 8.
  • the decoding of 4 is performed continuously (the second ODSn decoding period, the 0DS1 decoding period, and the ODSn decoding period n). While the graphics controller 17 is clearing the graphics plane 8 and writing to the graphics plane 8, the decoding of the remaining 0DS is continuously performed.
  • Decoding of the remaining 0DS is completed early. Since the decoding of the remaining 0DS is completed sooner, preparations for updating the interactive screen are quickly completed, so that the updating of the interactive screen using these remaining 0DS can also respond immediately to user operations. Through the above pipeline processing, both the initial display and the update of the dialogue screen can be performed quickly.
  • Fig. 33 assumes the case where the default selected button is statically fixed, but Fig. 34 shows the pipeline processing by the playback device when the default selected button changes dynamically. This is the timing chart shown below. If the default select button changes dynamically, decode all ODS belonging to the but ton-state group and get the graphics object on graphics plane 8, and you will need the initial display. All graphics objects are available. Compared to the case where all 0DSs included in the Disp lay Set are decoded and the initial display is performed, The initial display becomes possible without waiting for the completion of the decoding of the button-state group corresponding to the state. Therefore, the execution of the initial display is accelerated by the period hy2 in the figure.
  • the above is the internal configuration of the playback device. Next, how to implement the control unit 20 and the graphics decoder 12 will be described.
  • the control unit 20 can be implemented by creating a program for performing the processing procedures of FIGS. 35 and 36 and causing the general-purpose CPU to execute the program. Hereinafter, the processing procedure of the control unit 20 will be described with reference to FIGS. 35 and 36.
  • FIG. 35 is a flowchart showing a procedure of executing the LinkPL function by the control unit 20.
  • the control unit 20 When decoding a command including a LinkPL function, the control unit 20 performs processing according to the flowchart of FIG.
  • the Playltem to be processed is PIy
  • the ACCESS UNIT to be processed is ACCESS UNITv.
  • the current PL information (.mpls) specified by the argument of LinkPL is read (step S1)
  • the first PI information of the current PL information is set to Ply (step S2).
  • the clip information specified by Ply's Clip—information—file_name is read (step S3).
  • the Ply IN-time is converted into an address using the EP-map of the current Clip information (step S4). Then, the ACCESS UNIT specified by the conversion address is set to ACCESS UNITv (step S5).
  • the Put 0ut_time is converted to an address using the EP_map of the current Clip information (step S6). Then, the ACCESS UNIT specified by the conversion address is set to ACCESS UNITw (step S7).
  • the BD drive is instructed to read from ACCESS UNITv to ACCESS UNITw (step S8), and decode outputs from IN_time to Out_time of Ply are output from the video decoder 5 and the audio decoder. Then, it commands the graphics decoder 12 (step S9).
  • Step S11 is the end determination of this flowchart, and determines whether Ply has become the last PI. If step S11 is Yes, end this flow chart; otherwise, set Ply to the next Playltem. (Step S1 2), and return to Step S3. Thereafter, the processing of step S1 to step S10 is repeated until step S11 is determined to be Yes.
  • Step S10 is a step of loading the function segment into the coded data buffer 13 with reading of -ACCESS UNIT.
  • FIG. 36 is a flowchart showing a processing procedure for loading a functional segment.
  • SegmentK is a variable that means each of the segments (ICS, ODS, PDS) read together with ACCESS UNIT, and the ignore flag switches whether to ignore or load this SegmentK. It is a flag.
  • This flowchart has a loop structure in which the processing of steps S21 to S24 and steps S27 to S35 are repeated for all the SegmentKs after the ignore flag is initialized to 0 (step S25 , Step S26).
  • Step S21 is a determination as to whether or not SegmentK is ICS. If SegmentK is ICS, determination in steps S27 and S28 is performed.
  • Step S27 is for judging whether or not the Segment-Type in the ICS is Acquisition Point. If SegmentK is an Acquisition Point, the process proceeds to step S28. If SegmentK is Epoch Start or Normal Case, the process proceeds to step S33.
  • Step S28 is to determine whether the preceding DS exists in any of the buffers in the graphics decoder 12 (Coded Data buffer 13, Stream Graphics processor 14, Object buffer 15 and Composition buffer 16). Is executed when Step S27 is Yes.
  • the case where the DS does not exist in the graphics decoder 12 refers to the case where the cue has been performed. In this case, the display must be started from the DS, which is the acquisition point, so that the process proceeds to step S30 (No in step S28).
  • step S28 If there is a DS preceding the graphics decoder 12 (Yes in step S28), set the ignore flag to 1 (step S29), and Move to S31.
  • Step S31 is for determining whether or not command_update_nag is 1. If it is 1 (Yes in step S31), only the button command of the button information is loaded into the coded data buffer 13 and the others are ignored (step S32). If it is 0, the process proceeds to step S22. As a result, the ICS indicating the acquisition point is ignored (step S24).
  • step S22 If the ignore flag is set to 1, all the functional segments belonging to the DS, which is the acquisition point, will be ignored because step S22 is No.
  • Step S33 is for determining whether or not the Segment-Type in the ICS is Normal Case. If SegmentK is Epoch Start, the ignore flag is set to 0 in step S30.
  • step S22 If the ignore flag is 0 (Yes in step S22), the segment K is loaded into the coded data buffer 13 (step S23),
  • Step S34 is the same as step S28, and determines whether or not the preceding DS exists in the Darafix decoder 12. If so, set the ignore flag to 0 (step S30). If it does not exist, a sufficient function segment that composes the interactive screen cannot be obtained from the beginning, so the ignore flag is set to 1 (step S35). With such a flag setting, when the preceding DS does not exist in the graphics decoder 12, the functional segments constituting the Normal Case are ignored.
  • the DS is multiplexed as shown in Fig. 37, how to read the DS will be described.
  • three DSs are multiplexed with a moving image.
  • the first DS1 has a Segment-Type set to Epoch-Start, Command_update_f 1 ag set to 0, and includes a button command called LinkPL (PL # 5).
  • DS10 is a duplicate of DS1
  • Segment_Type is Acquision Point
  • Command_update_flag is set to 0
  • LinkPL (PL # 5) Incl.
  • DS20 is an Inherit of DS1, and Segment-Type is Acquision Point. It is a pot command (LinkPL (PL # 10)) that has a change from DS1, and the Co and and update flag are set to 1 to indicate this.
  • LinkPL (PL # 10)
  • step S27 the segment-type is determined to be an Acquisition Point, but since the preceding DS does not exist in the graphics decoder 12, the ignore flag is set to 0, and this DS10 is reproduced as shown in Fig. 38. It is loaded into Coded Data Buffer 13 of the device.
  • the cueing position is after the position where the Display Set exists (dashed line hstl in FIG. 37), Display Set 20 (hst2 in FIG. 38) following Display Set10 is read out to the Coded Data buffer 13.
  • Step S30 the DS1 whose ICS Segment_Type is Epoch Start is loaded as is into the Coded Dat buffer 13 (step S23), but the ignore flag of DS10 whose ICS Segment_Type is Acquisition Point is 1 (Step S29), the functional segments that make up this are not loaded into the coded data buffer 13 and ignored (step S24).
  • Step S31 since the Segment—Type of ICS is set to Acquisition Point and Command—update—Flag s1 , Step S31 becomes Yes and only the button command is loaded. Only the button command in the ICS of the DS in the Coded Data buffer 13 can be replaced with this (step S32). However, since the ignore flag is still 1, other than this button command is ignored without being loaded.
  • FIG. 41 is a flowchart illustrating a process corresponding to the main routine in the processing procedure of the graphics controller 17. This flowchart is a time stamp synchronization process (step S35). The animation display process (step S36) and the U0 process (step S37) are repeatedly executed.
  • FIG. 41 is a flowchart illustrating processing corresponding to the main routine in the processing procedure of the Graphics Controller 17.
  • Step S35 three processes of a synchronous process
  • Step S36 an animation display process
  • Step S37 a U0 process
  • FIG. 42 is a flowchart showing a processing procedure of synchronization control using a time stamp. This flowchart determines whether any of the events in steps S41 and S43 to step S47 is established, and if any of the events is established, executes the corresponding processing and executes the main routine. A subroutine that returns to the subroutine is constructed.
  • Step S41 is a determination as to whether the current playback time is the time indicated in the PTS of S-ODSsfirst or the time indicated in the PTS of S-ODSslast, and if so, the step S At 42, the period is calculated.
  • the period is the sum of the time required for clearing the graphics plane (2) and the writing time (3) for writing the graphics object obtained by decoding the 0DS to the graphics plane.
  • step S42 the Graphical controller 17 refers to the ICS Segment_Type. If the Segment-Type is Epoch Start, the pre-cleaning period (2) + the plane writing period (3) is set to . For the Acquisition Point, the plane writing period (3) is set to ⁇ .
  • step S43 it is determined whether or not the current playback time is the time indicated in the PTS- of the ICS. If so, write processing to the graphics plane 8 is performed (step S51). Then, the process returns to the main routine.
  • the variable animation (p) is a global variable that indicates which frame is currently being displayed when the button (p) is animated (a variable that is valid across multiple flow charts). It is.
  • the buttons (p) for all the buttons are set to 0.
  • Steps S46 and S47 are for determining whether or not the current playback point has reached the time information described in the ICS.
  • Step S46 determines whether the current playback time is the time indicated in selection—TimeOut_PTS, and if so, specified by defaut—activated—button—number. A process for activating the button is performed, and the process returns to the main routine (step S54).
  • Step S47 is a judgment as to whether or not the current reproduction point is Composition_TimeOut-PTS. If so, the screen is cleared and the process returns to the main routine (step S55).
  • the above is the synchronization process using the time stamp.
  • the processing procedure of step S51 and step S54 is subroutine. The processing procedure of the subroutine in step S51 will be described with reference to FIG.
  • Step S64 is a judgment as to whether or not the Segment_type in the ICS is Epoch Start.If Epoch Start, the graphics plane 8 is cleared in Step S65, and then Steps S66 to S73 are performed. Perform processing. The period required for clearing the graphics plane 8 is the period cdl in FIGS. 25 and 26. If it is not Epoch Start, step S65 is skipped and steps S66 to S73 are performed.
  • Step S66 to step S73 form a loop process that is repeated for each button information in the ICS (step S66, step S67).
  • the button information to be processed in this loop processing is called button information (p).
  • button information (p) it is determined whether or not the specification by default_selected_button—number is valid.
  • button_info (p) is the button information corresponding to the default selected button specified by default_selected_button_number. Is determined.
  • the button information corresponds to the default selected button
  • the start-object-id-selected graphics object specified in the selected-state-info of button-info ( ⁇ ) is changed to the graphics object.
  • (P) is specified from the Object Buffer 15 (step S70), and the button (p) is turned on (step S71).
  • the current button is a button that is in the selected state in the currently displayed interactive screen, and the playback device stores the identifier of the current button as PSR (IO).
  • step S69 and step S70 the graphics object If the plot (P) is specified, the graph on the graphics plane 8 indicated by button—horizontal position, buttton—vertical—position of button—info (p) Write an exo object (p) (step S72). If this processing is repeated for each button information in the ICS, the first graphics object of the plurality of graphics objects representing the state of each button is written on the graphics plane 8. The period required to execute such processing for at least the graphics object required for the initial display on the Object Buffer 15 is the period tdl in FIGS. 25 and 26. The above is the details of step S51.
  • step S 67 becomes No.
  • button_info (p) returns the current button Judge whether it is a button-info corresponding to. If yes, go to step S70, otherwise go to step S69.
  • FIG. 44 is a flowchart showing a procedure for autoactivating the default selected button.
  • default_activated__button_number 0 or FF (step S75). If it is 00, the process returns to the main routine without performing any processing. If it is FF, the current button i is shifted to the active state (step S77). Then, the variable animation (i) corresponding to the current button i. Is set to 0, and the process returns to the main routine (step S78).
  • step S76 If neither 00 nor FF, the button specified by default-activated-button-number is set as the current button (step S76), and the current button i is changed to the active state (step S77).
  • the variable animation (i) corresponding to the current button i is set to 0, and the process returns to the main routine (step S78).
  • the button in the selected state is shifted to the active state after the elapse of the predetermined time.
  • FIG. 45 is a flowchart showing a processing procedure for displaying an animation.
  • the initial display is the Drafty object specified by start-object-id-normal and selected-state-info in the normal_state-info of each button_info. This was achieved by writing to the graphics plane 8. Each time the loop process from step S35 to step S37 completes, an arbitrary frame (a graphics object in the q-th frame) on each button is placed on this graphics plane 8. This is the process of writing. In this update, the graphics objects specified by the button—info normal—state—info and selected—state—info are written to the graphics plane 8 one by one and returned to the main routine. This is done by doing
  • the variable q is a variable for specifying the individual graphic ex- ject specified by the normal-state-info and the selected-state-info of the button-info of each button information. .
  • Step S83 changes the variable animation (p) corresponding to button—info (p). W 200
  • variable q indicates the current number of frames corresponding to button-info (p).
  • step S84 it is determined whether button—info (p) is a button—info corresponding to the currently selected button (power button).
  • button_inf 0 If the button is not a force button, button_inf 0 (p).
  • step S86 If the button corresponds to the current button, the determination in step S86 is performed.
  • Step S86 is a determination as to whether the current button is in the active state. If so, in step S87, button_inf 0 (p) .ctioned_state_info The identifier of start-object-id-actioned plus variable q is ID (q). Button— Executes one of the button commands included in info (p) (step S88).
  • Step S89 If the input button is not in the active state, the identifier obtained by adding the variable q to start_object_id_selected in button— inf cup).
  • the graphics object (p) having the ID (q), which exists in Object Buf ferl5 is converted to button-info (p) Write to the position on Graphics Plane 8 indicated by button-horizontal-position, button-vertical-position of step S90.
  • Step S911 is to determine whether or not start-object-id-normal + q power encLobject-id-normal has been reached.
  • the value obtained by incrementing the variable q is set to the variable animation (p) (step S92). If it has, the variable aniraation (p) is initialized to 0 (step S93). The above process is repeated for all button_info in ICS (step S81, step S82). If all buttons—info have been processed, return to the main routine.
  • the pattern of each button on the dialogue screen is updated to a new graphics object every time steps S35 to S37 are performed. If the processes of steps S35 to S37 are repeated many times, so-called animation becomes possible.
  • the Graphics Controller 17 adjusts the time so that the table interval of the graphics object is the value indicated by animation_frame_rate_code.
  • step S88 the button commands included in the button_info (p) were executed one by one, but after displaying the graphic ex- ject X corresponding to the active state, the button commands are included in the button_info (p). Button commands may be executed collectively. This concludes the description of the animation display processing.
  • the procedure of the U0 process in step S37 of the main routine will be described with reference to FIG.
  • FIG. 46 is a flowchart showing the procedure of the U0 process. This flowchart determines whether any of the events from step S100 to step S103 is established, and if any of the events is established, executes the corresponding processing to execute the main routine. Return to a chin. Step S100 is to determine whether or not UOraaskTable is set to "1". If so, the process returns to the main routine without performing any processing. Step S101 is a judgment as to whether the MoveUP / Down / Left / Right key is pressed. If these keys are pressed, the current button is changed (step S104), It is determined whether the auto_action_flag of the current button is 01 (step S108). If not, return to Mainle. If so, go to step S105. Step S102 is to determine whether the activated key has been pressed. If so, the current button i is transited to the active state (step S105). Then, set the variable animation (0 to 0 (step S ⁇ 0 o).
  • step S103 it is determined whether or not the input is a numerical value. If the input is a numerical value, a numerical value input process is performed (step S107), and the process returns to the main routine.
  • steps S104- and S107 are subroutines. 47 and 48 show the processing procedure of this subroutine.
  • FIG. 47 is a flowchart showing the procedure for changing the current button. First, identify the button corresponding to the pressed key among upper_button—number, lower—button—number, left—button—number and right_button_nuraber in the current button neighbor—info (S Step S110).
  • Step S111 is to determine whether or not the button j specified in step S111 matches the button i. If they match, return to the main routine without doing anything. If they do not match, the button j is set to the current button (step S113), the variables animation (i) and animation (j) are set to 0, and the process returns to the main routine (step S1). 14).
  • FIG. 48 is a flowchart showing the processing procedure of the numerical value input processing.
  • step S122 It is determined whether or not Button info, j having the button_number that matches the input numerical value exists (step S122), and whether numerically_selectable_flag in Button info, j is 1 is determined. A determination is made (step S122). If step S122 and step S122 are Yes, the power button is changed to the normal state, button j is set as the current button (step S123), and the variable animation (i) and variable animationCj) are changed. After setting it to 0 (Step S124), click Button info, j. It is determined whether auto one action—flag is 1 (step S125). If it is not 1, return to the main routine.
  • the above is the processing procedure of the Graphics Controller 17 when performing the synchronous display.
  • the Stream Graphics Processor 14 and Graphics Controller 17 perform the following processing. That is, the same processing as in the case of synchronous display is performed.
  • a graphics object is obtained in the graphics plane 8.
  • the U0 controller 18 receives U0 indicating a menu call after the elapse of the reproduction point, the U0 controller 18 outputs the U0 to the CLUT unit 9 so as to combine the graphics objects stored in the graphics plane 8.
  • the DTS and PTS of the ICS PTS.0DS belonging to DSn have been described above, but the ICS DTS and the PDS DTS, PTS, and END DTS and PTS have not been described.
  • these time stamps will be described.
  • the ICS performs the decoding before the first ODS (ODSl) decoding in DSn (DTS (DSn [ODSl])) and the time when the first PDS (PDSl) in DSn becomes valid (PTS (DSn [PDSl])) must be loaded into Composition Buffer 16 before. Therefore, it must be set to a value that satisfies the relationship of the following equation.
  • Each PDS belonging to DSn is loaded by ICS into Composition Buffer 16 It is only necessary that the CLUT unit 9 be valid from the time (DTS (DSn [ICS])) to the start of the first ODS decoding (DTS (DSn [0DSl])). For this reason, the PTS value of each PDS belonging to DSn (PDSl to PDSlast) must be set to a value that satisfies the following relationship.
  • FIG. 49 is a diagram showing a pipeline in the playback device based on the DTS in the ICS and the PTS in the PDS. This Fig. 49 is drawn based on Fig. 33.
  • the second row shows the PDS setting for the CLUT unit 9, and the third row shows the contents stored in the Composition buffer 16. Since the DTS of the ICS is set before the DTS of the PDS and the DTS of the 0DS, as shown by the arrow upl in the figure, the mouth of the ICS to the composition buffer 16 is made first. . Also, the setting of the PDS last in the CLUT section 9 is performed after the transfer of the ICS.Because it is performed before the decoding of 0DS1, it is set before the time indicated in the DTS of 0DS1 as shown by arrows up2 and up3. I have. As described above, it can be seen that the settings of the ICS and the PDS are made prior to the decoding of the 0DS.
  • END belonging to DSn indicates the end of DSn, it is sufficient to indicate the decoding end time of the last ODS (ODSlast) belonging to DSn. Since the decoding end time is indicated in the PTS of ODSlast (PTS (DSn [0DS1 ast])), the PTS of END must be set to the value shown in the following equation.
  • the ICS in DSn is loaded into the composition buffer 16 before the load time of the first ODS (ODSl), so the PTS of END is DSn It must be after the ICS load time (DTS (DSn [ICS])) belonging to DSn and before the load time (DTS (DSn + l [ICS])) of the ICS belonging to DSn + 1. Therefore, PTS of END needs to satisfy the relation of the following formula.
  • FIG. 50 is a diagram showing the meaning of END during the pipeline operation of the playback device. This diagram is based on Fig. 33. The first row is the storage of Composition buffer 16 Except for the contents, the meaning of each column is the same as in FIG. In FIG. 50, two Display Sets, DSn and DSn + l, are drawn. Since the ODSlast in DSn is the last ODSn of A-ODSs, the PTS of END is set to indicate the PTS of this ODSn. -, The time point indicated in the PTS of this END is earlier than the time point indicated by the DTS of the ICS of DSn + 1.
  • DTS is not referred at the time of playback, but DTS of PDS is set to the same value as PTS to satisfy the MPEG standard.
  • ICS, PDS, and ODS with DTS.PTS are embedded in AVClip, interactive control that causes a playback device to execute a specific process when a frame of a certain movie appears on the screen, that is, the movie This is useful for describing dialog control that is precisely synchronized with the content. Also, since ICS, PDS, and ODS are multiplexed in AVClip itself, even if there are several hundred sections for which playback control is desired, all of the corresponding ICS, PDS, and 0DS are stored in memory. There is no need to store it.
  • ICS.PDS.ODS Since ICS.PDS.ODS is read from the BD-R0M along with the video packet, the ICS, PDS, and ODS corresponding to the current video section to be played are resident in the memory. , PDS, ODS may be deleted from the memory, and ICS.PDS.ODS corresponding to the next video section may be stored in the memory. Since ICS, PDS, and ODS are multiplexed into AVClip, even if the number of ICS, PDS, and 0DS becomes several hundred, the amount of installed memory can be minimized. As described above, according to the present embodiment, there are 360 0DS for realizing the animation, and when the button member has three states, the 0DS is 120 + 120 + 120.
  • buttons-state groups are grouped into three button-state drops. And each button-state group is placed before the one that corresponds to the state that appears earlier, and later after the one that corresponds to the state that appears later. For this reason, during playback, the button-state group corresponding to the state that appears earlier is loaded into the playback device earlier, and the button-state group corresponding to the state that appears later is loaded earlier. It is put off. Since the word of the button-state group corresponding to the state that appears early is made at an early stage, even if the reading / decoding of 0DS is incomplete, about 1/3 to 2/3 of the whole If the reading / decoding of the 0DS has been completed, the preparation for the initial display is completed.
  • FIG. 51 is a flowchart showing a BD-ROM manufacturing process according to the second embodiment.
  • the production process of BD-R0M is a material production process for creating materials such as video recording and audio recording, and a sourcing process for generating application formats using a disposing device.
  • S202 including a press process S203 to prepare a master of BD-R0M, press and bond to complete BD-R0M.
  • the targeting step for the BD-R0M includes the following steps S204 to S209.
  • step S204 a single-frame animation of a motion in a button state is created using graphics data of a plurality of run-length encoding systems.
  • step S205 the created plurality of graphics data is grouped into groups each showing the same button state.
  • an ICS is created by specifying the identifier of each graphics data in each button information in the ICS.
  • step S206 the setting of the default selected button and how to change the state between the buttons are described in ICS.
  • step S207 a graphics stream is generated by integrating the ICS and the grouped graphics data. If the graphics stream is obtained, in step S208, the graphics stream is generated separately from the video stream and the audio stream. Multiplex with the host stream to get AVCl ip. If the AV Clip is obtained, in step S209, the application format is completed by adapting the static scenario, the dynamic scenario, and the AV Clip to the format of the BD-ROM.
  • a graphics stream as shown in the first embodiment can be obtained.
  • the application format for the BD-ROM shown in the first embodiment can be easily obtained.
  • the recording medium according to the present invention is implemented as BD-R0M.However, the recording medium of the present invention has a feature in a graphics stream to be recorded. It does not depend on the physical properties of R0M. Any recording medium that can record dynamic scenarios and graphics streams may be used. For example, optical discs such as DVD-ROM, DVD-RAM, DVD-, DVD-R, DVD + RW, DVD + R, CD-R, and CD-RW, and magneto-optical discs such as PD.M0 It may be hot. Also, a semiconductor memory card such as a compact flash card, smart media, memory stick, multimedia card, PCM-CIA card, etc. may be used.
  • H Magnetic recording disks such as reciprocable disks, SuperDisk. Zip, Clik !, and removable hard disk drives (ii), such as ORB, Jaz, SparQ, SyJet, EZFley, and micro drives. May be. Furthermore, a hard disk with a built-in device may be used.
  • the playback device in all the embodiments decodes the AVC lip recorded on the BD-ROM and outputs it to the TV
  • the playback device is only the BD-R0M drive, and the other components are May be provided on the TV.
  • the playback device and the TV can be incorporated in a home network connected by IEEE1394.
  • the playback device in the embodiment is of a type used by connecting to a television, but may be a playback device integrated with a display.
  • only a portion that forms an essential part of the processing may be used as the playback device.
  • the playback device is based on the internal configuration of the playback device shown in the first embodiment.
  • the act of manufacturing is the act of practicing the invention described in the specification of the present application.
  • the act of transferring the playback device shown in the first embodiment for free (paid for free and sold for free), lending, and importing is also the practice of the present invention.
  • the act of inviting the general user to transfer or lend them through store display, solicitation of catalogs, and distribution of pamphlets is also the practice of the playback device.
  • TP-extra-header It is called TP-extra-header and has a data length of 4 notes including "Airibval_Time-I-St. Lord” and "copy-permission-indi cat or”.
  • TP—extra—TS packets with headers are grouped in groups of 32 and written to three sectors.
  • the 32 TS buckets with EX stored in three sections are called "Aligned Unit".
  • the playback device 200 When used in a home network connected via IEEE1394, the playback device 200 transmits Aligned Units by the following transmission processing. In other words, the sender's device removes TP_extra_header from each of the 32 EX-attached TS packets included in the Aligned Unit, encrypts the TS packet itself based on the DTCP standard, and outputs it. To output TS buckets, isochronous packets are inserted everywhere between TS packets. This insertion point is a position based on the time indicated in Arribval-Time-Stamp of TP_extra-header. The playback device 200 outputs DTCP_Descriptor with the output of the TS bucket.
  • DTCP-Descriptor indicates a copy permission / prohibition setting in TP_extra-header. If the DTCP-Descriptor is described so as to indicate “copy prohibited” here, TS packets will be transmitted to other devices when used in a home network connected via IEEE1394. It is not recorded in the vessel.
  • the digital stream in each embodiment is an AVClip of the BD-ROM standard, it may be a V0B (Video Object) of the DVD-Video standard or the DVD-Video Recording standard.
  • V0B is a program stream conforming to the IS0 / IEC13818-1 standard, obtained by multiplexing a video stream and an audio stream.
  • the video stream in AVClip may be-. MPEG4 or WMV format.
  • the audio stream may be a Linear-PCM system, a Dolby-AC3 system, an MP3 system, or an MPEG-AAC system.
  • the AVClip in each embodiment may be obtained by encoding an analog video signal broadcast by analog broadcasting. It may be stream data composed of a transport stream broadcast by digital broadcasting.
  • the content may be obtained by encoding the analog Z-digital video signal recorded on the video tape.
  • content may be obtained by encoding analog / digital video signals directly captured from a video camera. Alternatively, it may be a digital work distributed by a distribution server.
  • the graphics objects shown in the first and second embodiments are run-length encoded raster data.
  • the run-length encoding method was adopted as the compression / encoding method for the graphics object because run-length encoding is most suitable for subtitle compression / expansion.
  • Subtitles have the property that the horizontal continuation length of the same pixel value is relatively long, and a high compression rate can be obtained by performing compression using run-length encoding.
  • the load for decompression is light, and it is suitable for software decoding.
  • the same compression / decompression method as for subtitles has been adopted for graphics objects in order to share the device configuration for decoding between subtitles and graphics objects.
  • the use of run-length coding for graphics objects is the
  • the graphics object may be PNG data.
  • the data may be vector data instead of raster data, and may be a transparent pattern.
  • the recording medium and the playback device according to the present invention can provide interactive control to a movie work, so that a movie work with higher added value can be supplied to the market, and the movie market and the consumer device market are activated Can be changed. Therefore, the recording medium and the playback device according to the present invention have high applicability in the movie industry and the consumer electronics industry.

Abstract

 動画ストリームとインタラクティブグラフィクスストリームとを多重化することにより得られたAVClipが記録されているBD-ROMであって、インタラクティブグラフィクスストリームは、グラフィカルなボタン部材を含む対話画面を、動画像に合成して表示させるものであり、 インタラクティブグラフィクスストリームは、状態制御情報(ICS)と、複数グラフィクスデータ(ODS)の配列とを含み、対話画面の初期表示のタイミングは、グラフィクスデータ配列の途中に位置するグラフィクスデータ(S-ODSsfirst,S-ODSslast)のデコード終了時刻(PTS)と、所定の期間とを足し合わせた時刻であり、前記状態制御情報は、PESパケットに格納され、当該PESパケットは、タイムスタンプ(PTS)を含んでおり、PTSは、対話画面の初期表示タイミングを示す。

Description

明細書
記録媒体、 再生装置、 記録方法、 プログラム、 再生方法 技術分野 BD- ROM等、 映画作品の頒布のための記録媒体と、 その再 生装置とに関し、 特に 対話的な制御を実現する場合の改良に関する。 背景技術
動画の再生に伴ってボタンが画面に出現し、 このボタンに対する操作 によつて再生の進行が変化するという対話制御は、 制作者にとつて長年 の夢であり、 DVD はかかる再生制御を現実のものにした画期的な記録媒 体である。 動画と、 ポタンとの同期再生は、 動画の再生時間軸における 任意の時点に、 ボタンが表示されるようタイムスタンプを設定すること により、 実現される。
ただし、 対話性を実現するには、 ボタンを構成するクラフ ィ クスデ一 夕を記録媒体に記録しておくだけでは足りない。 画面に配置された複数 ポタンの状態を、 ユーザ操作に応じて変化させたり、 動画データの再生 進行に応じてボタンの状態を変化させるという制御を再生装置に実行 させねばならない。 かかる状態制御を実現するため、 DVDでは音声'動画 を多重化したス ト リーム(Vi deo Obj ect)において、 各 V0BU の先頭に位 置する NAVI パックに状態制御情報を設けている。 V0BU とは、 動画ス ト リームの 1 つの G0Pと、 これと同時に DVDから読み出されるべきオーデ ィォデ一夕、 副映像データを含む。 また状態制御情報は、 画面に配置さ れた複数ボタンの状態を、 ユーザ操作に応じて変化させる情報であり、 NAV Iノ ックとは、 G0Pにおいてス ト リーム毎に必要とされる転送レート ゃパッフアサイズを示す情報である。 DVDでは NAVIパックに、 かかる状 態制御情報を設けることにより、 G0P の時間精度でのポタンの状態変化 を実現している。 以上の対話制御を現したのが図 1である。 本図の最下 段が、 DVDにおけるデータァロケーションであり .,状態制御情報は.. NAV I パックに格納されていることがわかる。 そしてこの NAVI パックが属す る G0Pの時間帯において、 この状態制御情報は有効になっている。 また グラフィ クスオブジェク トは、 PES パケッ トに格納され、 同期表示すベ きピクチャデータと同じ夕イ ミ ングで表示される。 かかる'先行技術を示 した文献 1 には、 以下の特許文献 1がある。
<特許文献 1 >特許第 2813245号
ところで、近年の映画制作者は 現状の対話制御では満足しておらず、 更なる工夫を記録媒体や再生装置のメーカに要求している。 この要求に は、 ボタンの状態遷移をアニメ一ションで実現したいというものがある かかるアニメーションには、 デコードするグラフィ クスの数が多くなり、 デコードの負荷も大きくなるので、 再生装置は、 ユーザ操作に即応する ことができないケースもでてく る。 例えば対話画面には、 4 つのボタン が存在しており、 各ボタンが" ノーマル状態" " セレクテツ ド状態"、" アクティブ状態" という 3 つの状態をもっている。 各ボタンの状態を、 2〜3秒のアニメーション表示で表現する場合を考える。たとえ映像信号 の 5 フ レーム置きに 1 枚のグラフィ クスデータを表示させるとしても、 2〜3秒のアニメーションを実現するには、 約 30枚のグラフィ クスデー 夕を表示せねばならない。 更にボタンの状態には、 ノーマル状態、 セ レ クテッ ド状態、 アクティブ状態という 3つの状態があるので、 グラフィ クスデータの表示枚数は、 90枚(=3 x 30)というオーダになる。 かかるボ タンを対話画面上で 4つ配置する場合は、 360枚(=4 x 90)という膨大な 数のグラフィ クスデータをデコードせねばならない。 グラフィ クスデー ター枚当たりのデコードは軽くても、 数百枚という数のグラフィ クスデ —夕をデコードするには、 数十秒という時間がかかってしまう。 この数 十秒という時間において、 ユーザ操作が受け付けられないのでは、 ユー ザはレスポンスの低下を感じざるを得ないという問題点がある。
発明の開示
本発明の目的は、 ユーザ操作に対する レスポンス低下を招かないで、 アニメーショ ンを伴つた対話画面の表示を行う ことができる記録媒体 を提供することである。
上記目的を達成するため本発明に係る記録媒体は、 動画ス ト リームと グラフ ィ クスス ト リームとを多重化することにより得られたデジタル ス ト リームが記録されており、 グラフィ クスス ト リームは、 グラフィ カ ルなボタン部材を含む対話画面を、 動画像に合成して表示させるもので あり、 グラフ ィ クスス ト リームは、 状態制御情報と、 複数グラフイ クス データの配列とを含み、 対話画面の初期表示のタイ ミ ングは,, グラフィ クスデータ配列の途中に位置するグラフ ィ クスデータのデコー ド終了 時刻と、 所定の期間とを足し合わせた時刻であり、
前記状態制御情報は、 バケツ トに格納され、 当該バケツ トは、 タイム スタンプを含んでおり、 タイムスタンプは、 対話画面の初期表示タィ ミ ングを示すことを特徴としている。 複数グラフィ クスのうち、 途中に位 置するものの終了時刻に、 所定の期間を足し合わせた期間で、 対話画面 の初期表示が可能になる。 この所定の期間が短ければ、 全てのグラフィ クスのデコ一ドが未完であっても、 初期表示を実行することができる。 この初期表示のタィ ミ ングは状態制御情報を格納したパケッ トのタ ィムスタンプに示されているので、 再生装置はこのタイムスタンプを参 照すれば、 全てのグラフィ クスのデコードが未完であって最もユーザ操 作に即応することができる。 かかる即応により、 レスポンス低下を伴わ ないで、 アニメーションによる対話制御を実行することができる。
図面の簡単な説明
図 1 は、 DVDにおける対話制御を示す図である。
図 2 ( a ) は、 本発明に係る記録媒体の、 使用行為についての形態を 示す図である。
図 2 ( b ) .は、 対話画面に対する操作をユーザから受け付けるための リモコン 4 0 0におけるキー配置を示す図である。
図 3は、 BD-R0Mの構成を示す図である。
図 4は、 AVC l i pがどのように構成されているかを模式的に示す図であ る。
図 5は、 C l i p情報の内部構成を示す図である。
図 6は、 PL情報の内部構成を示す図である。
図 7は、 PL情報による間接参照を模式化した図である。
図 8 ( a ) は、 グラフ ィ クスス ト リ一ムの構成を示す図である。
図 8 ( b ) は、 I CS、 0DSの内部構成を示す図である。 図 9は、 様々な種別の機能セグメントにて構成される論理構造を示す 図である。 · 図 1 0 ( a ) は、 0DS によるグラフィ クスォプジェク トを定義するた めのデータ構造を示す図である。
図 1 0 (b) は、 PDSのデータ構造を示す図である。
図 1 1は、 Interactive Composition Segment のデータ構造を示す図 である。
図 1 2は、ある DSnに含まれる 0DSと、 ICSとの関係を示す図である。 図 1 3は、 任意のピクチャデータ ptlの表示タィ ミ ングにおける画面 合成を示す図である。
図 1 4は、 ICSにおけるボタン情報の設定例を示す図である。
図 1 5は、 ポタン A〜ボタン!)の状態遷移を示す図である。
図 1 6は、 0DS11,21,31,41の絵柄の一例を示す図である。
図 1 7は、 ボタン A用の 0DS11〜19の絵柄の一例を示す図である。 図 1 8は、 DSに含まれる ICS、 ODSの一例を示す図である。
図 1 9は、 Display Setに属する 0DSの順序及び bu on-stateグルー プを示す図である。
図 20は、 図 1 9の button- state グループが配置された対話画面に おける状態遷移を示す図である。
図 2 1は、 Display Setにおける 0DSの順序を示す図である。
図 22は、 default— selected— button— numberが" =0" である場合と、" =ボタン B"である場合とで S-ODSsにおいて 0DSの並びがどのように変 わるかを示す図である。
図 23 (a) (b) は、 N-ODSsにボタン A〜!)を構成する複数 0DSが含 まれており、 S- ODSsにボタン A〜!)を構成する複数 0DSが含まれている 場合、 ∑SIZE(DSn [ICS. BUTTON [i]])がどのような値になるかを示す図で ある。
図 24は、 ICSによる同期表示時のタィ ミ ングを示す図である。
図 2 5 は、 対話画面の初期表示が複数 0DS にて構成され、 default_selected— button numberが有効である場合の DTS、 PTSの設定 を示す図である。
図 2 6 は、 対話画面の初期表示が複数 0DS にて構成され、 default— selected— button— immberが無効である場合の DTS, PTSの設定 を示す図である。
図 27は、 本発明に係る再生装置の内部構成を示す図である。
図 28は、 Object Buffer 1 5の格納内容をグラフィ クスプレーン 8 と対比して示す図である。
図 2 9は、 初期表示時における Graphics コン トローラ 1 7の処理を 示す図である。
図 30は、 lstUserAction(MoveRight)による対話画面更新時における Graphicsコン ト ローラ 1 7の処理を示す図である。
図 3 1は、 lstUserAcUon(MoveDown)による対話画面更新時における Graphicsコントローラ 1 7の処理を示す図である。
図 32は、 lstUserAction(Activated)による対話画面更新時における Graphicsコン トローラ 1 7の処理を示す図である。
図 33は、 再生装置によるパイプライン処理を示す夕イ ミ ングチヤ一 トである。
図 34は、 デフォルトセレクテツ ドボ夕ンが動的に変わる場合の、 再 生装置によるパイプライ ン処理を示すタイ ミ ングチャートである。 図 35は、 制御部 20による LinkPL 関数の実行手順を示すフローチ ヤートである。
図 36は、 Segment のロー ド処理の処理手順を示すフローチャートで ある。
図 37は、 多重化の一例を示す図である。
図 38は、 DS10が再生装置の Coded Dataバッファ 1 3にロードされ る様子を示す図である。
図 39は、 通常再生が行われる場合を示す図である。
図 40は、 図 39のように通常再生が行われた場合の DS1, 10, 20の口 一ドを示す図である。
図 4 1は Graphics コン トローラ 1 7の処理手順のうち、 メインルー チンにあたる処理を描いたフ D—チャートである。
図 4 2は、 タイムスタンプによる同期制御の処理手順を示すフローチ ヤートである。
図 4 3は、 グラフ ィ クスプレーン 8の書込処理の処理手順を示すフ口 一チャートである。
図 4 4は、 デフォル トセレクテツ ドボタ ンのオー ト ァクティ ペー トの 処理手順を示すフローチャートである。
図 4 5は、 アニメーション表示の処理手順を示すフローチャートであ る。
図 4 6は、 U0処理の処理手順を示すフローチャートである。
図 4 7は、 カ レントボタンの変更処理の処理手順を示すフローチャー トである。
図 4 8は、 数値入力処理の処理手順を示すフローチヤ一トである。 図 4 9は、 DTS、 PDSにおける PTSに基づく、 再生装置におけるパイプ ラインを示す図である。
図 5 0は、 再生装置のパイプライン動作時における、 END の意味合い を示す図である。
図 5 1 は、 第 2施形態に係る BD- ROM の製造工程を示すフローチヤ一 トである。
発明を実施するための最良の形態
(第 1実施形態)
以降、 本発明に係る記録媒体の実施形態について説明する。 先ず始め に、 本発明に係る記録媒体の実施行為のうち、 使用行為についての形態 を説明する。 図 2 ( a ) は、 本発明に係る記録媒体の、 使用行為につい ての形態を示す図である。 図 2において、 本発明に係る記録媒体は、 BD-R0M 1 0 0である。 この BD-R0M 1 0 0は、 再生装置 2 0 0、 テ レビ 3 0 0、 リ モコ ン 4 0 0によ り形成されるホームシアターシステムに、 映 画作品を供給するという用途に供される。 このうちリモコン 4 0 0は、 対話画面の状態を変化させるための操作をユーザから受け付けるもの であり、 本発明に係る記録媒体に深い係りをもつ。 図 2 ( b ) は、 対話 画面に対する操作をユーザから受け付けるためのリモコン 4 0 0にお けるキーを示す図である。 本図に示すようにリモコン 4 0 0は、 MoveUp キー、 MoveDownキー., MoveR i ghtキー., MoveLef tキーが設けられている。 ここで対話画面におけるボタンは ノーマル状態 セレクテツ ド状態 ァクティブ状態という 3つの状態をもち., これら MoveU キー- MoveDo n キー、 MoveR i ghtキー、 MoveLef tキーは、 このポタンの状態をノーマル 状態→セレクテツ ド状態→ァクティ ブ状態と変化させる操作をユーザ から受け付ける。 ノーマル状態とは、 単に表示されているに過ぎない状 態である。 これに対しセレクテツ ド状態とは、 ユーザ操作によりフォー カスが当てられているが、 確定に至っていない状態をいう。 アクティブ 状態とは、 確定に至った状態をいう。 MoveUpキーは、 対話画面において あるポタンがセレクテツ ド状態である場合、 このボタンより上にあるポ タンをセレクテツ ド状態に設定するためのキーである。 MoveDownキーは、 このポタンより下にあるボタンをセレクテッ ド状態に設定するための キー、 MoveR i ght キーは、 このポタンより右にあるボタンをセレクテツ ド状態に設定するためのキー、 MoveLef tキ一は、 このボタンより左にあ るポタンをセレクテツ ド状態に設定するためのキーである。
Act i vated キーは、 セレクテツ ド状態にあるボタンをァクティブ状態 (ァクティペート)するためのキーである。 「0」〜「9」の数値キーは、 該当 する数値が割り当てられたボタンをセレクテツ ド状態にするキーであ る。 「+ 10」キーとは、 これまで入力された数値に 10をプラスするという 操作を受け付けるキーである。 尚、 「0」キー、 「 + 10」キーは、 何れも 10 桁以上の数値の入力を受け付けるものなので、 「0」キー、 「 + 10」キーは、 どちらかが具備されていればよい。
以上が本発明に係る記録媒体の使用形態についての説明である。
続いて本発明に係る記録媒体の実施行為のうち、 生産行為についての 形態について説明する。 本発明に係る記録媒体は BD-R0Mの応用層に対 する改良により実施することができる。 図 3は、, BD-R0Mの構成を示す図 である。
本図の第 4段目に BD-R0Mを示し、 第 3段目に BD-R0M上のトラックを 示す。 本図のトラックは、 BD-R0Mの内周から外周にかけて螺旋状に形成 されている トラックを、 横方向に引き伸ばして描画している。 このトラ ックは、, リ一ドィ ン領域と、 ボリ ューム領域と、 リードアウ ト領域とか らなる。 本図のボリ ューム領域は,。 物理層 ファイルシステム層 応用 層という レイャモデルをもつ。 ディ レク ト リ構造を用いて BD-R0M の応 用層フ ォーマツ ト (アプリケーシ ョ ンフ ォーマツ ト)を表現すると、 図中 の第 1段目のようになる。 本図に示すように BD-R0Mには、 ROOTディ レ ク ト リの下に BDMVディ レク ト リがあり、BDMVディ レク ト リの配下には、 XXX.M2TS, XXX. CLPI.YYY. MPLS といったフアイルが存在する。 本図に示 すようなアプリケーシ ョ ンフ ォーマッ トを作成することにより、 本発明 に係る記録媒体は生産される。 尚、 XXX.M2TS、 XXX. CLPI.YYY. MPLS とい つたフアイルが、 それぞれ複数存在する場合は、 BDMVディ レク ト リの配 下に、 STREAMディ レク ト リ、 CLIPINFディ レク ト リ、 STREAMディ レク ト リ という 3つのディ レク ト リを設け、 STREAMディ レク ト リに XXX.M2TS と同じ種別のファィルを、 CLIPINFディ レク ト リに XXX.CLPI と同じ種別 のファイルを、 PLAYLISTディ レク ト リに YYY.MPLS と同じ種別のファィ ルを格納することが望ましい。
このアプリケーシ ョ ンフ ォーマッ トにおける各フ ァイルについて説 明する。 最初に説明するのは、 AVClip(XXX.M2TS)である。
AVClip(XXX.M2TS)は、 MPEG-TS (Transport Stream)形式のデジタルス ト リームであり、ビデオス ト リーム、 1つ以上のオーディオス ト リーム、 プレゼンテーショングラフィ クスス ト リーム、 イ ンタラクティブグラフ ィ クスス ト リームを多重化することで得られる。 ビデオス ト リームは映 画の動画部分を、 オーディオス ト リームは映画の音声部分を、 プレゼン テーシヨングラフィ クスス ト リームは、 映画の字幕を、 インタラクティ ブグラフイ クスス ト リームは、 メニュ一を対象とした動的な再生制御の 手順をそれぞれ示している。 図 4は AVClipがどのように構成されてい るかを模式的に示す図である。
AVClipは(中段)、 複数のビデオフ レーム(ピクチャ pjl,2,3)からなる ビデオス ト リーム、 複数のオーディオフ レームからなるオーディオス ト リームを(上 1段目)、 PESパケッ ト列に変換し(上 2段目)、 更に TSパケ ッ トに変換し(上 3段目)、 同じく プレゼンテーシ ョ ングラフ ィ クスス ト リーム、 イ ンタラクテ ィ ブグラフ ィ クスス ト リ ーム(下 1段目)を、 PES バケツ ト列に変換し(下 2段目)、更に TSバケツ 卜 に変換して(下 3段目) これらを多重化することで構成される。
かかる過程を経て生成された AVClip は、 通常のコンピュータフアイ ル同様、複数のェクステン トに分割され、 BD- ROM上の領域に記録される。
AVCli は、 1つ以上の ACCESS UNITとからなり、 この ACCESS UNITの単 位で頭出し可能である。 ACCESS UNITとは、 Intra( I )ピクチャから始ま る 1つのデコード単位である。
Clip情報(XXX.CLPI)は、 個々の AVClipについての管理情報である。 図 5は、 Clip 情報の内部構成を示す図である。 AVClip はビデオス ト リ ーム、 オーディ オス ト リームを多重化することで得られ、 AVClip は ACCESS UNIT と呼ばれる単位での頭出しが可能なので、 各ビデオス ト リ ーム、 オーディオス ト リームはどのような属性をもっているか、 頭出し 位置が AVClip内の何処に存在するかが、 Clip情報の管理項目になる。 図中の引き出し線は Clip 情報の構成をクローズアップしている。 引き 出し線 hnl に示すように、 Clip情報(XXX.CLPI)は、 ビデオス ト リーム、 オーディオス ト リームについての 「属性情報」 と、 ACCESS UNIT を頭出 しするためのリファ レンステーブルである「EP_map」 とからなる。
属性情報(Attribute)は、 破線の引き出し線 hn2 に示すようにビデオ ス ト リームについての属性情報(Video属性情報)、属性情報数(Number)、 AVClip に多重化される複数オーディォス ト リームのそれぞれについて の属性情報(Audio 属性情報 #l〜#m)からなる。 ビデオ属性情報は、 破線 の引き出し線 hn3に示すようにそのビデオス ト リームがどのような圧縮 方式で圧縮されたか(Coding)、 ビデオス ト リームを構成する個々のピク チヤデータの解像度がどれだけであるか(Resolution), ァスぺク ト比は どれだけであるか (Aspect)、 フ レーム レー ト はどれだけであるか (Framerate; 示す 0
一方、 オーディオス ト リームについての属性情報(Audio 属性情報 #1〜 #m)は、 破線の引き出し線 hn4 に示すようにそのオーディオス ト リーム がどのような圧縮方式で圧縮されたか(Coding), そのオーディォス ト リ ームのチヤネル番号が何であるか(Ch. 何という言語に対応している か(Lang) , サンプリング周波数がどれだけであるかを示す。
EP— mapは、 複数の頭出し位置のア ドレスを 時刻情報を用いて間接参 照するためのリファ レンステーブルであり、 破線の引き出し線 hn5に示 すように複数のェン ト リ 一情報(ACCESS UNIT#1 エン ト リー、 ACCESS
UNIT# ェント リー、 ACCESS UNIT#3エン ト リ一 )と、 エント リ一数
(Number)とからなる。 各ェン ト リ一は、 引き出し線 hn6 に示すように、 対応する ACCESS UNITの再生開始時刻を、 ACCESS UNITのア ドレスと対 応づけて示す(尚、 ACCESS UNIT における先頭 I ピクチャのサイ ズ (I-size)を記載してもよい。 、。 ACCESS UNITの再生開始時刻は、 ACCESS UNIT 先頭に位置するピクチャデータのタイムスタンプ(Presentation Time Stamp)で表現される。 また ACCESS UNIT におけるア ドレスは、 TS バケツ トの連番(SPN(Source Packet Number) )で表現される。 可変長符 号圧縮方式が採用されるため、 G0Pを含む各 ACCESS UNITのサイズゃ再 生時間がバラバラであつても、 この ACCESS UNITについてのェン ト リー を参照することにより、 任意の再生時刻から、 その再生時刻に対応する ACCESS UNIT 内のピクチャデータへと頭出しを行うことが可能になる。 尚、 XXX.CLPIのファイル名 XXXは、 Clip情報が対応している AVClipと 同じ名称が使用される。つまり本図における AVClipのファイル名は XXX であるから、 AVClip(XXX.M2TS)に対応していることを意味する。 以上が Clip情報についての説明である。続いてプレイ リス ト情報について説明 する。
YYY. MPLS (プレイ リス ト情報)は、 再生経路情報であるプレイ リス トを 構成するテーブルであ り 、 複数の Playltem 情報(Play Item 情報 #1,#2,#3···#η)と、 これら Playltem 情報数(Number)とからなる。 図 6 は、 PL 情報の内部構成を示す図である。 Playltem 情報は、 プレイ リ ス トを構成する 1つ以上の論理的な再生区間を定義する。 Playltem情報の 構成は、 引き出し線 hsl によりクローズアップされている。 この引き出 し線に示すように Playltem情報は、 再生区間の In点及び Out点が属す る AVClip の 再 生 区 間 情 報 の フ ァ ィ ル 名 を 示 す 『ClipJnformation_f ile— name』 と 当該 AVClip がどのような符号化 方式で符号化されているかを示す 『Clip— codec_identi:fier』 と 再生 区間の始点を示す時間情報 『IN— time』 と、 再生区間の終点を示す時間 情報 『0UT_time』 とから構成される。
Playltem情報の特徴は、 その表記法にある。 つまり EP_ma をリファ- レンステーブルとして用いた時間による間接参照の形式で、 再生区間が 定義されている。 図 7は、 時間による間接参照を模式化した図である。 本図において AVClipは、 複数の ACCESS UNITから構成されている。 Clip 情報内の EP一 map は、 これら複数 ACCESS UNIT のア ド レスを、 矢印 ayl.2,3,4 に示すように指定している。 図中の矢印 jyl, 2,3,4 は、 Playltem情報による ACCESS UNITの参照を模式化して示している。 つま り、 Playltem情報による参照(矢印 jyl,2,3,4)は、 EP一 mapを介すること により、 AVClip内に含まれる複数 ACCESS UNITのア ドレスを指定すると いう時間による間接参照であることがわかる。
Playltem情報一 Clip情報— AVClipの組みからなる BD- ROM上の再生区 間を 『プレイアイテム』 という。 PL情報一 Clip情報一 AVClipの組みか らなる BD- ROM上の論理的な再生単位を 『プレイ リ ス ト (PL と略す)』 と いう。 BD- ROMに記録された映画作品は、 この論理的な再生単位(PL)にて 構成される。 論理的な再生単位にて、 BD-R0Mにおける映画作品は構成さ れるので、 本編たる映画作品とは別に、 あるキャラクタが登場するよう なシーンのみを指定するような PL を定義すれば、 そのキャラクタが登 場するシーンのみからなる映画作品を箇単に制作することができる。
BD-R0Mに記録される映画作品は、上述した論理構造をもつているので. ある映画作品のシーンを構成する AVClip を他の映画作品で引用すると いう" 使い回し" を効率良く行うことができる。
続いてイ ンタラクティ ブグラフ ィ クスス ト リ ームについて説明する。 図 8 (a) は、 イ ンタラクティ ブグラフ ィ クスス ト リームの構成を示す 図である。 第 1段目は、 AVClipを構成する TSバケツ ト列を示す。 第 2 段目は、 グラフィクスス ト リームを構成する PESバケツ ト列を示す。 第 2段目における PESパケッ ト列は、 第 1段目における TSバケツ トのう ち、 所定の PID をもつ TSバケツ トからペイ口一ドを取り出して、 連結 することにより構成される。 尚 プレゼンテーショ ングラフ ィ クスス ト リームについては、 本願の主眼ではないので説明は行わない。
第 3段目は、 グラフィ クスス ト リームの構成を示す。 グラフィ クスス 卜 リ ームは、 ICS(Interactive Composition Segment) ^ PDS(Palette Dif ini tion Segment)、 0DS(0bject— Definition— Segment)、 END (END of Display Set Segment)と呼ばれる機能セグメン トからなる。 これらの機 能セグメン トのうち、 ICSは、 画面構成セグメント と呼ばれ、 PDS、 0DS、 END は定義セグメン ト と呼ばれる。 PES パケッ ト と機能セグメン ト との 対応関係は、 1 対 1 の関係、 1 対多の関係である。 つまり機能セグメン トは、 1つの PESパケッ トに変換されて BD- ROMに記録されるか、 又は、 フラグメン ト化され、 複数 PESバケツ トに変換されて BD-R0Mに記録さ れる。
図 8 (b) は、 機能セグメントを変換することで得られる PESバケツ トを示す図である。 図 8 (b) に示すように PESパケッ トは、 パケッ ト ヘッダと、 ペイロードとからなり、 このペイロードが機能セグメン ト実 体にあたる。 またパケッ トへッダには、 この機能セグメン トに対応する DTS、 PTSが存在する。 尚以降の説明では、 機能セグメントが格納される PESパケッ トのへッダ内に存在する DTS及び PTSを、 機能セグメン トの DTS及ぴ PTSとして扱う。
これら様々な種別の機能セグメントは、 図 9のような論理構造を構築 する。 図 9は、 様々な種別の機能セグメン トにて構成される論理構造を 示す図である。本図は第 3段目に機能セグメントを、第 2段目に Display Setを、 第 1段目に Epochをそれぞれ示す。
第 2段目の Display Set(DSと略す)とは、 グラフ ィ クスス ト リームを 構成する複数機能セグメン トのうち、 一画面分のグラフイ クスを構成す るものの集合をいう。 図中の破線は、 第 3段目の機能セグメン 卜が、 ど の DS に帰属しているかという帰属関係を示す。 ICS— PDS— 0DS— END と いう一連の機能セグメン トが、 1 つの DS を構成していることがわかる。 再生装置は、 この DSを構成する複数機能セグメン トを BD-R0Mから読み 出せば、 —画面分のグラフィ クスを構成することができる。
第 1段目の Epochとは、 AVC l i pの再生時間軸上においてメモリ管理の 連続性をもっている一つの期間、 及び この期間に割り当てられたデー タ群をいう。 ここで想定しているメモリとは、 一画面分のグラフィ クス を格納しておくためのグラフィ クスプレーン、 伸長された状態のクラフ ィ クスデータを格納しておくためのオブジェク トバッファである。 これ らについてのメモリ管理に、 連続性があるというのは、 この Epochにあ たる期間を通じてこれらグラフ ィ クスプレーン及びオブジェク トバッ ファのフラッシュは発生せず、 グラフィ ックプレーン内のある決められ た矩形領域内でのみ、 グラフィタスの消去及び再描画が行われることを いう(※ここでフラッシュとは、 プレーン及ぴバッファの格納内容を全 部ク リアしてしまうことである。 )。 この矩形領域の縦横の大きさ及び 位置は、 Epoch にあたる期間において、 終始固定されている。 グラフィ ックプレーンにおいて、 この固定化された領域内で、 グラフ ィ クスの消 去及び再描画を行っている限り、 シーム レス再生が保障される。 つまり Epoch は、 シーム レス再生の保障が可能な再生時間軸上の一単位という ことができる。 グラフィ ックプレーンにおいて、 グラフィ クスの消去' 再描画を行うべき領域を変更したい場合は、 再生時間軸上においてその 変更時点を定義し、 その変更時点以降を、 新たな Epochにせねばならな い。 この場合、 2つの Epochの境界では、 シーム レス再生は保証されな い。
尚、 ここでのシームレス再生とは、 グラフィ クスの消去及び再描画が、 所定のビデオフ レーム数で完遂することをいう。 インタラクティブグラ フ ィ クスス ト リ一ムの場合、 このビデオフ レーム数は、 4, 5 フ レームと なる。 このビデオフ レームをどれだけにするかは、 グラフ ィ ックプレー ン全体に対する固定領域の大きさの比率と、 ォブジヱク トパッファーグ ラフィ ックプレーン間の転送レートとによって定まる。
図中の破線 hk l,2は、 第 2段目の機能セグメン トが、 どの Epochに帰 属 してい る か と い う 帰属関係を示す。 Epoch Start, Acquisition Point, Normal Caseという一連の DSは、 第 1段目の Epochを構成してい ることがわかる。 『Epoch Start』、 『Acquisition Point』、 『Normal Case』 は、 DS の類型である。 本図における Acquisition Point, Norm l Case の順序は、 一例にすぎず、 どちらが先であってもよい。
『Epoch StartJ は、" 新表示" という表示効果をもたらす DSであり、 新たな Epochの開始を示す。 そのため Epoch Startは、 次の画面合成に 必要な全ての機能セグメン トを含んでいる。 Epoch Start は、 映画作品 におけるチャプター等、 AVClipのうち、 頭出しがなされることが判明し ている位置に配置される。
『Acquisition Point』 は、" 表示リ フ レッシュ" という表示効果をも たらす Display Set であり、 先行する Epoch Start と関連性をもつ。 Acquisition Pointの類型には、 『Duplicate』 と、 『Inherit』 とがある。 Duplicateとは、先行する Epoch Startと全く同じ Display Setをいい、 Inherit とは、 先行する Epoch Startの機能セグメ ン トを継承している が、 ポタンコマンドのみが違う Display Setをいう。 Acquisi tion Point たる DSは、 Epochの開始時点ではないが、 次の画面合成に必要な全ての 機能セグメントを含んでいるので、 Acquisition Pointたる DSから頭出 しを行えば、 グラフイ ツクス表示を確実に実現することができる。 つま り Acquisition Pointたる DSは、 Epochの途中からの画面構成を可能す るという役割をもつ。
Acquisition Pointたる Display Setは、 頭出し先になり得る位置に 組み込まれる。 そのような位置には、 タイムサーチにより指定され得る 位置がある。 タイムサーチとは、 何分何秒という時間入力をユーザから 受け付けて、 その時間入力に相当する再生時点から頭出しを行う操作で ある。 かかる時間入力は、 10 分単位、 10 秒単位というように、 大まか な単位でなされるので、 10 分間隔の再生位置、 10 秒間隔の再生位置が タイ ムサーチによ り指定され得る位置になる。 このようにタイムサーチ により指定され得る位置に Acquisition Pointを設けておく ことにより. タイムサーチ時のグラフ ィ クスス ト リーム再生を好適に行うことがで きる。
『Normal CaseJ は、" 表示アップデート" という表示効果をもたらす DSであり、 前の画面合成からの差分のみを含む。 例えば ある DSvのポ タ ンは、 先行する DSuと同じ絵柄であるが-, 状態制御が この先行する DSuとは異なる場合、 I CSのみの DSv 又は、 I CS と PDSのみの DSvを設 けてこの DSv を No rma l Case の DS にする。 こうすれば、 重複する 0DS を設ける必要はなくなるので、 BD-R0Mにおける容量削減に寄与すること ができる。一方、 Norma l Caseの DSは、差分にすぎないので、 Normal Case 単独では画面構成は行えない。
これらの DS により定義される対話画面は、 画面上に GU I 部品を配置 することにより作成される対話画面である。 そして DS における対話性 とは、 GU I 部品の状態をユーザ操作に応じて変化させることをいう。 本 実施形態では、 ユーザ操作の対象となる GU I部品をボタンという。 ボタ ンにおける状態には、 ノーマル状態、 セ レクテッ ド状態、 アクティブ状 態といつたものがある。 ノーマル状態、 セレクテッ ド状態、 アクティブ 状態といった各状態は、 複数の非圧縮状態のグラフィ タスから構成され る。 ボタンの各状態を表現する個々の非圧縮グラフ ィ クスを" グラフィ クスォブジェク ト" という。 あるボタンの 1つの状態を、 複数の非圧縮 グラフィ クスで表現しているのは、 各ボタンの 1つの状態をアニメーシ ヨン表示することを念頭に置いているからである。
続いて Def i n i t i on Segment (0DS、 PDS)について説明する。
『Obj ect_Def i n i t i on_Segment』 は、 グラフ ィ クスオブジェク トを定 義する情報である。 このグラフィ クスオブジェク トについて以下説明す る。 BD-R0Mに記録されている AVC l i pは、 ハイ ビジョン並みの高画質を セールスポイントにしているため、 グラフィ クスォブジェク トの解像度 も、 1920 x 1 080画素という高精細な大きさに設定されている。 画素の色 にあたっては、一画素当たりのィンデックス値(赤色差成分(Cr値),青色 差成分(Cb値),輝度成分 Y値,透明度(T値))のビッ ト長が 8 ビッ トにな つており、 これによりフルカラーの 16, 777, 216 色から任意の 256色を 選んで画素の色として設定することができる。 ODS によるグラフイクスォブジヱク トの定義は、 図 1 0 (a) に示す ようにデ一夕構造をもってなされる。 0DSは、 自身が 0DSであることを 示す 『Segment— Type』 と、 ODSのデータ長を示す 『segment— length』 と、 Epochにおいてこの 0DS に対応するグラフィ クスォプジヱク トを一意に 識別する 『object_ID』 と、 Epoch における 0DS のバージ ョ ンを示す 『object— version— n謂 ber』 と、 『 last— insequence— f lag』 と、 グラフィ ク ス ォブジ ェ ク ト の一部又は全部であ る連続パイ ト 長デー タ 『object— data— f ragment』 と力、らなる。
『object_ID』 は、 Epochにおいてこの 0DSに対応するグラフィ クスォ ブジヱク トを一意に識別するものだが、 複数 0DSにより定義される複数 グラフィ ックスォブジェク トがアニメーションを構成する場合、 これら の 0DSに付加された一連の 『object_ID』 は、 連番になる。
『 last— insequence— f lag』、 『object一 data— fragment』 について説明す る。 PES パケッ トのペイロードの制限から、 ボタンを構成する非圧縮グ ラフイ クスが 1つの 0DSでは格納できない場合がある。そのような場合、 ボタンコマン ドを分割することにより得られた 1部分(フラグメン ト)が object_data_fragraentに設定される。 1つのグラフィ クスォブジヱク ト を複数 0DSで格納する場合、 最後のフラグメントを除く全てのフラグメ ン トは同じサイズになる。 つまり最後のフラグメントは、 それ以前のフ ラグメン トサイズ以下となる。 これらフラグメン トを格納した 0DS は、 DS において同じ順序で出現する。 グラフイ クスォブジェク トの最後は、 last_sequence_flagをもつ ODSにより指示される。上述した 0DSのデ一 夕構造は、 前の PESバケツ 卜からフラグメン トを詰めてゆく格納法を前 提にしているが、 各 PESパケッ トに空きが生じるように、 詰めてゆく と いう格納法であっても良い。 以上が 0DSの説明である。
fPalette Difinition SegmentJ は、 色変換用のパレッ トを定義する 情報である。 PDS のデータ構造を図 1 0 (b) に示す。 図 1 0 (b) に 示すように PDSは、 自身が PDSであることを示す rsegraent_typej, PDS のデータ長を示す 『 segment— length』、 この PDS に含まれるパレツ トを 一意に識別する 『Pallet_id』、 Epochにおける Epochの PDSのバ一ジョ ン を示す 『 version— number』、 各エ ン ト リ ー に つ い て の 情報 『Pallet一 entry』 からなる。 『Pal let_entry』 は、 各エン ト リーにおけ る赤色差成分(Cr値),青色差成分(Cb値),輝度成分 Y値,透明度(T値)を 示す。
続いて END of Display Set Segmentについて説明する。
『END of Display Set SegmentJ は、 Display Set の伝送の終わりを 示す指標であり、 Display Set における ICS、 PDS, 0DSのうち、 最後の 0DSの直後に配置される。 この END of Display SetSegmentの内部構成 は、 当該機能セグメントが END of Display SetSegmentであることを示 す segment_type と 、 当該機能 セ グ メ ン ト の デー タ 長 を示す segment_lengthとからなり、 これといつて説明が必要な構成要素はない c 故に図示は省略する。
続^ヽて ICSにつ!ヽて説明する。 Interactive Composition Segmentは、 対話的な画面を構成す る機能セ グメ ン ト であ る。 Interactive Composition Segment は、 図 1 1に示すデータ構造で構成される。 本図 に示すよ う に ICS は、 『 segment— type』 と、 『 segment— length』 と、 『 composition— number 』 と 、 『 composi tion— state 』 と 、 『 command— update_f lag 』 と 、 『 Composition— timeout— PTS 』 と 、 『 Selection— timeout一 PTS 』 と 、 『 U0_Mask一 Table 』 と 、 『animation— frame— rate_code』と、『defaul t— selected— button— number』 と、 『default_activated— button— number』 と、 『ポタ ン情報群(button info(l)(2) (3)----)J とからなる。
『Composition_Nuniber』 は、 ICS が属する DS において、 Updateがな されることを示す 0から 15までの数値である。
『composition— state』 は、 本 ICS力、ら 台まる DS力 、 Normal Caseで あるか、 Acquisition Pointでめる力、 Epoch Startであるかを示す。
『command_update_nag』 は 本 ICS内のポタンコマンドは、 前の ICS から変化しているかを否かを示す。 例えば、 ある ICSが属する DS が-. Acquisition Pointであれば、 この ICSは、 原則 1つ前の ICSと同じ内 容になる。 しかし commancLupdate— flagをオンに設定しておけば、 1 つ 前の DS と違うボタンコマンドを ICS に設定しておく ことができる。 本 フラグは、 グラフィ ックスォブジェク トは流用するが、 コマンドは変更 したい場合に有効となる。
『Composition— timeout— PTS』 は ポタンによる対話画面の終了時刻 を記述する。 終了時刻において対話画面の表示は もはや有効ではなく 表示されない。 Composition_timeout_PTS は、 動画データにおける再生 時間軸の時間精度で記述しておく ことが好ましい。
『Selection— Timeouし PTS』 は、 有効なボタン選択期間の終了時点を 記 述 す る 。 Selection— Timeout— PTS の 時 点 に お い て 、 Default_activated— button— number により特定されるボタンがァクティ ベートされる。 Selection— Timeout— PTS は、 composition— time— out— PTS の時間と等しいかそれより短い。 Selection— Timeout— PTS はビデオフ レ 一ムの時間精度で記述される。
『U0_Mask一 Table』 は、 ICSに対応する Di splay Setにおけるユーザ操 作の許可ノ不許可を示す。 このマスクフィールドが不許可に設定されて いれば、 再生装置に対するユーザ操作は無効になる。
『animation— frame— rate— code』 は、 アニメーシ ョ ン型ボタンに適用 すべきフ レームレー トを記述する。 アニメーショ ンフ レームレー トは、 本フィールドの値を用いて、 ビデオフ レームレートを割ることにより与 えられる。 本フィールドが 00 なら、 各ボタンのグラフィ クスォブジェ ク トを定義する 0DSのうち、 Start_0bject_id_xxxにて特定されるもの のみが表示され、 アニメーシ ョ ンされない。
『default_selected—button— number』 は、 対話画面の表示が始まった とき、 デフ ォル ト としてセレクテツ ド状態に設定すべきボタン番号を指 示する。 本フ ィールドが" 0" であれば、. 再生装置のレジスタに格納さ れたボタン番号のボタンが自動的にァクティブ状態に設定される。 もし このフ ィールドが非ゼロであれば、 このフ ィールドは、 有効なボタンの 値を意味する。
defaul t— activated_button— immberj は、 Selection— Timeout— PTSに より定義された時間の前に、 ユーザがどのポタンもアクティブ状態にし なかったとき、 自動的にァクティ ブ状態に設定されるボタンを示す。 defau — activated— button— number せ " FF " で あ れ ば 、 Selection— Timeout_PTS により定義される時刻において、 現在セレクテ ッ ド 状 態 に あ る ボ タ ン が 自 動 的 に 選 択 さ れ る 。 こ の default— activated— button—醒 berが 00であれば、 自動選択はなされな い。 00, FF 以外の値であれば本フィ一ルドは、 有効なボタン番号として 解釈される。
『ボタン情報(Button— info)』 は、 対話画面において合成される各ボ タンを定義する情報である。 図中の引き出し線 hplは ICSにより制御さ れる i番目のポタンについてのボタン情報 iの内部構成をクローズアツ プしている。以降、ボタン情報 iを構成する情報要素について説明する。
『button_number』 は、 ボタン iを、 ICSにおいて一意に識別する数値 である。
『numerically一 selectable— flag』 は、 ボタン i の数値選択を許可す るか否かを示すフラグである。
『auto_action— flag』 は、 ポタン i を自動的にアクティブ状態にする かどうかを示す。 auto— act ion一 flagがオン(ビッ ト値 1)に設定されれば、 ポタン i は、 セレクテツ ド状態になる代わりにァクティブ状態になる。 auto_action— flagがオフ(ビッ ト値 0)に設定されれば、 ポタン i は、 選 択されたとしてもセレクテツ ド状態になるにすぎない。
『object— horizontal— position』、 u object— vertical— posi tionj は、 対話画面におけるボタン iの左上画素の水平位置、 垂直位置を示す。
『upper— button— numberj は、 ポタン i がセレクテッ ド状態である場 合において M0VEUP キーが押下された場合、 ボタン i の代わりに、 セレ クテッ ド状態にすべきボタンの番号を示す。 もしこのフィールドにボタ ン iの番号が設定されていれば、 M0VEUPキーの押下は無視される。
『 lower— button— number 』 , 『 left_button— number 』 , 『right_button— numberj は、 ボタン i がセ レクテッ ド状態である場合 において MOVE Down キ一, MOVE Left キ一, MOVE Right キーが押下され た場合、 ボタン i の押下の代わりに、 セレクテツ ド状態にすべきポタン の番号を示す。 もしこのフィールドにポタン iの番号が設定されていれ ば、 これらのキーの押下は無視される。
『 s tar t—obj ec t_ id— norma 1』 は、 ノーマノレ状態のボタン i をアニメ一 ショ ンで描画する場合 アニメーシ ョ ンを構成する複数 0DSに付加され た連番のうち、 最初の番号がこの start— object— id— normal に記述され る。
『end— object— id— normal』 は、 ノーマル状態のボタン i をアニメーシ ョンで描画する場合、 アニメ一ショ ンを構成する複数 0DSに付加された 連番たる『object— ID』のうち、最後の番号がこの end_object— id— normal に記述される。 こ の End一 object一 id— normal に示される ID が、 start_object_id_normal に示される IDと同じである場合、 この IDにて 示されるグラフィ ックスォブジヱク トの静止画が、 ポタン i の絵柄にな る。
『repeated_normal— f lag』 は、 ノ一マル状態にあるボタン iのアニメ —シヨン表示を反復継続させるかどうかを示す。
『start_object_id_selected』 は、 セレクテツ ド状態のポタン iをァ ニメ一ションで描画する場合、 アニメーションを構成する複数 0DSに付 加された連番のうち、 最初の番号がこの start— object— id— selected に 記述される。 こ の End— objecし id— selected に示さ れ る ID が、 start_object_id_selectdに示される IDと同じである場合、 この IDに て示されるグラフイ ツクスォブジェク トの静止画が、 ボタン iの絵柄に なる。
『end_object_id_selected』 は、 セレク ト状態のポタンをアニメ一シ ョンで描画する場合、 アニメーションを構成する複数 0DSに付加された 連 番 た る 『 object_ID 』 の う ち 、 最 後 の 番 号 が こ の end— object— id— selectedに 述される。
『repeat— selected_flag』 は、 セ レクテッ ド状態にあるボタ ン iのァ 二 メ ー シ ョ ン 表 示 を 、 反 復 継 続 す る か ど う か を 示 す 。 start_object_id— selected と、 end— object— id— selected と力 同じ値に なるなら、 本フィールド 00に設定される。 『start— object_id_activated』 は、 アクティブ状態のボタン i をァ ニメーショ ンで描画する場合、 アニメーシ ョ ンを構成する複数 0DSに付 カロされた連番のうち、 最初の番号がこの start_object— id— activatedに 記述される。
rend_object_id_activatedJ は アクティ ブ状態のボタ ンをァ二メ ーシ ョ ンで描画する場合、 アニメーショ ンを構成する複数 0DSに付加さ れ た 連 番 た る 『 object— ID』 の う ち 、 最 後 の 番 号 が こ の end— object— id— activatedに目 c述される。
続いてボタンコマン ドについて説明する。
『ボタンコマン ド(button— command)』 は、 ボタン iがアクティブ状態 になれば、 実行されるコマン ドである。
ボタンコマンドでは、 PL、 Play Itemを対象とした再生を再生装置に命 じることができる。 PL、 Playltemを対象とした再生を、 再生装置に命じ るコマン ドを LinkPL コマン ドという。 本コマン ドは、 第 1引数で指定 するプレイ リ ス トの再生を、 第 2引数で指定する位置から再生を開始さ せるものである。 書式: LinkPL (第 1引数, 第 2引数)
第 1引数は、 プレイ リ ス トの番号で、 再生すべき PL を指定すること ができる。 第 2引数は、 その PLに含まれる Playltemや、 その PL にお ける Chapter、 Markを用いて再生開始位置を指定することができる。
Playltem に よ り 再生 開 始位 置 を 指定 し た LinkPL 関数 を LinkPLatPlayltemO,
Chapter に よ り 再生 開 始位 置 を 指 定 し た LinkPL 関 数 を LinkPLatChapterO,
Markにより再生開始位置を指定した LinkPL関数を LinkPLatMark〇と いう。 またボタンコマン ドでは、 再生装置の状態取得や状態設定を再生装置 に命じるこ とができる。 再生装置の状態は、 64 個の Player Status Register (これの設定値は、 PSR と呼ばれる)と、 4096 個の General Purpose Register (これの設定値は、 GPRと呼ばれる)とに示されている。 ポタンコマン ドでは、 以下の(i)〜(iv)のコマン ドを使用することによ り、 これらのレジスタに値を設定したり -, これらのレジスタから値を取 得したりすることができる。
(U Get value of Player Status Registerコマンド、
書式 : Get value of Player Status Register (引数)
この関数は、 引数で指定された Player Status Register の設定値を 取得する。
(ii)Set value of Player Status Registerコマンド、
書式 : Set value of Player Status Register (第 1引数、 第 2引数) この関数は、 第 1引数で指定された Player Status Register に、 第 2引数で指定された値を設定させる。
(i i i)Get value of General Purpose Registerコマンド
書式: Get value of General Purpose Regi ster (弓 I数)
この関数は、 引数で指定された General Purpose Register の設定値 を取得する関数である。
(ivリ Set value of General Purpose Registerコマン ド
書式: Set value of General Purpose Register (第 1引数、 第 2弓 I数) この関数は、 第 1引数で指定された General Purpose Register に、 第 2引数で指定された値を設定させる。 以上が ICSの内部構成である。 ICSによる対話制御の具体例について 以下説明する。 本具体例は、 図 1 2のような 0DS、 ICSを想定している。 図 1 2は、 ある DSnに含まれる 0DS と、 ICSとの関係を示す図である。 この DSnには、 0DS11〜19,21〜29,31〜39,41〜49が含まれているものと する。 これらの ODSのうち、 0DS11〜19は、 ポタン Aの各状態を描いた ものであり、 0DS2卜 29は、 ボタン Bの各状態を描いたもの、 0DS3卜 39 は、 ポタン Cの各状態を描いたもの、 0DS41〜49は、 ポタン Dの各状態 を描いたものとする (図中の括弧 }を参照)。 そ して ICS における button— info (1), (2), (3), (4)にて-. これらのボタン A〜ポタン Dの状態 制御が記述されているものとする(図中の矢印 bhl,2,3,4参照)。
この ICS による制御の実行タィ ミ ングが、 図 1 3に示す動画のうち 任意のピクチャデータ ptl の表示タィ ミ ングであれば、 ボタン A〜ボタ ン Dからなる対話画面 tml が、 このピクチャデータ ptl に合成(gsl)さ れて表示されることになる(gs2)。 動画の中身に併せて、 複数ボタンか らなる対話画面が表示されるので、 ICS によりボタンを用いたリアルな 演出が可能になる。
図 1 5に示すボタン A〜ボタン Dの状態遷移を実行する場合の ICSの 記述例を図 1 4に示す。図 1 5における矢印 hhl,hh2は、 button info(l) の neighbor_info()による状態遷移を象徴的に表現している。 button info(l)の neighbor— infoOにおける lower— button— numberは、 ボタン C に設定されているため、 ボタン Aがセレクテッ ド状態になつている状態 で、 MOVEDownキー押下の U0が発生すれば(図 1 5の upl)、 ボタン Cが セ レ ク テ ツ ド 状態 に な る (図 1 5 の sjl)。 button info(l) の neighbor_info()における r ight_button_number は、 ポタン B に設定さ れているため、 ボタン A がセ レクテツ ド状態になっている状態で、. MOVERightキー押下の U0が発生すれば(図 1 5の up2)、 ポタン Bがセレ クテツ ド状態になる(図 1 5の sj2)0
図 1 5における矢印 hh3は、 button inf o (3)の neighbor_inf o〇によ る状態遷移の制御を示す。 buUon info(3)の neighbor— inf o 0における upper_button_numberは、 ボタン Aに設定されているため、 ポタン じが セレクテツ ド状態になつている状態で(up3)、 MOVEUpキー押下の U0が発 生すれば、 ボタン Aがセレクテツ ド状態に戻る。
続いてボタン A〜ポタン Dの絵柄について説明する。 ODSll.21,31,41 が図 1 6に示す絵柄であるものとする。 そしてボタン Aに割り当てられ た 0DS11〜19 は、 図 1 7のような絵柄であるものとする。 ICSにおける button— info (1) の normal— state— inf o 0 に お け る start— object— id— normal , end— object— id— normal は、 0DS11~ 13 を指定 しているため.. ポタン Aのノーマル状態は、 0DS11〜 13 によるアニメ一 シヨンで表現さ lる。 また button— info (1)の selected— state— info 0に おける start— object— id— selected, end— object— id— selected は、 0DS14 -16 を指定しているため、 ボタン Aのセレクテツ ド状態は、 0DS14〜16 で表現される。 ユーザがこのボタン Aをセレクテツ ド状態にすることに より、 ボタン A の絵柄たる肖像は、 0DS11〜13 によるものから、 0DS14 〜 16 に よ る も のへ と変ィ匕する。 こ こ で normal— state— info ()、 selected— state— infoO に お け る tepeat— normal— flag, repeat— select—flagを 1 にしておけば、 0DS11〜 13 によるアニメーシ ョ ン、 0DS14〜 16によるアニメーシ ョ ンは、 図中の「→ (A)」,「(A)→」,「→(B)」,「(B)→」,に示すように、 アニメ一ション表示は 反復継続する。
アニメ一ション描画が可能な複数 0DSが、 ポタン A〜ポタン !)に割り 当てられており、 これらによる制御が ICSに記述されていれば、 ユーザ 操作に併せてキヤラクタの表情が変わるような、 リアルなボタンの状態 制御を実現することができる。
続いて numerically— selectable_flag による応用について説明する。 図 1 8は、 DS に含まれる ICS, 0DSの一例を示す図である。 本図におけ る 0DS31〜33は、 図中上段に示すような 3人の野球選手の肖像及び選手 名、 背番号を示すものとする。 一方、 この DSに属する ICSは、 3つのボ タン情報を含んでおり、 ボタン情報(0の start_object— idは、 0DS31 を 示すよう設定され、 ボタン情報(2)の start_object_idは、 0DS32を示す よう、 ボタン情報(3)の start_。bject一 idは、 0DS33を示すよう設定され ているものとする。 一方 ボタン情報(1)は、 button numberが 99 に ボタン情報(2)は button numberが 42に、ボタン情報(3)は button number が 94 に設定されているものとする。 またボタン情報(1)〜(3)は、 全て immerically_selectable_nagが 1 に設定されているものとする。 この 場合、 ボタン情報(1 )〜(3)に対応する各ボタンの数値選択が可能になる ので、 ユーザにより リモコン 4 0 0による「99」の数値入力がなされれば、 ビギナーズ ·ラック選手のボタンがセレクテッ ド状態になる。 数値「99」 の入力は、 「9」キーの押下と、 「9」キーの押下とを連続して受け付けるこ とで実現しても良い。 また「9」キーの押下と、 「 + 10」キーの 9回の押下と を連続して受け付けることで実現しても良い。 「42」 の数値入力がなさ れれば、 ケアレス 'ミス選手のボタンがセレクテッ ド状態、 「94」 の数値 入力がなされれば、 デッ ド ·ス ト ッ ク選手のボタンがセ レクテツ ド状態 になる。
これらのボタン情報(1)〜(3)の auto_act i on_n ag が 1 に設定されて いれば、 これら 3つのボタンはセレクテツ ド状態になる代わりにァクテ イ ブ状態にな り 、 ボタ ン情報の内部に含まれるポタ ン コ マ ン ド (Li nkPL (PL#21 ), L i nkPL (PL#22) , L i nkPL (PL#23) )が実行される。 3つのポ 夕ン情報に含まれるボタンコマンドのリ ンク先 PL#21, #22,#23が、 それ それの選手の打撃シーン、 投球シーンであれば、 これら打撃シーン、 投 球シーンは、 選手の背番号にあたる数値入力で再生されることになる。 背番号という、 知名度が高い番号でのダイ レク 卜なボタン選択が可能に なるので、 ユーザによる操作性は一段と高まる。
続いて Di spl ay Set における ODS の順序について説明する。 D i spl ay Setに属する ODSは、 ボタンの 1つの状態を表すよう I CSにて指定され ていることは、 上述した通りである。 0DS は、 こう した指定、 つまり、 ポタンのどの状態を示すかという指定に応じて、 D i spl ay Set における 順序が決められる。
詳しくいうと D i splay Setにおいて ODSは、 ノーマル状態を表すもの (1)、 セレクテッ ド状態を表すもの(2)、 アクティ ブ状態を示すもの(3) というように、 同じ状態を表すもの同士がグループ化される。 このボタ ンの 1 つの状態を表すグループを button-s tate グループという。 そし てこれら button-state グループを., ノーマル状態→セレクテッ ド状態 →ァクティプ状態というように並べる。 このようにポタンのどの状態を 表すかに応じて、 0DS の順序を決めるというのが、 D i spl ay Set におけ る ODSの順序である。
図 1 9は、 Display Set に属する 0DSの順序を示す図である。 本図の 第 2段目に、 Display Setにおける 3つの button- stateグループを示す。 本図においてノーマル状態を描く 0DSの集合(ODSs for Normal state), ボタンのセレクテッ ド状態を描く 0DSの集合(ODSs for Selected state), ボタンのアクティブ状態を描く 0DS の集合(ODSs for Actioned state) が示されている。 そしてこれら button-state グループの順序は-. ノー マル状態→セレクテツ ド状態→ァクティ ブ状態というように並べられ ている。 これは 0DSのうち、 対話画面の初期表示を構成するものを早く 読み出させ、 アップデート後の画面表示を構成するものの読み出しを後 にするという配慮である。
図 1 9の第 1段目は、 これら button-state グループにより描かれる グラフィ クスオブジェク ト An,Bn,Cn,Dn,As,Bs,Cs,Ds,Aa,Ba, Ca.Daを示 す。 本図における Αη,Βη, Cn.Dnにおける添字 nは各ボタンのノーマル状 態を表し、 As,Bs,Cs,Ds における添字 s は各ボタンのセレクテッ ド状態 を表す。 Aa,Ba,Ca,Daにおける添字 aは各ボタンのァクティブ状態を表 す。 図 1 9の第 2段目は、 第 1段目のグラフィ クスォブジェク トが属す る button-stateグループを示す。 尚、 本図における 0DSl〜0DSnという 表記は、 「1J,「n」という ような同じ番号が付されているが、 これら N-ODSs, S- 0DSs,A-0DSsに属する 0DSは別々のものである。 以降、 同様の 表記の図は同じ意味であるとする。
図 2 0は、 図 1 9の button- state グループが配置された対話画面に おける状態遷移を示す図である。
本図における対話画面は、" 初期表示"、" 1stユーザァクシヨンによる 更新表示"、" 2nd ユーザアクションによる更新表示" という複数の状態 をもつ。 図中の矢印は、 状態遷移のト リガとなるユーザァクションを表 す。 この図を参照すると 4つのポタン A, B, C, Dはそれぞれノーマル状 II, セレクテツ ド状態、 アクティブ状態という状態をもっている。 この うち初期表示に必要なのは、 3 つのノーマル状態を描くグラフィ クスォ ブジェク 卜と、 1 つのセレクテッ ド状態を描く グラフィ クスオブジェク トであることがわかる。
デフォルトセレクテツ ドポタンが未確定であり、 ボタン A〜ボタン D のうち、 どのボタンがセレクテツ ド状態になるかが動的に変わる場合で あっても. 各ボタンのノーマル状態 セレクテツ ド状態を表すグラフィ クスォブジェク トのデコードが完了すれば., 初期表示を実現することが できる。 このことを意識して、 本実施形態では、 各状態に対応する button-stateグループを- 図 1 9の第 2段目に示すようにノーマル状態 →セ レクテツ ド状態→ァクティブ状態の順に配列している。 かかる配列 により、 ァクティプ状態を構成する 0DSの読み出しやデコードが未完で あっても、 初期表示を実現することができ、 Display Set の読み出し開 始から初期表示の完了までの期間を短くすることができる。
続いて図 1 6、 図 1 7に示した 0DSを、 どのような順序で配列させる かについて説明する。 図 2 1 は、 Display Set における ODSの順序を示 す図である。 本図において ODSs for Normal stateは、 0DS11〜 13, 0DS21 〜23,0DS31〜33,0DS41〜43から構成されている。また ODSs for Selected state は、 0DS14〜16,0DS24〜26,0DS34〜36,0DS44〜46 から構成され、 ODSs for Actioned state は、 0DS17〜 19, 0DS27〜 29, 0DS37〜 39, 0DS47 〜49から構成されている。 0DS11〜13は、 図 1 7に示したような、 キヤ ラクターの表情変化を描く ものであり、 0DS21〜23,0DS31〜33,0DS41〜 43 も同様なので、 これらの 0DSを先頭の button-stateグループに配置 することにより、 Display Set の読み出しの途中であっても、 初期表示 の準備を整えることができる。 これによりアニメーションを取り入れた 対話画面を、 遅滞なく実行することができる。
続いて複数のボタン状態からの多重参照される 0DSの順序について説 明する。 多重参照とは、 ある 0DSについての object— idが ICSにおける 2 以 上 の normal— state— info, selected— state_info, act ivated_s tat e_ info に よ り指定されていることをいう。 かかる多重参照を行えば、 あるポタンの ノーマル状態を描くグラフ ィ クスオブジェク トを用いて、 他のボタンの セレクテツ ド状態を描く ことができ、 グラフィ クスオブジェク トの絵柄 を共用することができる。 かかる共用により、 0DS の数を少なくするこ とができる。 多重参照される 0DS については、 どの button - state ダル ープに属するかが問題になる。
つまりあるボタ ンのノーマル状態と 別のポタンのセレクテツ ド状態 とが 1 つの 0DSで描かれている場合、 この 0DSは.. ノーマル状態に対応 する but ton-state グループに属するか、 セ レクテツ ド状態に対応する button-stateグループに属するかが問題となる。
この場合 0DSは、 複数状態のうち、 最も早く 出現する状態に対応する but ton-s tateグループだけ 1 回のみ配置される。
ある 0DS がノーマル状態、 セレクテッ ド状態で多重参照されるなら、 ノーマル状態に対応する button- state グループ(N - ODSs)にこの 0DS は 配置され、セレクテツ ド状態に対応する button-stateグループ(S-ODSs) には配置されない。 また別の 0DSがセレクテッ ド状態、 アクティブ状態 で多重参照されるなら、 セレクテッ ド状態に対応する but ton- state グ ループ(S-ODSs)にこの 0DS は配置され、 アクティ ブ状態に対応する but ton-stateグループ(A- ODSs)には配置されない。 このように多重参照 される 0DS は、 最も早く 出現する状態に対応する button-state グルー プ内に一回だけ配置される。 以上が多重参照される 0DSの順序について の説明である。
S- ODSsにおける、 0DSの順序について説明する。 S-ODSsにおいて、 ど の 0DSが先頭に位置するかは、 デフ ォル トセレクテツ ドボ夕ンが静的に 確定しているか、 動的であるかによって違う。 確定したデフ ォルトセレ クテツ ドボタンとは、 I CSにおける defau l t— se l ected_but ton_numberに 00以外の有効な値が設定され、 この値で指示されるボタンのことをいう, defau l t— se l ec ted— but ton— numberが有効な値を示しており、尚且つデフ オルトセレクテツ ドボタンを表す 0DSが、 N - ODSsに無い場合は、 デフォ ルトセレクテツ ドボタンを表す 0DSが、 S-ODSsの先頭に配置される。 def au l t— se l ected—button— number力、 1直 00 を示している場合 テフォ ルトでセレクテツ ド状態に設定されるボタンは、 再生装置側の状態によ つて動的に変化する。 値 0を示すよう、 default— selected— button_numberを設定しておくの は、 例えば、 Display Setが多重されている AVClipが、 複数再生経路の 合流点になつているようなケースである。 先行する複数再生経路がそれ それ第 1、第 2、第 3章であり、合流点にあたる Display Setが第 1章 第 2章、 第 3章に対応するボタ ンを表示させる ものである場合 defaul t_selected— button— number ίこお ヽて、 テフオノレ卜でセ レクテツ ド 状態とすべきボタンを決めてしまうのは、 おかしい。
第 1章からの到達時には第 2章にあたるボタ ン、 第 2章からの到達時 には第 3章にあたるポタン、 第 3章からの到達時には第 4章にあたるボ タンというように、 この Display Setに到達するまでに、 先行する複数 再生経路のうち、 どの再生経路を経由するかによって、 セ レクテツ ド状 態とすべきボタンを変化させるのが理想的である。 先行する再生経路に よって、 セレクテツ ド状態とすべきボタンが変わるようなケースにおい て、 default— selected— button_numberは無効を示すよう、 0に設定され る。 どの再生経路を経由するかによって、 セレクテッ ド状態とすべきボ タンを変化するから、 特定の 0DS を button- state グループの先頭に配 置するというような配慮は行わない。
図 22は、 default— selected— button— numberが" =0" である場合と、" =ボタン B"である場合とで S- ODSsにおいて 0DSの並びがどのように変 わ る か を 示 す 図 で あ る 。 本 図 に お い て 破 線 ssl は 、 defaul t— selected— button— number 力 ポ、タ ン B を示している場合に、 S-ODSsにおける 0DSの配列がどのようになるかを示しており、 破線 ss2 は、 default— selectecLbutton_imraberが =0を示している場合に、 S- ODSs における 0DSの配列がどのようになるかを示している。 この図の表記か らもわるように、 defaul t— selected— button— number力 ¾ボタン Bを示して いる場合、 ボタン Bのセレクテツ ド状態を示す ODSBsが S-ODSsの先頭 に配され、 その他のボタ ンの 0DS は., 後回しにされている。 —方-、 default_selected一 button— numberが" =0" である場合、 ポタン Aのセレ クテ ツ ド状態を表す ODSAs が先頭に配置されている。 このよう に default— selected— button— number が有効かどうかは、 S-0DSs 内の順序 に大きな変動をもたらす。
以上が 0DS の順序についての説明である。 続いてこれら ICS、 0DS を 有した Display Setが、 AVClipの再生時間軸上にどのように割り当てら れるかについて説明する。 Epoch は 再生時間軸上においてメモリ管理 が連続する期間であり、 Epochは 1 つ以上の Display Setから構成され るので、 Display Setをどうやって AVClipの再生時間軸に割り当てるか が問題になる。 ここで AVClipの再生時間軸とは、 AVClip に多重された ビデオス ト リ ームを構成する個々 のピクチャデータのデコー ドタイ ミ ング、 再生夕ィ ミングを規定するための想定される時間軸をいう。 この 再生時間軸においてデコードタイ ミ ング、 再生タイ ミ ングは、 90KHz の 時間精度で表現される。 Display Set 内の ICS、 0DS に付加された DTS、 PTS は、 この再生時間軸において同期制御を実現すべきタイ ミ ングを示 す。 この ICS、 0DSに付加された DTS、 PTSを用いて同期制御を行うこと が、 再生時間軸への Display Setの割り当てである。
先ず、 0DSに付加された DTS、 PTSにより、 どのような同期制御がなさ れるかについて説明する。
DTS は、 0DS のデコードを開始すべき時間を 90KHz の時間精度で示し ており、 PTSはデコード終了時刻を示す。
0DS のデコードは、 瞬時には完了せず、 時間的な長さをもっている。 このデコード期間の開始点 ·終了点を明らかにしたいとの要望から、 0DS についての DTS、 PTS はデコード開始時刻、 デコード終了時刻を示して いる。
PTSの値は終了時刻であるので、 PTSに示される時刻までに ODSj のデ コ一ドがなされて、 非圧縮状態のグラフイ ツクスオブジェク トが、 再生 装置上のォプジヱク トバッファに得られなければならない。
Display Setn に属する任意の ODSj のデコ一ド開始時刻は、 90KHz の 時間精度で DTS(DSn[ODS])に示されるので、 これにデコードを要する最 長時間を加えた時刻が、 Display Setの ODSj のデコ一ド終了保証時刻に なる。
ODSj の伸長後のサイズを" SIZE(DSn[ODSj])"、 0DSのデコー ドレー ト を " Rd " と す る と 、 デ コ ー ド に要す る 最長時間 (秒) は、 " SIZE(DSn[ODSj])//Rd" になる。
尚、 本明細書において演算子" //" は、 小数点以下切り上げの割算 を示す。
この最長時間を 90KHzの時間精度に変換し、 ODSjの DTSに加算するこ とにより、 PTSで示されるべきデコ一 ド終了時刻 (霞 Hz)は算出される。
DSnに属する ODSjの PTSを、 数式で表すと、 以下の式のようになる。 PTS (DS [ODS j] ) =DTS (DSn [ODS j] ) +90, 000 x (SIZE (DSn [ODSj] )//Rd) そして互いに隣接する 2つの 0DS(0DSj,0DSj + l)との間では、以下の関 係を満たす必要がある。 PTSCDSn [ODSj] )≤ DTS (DSn [0DSj + l]) 以上が ODSについての PTS, DTSの説明である。 次に ICSの、 PTS値に ついて説明する。 、
ICSの PTSは、 Epoch開始直後であれば DSnの初期表示を構成する 0DS のうち、 デコード時刻が最も遅い 0DS の PTS値(1)、 グラフィクスプレ 一ンのク リァに要する時間(2)、 0DSのデコードにより得られたグラフィ クスォブジェク トをグラフィ クスプレーンに書き込む書込時間(3)を足 した値以降に設定される。 一方 Acquisition Pointであれば、 0DSの PTS 値(1)にプレーン書込期間(3)を足した値(0DSの PTS値(1) +プレーン書 込期間(3))以降に設定される。
ICSにおいて default— selected_button— numberが指定されている場合 は 全てのボタンのノーマル状態を描画する 0DSのデコー ドと、 デフォ ルトポタンのセレクテッ ド状態を描画する 0DSのデコ一 ドさえ完了すれ ば、 初期表示を行うことができる。 初期表示における複数ボタンのセレ クテツ ド状態を描画する 0DSを、 S- ODSsと呼び、 そのうちデコ一 ド時刻 が最も早いもの(この場合、 デフ ォル ト ボタ ンを描画する もの)を
S_ODSsfirst と呼ぶ。 この S-ODSsf irstの PTS値を、 デコード時刻が最 も遅い 0DSの PTS値として、 ICSの PTSの基準に用いる。
ICSにおいて default— selected—button— number力キ旨定されていない場 合は、 どのポタンがセレクテッ ド状態になるかわからないから、 全ボタ ンのノーマル状態、 セレクテツ ド状態を描画する準備が整なわないと、 初期表示の準備が完了しない。 初期表示における複数ボタンのセレクテ ッ ド状態を描画する S- ODSs のうち、 デコー ド時刻が最も遅いものを S - ODSslast と呼ぶ。 この S- ODSslastの PTS値を、 デコード時刻が最も 遅い 0DSの PTS値として、 ICSの PTSの基準値に用いる。
S-ODSsf irstのデコード終了時刻を PTS(DSn[S-ODSsf irst])とすると、 PTS(DSn[ICS])は、 PTS (DSn [S-ODSsf i rst] )に、 グラフィ クスプレーンの クリアに要する時間(2)、 0DSのデコードにより得られたグラフィ クスォ ブジェク トをグラフィ クスプレーンに書き込む書込時間(3)を足した値 になる。
グラフ ィ ッ クプレーン内において描画可能な矩形領域の横幅を video— width,縦幅を video— height とし、 グラフィ ックプレーンへの書 込レートを 128Mbpsとすると、 グラフィ ックプレーンのクリァに要する 時間は、 8x video_widt xvideo_height//128, 000, 000 と表現される。 これを 90KHzの時間精度で表現すれば、 グラフィ ックプレーンのクリア 時間 (2)は 90, 000 X (8 X video一 width x video_ eight//128, 000, 000)に なる。
ICS に含まれる全ポタン情報により、 指定されるグラフィ ックスオフ' ジェク トの総サイズを∑SIZE(DSn[ICS.BUTT0N[i]])とし、 グラフイ ツク プレーンへの書込レートを 128Mbpsとすると、 グラフィ ックプレーンへ の 書 き 込 み に 要 す る 時 間 は 、 ∑ SIZE (DSn [ICS. BUTTON [i] ]) //128, 000, 000 と表現される。 これを 90KHz の時間精度で表現すれば., グラフ ィ ックプレーンのク リ ァ時間(2)は 90, 000 X (∑ SIZECDSn [ICS. BUTTON [i]])//128, 000, 000)になる。
ここで∑SIZE(DSn[ICS.BUTT0N[i]])は、 各ボタンを表すグラフイ クス ォブジヱク トのうち、 最初に表示されるもののサイズの総和を意味する c この∑ SIZE(DSn[ICS.BUTTON[i]])はデフオル ト セ レクテツ ドボタ ンが 確'定している場合と 動的に変わる場合とで 違う値になる。 デフオル ト セ レ ク テ ツ ド ボ タ ン が 静 的 に 確 定 し て い る 場 合 ∑ SIZE(DSn[ICS.BUTTON[i]])は、 デフォル トセレクテッ ドボタ ンのセ レク テッ ド状態を表す複数 0DSのうち最初に表示されるもの、 デフオル トセ レクテツ ドボタン以外のボタンのノーマル状態を表す複数 0DS のうち、 最初に表示されるものの総和になる。
続いてデフォルトセレクテツ ドボタンが動的に変わる場合、 どのボタ ンがデフォルトセレクテッ ドボタンになるかはわからないから、 書き込 み時間が最も長くなるケースを想定しせねばならない。 ここで、 任意の ボタン Xのノーマル状態における最初の一枚を表すグラフ ィ クスォブジ ェク ト(0DSnl)、 及ぴ、 ボタン X のセレクテツ ド状態における最初の一 枚を表すグラフ ィ ク スオブジェク ト (ODSsl)のうち、 サイズが大きいも の(Max(0DSnl,0DSsl))を、 1 つのボタン xにおいて最初に表示すべきグ ラフィ クスォブジェク トと考える。
この Max(0DSnl,0DSsl)を、全てのボタンについて足し合わせた結果が, ∑SIZE(DSn [ICS. BUTTON [i] ] )になる。
図 23 (a) (b) は、 N-ODSsにボタン A〜Dを構成する複数 0DSが含 まれており、 S-ODSsにボタン A〜Dを構成する複数 0DSが含まれている 場合、 ∑SIZE(DSn [ICS. BUTTON [i]])がどのような値になるかを示す図で ある。 ここで default— selected— button_number が有 5 ^な値を示してい る場合、 ∑ SIZE (DSn [ICS. BUTTON [i]])は太い枠で示す 4つの 0DSのサイ ズの総和となる。" Asl" は、 ボタン Aのセレクテツ ド状態を表す複数の 0DSのうち最初に表示される 0DSである。" Bnl" ," Cnl" ," Dnl" は、 ポタン B〜ボタン !)のノーマル状態を表す複数の 0DSのうち最初に表示 さ れ る 0DS を示す。 こ れ ら の サ イ ズ を sizeOで表す と 、 ∑ SIZE(DSn[ICS.BUTTON[i]]) は 、 size(Asl) +size(Bnl)+size(Cnl)+size(Dnl)になる。
一方、 defaul t— selected— button— number力 =0 でめるなら、 Anl, Asl のうち大きい ODS.Bnl.Bslのうち大きい ODS.Cnl.Cslのうち大きい 0DS、 Dnl.Dslのうち大きい 0DSの和が∑ SIZE(DSn [ICS. BUTTON [i] ] )になる。 故に∑SIZE(DSn[ICS.BUTTON[i]])は、
∑SIZE(DSn[ICS.BUTTON[i]])
= max (size (An 1) , size(Asl))+max(size(Bnl) , size(Bsl))
+max(size(Cnl) , size(Csl))+raax(size(Dnl) , size(Dsl)) になる。 以上の数式を用 い る こ と に よ り 、 Epoch Start 開始直後の PTS(DSn[ICS])は、 以下の数式のように表現される。
PTS(DSn[ICS])≥PTS(DSn[S-ODSsfirst])
+90, 000 (8 x video一 widthxvideo— height〃128, 000, 000) +90, 000 x (∑ SIZE (DSn [ICS. BUTTON [i]])〃128, 000, 000)
一方、 default— selected— button— number が無効 で あ る 場合、 PTS(DSn[S- ODSsfirst])を PTS(DSn [S- ODSslast] )に置き換えればよい。 つまり算出式は、 以下の通りになる。
PTS (DSn [ICS])≥ PTS (DSn [S - ODSslast] )
+90, 000 X (8 x video一 widthxvideo— height〃128, 000, 000) +90, 000 x (∑ SIZE (DSn [ICS. BUTTON [i]])〃128, 000, 000) 以上のようにして PTS、 DTS を設定することにより、 同期表示を実現 する場合の一例を図 24に示す。 本図において動画における任意のピク チヤデータ ylの表示タィ ミ ングで、 ボタンを表示させる場合を想定す る。 この場合、 ICSの PTS値は、 このピクチャデータの表示時点になる よう設定せねばならない。
そして ICSの PTSから、 画面のクリァ期間 cdl、 グラフィ クスォブジ ク トの転送期間 tdl を差し引いた時刻に、 DSnの初期表示を構成する 0DSのうち、 デコード時刻が最も遅い 0DSのデコードが完了せねばなら ないから、図中の時点(★ 1)に 0DSの PTS値が設定しなければならない。 更に、 0DSのデコ一ドには期間 ddl を要するから この PTSより期間 ddl だけ早い時点に、 この 0DSの DTS値を設定せねばならない。
図 24において、 動画と合成される 0DSは 1つだけであり、 単純化さ れたケースを想定している。 動画と合成されるべき対話画面の初期表示 が、 複数の 0DSで実現される場合、 ICSの PTS及ぴ DTS、 ODSの PTS、 DTS は図 2 5のように設定せねばならない。
図 2 5は、 対話画面の初期表示が複数 0DSにて構成され、 デフォルト セレクテツ ドボタンが静的に確定している場合の DTS、 PTS の設定を示 す図である。 初期表示を実現する 0DS のうち、 デコー ドが最も遅い S-ODSsf irst のデコードが図中の期間 ddl の経過時に終了するなら、 こ の S-ODSsfirst の PTS(DSn[S- ODSsfirst])は、 期間 ddl の経過時を示す よう設定される。
更に、 初期表示の実現には、 画面クリアを行い、 デコードされたダラ フ ィ ク ス ォ ブ ジ ェ ク ト を 転送せ ね ば な ら な い か ら 、 こ の PTS(DSn[S- ODSsfirst])の値に画面ク リ ァに要する期間(90, 000 x (8 x video_ idthxvideo_height//128, 000, 000)), デコードされたグラフィ ク ス オ ブ ジ ェ ク ト の 転 送 期 間 (90,000 X ( ∑ SIZE (DSn [ICS. BUTTON [i] ] )//128, 000, 000))を足した時点以降を、 ICSの PTS(DSn[ICS])として設定せねばならない。
図 2 6は、 対話画面の初期表示が複数 0DSにて構成され、 デフ ォルト セレクテツ ドボタンが未定である場合の DTS、 PTS の設定を示す図であ る。初期表示を実現する S-ODSsのうち、デコードが最も遅い S- ODSslast のデコードが図中の期間 dd2の経過時に終了するなら、 この S-0DSslast の PTS(DSn[S- ODSslast])は、期間 dd2の経過時を示すように設定される。 更に、 初期表示の実現には、 画面ク リァを行い、 デコードされたグラ フ ィ ク ス オ ブ ジ ェ ク ト を 転送せ ね ば な ら な い か ら 、 こ の PTS(DSn[S- ODSslast])の値に画面ク リ ァに要する期間(90, 000 x (8 video_width video_height//1 8, 000, 000))、 デコードされたグラフィ ク ス ォ ブ ジ x ク 卜 の 転 送 期 間 (90,000 X ( ∑ SIZE(DSn [ICS. BUTTON [i]])//128, 000, 000))を足した時点以降を、 ICSの PTS(DSn [ICS])として設定せねばならない。 以上が ICS による同期制御 である。
DVD において、 対話制御が有効になる期間は、 そのビデオス ト リーム の G0P にあたる V0BUの期間であつたが、 BD-R0Mでは、 Epoch に含まれ る ICS の PTS、 DTS によりこの有効期間を任意に設定し得る。 このため BD-R0Mにおける対話制御は、 G0P との依存性をもたない。
尚、 ICSの PTS による同期制御は、 再生時間軸上のあるタイ ミ ングで ボタンを表示するという制御のみならず、 再生時間軸上のある期間で
Popup メニューの表示を可能とする制御を含む。 Popup メニューとは、 リ モコン 40 0に設けられたメニューキーの押下で Popup表示されるメ ニューであり、 この Popup表示が、 AVClipにおけるあるピクチャデータ の表示タイ ミ ングで可能になることも、 ICS の PTS による同期制御であ る。 Popupメ '二ユ ーを構成する 0DSは、 ボタンを構成する 0DS と同様、 0DS のデコードが完了し、 デコードにより得られたグラフィ ックスォブ ジェク 卜がグラフィ ックプレーンに書き込まれる。 このグラフィ ックプ レーンへの書き込みが完了していなければ、 ユーザからのメニューコー ルに応ずることはできない。 そこで Popupメニューの同期表示にあたつ て、 ICSの PTSに、 Popup表示が可能になる時刻を示しておくのである。 以上説明した Display Set(ICS、 PDS、 0DS)のデータ構造は、 プログラ ミ ング言語で記述されたクラス構造体のィンスタンスであり、 ォーサリ ングを行う制作者は、 このクラス構造体を記述することにより、 BD-R0M 上のこれらのデータ構造を得ることができる。
以上が本発明に係る記録媒体の実施形態である。 続いて本発明に係る 再生装置の実施形態について説明する。 図 2 7は、 本発明に係る再生装 置の内部構成を示す図である。 本発明に係る再生装置は、 本図に示す内 部に基づき、 工業的に生産される。 本発明に係る再生装置は、 主として システム LSI と、 ドライブ装置、 マイ コンシステムという 3つのパーツ からなり、 これらのパーツを装置のキヤビネッ ト及ぴ基板に実装するこ とで工業的に生産することができる。 システム LSI は、 再生装置の機能 を果たす様々な処理部を集積した集積回路である。 こう して生産される 再生装置は、 BD ドライブ 1 - ト ラ ッ クバッ フ ァ 2 - PID フィルタ 3 Transport Buffer 4 a, b, c, 周辺回路 4d、 ビデオデコーダ 5、 ビデオプ レーン 6、オーディオデコーダ 7、グラフィ クスプレーン 8、 CLUT部 9、 加算器 1 0 , グラフ ィ クスデコーダ 1 2、, Coded Dataバッフ ァ 1 3、 周 辺回路 1 3a、 Stream Graphics プロセッサ 1 4、 Object Buffer 1 5、 Compositionバッフ ァ 1 6、 Graphics コン ト ローラ 1 7、 U0コン ト ロー ラ 1 8、 プレーヤレジスタ群 1 9、 制御部 20から構成される。
BD-R0M ドライブ 1 は、 BD-R0M のローディ ング /リード イジェク ト を行い、 BD-R0Mに対するアクセスを実行する。
トラックバッファ 2は、 FIFO メモリであり、 BD-R0M から読み出され た TSパケッ トが先入れ先出し式に格納される。
P IDフィルタ 3は、 トラックバッファ 2から出力される複数 TSバケツ 卜に対してフィルタリングを施す。 PID フィルタ 3によるフィルタ リ ン グは、 TSパケッ トのうち、所望の PIDをもつもののみを Transport Buffer 4a,b,c に書き込むことでなされる。 PID フィルタ 3によるフィルタ リ ングでは、 バッファ リ ングは必要ではない。 従って、 PID フィルタ 3に 入力された TSパケッ トは、 時間遅延なく、 Transport Buffer4 a, b,cに 書き込まれる。
Transport Buffer4a,b,cは、 PIDフィルタ 3から出力された TSパケ ッ トを先入れ先出し式に格納しておく メモリである。
周辺回路 4dは、 Transport Buffer 4 aから読み出された TSパケッ ト を、 機能セグメン トに変換する処理を行うワイアロジックである。 変換 により得られた機能セグメン トは Coded Data バッファ 1 3に格納され る o ビデオデコーダ 5は、 PIDフィルタ 3から出力された複数 TSパケッ ト を復号して非圧縮形式のピクチャを得てビデオプレーン 6に書き込む。 ビデオプレーン 6は、 動画用のプレーンである。
オーディォデコーダ 7は、 P I Dフィルタ 3から出力された TSパケッ ト を復号して., 非圧縮形式のオーディォデータを出力する。
グラフ ィ クスプレーン 8は 一画面分の領域をもつたメモリであり、 一画面分の非圧縮グラフィ クスを格納することができる。
CLUT部 9は、 グラフ ィ クスプレーン 8に格納された非圧縮グラフ ィ ク スにおけるインデックスカラ一を、 PDS に示される Y, Cr, Cb値に基づき 変換する。
加算器 1 0は、 CLUT 部 9により色変換された非圧縮グラフイ クスに、 PDS に示される T値(透過率)を乗じて、 ビデオプレーン 6に格納された 非圧縮状態のピクチャデータと画素毎に加算し、 合成画像を得て出力す る。
グラフィ クスデコーダ 1 2は、 グラフィ クスス ト リームをデコードし て、 非圧縮グラフィ クスを得て、 これをグラフイ クスオブジェク トとし てグラフィ クスプレーン 8に書き込む。 グラフィ クスス ト リームのデコ ードにより、 字幕やメニューが画面上に現れることになる。 このグラフ ィ クスデコーダ 1 2は、 Coded Dataバッファ 1 3、周辺回路 1 3 a, Stream Graph i cs プロセッサ 1 4、 Obj ect Buf fer 1 5、 Compos i t i on ノ、'ッ フ ァ 1 6、 Graph i cs コントローラ 1 7から構成される。
Coded Data Buf fer 1 3は、 機能セグメントが DTS、 PTSと共に格納さ れるバッファである。 かかる機能セグメントは、 Transpo rt Buffer 4 a に格納されたトランスポートス ト リームの各 TSバケツ トから、 TSパケ ッ トヘッダ、 PES パケッ トヘッダを取り除き、 ペイ口一ドをシ一ケンシ ャルに配列することにより得られたものである。 取り除かれた TS パケ ッ トへッダ、 PESバケツ トヘッダのうち、 PTS/DTSは、 PESパケッ ト と 対応付けて格納される。
周辺回路 1 3 aは Coded Dataノ ッファ 1 3 - Stream Graph i cs プロ セッサ 1 4間の転送、 Coded Dataバッファ 1 3 - Compos i t i onバッファ 1 6間の転送を実現するワイヤロジックである。 この転送処理において 現在時点が 0DSの DTSに示される時刻になれば、 0DSを、 Coded Dataバ ッファ 1 3から Stream Graphicsプロセッサ 1 4に転送する。 また現在 時刻が ICS、PDSの DTSに示される時刻になれば、 ICS、PDSを Composition バッファ 1 6に転送するという処理を行う。
Stream Graphics Processor 1 4は ODS «テコート して、 テコードに より得られたイ ンデックスカラ一からなる非圧縮状態の非圧縮グラフ イ クスをグラフィ クスオブジェク ト として Object Buffer 1 5に書き込 む。 この Stream Graphicsプロセッサ 1 4によるデコードは、 0DS に関 連付けられた DTSの時刻に開始し、 0DSに関連付けられた PTSに示され るデコード終了時刻までに終了する。 上述したグラフィ ックスオブジェ タ トのデコードレート Rd は、 この Stream Graphics プロセッサ 1 4の 出力レートである。
Object Buffer 1 5には、 Stream Graphicsプロセッサ 1 4のデコード により得られたグラフ ィ クスォブジヱク トが配置される。 図 2 8は、 Object Buffer 1 5の格納内容をグラフィ クスプレーン 8と対比して示 す図である。 この格納内容は、図 1 6、図 1 7に示した具体例の 0DSが、 Object Buffer 1 5に書き込まれる場合を想定している。 図 1 6、 図 1 7の具体例は、 4つのボタンのアニメーションを、 36個の ODS(ODS11〜 49)により実現するものであつたが、 このアニメーショ ンの全てのコマ • を表す 0DSが、 この Object Buffer 1 5に格納される。 一方グラフィ ク スプレーン 8には、 この Object Buffer 1 5に格納された個々の 0DSの 表示位置が規定されれる。 こ の表示位置は、 各ボタ ン情報の Button— horizontal— posit ion、 Button_vertical— positionにより疋義さ れるものであり、 Object Buffer 1 5に格納されている複数 0DS のそれ それを、 1 コマずつ転送してグラフィ クスプレーン 8の表示位置に書き 込んでゆく ことにより、 アニメーションは実現される。
Compositionバッファ 1 6は、, ICS, PDSが配置されるメモリである。
Graphicsコン トローラ 1 7は、 Compositionバッファ 1 6に配置され た ICSを解読して、 ICSに基づく制御をする。 この制御の実行タイ ミ ン グは、 ICSに付加された PTSの値に基づく。 この Graphicsコントローラ 1 7のうち、 重要なものは対話画面の初期表示時、 更新時における書込 処理である。 以降、 Graphicsコン トローラ 1 7による対話画面の初期表 示時、 更新時における書込処理を 図 29を参照しながら説明する。 図 29は、 初期表示時における Graphics コン ト ローラ 1 7の処理を示す 図である。 本図に示すよ う に .. ボタ ン A におけるボタ ン情報の Button_horizontal_posi tion^ Button— vertical— positionに規疋される 表示位置に、 ボタン Aの S- ODSsに属する 0DSを書き込み、 ボタン B,C,D に お け る ボ タ ン 情 報 の Button— horizontal— position 、 Button_verticaし position に規定される表示位置に、 ポタン B, CD の N-ODSsに属する 0DSを書き込むよう Graphics コン ト ローラ 1 7は制御 を行う(図中の矢印 wl, w2,w3,w4は、 この書き込みを象徴的に示す)。 こ の書き込みにより、 図 20に示した初期表示を作成することができる。 ここで注目すべきは、 対話画面の初期表示にあたっては、 全ての 0DSが 必要ではなく、 デフォルトセレクテッ ドボタンの S-ODSsに属する 0DS、 それ以外のボタンの N-ODSsに属する 0DSさえ Object Buffer 1 5に存在 すれば、対話画面の初期表示は完了する点である。 このことから、 Object Buffer 1 5に格納されるべき複数 0DSのうち、 デフ ォル トセ レクテツ ド ポタンの S-ODSsに属する 0DS、それ以外のボタンの N-ODSsに属する 0DS のデコードさえ完了すれば、 Graphicsコン トローラ 1 7は対話画面の初 期表示のための書き込みを開始することができる。
図 30は、 lstUserAction(MoveRight)による対話画面更新時における Graphics コ ン ト ローラ 1 7の処理を示す図である。 本図に示すように、 ポ タ ン B の ポ タ ン 情 報 に お け る ポ タ ン 情 報 の Button— horizontal— positioiu Button— vertical— positionに規疋される 表示位置に、 ポタン Bの S-ODSsに属する 0DSを書き込み、 ポタン Aの ボタ ン情幸艮におけるボタ ン情報の Button— horizontal— position、 Button_vertical_positionに規定される表示位置に、ボタン Aの N-ODSs に属する 0DS を書き込むよう Graphics コン ト ローラ 1 7は制御を行う (図中の矢印 w5,w6,w7,¾'8は、 この書き込みを象徴的に示す)。 この書き 込みにより、 図 20に示したような状態遷移を実現することができる。 ボタン C,Dは対話画面の初期表示時と同じく ノーマル状態のままである が、 アニメ一ショ ンを継続するため、 グラフィ クスプレーン 8への書き 込みが継続してなされている。
同じく lstUserAction力、 MoveDown, Activated—である場合の 対目舌 画面更新時における Graphics コン ト ローラ 1 7の処理を図 3 1 図 3 2に示す。 対話画面更新にあたつては、 デフォルトセレクテツ ドボタン 以外のボタンについての S-ODSsや、 A-ODSs も必要になり、 全ての 0DS が Object Buffer 1 5 に格納されている こ とが望まれる。 以上が Graphicsコン ト ローラ 1 7の処理内容である。
U0コン ト ローラ 1 8は、 リ モコンゃ再生装置のフロン トパネルに対し てなされたユーザ操作を検出して、ユーザ操作を示す情報(以降 UOOJser Operation)という)を制御部 20に出力する。
プレーヤレジス夕群 1 9は、 制御部 20に内蔵されるレジス夕であり、 32個の Player Status Registerと、 32個の General Purppose Register とからなる。 Player Status Register の設定値(PSR)がどのような意味 をもっかは、 以下に示す通りである。 以下の PSR(x)という表記は、 X番 目の Player Status Regi sterの設定値を意味する。
PSR(O) Reserved
PSR(l) デコ一 ド対象たるオーディ オス ト リーム
のス ト リーム番号
PSR(2) デコ一 ド対象たる副映像ス ト リームの
ス ト リーム番号
PSR(3) ユーザによるアングル設定を示す番号
PSR (4) 現在再生対象とされているタイ トルの番号
PSR(5) 現在再生対象とされている Chapterの番号
PSR(6) 現在再生対象とされている PLの番号
PSR(7) 現在再生対象とされている Playltemの番号
PSR (8) 現在の再生時点を示す時刻情報
PSR(9) ナビゲーシヨ ンタイ マのカウン ト値 PSR(IO) 現在セレクテツ ド状態にあるボタンの番号
PSR(11)〜(12) Reserved
PSRC13) ユーザによるパレンタルレベルの設定
PSRC14) 再生装置の映像再生に関する設定
PSR(15) 再生装置の音声再生に関する設定
PSR(16) 再生装置における音声設定を示す言語コ一ド
PSRC17) 再生装置における字幕設定を示す言語コ一ド
PSRC18) メニュ一描画のための言語設定
PSR(19)〜(63) Reserved
PSR(8)は、 AVClipに属する各ピクチャデータが表示される度に更新さ れる。 つまり再生装置が新たなピクチャデータを表示させれば、 その新 たなピクチャデータの表示開始時刻(Presentation Time)を示す値に PSR(8)は更新される。 この PSR(8)を参照すれば、 現在の再生時点を知得 することができる。
制御部 2 0は、 グラフ ィ クスデコーダ 1 2との双方向のやりとりを通 じて、 統合制御を行う。 制御部 20からグラフィ クスデコーダ 1 2への やりとりとは、 U0 コン トローラ 1 8が受け付けた U0 を、 グラフィ クス デコーダ 1 2に出力することである。 グラフィ クスデコーダ 1 2から制 御部 20へのやりとりとは、 ICS に含まれるボタンコマン ドを制御部 2 0に出力することである。
以上のように構成された再生装置において、 各構成要素はパイプライ ン式にデコー ド処理を行う。
図 33は、 再生装置によるパイプライン処理を示すタイ ミ ングチヤ一 トである。 第 4段目は、 BD- ROMにおける Display Setを示し、 第 3段目 は、 Coded Dataバッ フ ァ 1 3への ICS、 PDS¾ ODSの読出期間を示す。 第 2段目は、 Stream Graphics プロセッサ 1 4による各 0DS のデコード期 間を示す。 第 1段目は Graphics コン ト ローラ 1 7による処理期間を示 す。 各 0DSのデコード開始時刻は、 図中の DTSll, DTS12.DTS13に示され てい る。 Coded Data ノ ッ フ ァ 1 3 への N-ODSs に属する最初の 0DS(N - 0DSs[0DSl])の格納は DTS11 までに完了し、 Coded Dataバッファ 1 3への N-ODSsに属する最後の 0DS(N-0DSs[0DSn])の格納は、 DTS12に 示される時刻までに完了する。 このように各 0DSは、 自身の DTSに示さ れる時刻までに Coded Dataバッファ 1 3への読み出しが完了している。 一方 各 0DSのデコード終了時刻は、 図中の PTS11,PTS12,PTS13に示 されている。 Stream Graphicsプロセッサ 1 4による N- ODSs(ODSl)のデ コードは PTS11 までに完了し、 N- ODSs(ODSn)のデコードは、 PTS12に示 される時刻までに完了する。 以上のように、 各 0DSの DTSに示される時 刻までに、 0DS を Coded Dataノ ッファ 1 3に読み出し、 Coded Dataパ ッファ 1 3に読み出された 0DSを、各 0DSの PTSに示される時刻までに、 デコードして Object Buffer 1 5に書き込む。 これらの処理を、 1 つの Stream Graphicsプロセッサ 1 4は、 パイプライン式に行う。
デフォルトセレクテツ ドボタンが静的に確定している場合、 対話画面 の初期表示に必要なグラフィ クスォブジヱタ トが Object Buffer 1 5上 で全て揃うのは、 ノーマル状態に対応する button-state グループ、 セ レクテツ ド状態に対応する button-state グループの先頭 0DSのデコー ドが完了した時点である。 本図でいえば、 PTS13 に示される時点で、 対 話画面の初期表示に必要なグラフィクスォプジヱク トは全て揃う。
本図の第 1段目における期間 cdlは、 Graphicsコントローラ 1 7がグ ラフ ィ クスプレーン 8をク リ アするのに要する期間である。 また期間 tdl は、 Object Buffer 1 5上にえられたグラフィ クスオブジェク 卜のう ち、 対話画面の最初の一枚を構成するグラフィ クスォブジヱク トを、 グ ラフイ クスプレーン 8に書き込むのに要する期間である。 グラフィ クス プ レ ー ン 8 に お け る 書 込 先 は 、 ICS に お け る button— horizontal— position, button— vertical— position に示されてい る場所である。 つまり 0DSの PTS13の値に、 画面クリァの期間 cdl と、 デコー ドにより得られたグラフィ クスォプジェク トの書込期間 tdl とを 足し合わせれば、 対話画面を構成する非圧縮グラフイ クスがグラフイ ク スプレーン 8上に得られることになる。 この非圧縮グラフィ クスの色変 換を CLUT 部 9に行わせ、 ビデオプレーン 6に格納されている非圧縮ピ クチャとの合成を加算器 1 0に行わせれば、 合成画像が得られることに なる。
D i spl ay Set に含まれる全ての 0DS をデコードした上で初期表示を行 う場合と比較すると、 セレクテッ ド状態に対応する button-state ダル ープ、 アクティブ状態に対応する button-state グループのデコード完 了を待つことなく、 初期表示は可能になるので、 図中の期間 hyl だけ、 初期表示の実行は早められることになる。
尚、 本図における 0DS l〜0DSn という表記は、 「1」,「n」というような同 じ番号が付されているが、 これら N- ODSs. S- 0DSs,A- ODSs に属する ODS は別々のものである。 以降、 同様の表記の図は同じ意味であるとする。 グラフィ クスデコーダ 1 2において、 Graph i cs コン トローラ 1 7がグ ラフ ィ クスプレーン 8のク リ アやグラフ ィ クスプレーン 8への書き込 みを実行している間においても、 Stream Graphi cs プロセッサ 1 4のデ コードは継続して行われる(第 2段目の ODSnのデコ一ド期間, 0DS1 のデ コー ド期間, ODSn のデコー ド期間 n,)。 Graphics コン ト ローラ 1 7によ るグラフ ィ クスプレーン 8のク リ アやグラフィ クスプレーン 8への書 き込みが行われている間に、 残りの 0DSに対するデコードは、 継続して なされるので、 残りの 0DSのデコードは早く完了する。 残りの 0DSのデ コー ドが早く完了することにより対話画面を更新するための準備は早 く整うので、 これら残りの 0DSを用いた対話画面更新も、 ユーザ操作に 即応することができる。 以上のようなパイプライン処理により、 対話画 面の初期表示、 更新の双方を迅速に実施することができる。
図 3 3ではデフ ォル トセレクテツ ドボタンが静的に確定している場 合を想定したが、 図 3 4は、 デフ ォル トセレクテッ ドポタンが動的に変 わる場合の、 再生装置によるパイプライン処理を示すタイ ミングチヤ一 ト である。 デフ ォル ト セ レクテ ツ ドボタ ンが動的に変わる場合、 but ton-stateグループに属する全ての ODSをデコードして、 グラフイ ク スォブジェク トをグラフィ クスプレーン 8に得れば、 初期表示に必要な グラフィ クスォブジェク トは全て揃う。 Di sp l ay Set に含まれる全ての 0DS をデコー ドした上で初期表示を行う場合と比較すると、 アクティブ 状態に対応する button- stateグループのデコ一ド完了を待つことなく、 初期表示は可能になる。 そのため図中の期間 hy2だけ、 初期表示の実行 は早められることになる。
以上が再生装置の内部構成である。 続いて制御部 20及びグラフィ ク スデコーダ 1 2を、 どのようにして実装するかについて説明する。 制御 部 20は、 図 35、 図 3 6の処理手順を行うプログラムを作成し、 汎用 C PUに実行させることにより実装可能である。 以降、 図 35、 図 36 を参照しながら、 制御部 20の処理手順について説明する。
図 35は、 制御部 20による LinkPL 関数の実行手順を示すフローチ ヤートである。 LinkPL関数を含むコマンドの解読時において、 制御部 2 0は本図のフローチャー トに従って、 処理を行う。
本フローチャートにおいて処理対象たる Playltemを PIy、処理対象た る ACCESS UNIT を ACCESS UNITv とする。 本フローチャートは、 LinkPL の引数で指定された力 レント PL 情報(.mpls)の読み込みを行い(ステッ プ S 1 )、カ レント PL情報の先頭の PI情報を Plyにする(ステップ S 2)。 そして Plyの Clip— information— file_nameで指定される Clip情報を読 み込む(ステツプ S 3)。
Clip情報を読み込めば、 カ レン ト Clip情報の EP— mapを用いて Plyの IN— time を、 アドレスに変換する(ステツプ S 4)。 そして変換ァ ドレス により特定される ACCESS UNITを ACCESS UNITvにする(ステツプ S 5)。 一方、 Plyの 0ut_timeを,カ レント Clip情報の EP_mapを用いてァ ドレ スに変換する(ステップ S 6)。 そして、 その変換ア ドレスにより特定さ れる ACCESS UNITを ACCESS UNITwにする(ステップ S 7)。
こう して ACCESS UNITv, wが決まれば、 ACCESS UNITvから ACCESS UNITw までの読み出しを BD ドライブに命じ(ステップ S 8)、 Plyの IN_timeか ら Out_time までのデコード出力をビデオデコーダ 5、 オーディオデコ 一ダ Ί、 グラフィ クスデコーダ 1 2に命じる(ステップ S 9 )。
ステップ S 1 1は、 本フローチャートの終了判定であり、 Ply が最後 の PI になつたかを判定している。 も しステップ S 1 1が Yes なら本フ ローチャートを終了し、 そうでないなら、 Plyを次の Playltemに設定し て(ステップ S 1 2)、 ステップ S 3に戻る。以降、 ステップ S 1 1が Yes と判定されるまで、 ステップ S 1〜ステップ S 1 0の処理は繰り返され る。
ステップ S 1 0は- ACCESS UNIT の読み出しにともなって機能セグメ ン トを Coded Dataバッファ 1 3にロードするステップである。
図 36は、 機能セグメン トのロード她理の処理手順を示すフローチヤ 一トである。 本フローチャー トにおいて SegmentKとは、 ACCESS UNITと 共に読み出された Segment(ICS,ODS,PDS)のそれぞれを意味する変数で あり、 無視フラグは、 この SegmentK を無視するかロードするかを切り 換えるフラグである。 本フローチャートは、 無視フラグを 0に初期化し た上で、 ステップ S 2 1〜S 24、 ステップ S 27〜 S 35の処理を全 ての SegmentKについて繰り返すループ構造を有している(ステップ S 2 5、 ステップ S 26 )。
ステップ S 2 1は、 SegmentKが ICSであるか否かの判定であり、 もし SegmentKが ICSであれば、 ステップ S 27、 ステップ S 28の判定を行
Ό。
ステップ S 27は、 ICSにおける Segment— Typeが Acquisition Point であるか否かの判定である。 SegmentKが Acquisition Pointであるなら、 ステップ S 28に移行し、 SegmentKがもし Epoch Startか Normal Case であるなら、 ステップ S 3 3に移行する。
ステップ S 28は、 先行する DS がグラフィ クスデコーダ 1 2内のど れかのバッファ(Coded Data ノ ッファ 1 3、 Stream Graphics プロセッ サ 1 4、 Object Buffer 1 5、 Composition バッファ 1 6)に存在するか どうかの判定であり、 ステップ S 27が Yes である場合に実行される。 グラフィ クスデコーダ 1 2内に DS が存在しないケースとは、 頭出しが なされたケースをいう。 この場合、 Acquisition Pointたる DSから、 表 示を開始せねばならないので、 ステップ S 30に移行する(ステップ S 28で No)。
グラフィ クスデコーダ 1 2に先行する DSが存在する場合は(ステップ S 28で Yes)、 無視フラグを 1 に設定して(ステツプ S 29)、 ステップ S 3 1 に移行する。
ステップ S 3 1は、 command_update_nagが 1 であるか否かの判定で ある。 もし 1 であるなら(ステップ S 3 1で Yes)、 ボタン情報のボタン コマン ドのみを Coded Data バッファ 1 3にロードし それ以外を無視 する(ステップ S 32)。もし 0であるなら、ステップ S 22に移行する。 これにより Acquisition Point を示す ICS は無視されることになる(ス テツプ S 24 )。
無視フラグが 1に設定されていれば、 Acquisition Pointたる DSに属 する機能セグメントは全て、 ステップ S 22が No になって、 無視され ることになる。
ステップ S 33は、 ICSにおける Segment— Typeが Normal Caseである か否かの判定である。 SegmentKが Epoch Startであるなら、 ステップ S 30において無視フラグを 0に設定する。
無視フラグが 0であれば(ステツプ S 22で Yes)、 SegmentKを Coded Dataバッファ 1 3にロードし(ステップ S 23 )、
SegmentKがもし Normal Caseであるなら、ステップ S 34に移行する。 ステップ S 34は、 ステップ S 28と同じであり、 先行する DS がダラ フ ィ クスデコーダ 1 2内に存在するかどうかの判定を行う。 もし存在す るなら、無視フラグを 0に設定する(ステツプ S 30)。存在しないなら、 元々、 対話画面を構成する充分な機能セグメントが得られないため、 無 視フラグを 1 に設定する(ステップ S 35)。 かかるフラグ設定により、 先行する DS がグラフィ クスデコーダ 1 2に存在しない場合、 Normal Caseを構成する機能セグメン トは無視されることになる。
DS が、 図 37のように多重化されている場合を想定して、 DS の読み 出しがどのように行われるかを説明する。 図 37の一例では、 3つの DS が動画と多重化されている。 この 3 つの DS のうち、 初めの DS1 は、 Segment— Typeが Epoch— Startでめり、 Command_update_f 1 agが 0に設定 され、 LinkPL(PL#5)というボタンコマンドを含む。
DS10は、 DS1の duplicateであり、 Segment_Typeは Acquision Point, Command_update_f lagが 0 に設定され、 LinkPL(PL#5)というポタンコマ ンドを含む。
DS20は、 DS1の Inheritであり、 Segment— Typeは Acquision Pointに な っ てい る。 DS1 か ら変ィ匕があ る の はポタ ン コ マ ン ドであ り (LinkPL(PL#10)), これを示すべく Co腿 and— update— flagが 1 に設定さ れている。
かかる 3つの DSが、 動画と多重化されている AVClipにおいて、 ピク チヤデータ ptlO からの頭出しが行われたものとする。 この場合、 頭出 し位置に最も近い DS10 が、 図 36のフローチャートの対象となる。 ス テツプ S 27において segment— type は Acquisition Point と判定され るが、 先行する DS はグラフィ クスデコーダ 1 2内に存在しないため、 無視フラグは 0 に設定され、 この DS10 が図 38に示すように再生装置 の Coded Dataバッファ 1 3にロードされる。一方、頭出し位置が Display Setの存在位置より後である場合は(図 37の破線 hstl)、 Display SetlO に後続する Display Set20(図 38の hst2)が Coded Dataバッファ 1 3 に読み出される。
図 39のように通常再生が行われた場合の DS1, 10, 20のロードは、 図 40に示すものとなる。 3つの DSのうち、 ICSの Segment_Typeが Epoch Startである DS1は、 そのまま Coded Dat バッファ 1 3にロードされる が(ステップ S 23 )、 ICSの Segment_Typeが Acquisition Pointである DS10 については、 無視フラグが 1 に設定されるため(ステップ S 29)、 これを構成する機能セグメントは Coded Data バッファ 1 3にロー ドさ れず無視される(ステップ S 2 4)。 また DS20 については、 ICS の Segment— Typeは Acquisition Pointである力 、 Command— update— flag力 s 1 に設定されているので、 ステップ S 3 1が Yesになり、 ボタンコマン ドのみがロードされて、 Coded Data バッファ 1 3上の DS のうち、 ICS 内のボタンコマン ドのみをこれに置き換えられる(ステップ S 32)。 し かし無視フラグは依然として 1を示しているので、 このポタンコマン ド 以外は、 ロー ドされることなく無視される。
DS による表示内容は同じであるが、 DS20 への到達時には、 ボタンコ マン ドは、 DSの LinkPL(#5)から LinkPL(#10)に置き換えられている。 か かる置き換えにより、 再生進行に伴い、 ポタンコマン ドの内容が変化す るという制御が可能になる。 続いて Graphics コントローラ 1 7の処 理手順について説明する。 図 4 1は Graphics コントローラ 1 7の処理 手順のうち、 メインル一チンにあたる処理を描いたフ口一チヤ一トであ る。 本フローチャー トは、 タイムスタンプ同期処理(ステップ S 35 )。 アニメーション表示処理(ステツプ S 3 6 )、 U0 処理(ステツプ S 37 ) という 3つの処理を繰り返し実行するというものである。
続いて Graphics コントローラ 1 7の処理手順について説明する。 図 4 1は Graphics コン トローラ 1 7の処理手順のうち、 メインルーチン にあたる処理を描いたフローチャートである。 本フローチャートは、 同 期処理(ステツプ S 35)、 アニメーショ ン表示処理(ステツプ S 36)、 U0処理(ステップ S 37)という 3つの処理を繰り返し実行するというも のである。
図 42は、 タイムスタンプによる同期制御の処理手順を示すフローチ ヤートである。 本フローチャートは、 ステップ S 4 1、 S 43〜ステツ プ S 47の何れかの事象が成立しているかどうかを判定し、 もしどれか の事象が成立すれば、 該当する処理を実行してメインルーチンにリタ一 ンするというサブルーチンを構成する。
ステップ S 4 1は、 現在の再生時点が S-ODSsfirstの PTSに示される 時刻であるか、 S-ODSs lastの PTSに示される時刻であるかの判定であり、 もしそうであるなら、 ステップ S 42において期間 を算出する。 期間 とは、 グラフィ クスプレーンのクリアに要する時間(2)、 0DSのデコ一 ドにより得られたグラフ ィ クスォブジェク トをグラフ ィ クスプレーン に書き込む書込時間(3)を足し合わせた期間である。
ステップ S 4 2において Graphical コ ン ト ローラ 1 7は、 ICS の Segment_Typeを参照し、 もし Segment— Typeが Epoch Startなら、 プレ —ンク リ ァ期間(2) +プレーン書込期間(3)を とする。 Acquisition Point ならプレーン書込期間(3)を αとする。 またプレーン書込期間(3) の算出にあたつては、 default_selected_button_numberが有効な値であ れば図 23 (a) の計算で、 defaulし selected— button— number が =0 で あれば図 23 (b) の計算で算出する。 こう して期間 αを算出した後、 ループ処理にリターンする。
ステップ S 43は、現在の再生時点が ICSの PTS- に示される時刻で あるかの判定であり、 もしそうであれば-, グラフィ クスプレーン 8への 書き込み処理を行つて(ステップ S 5 1 )、 メイ ンルーチンにリターンす ステップ S 45は、 現在の再生時点が ICSの PTSであるかの判定であ る。 もしそうであれば、 グラフィ クスプレーン 8の格納内容の出力を開 始させる。 この格納内容の出力先は、 CLUT 部 9であり、 CLUT 部 9によ り色変換がなされた上で、 対話画面はビデオプレーン 6の格納内容と合 成される。 これにより初期表示が実行される(ステップ S 52)。 そして 変数 animation(p) (ρ=1,2,3···η)を 0を設定して(ステップ S 53)、 メ ィンルーチンにリ ターンする。ここで変数 animation(p)とは、ボタン (p) のアニメーション表示を実行するにあたつて、 今何コマ目を表示してい るかを示すグローバル変数(複数フローチャー 卜にわたって有効になる 変数)である。 ステップ S 53では、 全てのポタンについてのボタン(p) が、 0に設定されることになる。
ステップ S 46、 ステップ S 47は、 ICS に記述された時間情報に現 在の再生時点が到達したかどうかの判定である。
ステップ S 46は、 現在の再生時点が selection— TimeOut_PTSに示さ れ る 時 刻 で あ る か の 判 定 で あ り 、 も し そ う で あ れ ば 、 defaut— activated— button— number で指定されるホタンをァクティ ベ一 トする処理を行い、 メインルーチンにリターンする(ステップ S 54)。 ステップ S 47は、 現在の再生時点が Composition_TimeOut— PTSであ るかの判定であり、 もしそうであれば、 画面ク リアを行ってメインルー チンにリターンする(ステップ S 55 )。 以上がタィムスタンプによる同 期処理である。 この同期処理において、 ステップ S 5 1 ステップ S 5 4の処理手順は サブルーチン化されている。 ステップ S 5 1のサブル 一チンの処理手順を、 図 43を参照しながら説明する。
図 43は、 メニューの初期表示をグラフィ クスプレーン 8へ書き込む 処理の処理手順を示すフローチャー トである。 ステップ S 64は、 ICS における Segment_typeが Epoch Start であるか否かの判定であり、 も し Epoch Startであればステップ S 65においてグラフィ クスプレーン 8をクリアしてから、 ステップ S 66〜ステップ S 73の処理を行う。 グラフィ クスプレーン 8のク リアに要する期間が、 図 25、 図 26の期 間 cdlである。 もし Epoch Startでなければステップ S 6 5をスキップ してステップ S 66〜ステップ S 73の処理を行う。
ステップ S 66〜ステップ S 73は、 ICS における各ポタン情報につ いて繰り返されるループ処理を形成している (ステップ S 6 6、 ステツ プ S 6 7)。 本ループ処理において処理対象になるべきボタン情報をボ 夕ン情報(p)という。 ステップ S 67は、 default_selected_button— numberによる指定が有 効であるか否かの判定であり、 ステップ S 6 8は、 button_info(p)は default_selected_button_number により指定されたデフォルトセレク テッ ドボ夕ンに対応するボタン情報であるかの判定である。
デフォルトセレクテツ ドボタンに対応するボタン情報でないなら、 button_inf o(p) の normal— state— info に 指 定 さ れ て い る start— object— id— normal のグラフィ クスォブジェク トを、グラフィ クス ォブジ ク ト (p)と して Object Bufferl5 から特定する (ステップ S 6 9)。
デフォルトセレクテツ ドボタンに対応するボタン情報であるなら、 button—info (ρ) の selected— state— info に 指 定 さ れ て い る start— object— id— selected のグラフィ クスォブジェク トを、グラフィ ク スォプジェク ト(p)として Object Bufferl5から特定して(ステツプ S 7 0 )、 ボタン(p)を力 レン トポタンにする(ステップ S 7 1 )。 カ レントポ タンとは、 現在表示中の対話画面において、 セレクテッ ド状態になって いるボタンであり、再生装置はこのカ レントボタンの識別子を、 PSR(IO) として格納している。
ステップ S 69、 ステップ S 70を経ることでグラフィ クスオブジェ ク ト (P) が 特 定 さ れ れ ば 、 button— info (p) の button— horizontal一 posit ion, bu t ton一 vertical— posi t ion に示されるグ ラフイ クスプレーン 8上の位置に、グラフ ィ クスォブジェク ト (p)を書 き込む(ステップ S 72)。 かかる処理を ICSにおける各ボタン情報につ いて繰り返せば、 各ボタンの状態を表す複数グラフイ クスオブジェク ト のうち、 最初のグラフィ クスォブジェク 卜がグラフィ クスプレーン 8上 に書き込まれることになる。 Object Buffer 1 5上の少なく とも初期表 示に必要なグラフィ クスオブジェク トについて、 かかる処理を実行する のに要する期間が、 図 25、 図 26の期間 tdlである。 以上がステップ S 5 1の詳細である。
default— selected— button— number力 ' =0" であり、 デフォノレトセレク テッ ドポタンが動的に変わる場合は、 ステップ S 67が No になり、 ス テツプ S 73において button_info(p)は、 カ レン トポタンに対応する button— info であるか否かを判定する。 もしそうであれば、 ステップ S 70に、 異なるならステップ S 69に移行する。
続いてステップ S 54のサブルーチンの処理手順を、 図 44を参照し ながら説明する。
図 44は、 デフォルトセレクテツ ドボタンのオートァクティべ一トの 処 理 手 順 を 示 す フ ロ ー チ ャ ー ト で あ る 。 先 ず default_activated__button_numberが 0であるか, FFであるかどうかを 判定し(ステップ S 75)、 00であれば何の処理も行わずメインルーチン にリターンする。 FFであれば、 カ レン トボタン i をァクティブ状態に遷 移する (ステップ S 7 7 )。 そしてカ レン トポタン i. に対応する変数 animation(i)を 0 に設定してメインルーチンにリ ターンする(ステップ S 78)。
00でも、 FFでもなければ、 default— activated—— button— numberで指 定されるボタンをカ レン トポタンとし(ステップ S 76 )、 カ レン トボタ ン iをアクティブ状態に遷移し(ステップ S 77)、 カ レン トボタン i に 対応する変数 animation (i)を 0に設定してメインルーチンにリターンす る(ステップ S 78)。 以上の処理により、 セレクテツ ド状態のボタンは、 所定時間の経過時 においてアクティブ状態に遷移させられることになる。 以上が、 図 44 のフローチヤ一トの全容である。
続いて、 メニューにおけるアニメーション(ステップ S 36 )について 説明する。 図 45は、 アニメ一ショ ン表示の処理手順を示すフローチヤ 一トである。
ここで初期表示は、 各 button_info の normal_state— inf o における start— object— id— normal 、 selected— state— inf o に お け る start— object— id— selected で指定されているダラフ ィ クスォブジェク トを、 グラフィ クスプレーン 8に書き込まれることにより実現した。 ァ 二メーシヨ ンとは、 ステップ S 35〜ステップ S 37のループ処理が一 巡する度に、各ボタンにおける任意のコマ(qコマ目にあるグラフ ィ クス ォブジェク ト)をこのグラフィ クスプレーン 8に上書する処理である。 この更新は、 button— infoの normal— state— inf o、 selected— state— inf o で指定されているグラフィ クスォブジ工ク トを、 一枚ずつグラフイ クス プレーン 8に書き込んでメイ ンル一チンにリ 夕一ンすることでなされ る 。 こ こ で 変 数 q と は 、 各 ボ タ ン 情報 の button— info の normal— state— info、 selected— state— inf oで指定されている個々のグラ フイ クスォブジヱク トを指定するための変数である。
このアニメーショ ン表示を実現するための処理を、 図 45を参照しな がら説明する。 尚本フローチャートは、 記述の簡略化を期するため、 ICS の repeat— normal— flag、 repeat— selected— flag が繰り返し要と設定さ れているとの前提で作図している。
ステップ S 80は初期表示が済んでいるか否かの判定であり、 もし済 んでいなけれ何の処理も行わずにリターンする。 もし済んでいればステ ップ S 8 1〜ステップ S 93の処理を実行する。 ステップ S 8 1〜ステ ップ S 93は -. ICSにおける各 button— info について、 ステップ S 83 〜ステップ S 9 3の処理を繰り返すというループ処理を構成している (ステップ S 8 1、 ステップ S 82 )。
ステップ S 83は、 button— info(p)に対応する変数 animation(p)を変 W 200
数 qに設定する。 こう して、 変数 qは、 button— info(p)に対応する、 現 在のコマ数を示すことになる。
ステップ S 84は、 button— info(p)が 現在セレクテツ ド状態にある ボタン(力 レン トボタン)に対応する button— infoであるか否かの判定で ¾) -S
力 レ ン ト ボ タ ン 以 外 の ボ タ ン な ら ば 、 button_inf 0 (p) . normal— state— info における start— object— id— normal に変数 qを足した識別子を ID (q)とする(ステップ S 85)。
カ レントボタンに対応するボタンであれば、 ステップ S 86の判定を 行う。
ステップ S 86は、 カ レン トボタンがァクティブ状態であるかの判定 で あ り 、 も し そ う で あ れ ば 、 ス テ ッ プ S 8 7 に お い て button_inf 0 (p) . ct ioned_state_ info に お け る start— object— id— actionedに変数 qを足した識別子を ID(q)とする。 そ して button— info(p)に含まれるボタンコマン ドのうち、 1つを実行する (ステップ S 88)。
力 レ ン ト ボ タ ン が ァ ク テ ィ ブ 状 態 で な け れ ば 、 button— inf cup) . selected—state— info に お け る start_object_id_selected に変数 q を足した識別子を ID(q)とする(ス テツプ S 89 )。
こう して ID(q)が決まれば、 Object Buf f erl5に存在する、 ID(q)を有 す る グ ラ フ ィ ク ス ォ ブ ジ ェ ク ト (p) を 、 button— info (p) の button— horizontal— position, button— vertical— posi tion に示される Graphics Plane8上の位置に書き込む(ステップ S 90 )。
以上のループ処理により、 カ レン トボタンのセレクテツ ド状態(若し くはァクティ ブ状態)及びその他のボタンのノーマル状態を構成する複 数グラフィ クスォブジェク トのうち、 q 枚目のものがグラフィクスプレ —ン 8に書き込まれることになる。
ス テ ッ プ S 9 1 は 、 start— object— id— normal + q カ encLobject— id— normal に達したか否かの判定であり、 もし達しないなら 変数 qをイ ンク リ メ ン ト した値を変数 animation(p)に設定する(ステツ プ S 92)。 もし達したなら変数 aniraation(p)を 0に初期化する(ステツ プ S 93)。 以上の処理は、 ICSにおける全ての button_infoについて繰 り返される(ステップ S 8 1 ステップ S 82)。 全ての button— infoに ついて、 処理がなされれば、 メインルーチンにリターンする。
以上のステップ S 8 0〜ステップ S 93により対話画面における各 ボタンの絵柄は-, ステップ S 35〜ステップ S 37がー巡する度に新た なグラフィ クスォブジェク トに更新される。 ステップ S 35〜ステップ S 37の処理が何度も反復されれば、 いわゆるアニメーションが可能に なる。 アニメーショ ンにあたって、 グラフィ クスォブジェク トーコマの 表 間隔は、 animation_f rame_rate_code に示される値になるように Graphicsコン ト ローラ 1 7は時間調整を行う。
尚、 ステップ S 88において button_info(p)に含まれるボタンコマン ドを 1つずつ実行したが、 ァクティブ状態に対応するグラフイクスォブ ジ Xク トを一通り表示した後に、 button— info(p)に含まれるボタンコマ ンドをまとめて実行してもよい。 以上でアニメーション表示処理につい ての説明を終わる。続いてメイ ンルーチンのステップ S 37における U0 処理の処理手順について図 46を参照しながら説明する。
図 46は、 U0処理の処理手順を示すフローチャートである。 本フロー チャートは、 ステップ S 1 00〜ステップ S 1 03の何れかの事象が成 立しているかどうかを判定し、 もしどれかの事象が成立すれば、 該当す る処理を実行してメイ ンル一チンにリターンする。 ステップ S 1 00は、 UOraaskTableが" 1 "に設定されているかどうかの判定であり、 もしに設定 されていれば、 何の処理も行わずに、 メ イ ンルーチンにリ ターンする。 ステップ S 1 0 1は、 MoveUP/Down/Left/Rightキーが押下されたかど うかの判定であり、 もしこれらのキーが押下されれば、 カ レントボタン を変更して(ステップ S 1 04)、 カ レン トボタンの auto_action_f lag が 01 かどうかを判定する(ステップ S 1 08)。 もし違うならメインル 一チンにリ ターンする。 もしそうであるなら、 ステップ S 1 05に移行 する。 ステップ S 1 02は、 act i vated キーが押下されたかどうかの判定で あり、 もしそうであれば、 カ レン トポタン i をァクティブ状態に遷移す る(ステップ S 1 05)。その後、変数 animation (0を 0に設定する(ステ ップ S 丄 0 o )。
ステップ S 1 03は、 数値入力であるかどうかの判定であり、 もし数 値入力であれば、 数値入力処理を行って(ステップ S 1 07)、 メイ ンル 一チンにリターンする。 図 46の処理手順のうち、 ステップ S 1 04-, ステップ S 1 07はサブルーチン化されている。 このサブルーチンの処 理手順を示したのが図 47、 図 48である。 以降これらのフローチヤ一 トについて説明する。
図 47は、 カ レントボタンの変更処理の処理手順を示すフローチヤ一 トである。 先ず初めに、 カ レン ト ボタ ンの neighbor— info における upper— button— number, lower— button— number, left— button— number, righ t_button_nuraber のうち、押下されたキーに対応するものを特定する(ス テツプ S 1 1 0)。
そして力 レン トポタンをボタン i とし、 新たにカ レン トボタンになる ポタンをボタン j とする(ステップ S 1 1 1 )。 ステップ S 1 1 2は、 ス テツプ S 1 1 1で特定されたボタン jが、 ポタン i と一致しているかど うかの判定である。 もし一致していれば、 何の処理も行わずにメィ ンル —チンにリターンする。 もし一致しなければ、 ボタン j をカ レン トボタ ンにして(ステップ S 1 1 3)、 変数 animation(i),変数 animation(j)を 0に設定した上でメインルーチンにリターンする(ステップ S 1 1 4)。 図 48は、 数値入力処理の処理手順を示すフ ローチャー トである。 入 力された数値に合致する button_numberを有した Button info, jが存在 するかどうかの判定を行い(ステップ S 1 2 1 )、 Button info, j におけ る numerical ly_selectable_f lag は 1 であるかどうかの判定を行う(ス テツプ S 1 22 )。ステップ S 1 2 1及ぴステップ S 1 22が Yesなら、 力 レン トポタンをノーマル状態に遷移させ、 ボタン j をカ レントボタン にして(ステップ S 1 23)、 変数 animation (i),変数 animationCj)を 0 に 設 定 し た 上 で ( ス テ ッ プ S 1 2 4 ) 、 Button info, j の auto一 action— flagは 1であるかを判定する(ステップ S 1 2 5)。 1 でな いならメインルーチンにリターンする。
1 であるなら、 ステップ S 1 2 6においてカ レン トボタンをァクティ ブ状態に遷移した上でメィンルーチンにリターンする。
ステップ S 1 2 1―〜 S 1 2 3のどちらかが No なら、 そのままメイ ン ルーチンにリ ターンする。
以上が同期表示を行う場合の Graphics コン トローラ 1 7の処理手順 である。 POPUP 表示のように、 ユーザ操作を ト リガとした対話画面表示 を行う場合、 Stream Graphicsプロセッサ 1 4、 Graphics コン トローラ 1 7は以下のような処理を行う。 つまり、 同期表示の場合と同様の処理 を行う。 これにより、 グラフィ クスプレーン 8にはグラフィ ックスォブ ジェク トが得られる。 このようにグラフィ ックスォブジェク トを得た後、 現在の再生時点が、 ICS に付加された PTS に示される時点を経過するの を待つ。 そしてこの再生時点の経過後、 U0コントローラ 1 8がメニュー コールを示す U0 を受け付れば、 グラフ ィ クスプレーン 8に格納された グラフィ ックスォブジェク トを合成させるよう、 CLUT 部 9に出力する。
U0 に同期して、 かかる出力を行えば、 メニューコールの押下に応じた Popup表示を実現することができる。
以上、 DSnに属する ICSの PTS.0DSの DTS、 PTSの設定について説明し たが、 ICSの DTSや、 PDSの DTS、 PTS、 ENDの DTS、 PTSについては説明 していない。以下、 これらのタイムスタンプについて説明する。 ICSは、 DSn における最初の ODS(ODSl)のデコー ド開始時点(DTS(DSn[ODSl]))以 前、 及び、 DSn に おけ る 最初 の PDS(PDSl) が有効 に な る 時点 (PTS(DSn[PDSl]))以前に、 Composition バッファ 1 6にロードされねば ならない。 よつて以下の式の関係を満たす値に、設定されねばならない。
DTS(DSn[ICS])≤DTS(DSn[ODSU)
DTS(DSn[ICS])≤PTS(DSn[PDSl]) 続いて DSnに属する各 PDSの DTS.PTSの設定について説明する。
DSn に属する各 PDS は、 ICSが Compositionバッファ 1 6にロードさ れる時点(DTS(DSn[ICS]))か ら、 最初の ODS のデコー ド開始時点 (DTS(DSn[0DSl]))までに、 CLUT部 9において、 有効になればよい。 この ことから DSnに属する各 PDS(PDSl〜PDSlast)の PTS値は、以下の関係を 満たす値に 設定されねばならない。
DTS (DSn [ICS] )≤ PTSCDSn [PDS1])
PTSCDSn [PDSj])≤ PTSCDSn [PDSj + 1] )≤ PTS (DSn [PDSlast]) PTS (DSn [PDSlast] )≤ DTS (DSn [0DS1] ) 尚、 PDS において DTS は再生時に参照されないが、 MPEG2規格を満た すため、 PDSの DTSは、 その PTSと同じ値に設定される。 以上の関係を満たすよう DTS、 PDS が設定された場合、 再生装置のパ ィプラインにおいてこれら DTS、 PTS がどのような役割をもっかについ て説明する。 図 4 9は、 ICSにおける DTS、 PDSにおける PTSに基づく、 再生装置におけるパイプラインを示す図である。 この図 4 9は、 図 3 3 をベースにして作図されている。 図 3 3の第 3段目に示した Coded Data ノ ッファ 1 3への読み出しは、 本図では第 5段目に記述しており、 また 第 2段目に示した Stream Graphics プロセッサ 1 4によるデコ一 ドは、 第 4段目に記述している。 そして ICS、 PTS は、 上述した式の関係を満 たすよう設定されている。
図 4 9において第 2段目は、 CLUT部 9への PDS設定を示しており、 第 3段目は、 Composition バッファ 1 6の格納内容を示している。 ICS の DTSは、 PDSの DTSや、 0DSの DTSより前の時点に設定されているので、 図中の矢印 upl に示すように、 Compositionバッファ 1 6への ICSの口 ―ドは真っ先になされる。 また PDSト lastの CLUT部 9への設定は、 ICS の転送後., 0DS1 のデコードより前になされるので、 矢印 up2, up3に示す ように 0DS1 の DTSに示される時点より前に設定されている。 以上のように ICS の口一ド、 PDS の設定は、 0DS のデコードの先立ち なされることがわかる。
続いて DSnに属する END of Display SetSegmentの PTSの設定につい て説明する。 DSnに属する ENDは DSnの終わりを示すものだから、 DSn に属する最後の ODS(ODSlast)のデコード終了時刻を示せばよい。 このデ コ一ド終了時刻は、 ODSlastの PTS (PTS (DSn [0DS1 ast] ) )に示されている ので、 ENDの PTSは、 以下の式に示される値に設定されねばならない。
PTSCDSn [END] ) = PTS(DSn [ODSlast])
DSn,DSn+l に属する ICS との関係で考えれば、 DSnにおける ICSは、 最初の ODS(ODSl)のロード時刻以前に、 Composition バッファ 1 6に口 ー ドされるから、 END の PTS は、 DSn に属する ICS のロー ド時刻 (DTS(DSn[ICS])) 以 降 、 DSn+1 に 属 す る ICS の ロ ー ド 時 刻 (DTS(DSn+l [ICS]))以前でなければならない。 そのため ENDの PTS は、 以下の式の関係を満たす必要がある。
DTS (DSn [ICS])≤ PTS (DSn [END] )≤ DTS (DSn+1 [ICS]) 一方、 最初の ODS(ODSl)のロード時刻は、 最後の PDS(PDSlast)のロー ド時刻以後であるから、 ENDの PTS(PTS(DSn[END]))は、 DSnに属する PDS のロー ド時刻以降(PTS (DSn [PDSlast] ) )でなければならない。 そのため ENDの PTSは、 以下の式の関係を満たす必要がある。
PTS (DSn [PDSlast] )≤ PTS (DSn [END] ) 続いて再生装置のパイプラインにおいて、 ENDの PTSが- どのような 意味合いをなすのかについて説明する。 図 50は、 再生装置のパイプラ ィン動作時における、 END の意味合いを示す図である。 本図は、 図 33 をベースに作図しており、 第 1段目が Compositionバッファ 1 6の格納 内容を示している以外は、 各段の意味合いは図 33と同一である。 また 図 50では、 DSn,DSn+l という 2 つの Display Set を描いている。 DSn において ODSlast になるのは、 A- ODSs の最後の ODSn であるので、 END の PTSは この ODSnの PTS を示すよう設定されている。 そして-, この ENDの PTSに示される時点は、 DSn+1 の ICSの DTSにより示される時点 より早いものになっている。
この ENDの PTSにより、 再生時にあたっては DSnについての 0DSの ロードが、 どの時点で完了するのかを知得することができる。
尚、 END において DTS は再生時に参照されないが、 MPEG 規格を満た すため、 PDSの DTSは、 その PTSと同じ値に設定される。
DTS.PTSが設定された ICS,PDS,ODSを AVClipに組み込んでおくので、 ある動画の一コマが画面に現れたタイ ミ ングに、 特定の処理を再生装置 に実行させるという対話制御、 つまり動画内容と緻密に同期した対話制 御の記述に便利である。 また ICS,PDS,ODSは、 AVClip自身に多重化され ているので、 再生制御を行いたい区間が数百個であっても、 それらに対 応する ICS, PDS, 0DS の全てをメ モ リ に格納しておく 必要はない。 ICS.PDS.ODSはビデオパケッ ト と共に BD-R0Mから読み出されるので、現 在再生すべき動画区間に対応する ICS,PDS,ODSをメモリに常駐させ、 こ の動画区間の再生が終われば、 ICS,PDS,ODS をメモリから削除して、 次 の動画区間に対応する ICS.PDS.ODS をメ モ リ に格納すればよい。 ICS,PDS,ODSは、 AVClipに多重化されるので、 たとえ ICS, PDS, 0DSの数 が数百個になってもメモ リの搭載量を必要最低限にすることができる。 以上のように本実施形態によれば、 アニメーションを実現するための 0DSが 360枚存在しており、ボタン部材が 3つの状態をもつている場合、 0DSは、 120枚 + 120枚 + 120枚というように、 3つの button-stateダル —プにグルーピングされる。 そして個々の button-state グループは、 早く現れる状態に対応するもの程 前に置かれ、 遅く現れる状態に対応 するもの程、 後に置かれる。 このため、 再生時にあたって、 早く現れる 状態に対応する button-state グループの再生装置へのロードは早く行 われ、 遅く現れる状態に対応する button- state グループのロードは、 後回しにされる。 早く現れる状態に対応する button- state グループの 口一ドは早い時期になされるので、 360枚のもの 0DSの読み出し/デコ一 ドは未完であつても、 全体の約 1 /3〜2/3の 0DSの読み出し/デコードが 完了していれば 初期表示のための準備は整う。 全体の約 1 /3〜2/3 の 0DSの読み出し/デコードの完了時点で 初期表示のための処理を開始さ せることができるので、 たとえ読み出し /デコードすべき 0DS が大量に あっても、 初期表示の実行は遅滞することはない。 このため、 アニメ一 ションを伴った楽しい対話画面の表示を、 迅速に実行することができる c
(第 2実施形態)
本実施形態は、 BD-R0Mの製造工程に関する実施形態である。図 5 1 は、 第 2施形態に係る BD- ROMの製造工程を示すフローチヤ一トである。
BD-R0Mの制作工程は、 動画収録、 音声収録等の素材作成を行う素材制 作工程 S 2 0 1、 ォ一サリ ング装置を用いて、 アプリケーシ ョ ンフォー マッ トを生成するォ一サリ ング工程 S 2 0 2、 BD-R0M の原盤を作成し、 プレス '貼り合わせを行って、 BD-R0M を完成させるプレス工程 S 2 0 3 を含む。
これらの工程のうち、 BD-R0Mを対象としたォ一サリ ング工程は、 以下 のステップ S 2 0 4〜ステップ S 2 0 9を含む。
先ずステップ S 2 0 4において、 ポタンの状態における動きの一コマ 一コマおアニメーシ ョ ンを、 複数のランレングス符号化方式のグラフィ クスデータで作成する。
ステップ S 2 0 5では、 作成した複数グラフイ ツクスデータを、 ボタ ンの同じ状態を示すもの同士でグループ化する。 そして、 各グラフイ ク スデータの識別子を I CSにおける各ボタン情報に指定させることにより, I CS を作成する。 この際、 ステップ S 2 0 6においてデフ ォルトセ レク テッ ドボタンの設定や、 各ボタン間の状態をどのように変化させるかを、 I CSに記述する。 その後ステップ S 2 0 7では.. I CS, グループ化された グラフ イ クスデータを一体化させて、 グラフ ィ クスス ト リームを生成す る。 グラフ ィ クスス ト リームが得られれば、 ステップ S 2 0 8において グラフィ クスス ト リームを別途生成されたビデオス ト リーム、 オーディ ォス ト リ一ムと多重して AVCl ip を得る。 AVCl ipが得られれば、 ステツ プ S 2 0 9において、静的シナリォ、動的シナリオ及び AVCl ipを BD- ROM のフ ォーマツ トに適合させることにより.. アプリケーショ ンフォーマツ トが完成する。
以上のように本実施形態によれば、 グラフィ クスデータのグループ化 という作業をォ一サリ ング時に行うことにより、 第 1実施形態に示した ようなグラフ ィ クスス ト リームを得ることができるので、 第 1実施形態 に示した BD- ROM 用のアプリケーシ ョ ンフォーマツ トを容易に得ること ができる。
(備考)
以上の説明は、 本発明の全ての実施行為の形態を示している訳ではな い。 下記(A) (B) (C) (D) の変更を施した実施行為の形態によっても、 本発明の実施は可能となる。 本願の請求項に係る各発明は、 以上に記載 した複数の実施形態及びそれらの変形形態を拡張した記載、 ないし、 一 般化した記載としている。 拡張ないし一般化の程度は、 本発明の技術分 野の、 出願当時の技術水準の特性に基づく。 しかし請求項に係る各発明 は、 従来技術の技術的課題を解決するための手段を反映したものである から、 請求項に係る各発明の技術範囲は、 従来技術の技術的課題解決が 当業者により認識される技術範囲を超えることはない。 故に、 本願の請 求項に係る各発明は、 詳細説明の記載と、 実質的な対応関係を有する。
(A)全ての実施形態では、 本発明に係る記録媒体を BD-R0Mとして実施 したが、 本発明の記録媒体は、 記録されるグラフィ クスス ト リームに特 徴があり、 この特徴は、 BD-R0M の物理的性質に依存するものではない。 動的シナリオ、 グラフィ クスス ト リームを記録しうる記録媒体なら、 ど の よ う な 記 録 媒 体 で あ っ て も よ い 。 例 え ば 、 DVD-ROM, DVD-RAM, DVD- , DVD-R, DVD+RW, DVD+R, CD-R, CD-RW 等の光ディ スク、 PD. M0 等の光磁気デイ スクであつてもよい。 また、 コンパク トフ ラッシュカー ド、 スマー トメディ ア、 メモリ スティ ック、 マルチメディ ァカード、 PCM-CIA カード等の半導体メモリカードであってもよい。 フ レシキブルディ スク、 SuperDi sk. Z i p, C l ik !等の磁気記録ディ スク(i )、 ORB, Jaz, SparQ, SyJet, EZF l ey,マイクロ ドライプ等のリムーバルハ― ド ディ スク ドライブ(i i)であってもよい。 更に、 機器内蔵型のハ一ドディ スクであってもよい。
(B)全ての実施形態における再生装置は BD- ROMに記録された AVC l i p をデコ一ドした上で TVに出力していたが、 再生装置を BD-R0M ドライブ のみとし、 これ以外の構成要素を TV に具備させてもよい。 この場合、 再生装置と、 TV とを IEEE1394で接続されたホームネッ トワークに組み 入れることができる。 また、 実施形態における再生装置は、 テレビと接 続して利用されるタイプであつたが、 ディ スプレイ と一体型となった再 生装置であってもよい。 更に、 各実施形態の再生装置において、 処理の 本質的部分をなす部分のみを、 再生装置としてもよい。 これらの再生装 置は、 何れも本願明細書に記載された発明であるから、 これらの何れの 態様であろうとも、 第 1実施形態に示した再生装置の内部構成を元に、 再生装置を製造する行為は、 本願の明細書に記載された発明の実施行為 になる。 第 1実施形態に示した再生装置の有償'無償による譲渡(有償の 場合は販売、 無償の場合は贈与になる)、 貸与、 輸入する行為も、 本発 明の実施行為である。 店頭展示、 カタログ勧誘、 パンフ レッ ト配布によ り、 これらの譲渡や貸渡を、 一般ユーザに申し出る行為も本再生装置の 実施行為である。
(C)各フローチャートに示したプログラムによる情報処理は、 ハ一 ド ゥエア資源を用いて具体的に実現されていることから、 上記フローチヤ —卜に処理手順を示したプログラムは、 単体で発明として成立する。 全 ての実施形態は、 再生装置に組み込まれた態様で、 本発明に係るプログ ラムの実施行為についての実施形態を示したが、 再生装置から分離して、 第 1実施形態に示したプログラム単体を実施してもよい。 プログラム単 体の実施行為には- これらのプログラムを生産する行為(1)や、 有償.無 償によりプログラムを譲渡する行為(2)、 貸与する行為(3)、 輸入する行 為(4)、 双方向の電子通信回線を介して公衆に提供する行為(5)、 店頭展 示、 カタログ勧誘、 パンフ レッ ト配布により、 プログラムの譲渡や貸渡 を、 一般ユーザに申し出る行為(6)がある。
(D)各フローチヤ一 トにおいて時系列に実行される各ステップの「時」 の要素を、 発明を特定するための必須の事項と考える。 そうすると、 こ れらのフローチャー トによる処理手順は、 再生方法の使用形態を開示し ていることがわかる。 各ステップの処理を 時系列に行うことで 本発 明の本来の目的を達成し、 作用及び効果を奏するよう、 これらのフロー チャー トの処理を行うのであれば.. 本発明に係る記録方法の実施行為に 該当することはいうまでもない。
(E) BD-ROM に記録するにあたつて、 AVClip を構成する各 TSバケツ ト には、 拡張ヘッ ダを付与しておく こ とが望ま しい。 拡張へッダは、
TP— extra— header と 呼 ば れ 、 『 Airibval_Time一 St卿 』 と 、 『 copy— permission— indi cat or』とを含み 4ノヾ トのテ—タ長を有する。
TP— extra— header付き TSパケッ ト (以下 EX付き TSバケツ トと略す)は、 32個毎にグループ化されて、 3 つのセクタに書き込まれる。 32個の EX 付き TSパケッ トからなるグループは、 6144バイ ト(=32 X 192)であり、 これは 3個のセクタサイズ 6144パイ ト(=2048 x 3)と一致する。 3個のセ ク夕に収められた 32個の EX付き TSバケツ トを" Aligned Unit" とい ラ。
IEEE1394 を介して接続されたホームネッ トワークでの利用時におい て、 再生装置 2 00は、 以下のような送信処理にて Aligned Unit の送 信を行う。 つまり送り手側の機器は、 Aligned Uni t に含まれる 32個の EX付き TSパケッ トのそれぞれから TP_extra_headerを取り外し、 TSパ ケッ ト本体を DTCP規格に基づき暗号化して出力する。 TSバケツ トの出 力にあたっては、 TSパケッ ト間の随所に、 isochronousパケッ トを挿入 する。 この挿入箇所は、 TP_extra— headerの Arribval— Time— Stamp に示 される時刻に基づいた位置である。 TSバケツ トの出力に伴い、 再生装置 2 0 0 は DTCP_Descriptor を 出 力 す る 。 DTCP— Descriptor は 、 TP_extra— headerにおけるコピー許否設定を示す。 ここで 「コピー禁止」 を示すよう DTCP— Descriptorを記述しておけば、 IEEE1394を介して接続 されたホームネッ トワークでの利用時において TS パケッ トは、 他の機 器に記録されることはない。
(F)各実施形態におけるデジタルス ト リームは BD- ROM規格の AVClip であったが、 DVD-Video 規格 DVD-Video Recording 規格の V0B(Video Object)であってもよい。 V0Bは. ビデオス ト リーム、 オーディ オス ト リ ームを多重化することにより得られた IS0/IEC13818-1 規格準拠のプロ グラムス ト リームである。 また AVClip におけるビデオス ト リームは -. MPEG4 や WMV 方式であってもよい。 更にオーディ オス ト リームは、 Linear- PCM方式、 Dolby- AC3方式、 MP3方式、 MPEG- AAC方式であっても よい。
(G)各実施形態における AVClipは、 アナログ放送で放送されたアナ口 グ映像信号をェンコードすることにより得られたものでもよい。 デジ夕 ル放送で放送された ト ランスポー ト ス ト リームから構成されるス ト リ ームデータであってもよい。
またビデオテープに記録されているアナ口グ Zデジタルの映像信号 をエンコードしてコンテンツを得ても良い。 更にビデオカメラから直接 取り込んだアナ口グ /デジタルの映像信号をエンコー ドしてコンテン ッを得ても良い。 他にも、 配信サーバにより配信されるデジタル著作物 でもよい。
(H)第 1実施形態〜第 2実施形態に示したグラフィ ックスォブジェク トは、 ランレングス符号化されたラスタデータである。 グラフィ ックス オブジェク トの圧縮'符号化方式にランレングス符号方式を採用したの は、 ランレングス符号化は字幕の圧縮'伸長に最も適しているためであ る。 字幕には、 同じ画素値の水平方向の連続長が比較的長くなるという 特性があり、 ラン レングス符号化による圧縮を行えば、 高い圧縮率を得 ることができる。 また伸長のための負荷も軽く、 復号処理のソフ トウェ ァ化に向いている。 デコードを実現する装置構成を、 字幕一グラフィ ッ クスォブジェク ト間で共通化する目的で、 字幕と同じ圧縮'伸長方式を グラフ ィ ックスオブジェク ト に採用している。 しかし、 グラフィ ックス オブジェク トにラン レングス符号化方式を採用したというのは、 本発明 の必須事項ではなく、 グラフィ ックスォブジェク トは PNGデータであつ てもよい。 またラスタデータではなくベクタデータであってもよい、 更 に透明な絵柄であつてもよい。
( I)先行する再生経路によつて、 セ レクテツ ド状態とすべきボタ ンが 変わるようなケースでは、 複数再生経路のそれぞれの経由時に、 固有の 値を再生装置側のレジスタに設定するよう、 動的シナリォにおいて再生 制御を記述しておく ことが望ましい。 そして、 そのレジスタの設定値に 応じたボタンをセ レクテツ ド状態に設定するよう再生手順を記述して おけば、 どの再生経路を経由するかによって、 セレクテツ ド状態とすべ きポタンを変化させることができる。
産業上の利用可能性
本発明に係る記録媒体、 再生装置は、 対話的な制御を映画作品に付与 することができるので、 より付加価値が高い映画作品を市場に供給する ことができ、 映画市場や民生機器市場を活性化させることができる。 故 に本発明に係る記録媒体、 再生装置は、 映画産業や民生機器産業におい て高い利用可能性をもつ。

Claims

請 求 の 範 囲
1 . 動画ス ト リームとグラフ ィ クスス ト リームとを多重化することに より得られたデジタルス ト リ一ムが記録されている記録媒体であつて グラフ ィ クスス ト リームは グラフ ィ カルなボタ ン部材を含む対話画 面を、 動画像に合成して表示させるものであり、
グラフ ィ クスス ト リームは、 状態制御情報と、 複数グラフ ィ クスデー タの配列とを含み、
対話画面の初期表示のタィ ミ ングは、
グラフ イ クスデータ配列の途中に位置するグラフ イ クスデ一夕のデ コード終了時刻と、 所定の期間とを足し合わせた時刻であり、
前記状態制御情報は、 パケッ トに格納され、 当該パケッ トは、 タイム スタンプを含んでおり、
タイムスタンプは、 対話画面の初期表示タイ ミ ングを示す
ことを特徴とする記録媒体。
2 . ビデオス ト リーム、 グラフィ クスス ト リ一ムが多重化されたデジ 夕ルス ト リームについての再生装置であつて、
ビデオス ト リームをデコードして動画像を得るビデオデコーダと、 グラフィ カルなポタン部材を含む対話画面を、 動画像に合成して表示 させるグラフィ クスデコーダとを備え、
前記状態制御情報は、 パケッ トに格納され、 当該パケッ トは、 タイム スタンプを含んでおり、
タイムスタンプは、 グラフィ クスデータ配列の途中に位置するグラフ イ クスデータのデコード終了時刻と、 所定の期間とを足し合わせた時刻 を示しており、
グラフィ クスデコーダは、
ビデオス ト リ一ムの再生時点が、 タイムスタンプに示される再生時点 になった際、 対話画面の初期表示を行い、 ユーザ操作がなされれば、 残 りのグラフ ィ クスデータを用いて対話画面の更新を行う ことを特徴とする再生装置。
3 . 記録媒体の記録方法であって、
アプリケーショ ンデータを作成するステップと、
作成したデータを記録媒体に記録するステップとを有し、
前記アプリケーショ ンデータは、
動画ス ト リームとグラフィ クスス ト リームとを多重化することによ り得られたデジタルス ト リームを含み、
グラフィ クスス ト リームは、 グラフィカルなボタン部材を含む対話画 面を、 動画像に合成して表示させるものであり、
グラフィ クスス ト リームは、 状態制御情報と、 複数グラフィ クスデー 夕の配列とを含み、
対話画面の初期表示のタィ ミ ングは、
グラフ ィ クスデータ配列の途中に位置するグラフィ クスデ一夕のデ コー ド終了時刻と、 所定の期間とを足し合わせた時刻であり、
前記状態制御情報は、 パケッ トに格納され、 当該パケッ トは、 タイム スタンプを含んでおり、
タイムスタンプは、 対話画面の初期表示タイ ミ ングを示す
ことを特徴とする記録方法。
4 . ビデオス ト リーム、 グラフィ クスス ト リームが多重化されたデジ タルス ト リームについての再生をコンピュータに行わせるプログラム であって、
ビデオス ト リームをデコードして動画像を得る第 1 ステップと、 グラフィ カルなボタン部材を含む対話画面を、 動画像に合成して表示 させる第 2ステップとを備え、
前記状態制御情報は、 バケツ トに格納され、 当該バケツ トは、 タイム スタンプを含んでおり、
タイムスタンプは、 グラフィ クスデータ配列の途中に位置するグラフ イ クスデータのデコード終了時刻と、 所定の期間とを足し合わせた時刻 を示しており、
第 2ステップは、
ビデオス ト リームの再生時点が タイムスタンプに示される再生時点 になった際、 対話画面の初期表示をコ ンピュータに行わせ、 ユーザ操作 がなされれば、 残りのグラフ ィ クスデータを用いて対話画面の更新をコ ンピュータに行わせる
ことを特徴とするプログラム。
5 . ビデオス ト リーム、 グラフィ クスス ト リームが多重化されたデジ タルス ト リームについての再生方法であつて、
ビデオス ト リ一ムをデコードして動画像を得る第 1 ステップと、 グラフィ カルなボタン部材を含む対話画面を、 動画像に合成して表示 させる第 2ステップとを備え、
前記状態制御情報は、 パケッ トに格納され、 当該パケッ トは、 タイム スタンプを含んでおり、
タイムスタンプは、 グラフィ クスデータ配列の途中に位置するグラフ ィ クスデータのデコード終了時刻と、 所定の期間とを足し合わせた時刻 を示しており、
第 2ステップは、
ビデオス ト リームの再生時点が、 タイムスタンプに示される再生時点 になった際、 対話画面の初期表示を行い、 ユーザ操作がなされれば、 残 りのグラフィ クスデータを用いて対話画面の更新を行う
ことを特徴とする再生方法。
PCT/JP2004/002343 2003-02-28 2004-02-27 記録媒体、再生装置、記録方法、プログラム、再生方法 WO2004077827A1 (ja)

Priority Applications (8)

Application Number Priority Date Filing Date Title
DE602004027607T DE602004027607D1 (de) 2003-02-28 2004-02-27 Aufzeichnungsmedium, wiedergabevorrichtung, aufzeichnungsverfahren, programm und wiedergabeverfahren
CN2004800055189A CN1757231B (zh) 2003-02-28 2004-02-27 再现装置、记录方法和再现方法
EP04715507A EP1605696B1 (en) 2003-02-28 2004-02-27 Recording medium, reproduction device, recording method, program, reproduction method
JP2005502942A JP3878650B2 (ja) 2003-02-28 2004-02-27 記録媒体、再生装置、記録方法、プログラム、再生方法。
KR1020077017082A KR100886527B1 (ko) 2003-02-28 2004-02-27 애니메이션을 수반한 대화화면의 표시를 실현할 수 있는 기록매체, 재생장치, 기록방법, 컴퓨터 판독 가능한 기록매체, 재생방법
US11/212,387 US7412152B2 (en) 2003-02-28 2005-08-26 Recording medium, reproduction apparatus, recording method, program, and reproduction method
US11/606,810 US7499629B2 (en) 2003-02-28 2006-11-30 Recording medium, reproduction apparatus, recording method, program, and reproduction method
US11/606,829 US7466903B2 (en) 2003-02-28 2006-11-30 Recording medium, reproduction apparatus, recording method, program, and reproduction method

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
JP2003052838 2003-02-28
JP2003-052838 2003-02-28
US48520703P 2003-07-03 2003-07-03
US60/485,207 2003-07-03
JP2003-280706 2003-07-28
JP2003280706 2003-07-28

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US11/212,387 Continuation US7412152B2 (en) 2003-02-28 2005-08-26 Recording medium, reproduction apparatus, recording method, program, and reproduction method

Publications (1)

Publication Number Publication Date
WO2004077827A1 true WO2004077827A1 (ja) 2004-09-10

Family

ID=39793484

Family Applications (2)

Application Number Title Priority Date Filing Date
PCT/JP2004/002343 WO2004077827A1 (ja) 2003-02-28 2004-02-27 記録媒体、再生装置、記録方法、プログラム、再生方法
PCT/JP2004/002340 WO2004077826A1 (ja) 2003-02-28 2004-02-27 記録媒体、再生装置、記録方法、プログラム、再生方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
PCT/JP2004/002340 WO2004077826A1 (ja) 2003-02-28 2004-02-27 記録媒体、再生装置、記録方法、プログラム、再生方法

Country Status (8)

Country Link
US (8) US7412152B2 (ja)
EP (6) EP1876819B1 (ja)
JP (8) JP3878649B2 (ja)
KR (7) KR100886526B1 (ja)
CN (6) CN1757231B (ja)
CA (1) CA2515517C (ja)
DE (6) DE602004031567D1 (ja)
WO (2) WO2004077827A1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005048261A1 (en) * 2003-11-12 2005-05-26 Matsushita Electric Industrial Co., Ltd. Recording medium, playback apparatus and method, recording method, and computer-readable program
WO2006067677A2 (en) * 2004-12-20 2006-06-29 Koninklijke Philips Electronics N.V. Unlocking a protected portable storage medium
WO2006067684A2 (en) * 2004-12-20 2006-06-29 Koninklijke Philips Electronics N.V. Content protection using a protection stream
WO2006067669A2 (en) * 2004-12-20 2006-06-29 Koninklijke Philips Electronics N.V. Disc protection scheme
JP2008545335A (ja) * 2005-07-01 2008-12-11 マイクロソフト コーポレーション 対話型マルチメディア・プレゼンテーション管理の同期性
WO2010038412A1 (ja) * 2008-09-30 2010-04-08 パナソニック株式会社 3d映像が記録された記録媒体、3d映像を再生する再生装置、およびシステムlsi
US8000580B2 (en) 2004-11-12 2011-08-16 Panasonic Corporation Recording medium, playback apparatus and method, recording method, and computer-readable program

Families Citing this family (65)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100448452B1 (ko) 2000-06-09 2004-09-13 엘지전자 주식회사 고밀도 광 기록매체의 메뉴 지원방법
MXPA02007340A (es) * 2000-11-29 2002-12-09 Matsushita Electric Ind Co Ltd Disco optico, aparato de grabacion, aparato de reproduccion programa, medio de grabacion leible en computadora, metodo de grabacion y metodo de reproduccion.
EP1547067A4 (en) * 2002-10-02 2009-06-24 Lg Electronics Inc RECORDING MEDIUM WITH A DATA STRUCTURE FOR MANAGING THE REPRODUCTION OF GRAPHICS DATA AND RECORDING AND PLAYING METHODS AND DEVICES
CN100487807C (zh) * 2002-10-04 2009-05-13 Lg电子有限公司 有管理图形数据再现的数据结构的录制介质及录制与再现方法和装置
DE602004026036D1 (de) * 2003-01-31 2010-04-29 Panasonic Corp AUFZEICHNUNGSMEDIUM, WIEDERGABEVORRICHTUNG, AUFZEICHNUNGSVERFAHREN, PROGRAMM UND WIEDERGABEVERFAHREN für einen Grafikdatenstrom zur Definition von interaktiven Schaltflächen.
CN1757231B (zh) 2003-02-28 2013-06-05 松下电器产业株式会社 再现装置、记录方法和再现方法
EP1618562A4 (en) * 2003-04-29 2011-03-16 Lg Electronics Inc RECORDING MEDIUM HAVING A DATA STRUCTURE FOR MANAGING REPRODUCTION OF GRAPHIC DATA, METHODS AND APPARATUSES FOR RECORDING AND REPRODUCING THEM
US7616865B2 (en) 2003-04-30 2009-11-10 Lg Electronics Inc. Recording medium having a data structure for managing reproduction of subtitle data and methods and apparatuses of recording and reproducing
JP4468658B2 (ja) * 2003-06-16 2010-05-26 三菱プレシジョン株式会社 演算処理方法及びその装置並びに画像合成方法及びその装置
KR20050005074A (ko) * 2003-07-01 2005-01-13 엘지전자 주식회사 고밀도 광디스크의 그래픽 데이터 관리방법 및 그에 따른고밀도 광디스크
KR20050004339A (ko) * 2003-07-02 2005-01-12 엘지전자 주식회사 고밀도 광디스크의 그래픽 데이터 관리방법 및 그에 따른고밀도 광디스크
ATE396587T1 (de) * 2003-07-03 2008-06-15 Matsushita Electric Ind Co Ltd Aufzeichnungsmedium, wiedergabevorrichtung, aufzeichnungsverfahren, integrierte schaltung, programm und wiedergabeverfahren
KR100611970B1 (ko) * 2003-08-16 2006-08-11 삼성전자주식회사 인터렉티브 그래픽 스트림을 기록한 정보저장매체 및 그 재생장치
KR20050064150A (ko) * 2003-12-23 2005-06-29 엘지전자 주식회사 고밀도 광디스크의 메뉴 구성방법 및 실행방법과기록재생장치
KR20050072256A (ko) * 2004-01-06 2005-07-11 엘지전자 주식회사 고밀도 광디스크의 메뉴 사운드 구성방법 및 재생방법과기록재생장치
WO2005067293A1 (ja) * 2004-01-09 2005-07-21 Matsushita Electric Industrial Co., Ltd. 記録媒体、再生装置、プログラム、再生方法
WO2005069615A1 (ja) 2004-01-13 2005-07-28 Matsushita Electric Industrial Co., Ltd. 記録媒体、再生装置、記録方法、プログラム、再生方法
US8175444B2 (en) * 2004-01-14 2012-05-08 Samsung Electronics Co., Ltd. Method of reproducing from storage medium storing interactive graphics stream activated in response to user's command
US20080002947A1 (en) * 2004-02-06 2008-01-03 Wataru Ikeda Recording medium, reproduction device, program and reproduction method
US8391672B2 (en) 2004-02-06 2013-03-05 Panasonic Corporation Recording medium, reproduction device, program, and reproduction method
KR100561417B1 (ko) * 2004-02-09 2006-03-16 삼성전자주식회사 Av 데이터의 재생상태를 전환할 수 있는 인터랙티브그래픽 스트림을 기록한 정보저장매체, 그 재생방법 및 장치
CN1922870B (zh) 2004-02-17 2010-05-05 松下电器产业株式会社 再现装置和再现方法
KR20060043284A (ko) * 2004-03-08 2006-05-15 엘지전자 주식회사 기록매체의 텍스트 서브타이틀 스트림 재생방법과 재생장치
US8326116B2 (en) 2004-06-02 2012-12-04 Panasonic Corporation Recording medium, reproduction device program, and reproduction method
JP4252599B2 (ja) * 2004-07-06 2009-04-08 パナソニック株式会社 再生装置
US7609945B2 (en) * 2004-08-17 2009-10-27 Lg Electronics Inc. Recording medium, and method and apparatus for reproducing data from the recording medium
US7613384B2 (en) * 2004-08-17 2009-11-03 Lg Electronics Inc. Method for configuring composite file structure for data reproduction, and method and apparatus for reproducing data using the composite file structure
US7609939B2 (en) * 2004-08-17 2009-10-27 Lg Electronics Inc. Method and apparatus of reproducing data recorded on recording medium and local storage
US7725010B2 (en) * 2004-08-17 2010-05-25 Lg Electronics, Inc. Method and apparatus of reproducing data recorded on recording medium and local storage
US20060056804A1 (en) * 2004-09-13 2006-03-16 Seo Kang S Recording medium, and method and apparatus for reproducing data from the recording medium
WO2006031049A2 (en) * 2004-09-13 2006-03-23 Lg Electronics Inc. Method and apparatus for reproducing data from recording medium using local storage
US20080025182A1 (en) * 2004-09-13 2008-01-31 Seo Kang S Method And Apparatus For Reproducing A Data Recorded In Recording Medium Using A Local Storage
US20060077817A1 (en) * 2004-09-13 2006-04-13 Seo Kang S Method and apparatus for reproducing data from recording medium using local storage
US7599611B2 (en) * 2004-09-13 2009-10-06 Lg Electronics Co. Recording medium, and method and apparatus of reproducing data recorded on the same
KR20060030608A (ko) * 2004-10-06 2006-04-11 엘지전자 주식회사 기록매체, 기록매체의 재생방법과 재생장치
KR20060047549A (ko) * 2004-10-12 2006-05-18 엘지전자 주식회사 로컬 스토리지를 이용한 기록매체 재생방법 및 재생장치
US7783161B2 (en) * 2004-11-08 2010-08-24 Lg Electronics Inc. Method and apparatus for reproducing data from recording medium using local storage
KR20060063601A (ko) * 2004-12-03 2006-06-12 엘지전자 주식회사 로컬 스토리지에 데이터를 다운로드/업데이트 하는 방법 및장치
US7675872B2 (en) * 2004-11-30 2010-03-09 Broadcom Corporation System, method, and apparatus for displaying pictures
KR20060065476A (ko) * 2004-12-10 2006-06-14 엘지전자 주식회사 기록매체, 기록매체 내의 콘텐츠 서치방법 및 기록매체재생방법과 재생장치
KR20060081323A (ko) * 2005-01-07 2006-07-12 엘지전자 주식회사 로컬 스토리지를 이용한 기록매체 재생방법 및 재생장치
KR20060085154A (ko) * 2005-01-21 2006-07-26 엘지전자 주식회사 기록매체, 로컬 스토리지를 이용한 기록매체의 재생방법과재생장치
JP4396555B2 (ja) * 2005-03-17 2010-01-13 船井電機株式会社 映像データ再生装置
KR20070052642A (ko) * 2005-11-17 2007-05-22 엘지전자 주식회사 데이터 재생방법 및 재생장치와 데이터 전송방법
US20070006238A1 (en) * 2005-07-01 2007-01-04 Microsoft Corporation Managing application states in an interactive media environment
JP2007134858A (ja) * 2005-11-09 2007-05-31 Funai Electric Co Ltd 映像音声記録装置
US7855548B2 (en) * 2006-03-29 2010-12-21 Levinton Manufacturing Co., Inc. Low labor enclosure assembly
JP4816262B2 (ja) * 2006-06-06 2011-11-16 ソニー株式会社 再生装置、再生方法および再生プログラム
JP2008047962A (ja) * 2006-08-10 2008-02-28 Sony Corp 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム
JP4858059B2 (ja) * 2006-10-02 2012-01-18 ソニー株式会社 再生装置、表示制御方法および表示制御プログラム
JP5034424B2 (ja) * 2006-10-11 2012-09-26 ソニー株式会社 再生装置および再生方法
CN101291402B (zh) * 2007-04-18 2011-06-15 深圳Tcl新技术有限公司 一种功能界面图片组合使用的方法及装置
KR100891220B1 (ko) 2007-09-12 2009-04-01 주식회사 동부하이텍 드라이버 옵셋을 제거하기 위한 제어 신호 발생 장치
US9355493B2 (en) * 2007-12-31 2016-05-31 Advanced Micro Devices, Inc. Device and method for compositing video planes
JPWO2010001606A1 (ja) * 2008-07-02 2011-12-15 パナソニック株式会社 コントローラ、情報記録装置、アクセス装置、情報記録システム、及び情報記録方法
CN102682823B (zh) * 2009-05-27 2015-03-11 鸿富锦精密工业(深圳)有限公司 音频资料定位方法及使用其的电子系统
CN101901622B (zh) 2009-05-27 2012-08-29 鸿富锦精密工业(深圳)有限公司 音频资料定位方法
MX2011002003A (es) * 2009-07-10 2011-03-29 Panasonic Corp Medio de grabacion, dispositivo de reproduccion y circuito integrado.
US8327009B2 (en) * 2010-01-05 2012-12-04 Disney Enterprises, Inc. Method and system for providing real-time streaming media content
CN102215365B (zh) 2010-04-01 2013-11-06 鸿富锦精密工业(深圳)有限公司 媒体数据播放装置及其回放方法
JP5236039B2 (ja) * 2010-06-01 2013-07-17 キヤノン株式会社 映像処理装置及びその制御方法
US8355305B1 (en) * 2011-07-14 2013-01-15 Disney Enterprises, Inc. System and method for initialization of media asset modules for improved execution sequence on a playback environment
CN105989026B (zh) * 2015-01-30 2020-08-04 阿里巴巴集团控股有限公司 一种数据处理方法和设备
US20170127150A1 (en) * 2015-11-04 2017-05-04 Ubitus Inc. Interactive applications implemented in video streams
CN114827452B (zh) * 2022-03-09 2024-02-02 中国农业科学院果树研究所 一种控制无线摄像头远程收集果树图像的方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1998021722A1 (fr) * 1996-11-13 1998-05-22 Matsushita Electric Industrial Co., Ltd. Appareil et procede de generation de train de bits pour memoire a disque d'enregistrement de donnees permettant une reproduction continue de plusieurs pieces de donnees-images et support d'enregistrement sur lequel est enregistre un programme applique a l'appareil de generation
JP2001332006A (ja) * 2000-05-17 2001-11-30 Toshiba Corp 背景画像取り込みシステム

Family Cites Families (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2735557B2 (ja) 1988-02-29 1998-04-02 パイオニア株式会社 画像情報の再生方法
JP3259272B2 (ja) * 1990-10-23 2002-02-25 ソニー株式会社 画像表示制御装置および方法
US5600838A (en) 1994-01-18 1997-02-04 Sybase, Inc. Object oriented dispatch and supercall process and arrangement
JP3321972B2 (ja) * 1994-02-15 2002-09-09 ソニー株式会社 ディジタル信号記録装置
WO1996032720A1 (fr) 1995-04-14 1996-10-17 Kabushiki Kaisha Toshiba Support d'enregistrement, dispositif et procede pour l'enregistrement des donnees sur le support, et dispositif et procede pour la reproduction des donnees a partir du support
DE69609154T2 (de) 1995-08-21 2000-12-14 Matsushita Electric Ind Co Ltd Multimedia optische platte, die ein dynamisches schalten zwischen wiedergabeausgangen und wiedergabegeraten ermoglicht
JP2813245B2 (ja) 1995-08-21 1998-10-22 松下電器産業株式会社 光ディスクの再生装置及び再生方法
JP3345411B2 (ja) 1995-08-21 2002-11-18 松下電器産業株式会社 記録媒体の記録方法
CN100351911C (zh) 1995-08-21 2007-11-28 松下电器产业株式会社 根据交互控制实现意外性场景展开的多媒体光盘再生装置
JPH0981118A (ja) * 1995-09-11 1997-03-28 Casio Comput Co Ltd 画像制御装置
TW436777B (en) * 1995-09-29 2001-05-28 Matsushita Electric Ind Co Ltd A method and an apparatus for reproducing bitstream having non-sequential system clock data seamlessly therebetween
KR100423772B1 (ko) 1996-03-29 2004-06-30 마츠시타 덴끼 산교 가부시키가이샤 인터랙티브한재생진행의성능을향상시킨멀티미디어광디스크,재생장치및재생방법
US6567612B2 (en) 1996-04-05 2003-05-20 Pioneer Electronic Corporation Information record medium, apparatus for recording the same and apparatus for reproducing the same
JPH09282848A (ja) 1996-04-05 1997-10-31 Pioneer Electron Corp 情報記録媒体並びにその記録装置及び再生装置
US5859642A (en) 1996-09-26 1999-01-12 Sandia Corporation Virtual button interface
JP3655433B2 (ja) * 1997-06-20 2005-06-02 パイオニア株式会社 コンピュータ読み取り可能な記録媒体及び情報再生装置
US6806893B1 (en) 1997-08-04 2004-10-19 Parasoft Corporation System and method for displaying simulated three dimensional buttons in a graphical user interface
JP4416846B2 (ja) * 1997-08-22 2010-02-17 ソニー株式会社 メニュー制御用データを記録したコンピュータ読み取り可能な記録媒体ならびにメニュー制御方法および装置
US5929857A (en) * 1997-09-10 1999-07-27 Oak Technology, Inc. Method and apparatus for dynamically constructing a graphic user interface from a DVD data stream
JP3407287B2 (ja) 1997-12-22 2003-05-19 日本電気株式会社 符号化復号システム
JP2000067522A (ja) 1998-08-25 2000-03-03 Sony Corp 情報再生装置および方法、情報記録装置および方法、提供媒体、並びに記録媒体
ATE341079T1 (de) 1998-12-14 2006-10-15 Koninkl Philips Electronics Nv Aufzeichnungsträger, und gerät und verfahren zum abspielen eines aufzeichnungsträgers, und herstellungsverfahren eines aufzeichnungsträgers
EP1798948A3 (en) 1998-12-24 2008-09-10 Matsushita Electric Industrial Co., Ltd. Recording/reproduction device and method for digital broadcasting
JP3805985B2 (ja) * 1999-02-18 2006-08-09 株式会社東芝 ストリームデータの情報記憶媒体、その記録方法、再生方法、記録装置および再生装置
US6466220B1 (en) * 1999-03-05 2002-10-15 Teralogic, Inc. Graphics engine architecture
JP2001052470A (ja) 1999-08-04 2001-02-23 Toshiba Corp キー操作ナビゲーション装置及び方法
US7099561B1 (en) * 1999-08-20 2006-08-29 Thomson Licensing User interface and processing system for digital video, audio and ancillary data
JP2003512789A (ja) 1999-10-21 2003-04-02 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 再生装置及び記録担体を再生するための方法
WO2001031497A1 (en) * 1999-10-22 2001-05-03 Activesky, Inc. An object oriented video system
GB0007870D0 (en) 2000-03-31 2000-05-17 Koninkl Philips Electronics Nv Methods and apparatus for making and replauing digital video recordings, and recordings made by such methods
US6600502B1 (en) 2000-04-14 2003-07-29 Innovative Technology Application, Inc. Immersive interface interactive multimedia software method and apparatus for networked computers
JP2001322006A (ja) 2000-05-12 2001-11-20 Mitsubishi Materials Corp 耐摩耗性のすぐれた表面被覆超硬合金製切削工具
US6867781B1 (en) 2000-08-23 2005-03-15 Nintendo Co., Ltd. Graphics pipeline token synchronization
WO2002079902A2 (en) * 2000-12-01 2002-10-10 Smartdisk Corporation Systems, methods and computer program products for managing multimedia content
US20020163543A1 (en) 2001-05-02 2002-11-07 Minoru Oshikiri Menu item selection method for small-sized information terminal apparatus
PL374116A1 (en) 2001-06-04 2005-10-03 Matsushita Electric Industrial Co, Ltd. Recording apparatus, recording medium, reproduction apparatus, program, and method
JP2003249057A (ja) * 2002-02-26 2003-09-05 Toshiba Corp デジタル情報媒体を用いるエンハンスド・ナビゲーション・システム
US20030182402A1 (en) 2002-03-25 2003-09-25 Goodman David John Method and apparatus for creating an image production file for a custom imprinted article
WO2004049710A1 (ja) 2002-11-28 2004-06-10 Sony Corporation 再生装置、再生方法、再生プログラムおよび記録媒体
DE602004026036D1 (de) 2003-01-31 2010-04-29 Panasonic Corp AUFZEICHNUNGSMEDIUM, WIEDERGABEVORRICHTUNG, AUFZEICHNUNGSVERFAHREN, PROGRAMM UND WIEDERGABEVERFAHREN für einen Grafikdatenstrom zur Definition von interaktiven Schaltflächen.
CN1757231B (zh) * 2003-02-28 2013-06-05 松下电器产业株式会社 再现装置、记录方法和再现方法
KR20050005074A (ko) 2003-07-01 2005-01-13 엘지전자 주식회사 고밀도 광디스크의 그래픽 데이터 관리방법 및 그에 따른고밀도 광디스크
ATE396587T1 (de) 2003-07-03 2008-06-15 Matsushita Electric Ind Co Ltd Aufzeichnungsmedium, wiedergabevorrichtung, aufzeichnungsverfahren, integrierte schaltung, programm und wiedergabeverfahren

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1998021722A1 (fr) * 1996-11-13 1998-05-22 Matsushita Electric Industrial Co., Ltd. Appareil et procede de generation de train de bits pour memoire a disque d'enregistrement de donnees permettant une reproduction continue de plusieurs pieces de donnees-images et support d'enregistrement sur lequel est enregistre un programme applique a l'appareil de generation
JP2001332006A (ja) * 2000-05-17 2001-11-30 Toshiba Corp 背景画像取り込みシステム

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7634739B2 (en) 2003-11-12 2009-12-15 Panasonic Corporation Information recording medium, and apparatus and method for recording information to information recording medium
WO2005048261A1 (en) * 2003-11-12 2005-05-26 Matsushita Electric Industrial Co., Ltd. Recording medium, playback apparatus and method, recording method, and computer-readable program
US8490017B2 (en) 2003-11-12 2013-07-16 Panasonic Corporation Recording medium, playback apparatus and method, recording method, and computer-readable program implementing stream model information showing whether graphics stream is multiplexed or non-multiplexed with video system
US8000580B2 (en) 2004-11-12 2011-08-16 Panasonic Corporation Recording medium, playback apparatus and method, recording method, and computer-readable program
WO2006067677A2 (en) * 2004-12-20 2006-06-29 Koninklijke Philips Electronics N.V. Unlocking a protected portable storage medium
WO2006067684A2 (en) * 2004-12-20 2006-06-29 Koninklijke Philips Electronics N.V. Content protection using a protection stream
WO2006067669A2 (en) * 2004-12-20 2006-06-29 Koninklijke Philips Electronics N.V. Disc protection scheme
WO2006067669A3 (en) * 2004-12-20 2006-09-08 Koninkl Philips Electronics Nv Disc protection scheme
WO2006067684A3 (en) * 2004-12-20 2006-09-08 Koninkl Philips Electronics Nv Content protection using a protection stream
WO2006067677A3 (en) * 2004-12-20 2006-11-02 Koninkl Philips Electronics Nv Unlocking a protected portable storage medium
JP2008524905A (ja) * 2004-12-20 2008-07-10 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ プロテクションストリームを用いたコンテンツプロテクション
JP2008545335A (ja) * 2005-07-01 2008-12-11 マイクロソフト コーポレーション 対話型マルチメディア・プレゼンテーション管理の同期性
WO2010038412A1 (ja) * 2008-09-30 2010-04-08 パナソニック株式会社 3d映像が記録された記録媒体、3d映像を再生する再生装置、およびシステムlsi
US7991263B2 (en) 2008-09-30 2011-08-02 Panasonic Corporation Recording medium on which 3D video is recorded, playback apparatus for playing back 3D video, and system LSI
US7991264B2 (en) 2008-09-30 2011-08-02 Panasonic Corporation Recording medium on which 3D video is recorded, playback apparatus for playing back 3D video, and system LSI
US7991262B2 (en) 2008-09-30 2011-08-02 Panasonic Corporation Recording medium on which 3D video is recorded, playback apparatus for playing back 3D video, and system LSI
JP2010171991A (ja) * 2008-09-30 2010-08-05 Panasonic Corp 3d映像を再生する再生装置、および配信装置
US8050533B2 (en) 2008-09-30 2011-11-01 Panasonic Corporation Recording medium on which 3D video is recorded, playback apparatus for playing back 3D video, and system LSI
JP4469419B1 (ja) * 2008-09-30 2010-05-26 パナソニック株式会社 3d映像が記録された記録媒体、3d映像を再生する再生装置、およびシステムlsi
RU2496157C2 (ru) * 2008-09-30 2013-10-20 Панасоник Корпорэйшн Носитель записи, на котором записано 3d видео, устройство воспроизведения для воспроизведения 3d видео и большая интегральная схема системы
US8600212B2 (en) 2008-09-30 2013-12-03 Panasonic Corporation Recording medium on which 3D video is recorded, playback apparatus for playing back 3D video, and system LSI

Also Published As

Publication number Publication date
EP1876820A3 (en) 2009-12-16
CA2515517A1 (en) 2004-09-10
KR100883000B1 (ko) 2009-02-13
CN100555441C (zh) 2009-10-28
EP1876819A3 (en) 2008-01-23
DE602004027477D1 (de) 2010-07-15
US7412152B2 (en) 2008-08-12
US7814422B2 (en) 2010-10-12
EP1605696A4 (en) 2006-11-02
US7426337B2 (en) 2008-09-16
KR100883001B1 (ko) 2009-02-13
EP1876822A2 (en) 2008-01-09
KR100883002B1 (ko) 2009-02-13
JP4351228B2 (ja) 2009-10-28
JP3863905B2 (ja) 2006-12-27
CN101110254A (zh) 2008-01-23
US7546024B2 (en) 2009-06-09
KR100886526B1 (ko) 2009-03-02
CN101232596B (zh) 2011-06-15
CA2515517C (en) 2014-12-30
KR20050111747A (ko) 2005-11-28
CN1757231B (zh) 2013-06-05
JP3878650B2 (ja) 2007-02-07
WO2004077826A1 (ja) 2004-09-10
EP1619891A1 (en) 2006-01-25
JPWO2004077826A1 (ja) 2006-06-08
JPWO2004077827A1 (ja) 2006-06-08
JP4148971B2 (ja) 2008-09-10
US20080238940A1 (en) 2008-10-02
CN1757232A (zh) 2006-04-05
DE602004031567D1 (de) 2011-04-07
US7466903B2 (en) 2008-12-16
EP1876822B1 (en) 2010-04-14
US20060050088A1 (en) 2006-03-09
JP3878649B2 (ja) 2007-02-07
KR20080085236A (ko) 2008-09-23
JP2006309936A (ja) 2006-11-09
EP1605696B1 (en) 2010-06-09
CN101131851A (zh) 2008-02-27
US20110200306A1 (en) 2011-08-18
KR20070092306A (ko) 2007-09-12
US20060045481A1 (en) 2006-03-02
KR20070095994A (ko) 2007-10-01
US20070172202A1 (en) 2007-07-26
DE602004027676D1 (de) 2010-07-22
EP1876820A2 (en) 2008-01-09
JP3863908B2 (ja) 2006-12-27
DE602004026649D1 (de) 2010-05-27
JP2006319986A (ja) 2006-11-24
CN101232596A (zh) 2008-07-30
EP1876822A3 (en) 2008-01-23
CN101231871B (zh) 2013-11-20
JP2006304325A (ja) 2006-11-02
EP1876821A3 (en) 2008-01-23
DE602004026650D1 (de) 2010-05-27
US7962012B2 (en) 2011-06-14
US7499629B2 (en) 2009-03-03
EP1605696A1 (en) 2005-12-14
CN101231871A (zh) 2008-07-30
DE602004027607D1 (de) 2010-07-22
KR100886527B1 (ko) 2009-03-02
KR20050111746A (ko) 2005-11-28
US20070091121A1 (en) 2007-04-26
EP1619891B1 (en) 2010-06-02
CN101131851B (zh) 2012-12-19
KR20070092751A (ko) 2007-09-13
KR20070095995A (ko) 2007-10-01
CN1757231A (zh) 2006-04-05
EP1876819A2 (en) 2008-01-09
KR100886528B1 (ko) 2009-03-02
EP1876821A2 (en) 2008-01-09
EP1619891A4 (en) 2006-11-02
JP2006311577A (ja) 2006-11-09
EP1876821B1 (en) 2010-04-14
KR100903257B1 (ko) 2009-06-17
JP3863906B2 (ja) 2006-12-27
CN100512411C (zh) 2009-07-08
US20070077029A1 (en) 2007-04-05
JP3863907B2 (ja) 2006-12-27
JP2006319987A (ja) 2006-11-24
JP2006333462A (ja) 2006-12-07
EP1876819B1 (en) 2010-06-09
US8676040B2 (en) 2014-03-18
EP1876820B1 (en) 2011-02-23
US20070077030A1 (en) 2007-04-05

Similar Documents

Publication Publication Date Title
JP4148971B2 (ja) システムlsi
JP4199791B2 (ja) システムlsi
EP1868190B1 (en) Recording medium, reproduction device, recording method, program, and reproduction method

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS JP KE KG KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NA NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): BW GH GM KE LS MW MZ SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LU MC NL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 2005502942

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 11212387

Country of ref document: US

Ref document number: 1020057016050

Country of ref document: KR

WWE Wipo information: entry into national phase

Ref document number: 20048055189

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 2004715507

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 1020057016050

Country of ref document: KR

WWP Wipo information: published in national office

Ref document number: 2004715507

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 11212387

Country of ref document: US