Цифрлық бейненің негізгі мінездемелері

Екіншіден, видео форманы   индивидуальды  кодтауды  басқа  объектілермен, мысалға 2D-, 3D- объектілермен немесе  табиғи видеофонмен  интеграциялауға болады.  Жасаушылар үшін  ерекше  қызығушылық  жеке объектілерді  интерактивті қозғалыстың элементі ретінде қолдануға мүмкіндік  береді. Мысалдарға  бейне сюжеттегі  немесе  қолданушының әрекетіне әсер білдіретін моделденген  кейіпкерлердің  қарапайым байланыстары  жатады.

Мұндай   объектілі  тәсілдің  нәтижесі  табиғи және синтетикалық видео  көздерді интеграциялау болып табылады. MPEG-4  стандарт  видео  бейнелерді  кодтау және құру құралдары және  2D- және  3D-элементтердің синтезделген интеграциясы үшін  геометриялық формалар, объектілер, мәтін және синтезделген графикадан тұрады.

MJpeg  алгоритмі

MJpeg алгоритмі  стандартталмаған. Берілген  алгоритм әрбір кадрды  Jpeg  алгоритм бойынша  сығуды қолданатын  жекеше  сығуға  негізделген.  Сығу операциясын  орындаған соң  сығылған бейнелердің реті видео ағынға жиналады .Төменде әрбір кадр үшін сығу алгоритмі  беріледі.

Адамның көзі  түстің өзгерісіне қарағанда жарықтықтың өзгерісіне аз сезімтал болатындығы белгілі. Сондықтан  Jpeg- ұқсас алгоритмдерді  қолданып бейнені кодтау  кезінде суреттің  көрсетілімі  RGB-форматта емес (бейнені сақтау әдісі  , онда әрбір пиксель үш компонент түрінде сақталады:  R- қызыл , G – жасыл,  В – көк ) қолданылады , ал  форматта  Y Cr СЬ (бейнені сақтау әдісі , онда әрбір пиксель үш компонент түрінде бейнені сақтау әдісі, онда әрбір пиксель үш компонент түрінде сақталады: Y- жарықтылық, Cr – хроматикалық  қызыл, Cb –хроматикалық  көк ) . Хроматикалық  қызыл және  хроматикалық көктің  компоненттері  орташаланады, бұл деректер көлемін  1.5 есе азайтуға мүмкіндік береді.  

Бейнені  кодтау кезінде   ол  8x8 пиксель болатын өлшемді блоктарға бөлінеді, ары қарайғы   операциялар осы әрбір блокқа орындалады. Кодтау үш фазада жүзеге асырылады:

- Фурье жылдам түрлендіруі;

- Квантталу;

- Сығу.

Фурье  түрлендіруі кеңістіктегі аймақтан сигналды жиіліктегіге ауыстыруды жүзеге асырады. 8x8 пиксель блок өлшемі үшін төмендегідей өрнек орындалады [1]:

4 x=0 y=0v 16 ! v 16 !

 a(u), a(v) = -1=, u үшін,v = 0 және a(u), a(v) = 1, u үшін,v 0

i(x,y) – пиксельдер мәні (кеңістікті аймақ),

l(u,v) – спектральді құраушылар амплитудасы (жиілікті аймақ).

Квантталау Фурье түрлендіруі кейін алынған спектральды құраушыларды амплитудаға бөлу жолымен  жүзеге асады. Квантталудың кестесін таңдау квантталғаннан кейінгі алынған нольдер санына әсер етеді, бұл өз кезеңінде сығудың коэффициентін анықтайды.

Сығу үш кезеңде жүзеге асырылады. Бастапқыда 8 суретте көрсетілгендей зигзаг-сканерлеу орындалады.Бұл операция Фурьенің реттелген коэффициенттері бойынша  нольдердің үлкен тізбегін алу үшін қажет, себебі мұндай тізбектер жақсы сығылады. Сосын   RLE-сығу жүргізіледі, онда әрбір коэффициент екі санымен кодталады: 1-сан қанша нольдік элементтер бар екенін көрсетеді. Зигзаг-сканерлеудің схемасы берілген коэффициентке сәйкес келеді, ал екінші мән осы коэффициенттің өзі болады. Сосын Хаффман бойынша сығу немесе арифметикалық кодтау орындалады. Кодтаудың бұл әдісін басқа алгоритмдермен салыстырғанда бұл әдісте статикалық кестені қолданып Хаффман бойынша сығу  қолданған.

 

 

Cурет 8. зигзаг-сканерлеу

 

Mpeg4 алгоритмі

Mpeg4 стандарты әртүрлі  мультимедиалық ақпаратты, мысалға  аудио және видео ағындар, статикалық  екі өлшемді бейнелер және  ақпараттың әртүрлі интерактивті  түрлерін кодтау әдісін сипаттайды. Берілген жұмыстың мақсаты видео  ағындарды сығудың әртүрлі әдісін  зерттеу болып табылады,сосын  видео ағындарға тікелей қатысты  болатын стандарттардың  бөлігін  қарастырамыз. 

Mpeg4  стандартында   JPEG стандарты тәрізді видеодеректер Y Cr Cb  фрматында көрсетіледі. Бейне ағындарды  кодтау обьектілі видео жазықтығында (V-P-жазықтығын) қолданып орындалады. Бейне ағынды сығу кезінде әрбір бейнені V-P-жазықтықтың   суперпозиция түрінде көрсетуімізге болады. Олар бір-біріне тәуелсіз кодталады. V-P-жазықтық бастапқы бейненің кейбір визуалды облысын сақтайтын    кадр бөлімінен тұрады. Қазіргі уақытта бейнені жеке обьектілерге бөлудің тиімді әдісі жоқ болғандықтан, көп жағдайда бір видео жазықтық қолданылады, онда бастапқы бейне толығымен сақталады. Сығу кезінде видеожазықтық кадрлардың тізбегіне бөлінеді. Mpeg4 стандартында кадрдың үш типі қолданылады: "I" және "Р" және "В".

"I" кадры басқа кадрлар  туралы ақпаратты қолданбай, толығымен  кодталады. " Р" кадры  алдынғы "I" және "Р" кадрлары туралы  ақпаратты қолданып кодталады. " В" кадры  алдыңғы және кейінгі "I" және "Р" кадрлары туралы  ақпаратты қолданады.

Енді тікелей кадрлардың кодталуын қарастырамыз.  Кадрлар макроблоктарға бөлінеді.Y-компоненті үшін  макроблокта 16x16 пиксель өлшемінде болады, ал Сг және СЬ компоненттер үшін макроблоктар өлшемі 8x8 тең болады. Макроблоктар екі типте болады: intra-макроблоктар және inter-макроблоктар.  Әртүрлі типтегі макроблоктар әртүрлі болып кодталады. "I" кадр тек қана   intra-макроблоктардан тұрады, ал "Р" кадр  inter және intra-макроблоктардан да тұрады. Y-компонентінің макроблоктары 8x8 өлшемді болатын кіші блоктарға бөлінеді, кодталу келесі ретпен орындалады:

Y-»Y

Сг-компонент және Y-компонентінің кішіблоктары үшін intra-макроблоктардың кодталуын қарастырамыз.Бастапқыда жоғарыда  Jpeg стандартында сипатталған Фурье түрлендіруі орындалады. Сосын Фурье коэффициентінің квантталуы орындалады. Фурье коэффициентінің үлкені берілген блоктағы жарықтың орташа мәнін білдіреді, сондықтан да оны DC-коэффициенті деп  атайды. Көршілес блоктың қанықтылығы көп жағдайда бірдей болғандықтан DC-коэффициентін  кодтау толығымен артықтық болады, ағынды және алдыңғы блоктардың айырымын кодтау жеткілікті. Осындай болжам үлкен  АС-коэффициенттері үшін де орындалады. Егер болжау кезінде ақпарат мөлшері азаймаса, онда блок болжауды ескермей кодталады. Егер АС- болжамы орындалса онда ол қандай блокка қатысты болғанына байланысты, зигзаг-сканерлеудің үш әдісінің біреуі таңдалады. Сосын  RLE-сығу және JPEG стандарты тәрізді Хаффман бойынша сығу орындалады.

Inter-макроблоктар үшін  бастапқыда қозғалыс компенсацияның  операциясы орындалады, осыдан кейін  олар кодталады. Әрбір макроблок  үшін жылдамдықтың бір векторы  қолданылады. Осы кезде   0.125-0.5 пиксел дәлдікпен жүзеге асады. Жылдамдық векторын табу үшін  алдыңғы  "I" және "Р" кадрларына ұқсас орынды іздеу жүргізіледі. Қозғалыс векторын іздеу тек Y-компоненті үшін жүргізіледі. Сг -компоненті үшін қозғалыс векторы Y-компоненті үшін табылған векторды жартыға бөлу жолымен вектор алынады. Кодталатын макроблоктан қозғалыс векторын  табу үшін аса ұқсас блок есептеледі,  кейін блоктар арасындағы айырымы фрейм позициясы кодталады. Егер айырымды кодтау кезінде үлкен бит орынды алса онда блок intra блок тәрізді маркерленеді және содан кейін сәйкес алгоритм бойынша кодталады. Арықарай inter блоктар intra блоктар  тәрізді кодталады, AC/DC-болжамжары жүргізіледі.

Заманауи компьютерлік желілерде және жүйелерде аудио және видеодеректерді интенсивті қолданумен байланысты осындай деректерді тиімді көрсету және оларға жылдам қолжетімділікті ұсыну мәселелері туындайды. Бұл мәселелерді шешу үшін түпнұсқаның кейбір сапасының жоғалуымен байланысты компрессияның бірнеше әдістері құрылған, сезім мүшелерінің жұмыс істеу ерекшеліктерімен және адамның субьективтік қабылдаумен байланысты бұл мәселе шешіледі. Бұл JPEG және MPEG алгоритмдерінің үлкен тобы, фрактальды компрессияның әдістері толқынды (wavelet)  сығудың біріккен тобы.

Видеодеректерді сығудың кең тараған әдістері M-JPEG, MPEG 2 және MPEG 4 алгоритмдері болып табылады. Алгоритмнің негізі әрбір кадрды өлшемі бірдей квадратты облыстарға бөлу, дискретті косинус түрленуін қозғалыс компенсация әдісін қолдану болып табылады.  Алгоритмдер видеодеректердің жоғары дәрежелі компресстерін көркем және ғылыми белгілі фильмдердің сапасын көру үшін мүмкіндік жасайды. Әйткенмен көптеген жиі кездесетін көріністер соның ішінде ұсақ бөлшектермен қаныққан және түрлі түсті бейнелері бар көріністер алгоритм үшін күрделі болып табылады. Мұндай жағдайларда компресстің сапасымен немесе бейненің сапасын жоғалтады. Сонымен қатар жоғарыда айтылған бейненің квадратын дискретті орналастыруын  қолдану  кезінде гармониялық реттер және кванттық коэффициенттер бейненің кіші детальдарын болдырмауға әкеледі.

Перспективті дамыған  компресстер әдісі вейвлет (wavelet) жіктеуге негізделген. Бұл JPEG/MPEG алгоритмдерінен принципиалды тәсіл видеоақпаратты сығуға бейімделген, сигналдарды жиілік диапозоны бойынша негізделген, содан кейін  кішігірім құраушылардың және алынған деректердің рациональды көрсетілімін бөлуі (квантталу,кейде интенсивтіліктің нольдерін ауыстыру)  орындалады. Әдістер практикада MPEG  салыстырылып  компресстердің дәрежесі көрсетіледі, олардың кемшілігі түзетілді. Мұндай кемшіліктердің бірі кіші бөлшектерді көрсетудің нақтылығын кванттау болып табылады, бұны сатылы дефект мысалында көрсетуімізге болады. Түсіру орнынан алыстап бара жатқан баспалдақтың ұстағышы алыстан елестейді, бірақ кейбір жерде бұлардың анық көрінуі байқалады. Мұндай дефектілер екі өлшемді бейнеде сезімнің жоғалуына әкеледі.

Компресстер әдісін құру мәселесі туындайды, олар компресстер дәрежесенің аз болуымен оптимальды сапа алынады. Мұндай  әдістердің  бірі кросс-кадрлы интерполяцияның  әдісі  болып табылады, қарастырудың негізгі әдісі болып табылады.

Көптеген  дамыған әдістер бір кадр шекарасында заңдылықты іздеуге бағытталған. Кросс-кадрлы интерполяция  әдісінің басты ерекшелігі әрбір пиксельдің әрекетінің уақытша заңдылығына көңіл бөлмеу болып табылады. MPEG салыстырғанда бұл әдісте  видеоның бірнеше аз компересстер дәрежесі болады, кемшіліктері аз болады.   Әдістің  басты артықшылықтарының бірі адамның көзімен қабылдау көзқарасы бойынша деректерді  реттеу   мүмкіндігі және   осы деректердің ең маңызды бөлігін ғана жіберу мүмкіндігінің болуы. Арнаның өткізу жолағының төмендеу кезінде  экрандағы кадрлардың ауысу жылдамдығы өзгермейді, тек  бейненнің сапасы  нашарлайды. Әдістің бұл қасиеті  оны арна бойынша  өткізу жолағы күшті өзгеретін облыста қолдануға, мысалы,  Internet  мәлімдемеде  қолданылады.

Кросс-кадрлы интерполяция әдісінің маңызды кемшілігі  оның  жоғары асимметриялығы (компрессияға/декомпрессияға кеткен уақыт қатынасымен), видео деректерді компресстер процесіне жоғары талаптар қойылады және қолданылатын ресурстарға, процессордың өнімділігіне, оперативті жадының көлеміне талаптар қойылады.

Видеотізбектелудің кросс-пикселі немесе элементарлы кванты элментарлы уақытша  MultiMedia сигналдың көзі болып табылады. Басқаша айтқанда, квант деп экран облысын айтамыз, яғни ойналатын видеотізбектің бір пиксел өлшеміне сәйкес келеді (сурет 9).

 

 

Сурет 9. Бейне тізбек

 

Трактория деп қанықтылықтың функциясын Y (гистограммалар) немесе  кейбір уақыт бөлігінде берілген,квантты құрайтын түрлі түсті функцияны айтамыз. 

Екі трактория арасындағы арақашықтықты дельтамен нүктелер (кадр) санын түсінеміз,функция мәнінің айырым модулі дельтадан  үлкен :

 
                              

 

Бірдей әрекетті трактория класын   дельтамен, радиуспен r және сегменттегі [t, t+ t]  тіректі трактория fоп тракториялардың көп мүшесі деп атаймыз fi , ол үшін келесі өрнек орындалады:

 

                                                                                  (4)

 

мұндағы fоп – кластың тіректі тракториясы.

Ескерту: кластың тіректі тракториясы туынды функция болу мүмкін, трактория жиыннан болу міндетті емес. [t, t+ t]  сегменттегі fi траекториясының  fj   траекторияға қатысты үйлесімділіктің оптимальды  коэффициенті  k саны деп аталады:

 
                                                                          (5)

 

Ескерту: (3) шартты қанағаттандыратын саны бірден үлкен болу мүмкін, ондай сандардың жиыны k, fi тракториясының  fj тракториясына қатысты жиынын айтамыз.

   [t, t+ t] сегментте  дельтамен , радиуспен  r және тіректі траекториямен  fоп  үйлесімді   траекторияның класын  траектория жиыны fi  деп аталады, ол  үшін келесі өрнек орындалады:

 
                                                                                            (6)

 

Мұнда  fоп - кластың  тіректі  траекториясы, fi  траекторияның   fоп траекторияға қатысты  [t, t+ t] сегментте ki  үйлесімнің оптимальды коэффициенті деп аталады .

Ескерту: үйлесімділік коэффициенті туралы айтқанда барлық уақытта олар кейбір сегментте қарастырылады деп санаймыз.

Кросс-кадрлы интерполяция әдісінің схемасы

Видеоқатарда қанықтылық Y дискретті кеңістіктігінде қарастырамыз Y=0 255. Шектеусіз әдісті толықтүсті видеоқатарларға таратуға болады.  Кросс - кадрлы интерполяцияның негізгі кезеңдері:

- Бастапқы видеоқатар кілттік кадрлар бойынша уақытша сегменттерге бөлінеді (мағыналық көріністер);

- Әрбір квант үшін қанықтылық Y функциясы қарастырылатын сегменттің шекарасында уақытқа қатысты тұрғызылады. (кадрдың нөмерінен трактория);

- Барлық тракториялар арнайы үлгідегі бірдей әрекетті трактория кластарына топталады, бір класс шекарасында кванттар бірдей әрекет жасайды;

- Кванттар үйлесімділіктің ешқандай классына жатқызылмайды, кадр бойынша көршілестердің орташа салмақты мәнімен ауыстырылады;

- Әрбір класта тіректі (базисті) траектория ізделінеді, қалғандарымен  арақашықтығы  минимальды болады. Қалған траекториялардың  тіректіден ауытқу өлшемі және орны анықталады;