numerical algorithms for image superresolution

!"#$ % !"#$ % & # ' ! & (

) " *+$ ) )" ,+$ - ) ) " . ) / & & " "01 2 3 & ) 2 3) 3) 3) 4 2 ) 2 / ) " )3( " 4 - 5 " )3 "" 4 6 - ) 5

6 - 6 " ) ) 6 7 3) - ) 3) ) - ) " / 8 "

# ) 3) / 9 ) ) 5 2 ) ) % 2 % & ) ) 3 3 ! 2 + 2 &!!% 5 Æ % .3 * , % 4 + % # : . ; 2 ) *

E@D$

) D J

) 5 >

? G

D# $

J J

2 P 2 $Æ

E@E$ E@G$

4 ", ) 5 6 3 F ; F ) ;J

> 5 ! ) 5) F J > ! > !

E@F$

) > ! )# $ J 5# $ J

E@A$

2 ,6 6 )

/+ . # + 2 / / ,6 " 6 ) ) ) J "" P # 2 6 Æ ,6 6 / " 2 E? ) ,6 6" 6 # ,6 6 ) / /

J K, , L

E@C$

J K L

ED $

/

? F

, J 4 J " ,

2 J J 42 J ( J " 2 , Æ J , J 4Æ J " , Æ 2 J J 42 2 E?( ,6 6 ) ) " " /

J J

/G

P Æ ,

G

ED?$ ED $

) G ) /

G

J

2

Æ

Æ

2

ED@$

! ED?$ ED $ ) ""

P # $/ J /

G G

2 / G G P #

P # $ P 2 Æ ,

EDD$

? A

- ) ,6 ( 7 K L K L ? 7 K L

) 7 K L /

EDE$ + !

A $$B A $ (J $

% "$

- !7 ) - %Q !B &2+ KDEL !7 6 E? $ 4 ) ) ,6 6 EDE$ 9 4 ,6 ) F ,6 ?D /" 2 ) / $ ./ ( 9 / ?G ,+ ?F ?F / *+ ) DD )" D - / ) FE ? &4 3) ) G ; @ ; & + ) ,+ - ) ) ) ? ?G - 2 E E@ %&.$ A$ 9$ $ &4 4 E? &4 6 E? $ E??$ " 2 FE - ) ,+ 6 & + @ ; 2 *+ ? ,+ ½¼ ½

? C

;

FE @D@ ? ? -

& + G ; @ F

?

@ ; DFC

E@

??

2 E ( I %&. &4 ) ? " / ; &4 " / ) / $ 2 B / "" ) E 4 E - !7 3 ? ? 2 ) !7 ./ ( B 9 / 4,+ ! @ + GD GD / E 2 5 ?G 4,+ K@CL 2 3) - ) 4 E@ ) ,+ 4,+ *+ 2 ) 3)

( - 6 6 " R -

??

Sample LR frame

Original image

5

20

10

40

15

60

20

80

25

100

30

120

35

140

40

160 10

20

30

40

50

Blind superresolution reconstruction 20

40

40

60

60

80

80

100

100

120

120

140

140

160

160 100

150

Superresolution with correct PSF

20

50

100

150

50

100

150

4 E?( ; " /

;

FE

? D

-

& + G ;

D

@ ; C@

?F

C

2 E@( I %&. &4 ) ?G " /

???

Actual radius = 2

Actual radius = 5

0.2

0.06

No noise, all frames No noise, 10 frames

No noise, all frames No noise, 10 frames

0.05 GCV value

GCV value

0.15

0.1

0.04 0.03 0.02

0.05 0.01 0

2

4

6 Radius

8

0

10

2

Actual radius = 2

4

6 Radius

8

10

Actual radius = 5 0.06

0.12

0.05

0.1

0.04

GCV value

GCV value

0.14

0.08 0.06

30dB, all frames 30dB, 10 frames

0.04 0.02 0

2

4

6 Radius

8

10

30dB, all frames 30dB, 10 frames

0.03 0.02 0.01 0

2

4

6 Radius

4 E ( !7 / " /

8

10

??

Sample LR frame 10 20 30 40 50 60 20

40

60

Blind superresolution reconstruction

50 100 150 200 250 300 100

200

300

4 E@( ; 4,+ " /

??@

6 3) " 2 Æ !7 5 ) " " ./ ) / / ) & / ) 4,+ " " Æ R

& '(

??D

%

??E

2 8 ! @ D ) " ) ) " )3 # ) " / ) ( *+ - 9 ! E - ! ? ) " - " *+ ,+ & # KF@L ) 9 ) " 2 5 / B!&$ 3) #6) K@L " ) & *+ *) K@ F@L 8 2 3 KA@L / ' KAAL Q 6 ; ) 9 Q 3 ) " ,+ & 3 ! KFFL / Q *+ + *+ )" 4 ) " R / *+ 4 ?? . )3 /

??G

/ " *) 2 KFFL - Æ ) / * ) R 3) 3 *+ )3 " / 2 " / / " ?" # ) ) ) / " / " ) ?" 2 ) - 0 ) ) ) & G & G@ ) ?" " ) - " / & GD & GE ) / 8 - ) & GG

% ! &' 4

2 ) 8 2 8 / ) 6 9 2 ) ?" " - 0 ) 4 ) / 3 & KA L % KEAL

/

??F

# & 0 "

, $ " ?" !$ 2 / / 0 1 ; !$ ) KA L(

0 0 - 0 J . 0 J $ !$ 0 !$ 0 !$ 0 ! $ 0 0 ; ! $ & ; ! $ 0 ; !$ ; !$ J ( ; ! $ 0 4 0 0 ; !$ 9 ) )"

(

; !$

J

= ; ! $

G?$

/ Æ = 4 !$ $ 5 !$ !$ 0 / 2 / 2 8 / & !$ J !$ !$ ) ) % ) / 0

0 J 0 %

G $

) . G $ ) ) ) & 3 ) / 9 # !$ $ ) / 6

??A

) 6 *

$ J 0 % %

G@$

# / ) % F !$ J (F ! $ ) ) F !$ 4 ) 9 ) F !$

J

$ ; ! $

GD$

/ Æ $ ; G@$ ) / !$ $ )( !$ J

) ; !$ P

5 F !$

GE$

) )

J

5

J

!$; !$$! !$F !$$!

/ Æ !$ /

# & 0 "

2 ) ?" / " - $ % KG L % KEAL 0$ $ 0$ / $ ) 0

??C

?" /

0 J 0 0

GG$

4 T ! >$ " ( T ! >$ J ; !$; >$

GF$

) ; !$ ?" 0 $ 2 T ! >$ J ; !$; >$

1

GA$

0 2 " ) % ) 6 `) ! >$ J `* ! >$ J `+ ! >$ J

F !$; >$ ; !$F >$

F !$F >$

GC$ G? $ G??$

2 ) % `) ! >$ J `* ! >$ J `+ ! >$ J

F !$; >$

; !$F >$

F !$F >$ 1

G? $ G?@$ G?D$

# ?" ! >$ $ / / 6 0 )

?

6 ! >$

J

)

T ! >$ P

5*

`

*

5)

`) ! >$ P

! >$ P 5+ `+ ! >$

G?E$

) )

J

5)

J

5*

J

5+

J

! >$T

! >$$!$>

! >$`)

! >$$!$>

! >$`*

! >$$!$>

! >$`+

! >$$!$>

2 9 G?E$ /" ! >$ 2 6

% 2 - / GE$ G?E$ 9 ) Æ ' ) *+ /

& 1& 0 "

- 9 ?" & ) !$ ) ) ) 3 ! J ? ? - !$ ! J ! ! !, ! )

? ?

- 3 " 0 ; G $ ) 0 ) ( / 0 J 0 % 6 ? G?G$

* ) !$ 0 / / 0 % ( !$ J !$ P & !$ !$ 0 & !$ % G?F$

J

) ; !$ P

)

J

5

J

5 F !$

G?A$

!$; !$$! !$F !$$!

& ) 5 F ! $ J ? G?C$ ! $ J ) ; ! $ P

& K L ; !$ ! ! J / ! ! J ! 9 G?C$ 9 6 ; !$ J ; ! $ 6 ! ; !$

!

G $

?

P !

! ! "

G ?$

& ) F !$ , J P ! ! ! " ) 6 G?C$ - ) ) G?C$ ( ! $ J ) ; ! $ P 5 F ! $ J ? G $ )

J H P

G @$

)

J H

! $$ ,

J

J

)

; ! $$ ,

$ J J

5

$

F ! $$ ,

2 H ) 3) ! 4 ) " / ; !$ F !$ *) Æ # ( ) K L 9 #% J ?4 % ?4 % - ( ! ! ) / #%

? @

4 . G @$ ) / Æ" 5

H

G D$

4 . K FL 6 ! ! ! " ! P P ? 2 6 ) & G D$ / ) ! )

U J H P

G E$

U J

H H P # $ H

G G$

6 2 6 " G E$ G G$ ) ) ) ) 8 / " 6 2 U Æ U J H U

G F$

2 8 ) U / ) " (

J U J H U

G A$

? D

& 6 Æ 5 6 Æ ) G A$ 6 6 / 9 9 ) Æ KFC ?L$ 2 !$ *+ ! J ? ? Æ ( !$

)U ; !$ P

U5 F !$ ! J ? ?

G C$

4 ) 2 KFFL % 9 ) ,+ M N ) , 2 I $ P I $ P I $ ?$ P I $

I J ?

) ) 3 !$ *+ ! J ? ? 4) G D$ G@ $ ) ) Æ

H J ?

G@ $

)

J

P I $$ H J ; P I $$

2 - )

? E

Æ !$ *+ /

&

0 "

,+ , * , ) / $ ,+ 2 P I . P I $

I I J * ? . J , ? J ?

4 *, ,+ ) ) 3 ! >$ *+ ! >$ ! J * ? > J , ? # ?" ) ! >$ Æ P I . P I $

J

)

T

P I . P I $

) ; P I $; . P I $

G@?$ G@ $

/ ) 3 3 ?" )

H H $ J ?

G@@$

) / )) 3) Æ H H 6 " ?" ) G@@$ 6 U 2 8 ) " " H H $U / 6 Æ

? G

) ( J

H H $U H $)

G@D$ G@E$

! * + 2 6 3 8 - 3 9 6 3) Æ G@@$ G@E$ 2 9 Æ ) ) G@@$ G@E$

%

$3 '

- Æ / - 9 ?" G@ $ 2 6 Æ /

H G@G$ U J H H H H P #

J

H H P #

H

H

G@F$

2 Æ ! KEL$ - /" H H P # / 4 9 ; !$ H ) / - / ) Æ 4 "

? F

6 ) Æ G@@$

H H

P # U J H H H H

H H

H H

H H

G@A$

+ ) 3 3 ( " G $

J " G

"G $ $ J " $ G $ " G $ $

J " G $ ) $ / ))

) U J H H H H P # H H G@C$ J H H H H P # H H GD $

) / & ) " Æ #" ?" GD $ Æ %/" / H H H H P # / 3 3 - / G@F$ GD $ )

? A

2 ) " 2 9 ) ?" ( ) ) 6 ) % $ B " ) ) ) ?" 2 G@F$ GD $ - ! ! / ! /" ) / ?" /

H H P #

) H / / P P ? ) 2 / /" P # / " "

H H H H

P

#

) H H / * * P P ? , , P P ? 2 * , ) ,+ / 2 / / ) / * * P P , , P ; 3 3 3 " " ?"

? C

% "$

2 / ) ?" " / " /-

2 $ & 0 "

9 / ) ) ?" - ) ?GA 2 ) ) @ @ / ? )" @ @ ,+ ) EG - 3 ,+ 2 !$ ! J @ ?GE 2 ! J ? ?GF 4 G? ) ;G 9 K L /-

2 $ & 0 "

2 9 " / / ?" 2 ?F ?F / *+ ) 4 G ) ? ) D D / )" D ?G ,+ - ? ,+ 6 D@ D@ / 2 D 2 ) " 9 *+ ) # *+ ) 3) 4 G ) ) " ;D 9 ) 23 6 # ) 4,+ GD GD /

?@

200 100 0

0

20

40

60

80

100

120

140

160

180

0

20

40

60

80

100

120

140

160

180

0

20

40

60

80

100

120

140

160

180

0

20

40

60

80

100

120

140

160

180

200 100 0

200 100 0 20

0

−20

4 G?( 2 2 9 ) 2 2 ) 6 J 2

?@?

Original image

Sample LR frame 10

50

20 100 30 150

40

50 100 150 Coarse scale reconstruction

20 40 + Horizontal detail

50

50

100

100

150

150 50 100 150 + Vertical detail

50 100 150 + Diagonal detail

50

50

100

100

150

150 50

100

150

50

100

150

4 G ( 2 9 $ & *+ 2 " $ ) ,+ 2 / 2 / ) )

?@

Sample LR frame

20 40 60 20 40 60 Coarse scale reconstruction

+ Horizontal detail

100

100

200

200

300

300 100 200 300 + Vertical detail

100 200 300 + Diagonal detail

100

100

200

200

300

300 100

200

300

100

200

300

4 G@( 2 9 $ 4,+ ,+ 2 / 2 / ) )

?@@

E 2 5 ?G 4,+ K@CL - " / & 4 G@ ) " 4,+ ;D 9 ) 6

%% 2 ) ) " " / ' ) " ) ) 3 3 # 3 3 ) Æ ) 8 !" / " ?" ./ ) 4,+ / )

) '

?@D

(

?@E

2 6 ) Æ" " - 9 ! G & F 2 )3 & F@ - ) 9 3 & FD

(

2 5 )3 Æ " . " 3) # ) ( 6 4 " ) " 7 ) 2 ) 0 / - ) ( " " # ! ? ( 9 ,+ # 4" ?E / " )3 2) ! " ) ! E ) 9 ! D " 6 ! @ ! 6 ! G ) "

?@G

3

#

& ; Æ B )3 - Æ " - )3 + / Æ 5 " / ) ?" 5 2 + * ) ?" " / ) 5 " ! / 4 ) + 2 ! 8 " # " )3 % ) / - " B / / ( + ) ,+ " )

3

?@F

"

& 3) 2 3) # " Æ 3) " ) *+ ,+ ! @ ) ) ,+ - " : 23" 6 " 2 ! ) ) " ,+ 2 ( ) ) $ $ $ 2 3 / 3 / 2 ) / & 3 " ) 3) 9 3 B / ) ! " 4 ) ) ! / ./ ) 4,+ ! ! 3

)" *

- ) " ) ! D ) ) 23 6 " - " )3 6

?@A

) - 6 " 2 6 " ) " # 6 ) " R " - / ) " 6 - R 4 " 8 4 6 " ) / ) 6 " " " 6 # " ) / " 3 %

. ! .

3) 3) ) 2 " ) ! E ) 6 " 6 ,+ 2 ( ) 9 ,+ )3 ) 6 " *) 6 " 5 / 9 )3 ) Æ 5 2

?@C

2 ) " Æ ) ,6 6 / ) ; / 4,+ " " # ) ! ? 2 9 ,+ ) 3 -

2

! G ) 2 " # " 9 *+ B Æ ) " # ! ? / ,+ 2 / - 9 ) ) ?" " " ) ) & ) ) Æ ) 3 3 - " ) Æ - / ) " ) " ?" 2 Æ ) / ?"

?D

" 4,+

( 5 ) - ) 6 ( *+ ) 2 9 " $ ) / 2 ) $ *+ 2 Æ ) # ) ) / " B "" ) # " 9 & 6 " ! ) 3 & 6 ) ) 7 / ) / " *+ ,+ ) # ) " ) 3 3 2 3)

?D?

*) " / - 8 ) ) ,+ 5 2 6 9 ) 4 *+ 3 / / " / ) # ) *+ ) / 2 ) 3 ,+ = 6 " ) ,+ 8 2 8 " 2 / / ,+ 8 2 ) 5 / ) ) 0 / 2 ) *+ 5 *+ / # " ) 2 / " ) ) )

3

?D

#

# )3 ) Æ ) / (

, " / / 0) )3 ) ""

# " ) 4 "" B ) 8

9 " ) *+ # *+

3

"

&

B 2 6 3 2 " 8 *) " " )

% & " 2

?D@

./ 2 / ) " % ) ./ "

3

)" *

2 / 23 6 )3 ) ! D 23 6 ) 6 " / , *) 0 ) 23 6 B / / ,+ B 23 6 ) 9

23 6 ) " ) " 23 6 )

B 6 " / ) " 6 ) # 6"

# 6 " " " 6 3"/ ) + 6 ) )

3%

?DD

. !

; 9 ,+ - Æ *) ) ) ) 2 ) / ./ ) 3) 2 )

2 6 " # ) 6 " 8 6 "

3-

2 )

Æ *) 4 ) / * ) / / B 8 - ) Æ ) )

4 ) # ) ) Æ "

! & ) 9 #" 9 3

?DE

) & )3 )

( # ) ) Æ" " - - ) / )3

% * K?L # + %+"/ 0 $ 1 " +

2"2 ADF ?C Z !B # ?CCG K L * #5 2 : &,.( & " "/// + 0 3 "

?G(? EFZ? F@ ?CCD K@L : #6) 2 : 2 & # + %+"/ 4 , " +

-5# ?G E @?AZ@ A ; %# ?CC? KDL * # ) ; * 1 " "* . ) !8 ?CFF KEL B #/ " % 3 ! ' ) =3 = ?CCD KGL # " 6 ?@ F$ ?CAA KFL S ; % 4 & " / " 7 , 0 3 FD(F?ZAC ?CCG KAL ; 4 & ; 0) " 7 , 4 ? (D@ZFF ?CCD ?DG

?DF

KCL ; ; # ;3 # S % " //,4 EF@ZEA? # ?CCG K? L ; + , 53 + % + "/// FA E$(AEGZAA@ % ?CC K??L ; % # ) # " 4 ,3 %+"/ , 0 % +$

0 0 " 4"" &. 7 @DG? & !# ?CCA K? L a#3 ;5b3 . 3 % + &#% " # ?CCG K?@L % ;3 " 6 & = ' & ?CC K?DL , ;) # 0,3 , % D D$(@ EZ@FG ?CC K?EL & ; & &3 ) / , 4 " +

@ $(??@Z ? A # ?CA@ K?GL + ! 2 ! % - 2 ! - " 4 2 ,3 0 % +

0 0 " $ 4""" @DG? @DAZ@EF &. ?CCA K?FL + ! & 2 6 5 ) %"03 7 % % , ? ?$(J? DZ??C ?CAC K?AL & ! ; 76 : ! # ) ",0%%+ -55 / #S ?CCC

?DA

K?CL ! ; : 3 + : &6 + * & " 2 + 4#"CD"? #&# #&# # + ! %8 4 !# ?CCD K L 2 ! + , + " , " +

? C?FZC ?CCF K ?L % ! + )3 + ;3 - " %3 "/// % +

DG D$(AAGZC # ?CCA K L 8 &#% ) =3 = ?CC K @L + * ' * , 0,3 ?E(??Z?E ?CF K DL % . %$ " 2 2 " 2 ?CCG K EL % . # 4 + "/// " +

G ? $(?GDGZ?GEA ?CCF K GL , .> # ) 6 " 9" (DAFZE ?CA K FL ! 4 . - "/// , % "" DE A$(??GEZ??GA # ?CCA K AL ; 4 * # ?" 9 6 5 0 6 G(@G?EZ@G ? & ?CAF K CL & 9 / %"03 ?E(@?AZ @@D ?CF@

?DC

K@ L % * - 6 " ?( ?EZ @ ?CFC K@?L % % 4 Æ # - . 0 #55) ? EZ?EG , . / . ?CCD K@ L S &3 . . 0 A( D?Z GA ?CCD K@@L ! , 3 , 2 *3 ' " ; % ?CAC K@DL ' % 6 " " " 7 , % G(?Z@D ?CCF K@EL - ! 3 , @( ?Z @ ?CGC K@GL . * . % % " + ' ; ! B ?CCF K@FL % *3 * + 6 " % 3 " @( E@Z@?E ?CC@ K@AL % *3 2 6 / 2 6 . 0 F(?A@Z?CC ?CCD K@CL + * : ; . # %# " "/// " +

G ? $(?G ?Z?G@@ ?CCF KD L *3 = ; 9 ( 2 Æ "/// " +$

A $( Z ?C 4 ?CCC

?E

KD?L * ! " GFR!& @DAR.. @GE B ?CCG KD L * ,,1 0 , 1 ! - 3 4, ?CCG KD@L ; * ; &3 0) 0 "

?F(?AEZ @ ?CA? KDDL % * # 0 / , , % % , ?C(D@@ZDE ?CC KDEL 2 %)3 %#2,#; " 6 ) 3 %# ?CC KDGL % & ,4"+' 3 " +

E@(@ DZ@@E ?CC@ KDFL # & 1 " +

* . ) !8 ?CAC KDAL & % ;3 # &3 ( %" Æ 0) 6 ) "/// , % , , 4 + @ FZ@?D & 4 !# ?CCG KDCL & :66 # b 0b 9 $

" 0 + % @EEZ@EF ?C@F KE L : & + ; " / "/// , , 4 + FD ZFDG # # % ?CAA

?E?

KE?L & : ; * 7 6 + " "/// 0 % % +

@A G$ ?CC KE L & : - & + " " "/// " +

D$ B ?CC@ KE@L : *63 ; "/// % +$

3! ?@ @$(D@ZGD % ?CCG KEDL + , + ; # 7 6 % 0 0 D ?$(?A Z?AA ?CAF KEEL - ,36 B ) ) / 7 6 % 0 EG ??$(?DG@Z?DF ?CGG KEGL - ,36 B ) ) / 7 6 % 0 EF F$(C@ ZCD? ?CGF KEFL & % % #99 + + 5 "/// 0 % % +

@G(?FC Z?FC? ?CAA KEAL & % # ( 2 ) "/// + 0 3 "

?? F$(GFDZGA@ ?CAC KECL & % + 7 )( ! + "/// " , " +

# 2 ?CCD KG L ; %! ; 6 ,$ FE $(? ?Z? E 4 ?CA@ KG?L % 7 & 7 + 6 @(F?GZF@ # ?CC@

?E

KG L = % Q * Q 9 % GG ?CAEZ?CAG KG@L % 5 " " 7 6 % 0 0 ?@ ??$ ?CCG KGDL % # 8 + "/// " + A C$(? FGZ? A? & ?CCC KGEL : & # ; " + ",0%%+ -5: E 7RAEZAA ?CCD KGGL ! % & # EA@ ,&H+( & 0,3 3 % A(?CEZ C ?CC KGFL ! % & ,&H+ 0,3 3 % A(D@ZF? ?CC KGAL # # ) /" "/// , % !#&" C$ & ?CFE KGCL # % & 6 # 2 3 & ) 6 "/// " +

G A$(? GDZ? FG # ?CCF KF L # +5 & ! # / 3 " 9 "/// " +

F F$(? FEZ? FC ?CCA KF?L & + + % ; 9 6 " "/// " +

? @$(@ ?Z@?? ?CC KF L = & " 3 % % -& !" ; %# ?CCG

?E@

KF@L : & # " " "/// , % !#&"@D(?DCFZ?E E ?CAF KFDL % & & ,&H+ !+# 9" @E(EAAZG D ?CCE KFEL + &6 + & ./ " "/// " +

E(CCGZ? ?? ?CCG KFGL & # S3 + "/// " +

A G$(AFCZAAE ?CCC KFFL * & 3 + ! " " " ) 7 6 % 0 0 ?G @$(DA?ZDC % ?CCC KFAL & ; * % % " " 7 6 % 0 0 ?E D$(CFAZCC # ?CCA KFCL . & & ( ! + )# 0 , % % , GF@ZGFA 9 !# ?CCF KA L & * 3 ) 4 " 9% 7 D (D@ZG ?CG? KA?L * &3 B3 *" " " / 5 7 6 % 0 0 G(?F?EZ?F G ?CAC KA L & 2 8 & 9 - "! - %# ?CCF

?ED

KA@L # 2 3 % B63 % & 6 *" ) " " + ",0%%+ -5; @ ?GCZ?F & 4 !# % ?CC KADL # 23 & 6 % 3 1 D(? @EZ? @A ?CG@ KAEL # 23 7 3 ' 6 "