A Maximum Entropy Tagger with Unsupervised Hidden Markov ... - afnlp

4 downloads 4139 Views 291KB Size Report
a new domain or task of interest, it is often the case that ... exploiting such unsupervised learning for domain adaptation. ...... performance learning name-finder.
                

               

            

 !   "      ## $       

 

  



                    

                   

    

           



  

      

        

 !"



 #                    



             

   $ % 

 !"

         !"



   &'()*    

        

+              



      !"



%    

%          ,% -&&). +  % -&&'. , % /000. 1    % /000. ,  % -&&&  %  

           

   2      %  

           

          %            

   3  

               4%         

 

%  5    

 

      %           3   %   



                    

 

        6     

      

    

      %                       





 +  % -&&' ,  

  %               

   %            Æ    

   4            

        

      



%   



%       4              

       

 



7  %   !" 

        %            .  #   

 4    

    5

                                 %    

   %      

       $   %             

                    

              4               

      



     

     

     

  

            8 



%

 !"



 #        3

 !"



%     9         

  %   &'()*  %            %     "  #      % -&&:    

        

           

    





   %      )0*        5   &;*     

 !"



 3 #       %       %            



      

3   %  9 



                    5      5         %    

   5  %     

     3

 !"



%      %   #                   4           





        









 





     

  

    >      3 3    " 

33" !   % -&&? 4   

                         

 

     %    

  $  %           9     

/%          % 

     <        : @      % 

% 



         9  5    A            5   7 A <       

















 



































<        )  3    



 +   % -&&'%                 % 

                   B     7                  <

               < -             CD!                     Æ  E 

 % -&&/.  %             -&&). ,  % -&&?             %          9     %  

%    %          

    =      %      

  =      %                3      %      +  % -&(&           

   3   



 

%       4



 +  % -&&' -     <          9     5  A             < 0   

  5   7             A <             $  %    9     <          <         <     / <          ;                                !                    4 B             4      B % -&'?                >  9  

½

        



 

½









   

















 



 



      

       

 

























 









  

 



 ½



 

 





 ½

   





½





 





 



 

o1

o2

o3

o4

q1 = J 1

q2 = J 2

q3 = J 3

q4 = J 4

o1

o2

o4

o3

HMM

ME model : symbols (words) : states of HMM : tags

J1

J2

HMM

J3

o1

o2

o3

o4

q1

q2

q3

q4

J2

J3

J1

ME model

  

  

   

$  -7  



    C        5       

  %       5                 5  7            

 F     %         



                       4 ,     ,    %   5  A        -&'?             B     4 %            %    9              7 -  A    <    >       5              ,            <   <  

            0       5     6    

  ,         8    

        E 

         $     &'*   

 !"   -         



 

      

            ,     E 

        % -&&/  %                     - 4      

  

   =     %      

 ,               

 / $        5  A 



          5   

          3   

%    

 B           ,          

     4 %      

          

%            A %  %    

5      

 !"



 "  ) 4            :                     % -&&)     % 

   

  ,             5   

  

F                   3      %      -  $        5  A  ,    

      5    

 B      

                 

     / $                         %    A % !    " #  

        $  %&        G                     ,      

       

               

   













 















 

















 %       

%     F                           %                4        F   

   =                4                  

   C         4%       

       4       >%   %   3    %               

      ,             4      %    >        =                        3   %     

 !"



 "  )         

      3 #             %                 =     %        #              

    



' %$&   (        ! "# 

     

 !"



 4           "  #    !

4     % -&&: 4   "  #         ;0 000

    %  

  !"   );  &';*          +  % -&&'. , % /000          %      

  00H//%        /:  /) 4   

       ); ))'    - 0() //&           : ?'/    (& ;:?  $ :/ 000        

     

         

   

4   8    %          

 % =% ,%  E%  

     



4  -7 $        

 !"

 4                

        <                <    < - /        <           

              

    

Æ Æ   <  %  ) 9 9   <  %  )      -00  )0 000 = =   

   );      

         5       

 , =      

             

 !"

   +  % -&&' 4 8                  9  B              4 8        

                &'):* E  %               , = -'0               4       

    ,        @  

   @     # % -&&?        

 4              4  - =

                    =         ,  E 3   %   5 -0%000                       4  /     %  $  /                           

   3   %                      Æ  





 

 











 

   

















   

  



    

  















                       !  "  #  !$!

4  /7

 !"



      "  #   I  = , E EF

       8%  +  -&&? C7       

9  3

%   -&)H/0- =  ,   -&&& =                !K 4 C L 6   4  ,  /000 4 4 H        

 3

  , -&&) "   

        



 3

 !  $ , % B  # K !  % !  B "> % #  E D %  + D   -&&/ E           

  -()7)'?H)?& K E 

% # 1% # ! %  !  "  -&&/ =        

 3

%   -::H-)0 M @       3 #  -&&? $        % /&7/);H/?: ! " ! #!  !

  

         "   $     

       %

"   $         "$&'''

      (       " )  *  +"""*,-.

      (   

  "  $     

# 

$ 

4  1  LN    /000 6       

    9   3

 "   1      C  -&&? 1   6     N  3

%   --;H--(  #      % ,  "  %    =

   > -&&: , 

  

   

7 !

4  % -&/7:-:H::0 ,    -&&) 4





        % /0/7-;;H-?- 1 N C     4   -&&? =          #   

        CC   3

%   /:H/(    1 N 1  -&&& =       #       

!!O   

   3



$0,1

   



23

* 

 





 

%   ;/?H;:/   % "  %  1 N 1  -&&& = #               % ' 

#   " !  % B !  %  # D 8  -&&? 3  

     9 % -&)7:(0H:&: D   + +   -&(& =                      % ??/7/;?H/(;% $  =  +   -&&' =         



 3

%   -::H-)/ "+3 /000 "+3D H 4 "+3 D

  

4  -0       

    = "    "  -&&' =    

           3

%  /%   -00;H-00(% !  % != =  # B  -&'?                  

   % 34-:7/'0H/'?      4  $   +* 4$0,,.

 $     

*555 (

    "   #  * 



      *555

  

       5    #    $     

 ! *$ 0,6

*555 (   *

    ( 

Suggest Documents