department of computer science - university of …ceick/dm/sastry_svm_notes.pdfv {q l {&vq z ¯...

49

Upload: others

Post on 22-Aug-2020

2 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: Department of Computer Science - University of …ceick/DM/Sastry_svm_notes.pdfv {q L {&vq Z ¯ x ¬ u ® L| ÆC wvyuws ¬ nx} < $ Lv {q < Zx}u Yt {q Y{q x x}

��� ���������� ��������� �� �� ������������� ������"! #$��%��&���('

)+*-,-*-,�.0/2143657�8:9;1<*�=?>@8BAC1434DEAB.0> =?F;GDEF;8:8B34DEF;G

HIF�J�DE.0FKH�F�/21LDM1ON�1O8QPSRT,UABDV8<F�AC80W XY.0F;GZ.0>EP03[8 \S]^^`_<acb

d egfih�j�k�lnmno h�pqkYf

r:s�t�t�uwvyxZz`{&|&x}uLv�~��L|�������{q���ErCz�~��}�Zt<v�u6�:����{`�(��{2�Lvy�������(x�{q|����<���Cs�{`s���{I�Ms������+���L����Ov�{2�O����s�|����L�����Oxyx}{qvy�Q��{&|quw�L����x���uw���@�`�����0vy{q�wvy{q���y��uw�n{&�yx������Ox}��uw��{Ix}|O�+� ��{���uO���s<x}��uw��t�vyu6�B����{q�¡ ��¢rCz�~��?�MuwvTx}��{&��{�t�vyuw ���{&���£���£x���{quwvy{&x���|2�O������{&��{q�w�L��x2��|quL���t<s<x��Ox���uw���L���¤��{I¥Y|q��{&��x��O������� ��{&{q��x�u� S{��L{qvy��{I¦0{&|&x����w{$�������L�������Lv��w{�t�v}�L|Ix}��|2�L�t<v�uw ���{q�Y�q�U� ��{�r:z�~"�Lt<t�v�u��O|��Y�Lv�{&§¨uws<x;uL����uw�Y{ ����{q�L���Mvyuw�©rCx��Ox����yx���|q�L�<ªZ{q�Lv��B������«� ��{&uwvy�¬v�{&���Lvy��������|quw��x}vyuw����������x}�<{i�w{q�<{qv}�O����­q�Ox}��uw��|2�Lt®�O �������x}��{q��uL�¯��{2�Lvy����������L|�������{q�&��°±���L�����`�Kt�v�uL ���{&�²uw��{���� |&uw��|&{qv��<{q��§¯�¤x}��x}��{��Cs�{q�³x}��uw�´µ��u6§K§-{&����<uB{&����|q�¶�O�����¤·®{qv&�¸�<{q�����w��{&�¹uLvi��{q�Lv���x� ®�O��{q�¹uw�º|&{qvyx}�L���»·�����x�{«x}v}�O���������c�®�4x��<�§�uws����¼tS{&vy�Muwvy�½uw�¼��{I§²t®�4x�x}{&v����}¾O�®�Ox}�<�c� �<�����Cs�{q�³x}��uw�¼uL���w{q��{&v}�L����­q�Ox}��uw�c�®�O� �{q{&�n�L���<v�{q�y��{&�n�������L�����ws�����{&����s<|��n�L�� <�¶�L�¿�À�O�Lv����L��|&{�x�v}�L�<{quL¦ÂÁÄÃqÅE��u6�w{&vy·�xyx}���<�{Ix}|O��� ��{i�����ys�{i���$uw��{�uL�¯�yx�v���Æ:������x���{Ç|&uwv�vy{q|Ix� ®�L���L��|q{Y �{&x±§�{q{q�¡x���{��L|&|qs�v��L|&�uL <x��L����{q�£uw����t®�Lv³x}��|&s��¶�Ov�x�v}�L���������¸��{Ix`�L���?x���{ |���uw�y{q��ÈÉ|q�Lt®�L|&��x±��ÊwuL�®x���{(��{2�Lvy����������L|�������{��VuLv��L���wuLv���x����Ç� §¯����|��¬���q�gv�uLs��w���¤�w�g�L�Q���<����|q�Ox}uwv�uL��x���{Y�L �������x±��uL�µx}�<{���L|�������{�x�u+��{q�Lv����O�C�£�Lvy ���x�v}�Lv³�$x�v}�L�������<����{Ix;§¯��x���uws<x�{qvyv�uwv&�;Ë�ÌBt���uwv��Ox}��uw�?uL�®x�������Cs�{&�yx���uw���§¯����|��¬�Muwv��Y�$�����[Íyuwv�t®�Lv³x£uL�(�yx��4x}���³x}��|2�L����{2�Lvy��������x���{quwv³�w�;�w�6�L{Çvy����{x�uYx���{$����{q�L�¯uL��rCz�~��&��§¯����|�����Lv��Ls®�L ��¤�w�®uL¦S{qv��L��{q��{q���L��x¯§-�6��x�u�{I¦0{&|&x¸t�v�uwt�{qv��{&�L{q�ZuL�U�w{q�<{qv}�O����­q�Ox}��uw��

� ������|����Lt<x}{&v-{�Ì<t<�¶�L������r:z�~����Ç�O�����¤�?�L���$x�{q|����<���Cs�{¸�MuLvµ��{2�Lvy�����<�$�LuBu:��t®�Oxy�x�{qvy�»|q���L���y��·®{&v��q�º� �<{�����x�{q��xi���Yx�u¬t�vyu6�B����{«�Qx}s<x�uwv����L� ����x�v�u:��s�|&x���uw�¼x}u�r:z�~���O���Y{q���Ox¸t�v}�L|Ix}�¤x}��uL��{qvy�¸�O����vy{q��{q�Lv�|��<{qv�������x}{&v�{q�³x}{&�«����x}��{$�w{&��{qv��L���Lv�{q��uL��t®�Oxy�x�{qvy�Çv�{&|quw�L����x���uw���L�<�Çv�{&�wv�{&���y��uw���rBs<¥Y|q��{q��x-�<{&x��O�����`�®�2�L{¸ �{q{&�Çt�vyu[�:����{q�Yx}u$��{q��tοÏÐ4ÑÉÒÓ Ô�ÕEÖ³×EÑÉÔIØwÑÉÒÙ[Ú4Û[ØÜÑÝÒ@Ð[ÖyÞ�ÔIÒÔ ßSÐ4Ô�Ù6ÕEÖ³×ZÑÉà�áOâãßUâ ä+ÑÝÒ@×EÔ¸å¤æ�ÞOç±è�éêßSëIÓ(Ù[Ú6ÕEÑÜà4ì-ÔIà4Þ�íîà[ïðëI×EÓ(Ô�ñ

Õ@ÑÉëIà�ò6ó¿ÑÉÖ³àOó¿ÖyÒyô®õZÖyó³Ö³àqÕ�ÏB×@Öyà4Þ[ÒyöÜè[÷UÔ�×Eë&ÒEÔ�ø�Ú[Û[ØÉÑÉÒ@Ð[ÑÉà[ì ùgëIÚOÒVÖ&è[÷gÖ³ú«ûUÖ³ØÉÐ[Ñ�èLü�ýIý&þ[âÃ

Page 2: Department of Computer Science - University of …ceick/DM/Sastry_svm_notes.pdfv {q L {&vq Z ¯ x ¬ u ® L| ÆC wvyuws ¬ nx} < $ Lv {q < Zx}u Yt {q Y{q x x}

��v�{q�L��{&vq�Z§¯��x��¬��u� ®�L|�ÆC�wvyuws����¬���nx}�<���$�Lv�{q�<�Zx}u����Yt���{q�Y{q��x�x}�<{ir:z+~ �Y{&x���u:�uL�����µ� t�vyuw ���{q��� � {Ç�yx}�Lvyx�§¯�¤x}�����w{&vy�¬ �v���{&�-u[�L{qv³�B��{&§ uL�(t®�Ox�x�{qvy�cv�{&|quw�L���¤�x���uw���L�<��x}�<{q��{IÌBt��¶�O������u6§ uw��{�|2�O��s��y{?r:z+~��¸�MuLv(x}������t<v�uw ���{q����°Àx¯x�s�v�����uws<xx��®�Ox+x���{��Ç�L���«|quL��t�sBx��Ox���uw�®�O��t�vyuw ���{&� s��<��{qvy���:������x���{�r:z�~ ��{Ix}��u:��uw��uw�L�����x���{�uwt<x����Y��­2�4x}��uL��uL�����Cs®�L�<v}�Ox���|�|quw�³x��Ms���|&x���uw�¼§¯��x��¨������{q�Lv?|&uw���yx�v}�L����x}�q� � {�<{q��|&v��� S{¯uw��{¯�ytS{&|q�¶�O����­&{q�Y�L���wuwv��¤x}��� �Muwv��yuw���:���<��x�������t<v�uw ���{q�©������{&x}�L���@� � {��O����u{�ÌBt��¶�L������u6§ x}��{&��{�����{q�L�?|q�L�¼ S{is<��{q�¢���¡vy{q�wvy{q�y����uL�¼�L���¼uLx}�<{qv?vy{q�¶�4x}{q�¡t<v�uw B���{q�Y�q�����ivy{q���Lv�ÆO{q�º{q�Lv�����{qv&�-x}�<{����<{2�cuL�TrCz�~ �wvy{&§ uws<xÇuL����uL��{�v�{q�ys���x��i����³x��Ox����³x}��|q�L����{2�Ov��������Çx}�<{quwv³�w����{q��|&{L�Z§�{� �v���{����������y|qs��y�T�Ç�M{I§�vy{q���Ox}{&�n|quw��|&{qt<x���Mvyuw���³x��Ox����³x}��|q�L�0��{2�Lvy�����<�£x}��{&uwvy���L����{IÌBt����L���i§¯����uw�<{$|q�L��{IÌBt�{q|&x¯x�uY�L{&x¯�wu:uB��L{q��{&v}�L����­2�4x}��uL��t�{qv³�Muwv����L��|&{T§¯��x��Qr:z+~��q�+��ui���LÆL{£x���{?���Ox}{&v����L�g�L|q|&{q�y���� <��{£x�u�$�¶�Lvy�w{¸�Ls�����{q��|&{L�B§�{+�Oxyx}{&��t<xµx}uT�Ç�OÆL{¸x���{�|����Lt<x}{&v(�¶�Ov��w{&�����y{q���|quw��x��O����{&����L�<��<{q��|&{L�¯ÆL{&{qtºx}uc�¬�Y�������?s�� ������|&s����y��uw�»uO�+���y��s�{&�Çx}�®�4xÇ���2�¨�<{q{q�º�ytS{&|q���L����­q{q����Ox���{q���Ox}��|2�L�� ®�L|�ÆC�wvyuws����0�

� �m��ckYj;h ����o¯h�k�j�� �?o��npqf������wkYj�� �$h�h���jµf ��� �!�#"�;p�$�o%�Th;pqkYf

°±�«x������¸��{&|&x}��uw�«§�{?��{q�y|qvy�� �{£x}��{�r:z�~ �L���wuwvy��x}�<�²�Muwv�&[�À|q���L�������Oxyx}{qvy�Q��{&|quw�L���¤�x���uw���@�`�¸��t�vyuw ���{&���&� � {T S{&�w����§¯�¤x}���Ç �v���{&������x}v�u:��s�|Ix}��uw��x�u��`� �O���«{IÌBt����L���x���{Çr:z�~ ��{Ix}��u:�¬���nx}��{Y������t���{q�³x�|2�L�y{L�����L��{&���L�gx���{Y|2�L�y{�uL�-������{2�Lvy������{qt��Lv}�4� <��{$t®�Ox�x�{qvy�«|q���L���y{q�q� � {$x}��{&�n{IÌBt����L������u6§ x}�����¸����{2�Y|2�L�« �{£s<��{q�«�MuLv¸��{2�Lvy��������L{q��{&v}�L�Z��uL��������{2�Lv-�����y|qv��������®�L��x(�Ms��<|&x}��uw���&�

')(+* ,.-0/214365758/:9<;>=?/:@BADC�;�EF5GE+AH;I1J9KAHL�M+/#N°±���$���Oxyx}{qvy�Ç�¯{q|&uw�w���¤x}��uw���@�`�¸��t<v�uw ���{q���wx}��{¯uw CÍy{q|&x����L{¸���;x}u$|q�¶�O�����¤�î���L�����w�¤�w{&�����t�s<x�t®�4x�x}{&v��¹����x}u¼uw�<{¬uL�$·®���¤x}{&���º���L���º|q���L���y{q�cÁO&[ÅE� � ��{��®�Ox}s<v�{�uL�£����t�s<xt��Ox�x�{qv��<�£�L�+§�{q�����O��x���{Y|q�¶�O�����¤·®|2�4x}��uL�����L �{q����x�u� �{�uws<x�t�s<xT C�nx���{��y�:�yx�{q����{I�t�{q�<�YuL�?x}��{ �ytS{&|q��·�|¯�Lt�t�����|2�4x}��uL��:P®uwv;{IÌ<�L�Yt���{L�w���RQ�t<x}��|2�L�GS-�®�Lv}�O|&x}{&v`��{&|quw�L���¤�x���uw�«�TQUS(�¸���Lt�t<����|q�Ox}��uw���&�wx}��{�����t�s<x�t®�Oxyx}{&v��i���(�Tx±§�u?������{&������uw�®�L�U�V�Lv�{&���À��|2�O��{6����Ç�O�w{¸uO���?|����Lv}�L|Ix}{&v �y�:�? �uw��L�<�ix}��{+uwsBx}t�s<x(�¶�L �{q�;�@�L����u?|q�L����{q�Çx���{�|q���L��� ���L �{q�uLv(|q���L���}�����-x���{��®�O��{��Muwv(�yuw��{�uLx}��{&v(v�{&t�v�{&��{&�Cx}�Ox}��uw� �-uL�Zx���{+|��®�Lv��L|&x�{qv t�vy{q�y{q��x����x���{������L�w{O��°±�i�ytS{&{q|���v�{&|quw�L����x���uw���y�:�yx�{q�Y�q�<x���{�����t�s<x-t®�Ox�x�{qvy�i���-�i�V���L�Yt���{&��L{qvy����uL��uO��x}��{2�¸x}���Y{I�E�O�Lvy�:���<�Y�Luw��x}�L�w{?�y���w�®�O�U�Mv�uL� �i�Y��|&v�uwt<��uw��{��O���«x}��{£uws<xy�t<s<x£|&�¶�L�y���¶�L �{q������x}��{Y����{&��x}��x±�«uL�-x���{Y§�uwvy�º�VuLvT�O�C�QuOx}��{&vT�ytS{&{q|���s��<��x}�}��x}�®�Ox

&

Page 3: Department of Computer Science - University of …ceick/DM/Sastry_svm_notes.pdfv {q L {&vq Z ¯ x ¬ u ® L| ÆC wvyuws ¬ nx} < $ Lv {q < Zx}u Yt {q Y{q x x}

|&uw�YtSuw�y{ix}��{��ytS{&{q|��»s<xyx}{&v}�L��|&{L�¼°±�¨�n·����w{qvyt�v�����x� ��L��{&�¨����{q��x}�¤x±�c�L{qv��¤·®|2�4x}��uL��³�:�yx}{&���<����t�sBx ���-x���{����Ç�L�L{�uL�Zx���{�·®���w{&v�t�vy����x t®�4x�x}{&v���uL�U�?t�{qvy��uw�¬�@�O��uw���$§¯��x���yuw�Y{YuOx}��{&vT|&�¶�L��� uL�-����{&��x}��x±�«��s�|��¡�O�£���®�L�Y{6�+�L���Qx}�<{�uwsBx}t�s<x$|&�¶�L�y�T���L S{&�;��� <���®�Lv³���ytS{&|q�¤�î�B�����i§¯��{Ix}��{&v$uLv���uLx�x���{�t�{qv��yuw�Q����§¯�<u���{�|q���L���Y�¸x�u� S{O� � ������{x���{�·®v��³x$x±§�u�{�Ì<�L��t<��{q��vy{qt�vy{q��{&��x?�?s��¤x}��|q�¶�O���+t�vyuw ���{&���&�Zx}��{��¶�O�yx${IÌ<�L�Yt���{����$�x±§�u�|&�¶�L�y��t�v�uw <��{q���Y� ��{��Y{&x���u:��uw��uL�L�«uL� r:z�~��T���T�Ot�t�����|2�L <��{?�Muwv+x}�<{ &6�±|q���L����`� t�vyuw ���{&��� �(x£x���{�{&����uL��x}�����T�ys� ��y{q|&x���uw�¬§-{���������|2�Ox�{���u6§©§-{�|2�L�¬x��L|�ÆC��{�£s���x���|q���L���-t�v�uw <��{q�Y�q�

�¼�w{&��{qv��L���`���y�:�yx�{q� |q�L�� S{��:��{I§-{&�£�L�Z����t<��{q�Y{q��x������ �(x±§�u¸�³x}{&tTt�vyuB|&{q��s<v�{L´�M{q�Ox}s<v�{�{�Ì:x}v}�O|&x}��uw���L�<�i|q���L���y��·®|q�Ox}��uw���°±�ix���{¸·�v��yx(�yx}{&t�Bx���{��³�B�³x}{&��{IÌ:x�v}�L|Ix}�(uwv�Y{2�O��s�vy{q����uL��{��}�L����{q��x�|��®�Lv}�O|&x}{&v����yx}��|q�&��|2�L����{q����������� ���I�L�Mv�uw� x}�<{(����t<s<x;t®�4x�x}{&v���°±�Ç��uw�³x-|q�L��{&�-x}�<{¸�M{2�4x}s�vy{q�(�Ov�{�vy{2�L� �Cs��? �{qvy�q�`� �Cs��q�Bx}��uws<�w��x���{�����t�s<x�t®�Oxyx}{qvy����2�c �{i���¡��uw�Y{��Lvy ���x�v}�Lv³�¬vy{qt�vy{q�y{q��x��Ox���uw� �M��s�|��¨�L���L�¡���Ç�L�L{6�I���O�îx}{&v£�M{2�4x}s�vy{{�Ì:x}v}�O|&x}��uw��;{q�L|��¼t®�Oxyx}{qvy�����Tv�{&t�v�{&��{q��x�{q�¢ C�c���w{&|&x�uwv?uL�¯vy{2�L���:s<�? S{&v��&��|2�L����{q�x���{����������� ������������������u[§ x}�<{i|q���L���y��·®|q�Ox}��uw�c�³x}{qt¼���Tx}u«�L���y���w�¼��|&�¶�L�y�?�¶�O S{&�µx�u{q�L|��i�M{2�4x}s�vy{¸�w{&|&x�uwvq��rB����|q{�§-{+�Ov�{�|&uw���y����{&v����<�£uw���¤� &[�±|&�¶�L�y�-t�vyuw ���{q�Y����{&v�{O�Bx}�<{|&�¶�L�y���¤·®{qvT���T���Ms���|Ix}��uL�cx}�®�4x£���Lt��$x}��{i�y{&x£uL� �M{2�Ox�s�v�{Y�w{&|&x}uLv��?x}u�x}��{���{&xq���}�2�w���� à �"!?Ã�#C� �¸���Q��s�|����Ms���|&x���uw�Q���$|q�L����{q�Q����{q|&���y��uw�Qv�s<��{L� � �wu:u:��|&�¶�L�y���¤·®{qv+uwv����{&|q������uL�nv�s���{?���+uw�<{?x}�®�Ox��Ç�Lt<���Ç�M{2�Ox�s�v�{��w{&|&x�uwv+x}u���|q���L���+���L S{&�Ux��®�Ox+�Yuw�yxuO�îx}{q�T|quwvyv�{&��t�uw������x}u¯x}��{$��"%��|q���L���gx}�®�4x�x���{µt®�Ox�x�{qvy�£v�{&t�v�{&��{&�Cx�{q�� ��+x}��{`�M{2�4x}s�vy{�L{q|Ix}uwvµ S{&��uw�<�w��x}u��;� �<{��M{q�Ox}s�vy{¯{IÌ:x}v��L|&x���uw�Y�yx�{qtÇ�����w{qv³���?s�|���t�v�uw <��{q����t�{q|q�¤·®|L�P®uwv¸{IÌ<�L�Yt���{O�0x}�<{£�M{2�Ox�s�v�{&��x}�®�4x�§-{?§�uws����n����ÆL{£x�u���{q�L��s�vy{£�Mv�uL� �Ç·®�<�w{qvyt�v����Cx���Ç�O�w{T�yu��L��x�ui S{?�L ���{$x}ui���LÆO{£x}��{£|quwvyv�{q|Ix�����{&��x}��·�|2�Ox���uw����{q|&������uw��§�uws���������L{q��{&v}�L�@�0 �{?����¦S{qvy{q��x+�Mv�uL� x���uw�y{���{q{&��{q�n�Muwv�|&uwv�vy{q|Ix}�������<{q��x}�¤�î�B�����i�i|����Lv}�L|Ix}{&v�Mvyuw� x}��{?���Ç�O�w{TuO�µ�it�v����Cx�{q�nt®�O�w{L�U��u[§�{&�L{qv&�U�4�îx}{qv¸·<ÌB�����ix���{?��{Ix+uL�`�M{2�4x}s�vy{q�q��<{q�����w��uL�;��|&�¶�L�y����·�{qv¯�L���Y��x�� ��uw�Y{+�w{&��{qv��L�Zt�v�u:|q{&��s�vy{q�q�

� �w{q��{&v}�L�µ�yx�v�s�|Ix}s�vy{��MuwvT��t��Ox�x�{qv��c|q�¶�O�����¤·®{qv&�Ux��®�OxT���$v�{q��{&�O�L��x$�MuwvTuLs�v£�����³�|&s����y��uw�¡uO��r:z�~��q�����$x}�®�4x?uL�����<����|&v��������®�L��x��Ms���|&x���uw�0�«rBs<|��¨��|q���L���y��·®{&v£uwv£��<{q|q������uw��v�s���{+|2�L�� S{��ytS{&|q��·�{q���L�

°À�'&0�)(*��+S�-,/.�x���{q����{&|q���<{0+21 S-�¶�O���+È3!?ÃwÊË`����{���{&|q���<{0+41 S-�¶�O���+Èê�}ÃwÊ

§¯�<{qv�{$&0�657�85Ä�����`|q�L����{q���$������|&v����Y�����L��x��Ms���|&x���uw�0�9( ���µ�Tt®�Ov}�L�Y{&x�{qv��w{&|&x}uLv(�L���:+����x}�<{(�M{2�Ox�s�v�{-�L{q|Ix}uwv&�<;����2�:������|���uL��{q��x}�<{-�Muwv�� uL�S�������y|qvy���Y���®�L��x��Ms���|Ix}��uL��Lx}�<{

=?> Ö�Ô�ØÉú0Ô @6ÒSÚ4Ò@ÖBA�ÕEë(Þ[Ö³à[ëIÕ@ÖUïðÖyÔ�ÕEÚ[×EÖBC&Öyó¿Õ@ëI×Ô�àOÞ¯Ú4Ò@Ö�ÒVÚ[ÛOÒ@ó³×@ÑÉÙ6ÕEÒ0úZÐ[Öyà¸ú0Ö�ú0ÔIà&Õ0Õ@ë Þ6Öyà[ë�ÕEÖÞ6ÑEDwÖ³×EÖ³àqÕUïðÖyÔ�ÕEÚ[×EÖFCIÖ�ó±ÕEëI×ÀÒ³â > Ö-Ó(Ô�GIÖ`à4ë¸Þ6ÑÝÒMÕEÑÜàOó±Õ@ÑÉëIà�å¤Ò@Ú4óÀÐ$ÔIÒUÛLëIØÝÞ2ï¤ÔIó³ÖµÖ¿ÕÀó�â ç+ÛLÖ¿ÕMú0Ö³Öyà0CIÖ�ó±Õ@ë&×

H

Page 4: Department of Computer Science - University of …ceick/DM/Sastry_svm_notes.pdfv {q L {&vq Z ¯ x ¬ u ® L| ÆC wvyuws ¬ nx} < $ Lv {q < Zx}u Yt {q Y{q x x}

t<v�uw ���{q� uL�<uw <x}�L������������ÈÜ�wu:uB�0Ê6|q�¶�O�����¤·®{qv����Zx��®�OxUuL��·®���<�����¸�L��ÈÜuwt<x������L�EÊI�O�L��s�{��Muwvx���{�t®�Lv}�O��{Ix}{qv��L{q|&x�uwvq� �¹��t�{q|&�¶�L�®|q�L��{�§¯����|������`v�{&��{I�L�O�Cxµ��{&v�{¸����x}�®�4x�uO�Z�������<{2�Lv�<����|&v��������®�L��xg�Ms���|&x���uw�0��rBs�t<tSuw�y{(x}��{��M{2�Ox�s�v�{-�L{q|Ix}uwv��������À�����Y{q�<����uL�®�L�E�µ�M� �®�Ox����q�+41���������� ��{&����������{2�Lv�������|qvy���Y���®�O�Cxg�Ms��<|&x}��uw�?�����w�¤�w{q�£ C� &0��� �� ��+S����� + !��[���{qvy{L�Bx���{�t��Lv}�L�Y{&x�{qvy��uL�0x}��{¸�����y|qv��������®�L��x��Ms���|Ix}��uw�Ç|&uw�������yx-uL�g�$�L{q|Ix}uwv�� 1�� ��O�������y|2�L���Lv�� 1����

°±�¡�Yuw�yx?�`� t�vyuw ���{&���&�;��xT���T��uLx�t�uw�y���� <��{�x�u«��{&�����L�¼��|q���L���y��·®{&v��M§¯�<��|��¡���vy{q�Cs���v�{q�ºx�u¢���Lt»�M{q�Ox}s�vy{n�w{q|Ix}uwvy��x}u¼|q���L�������L S{&���}�Y ®�L�y{q�¹uw�º·®v��³x�t�v�����|q��t���{&�q�°±�¨��uL�yxY|2�L�y{q�&�(uw��{�����t�vyu[�:����{q�¢§¯��x}�¨�¬�y{&x�uL��{�Ì<�L��t<��{q�&�-|q�L����{q�¼x}v}�O���������n��{IxuLv$x�v}�L����������t®�Oxyx}{&v����&�;uL� x}�<{��Muwvy� � � +��?�����î�"���� à ����������?#C� ��{qv�{Ç{2�L|�� +��(���T��M{q�Ox}s<v�{��w{&|&x}uLv$§¯��uL��{�ÈÜx�v�s�{OÊZ|q�¶�O�������+�w�¤�w{&�¬ ������E���Uv��L�����������}�O��t���{q���Lvy{�uL�îx}{&�uL <x��L����{q�¨ ��¨�L{&x�x������¬��uw�Y{�v}�L���<uw� t®�Ox�x�{qvy���i�L�<�»�®�2�:������x}��{&� |&�¶�L�y���¤·®{q�» ���Cs����L�¢{IÌBt�{qvyx��q� ��u6§"uw��{�|2�O�Â��{&�����L�Â�Q|q���L���y��·®{&vY ��¡·®�<�������Qx}�<{��O�L��s�{q���Muwvx���{Çt��Lv}�L�Y{&x�{qvy�£uL�¯�������y|qv��������®�L��x+�Ms���|Ix}��uw�c�yu�x}�®�4x��L���`x�v}�L�������<��t��Ox�x�{qv��<���Lv�{|&�¶�L�y���¤·®{q��|quLv�v�{&|&x����Y�Muwv§¯��x��$�M{I§-{&�yxU{qv�vyuwv��}�I��°À��uw�<{µ���L�Z�yx}�Ox}���yx}��|2�L�����¸�����<{qt�{q����{&��x�O����v�{qt<v�{q�y{q��x��4x}���L{¯��{&xµuL� x�v}�L�����������}�L�Yt���{&�q�wx���{q��uw��{ |q�L����uwt�{(x}�®�4xµ��|q�¶�O�����¤·®{qvx��®�Ox�t�{qv³�Muwv��Y��§�{q����uw�nx}v}�O���������i��{Ix�§-uws<�����L���yu�tS{&vy�Muwvy� §�{q���;uw���L����x}��{�uLx���{qvs<����{&{q�nt®�Oxyx}{&v����¸uL������x�{qv�{&�yx�����x}��{£�Lt�t�����|2�4x}��uL��+�@rB{q{T��{q|Ix}��uw�� ��MuLv��yuw�Y{T�Yuwv�{�<����|&s����y��uw�®�I�

°±�Q�i�`� t�v�uL ���{&��� x}��{Tt®�Oxyx}{qvy�n|q���L���y{q�+�Lvy{£���L����x�ui �{£������{2�Ov������y{qt®�Ov}�L ���{£�¤�x���{qvy{�{IÌB���³x}�Y�«������{2�Ov?�����y|qvy���Y���®�L��x$�Ms���|Ix}��uL��x}�®�Ox�§�uws����¼|q�¶�O�����¤�î���O�C�ct®�Oxyx}{qvy�|&uwv�vy{q|Ix}���L��� �:s<�q�������������<{2�Lvy������{qt��Lv}�L <��{�|2�O��{L�gx}�<{qv�{Y{IÌB���yx!�#" 1$�����O���%�&" 1� ��s�|��¢x}�®�4x?x}��{�������{q�Lv£�<����|&v��������®�L��x£�Ms��<|&x}��uw��§¯��x���x}��{&��{�t®�Lv��L�Y{&x}{&v��?§�uws����|&�¶�L�y���¤�î���L���0x}��{+x�v}�L���������£t®�Ox�x�{qvy���¯|quwvyv�{q|Ix}�¤�w�

� ��{��Y{&x���u:��uw��uL�L�QuL�¸r:z+~��?uL¦S{qvy���L�¡{q��{q���O�Cx?�L���¡{I¥�|&��{&�Cx£x}{q|��<�����Cs�{i�MuwvuL <x��L�������<��uwv¯��{2�Ov����������w{q��{&v}�L�Z�<uw��������{2�Ov �����y|qv��������®�L��x(�Ms��<|&x}��uw����s����������Y�w�¤�w{&��y{&x�uL�`x�v}�L����������t®�Oxyx}{qvy���+���«� &[�±|&�¶�L�y�+�`� t�vyuw ���{&����� ��{��<{&x��O�������Lv�{£{IÌBt��¶�O����{&�����x}��{���s< ���{&|&x}��uw���¯x}u��Muw����u6§��

rB����|q{��L��r:z�~ |q�L�c �{Ys���{&��uw���¤�Q���¬��&[�À|q�¶�O����t�v�uL ���{&���Zx}�<{Ç��{�ÌBx£uw ��:��uws���Cs�{&�yx���uw�«���q´���u6§ ��uB{&��uw�<{Tx��O|�Æ:��{?�Yt�v�uw <��{q�²§¯�¤x}�� ���6�L�('n|&�¶�L�y��{&�) ���y���Yt���{&�yx§-�2��x�ui��uÇx������¸���¸x�u���{q�Lv���'Q�����y|qv��������®�L��x¯�Ms���|Ix}��uL���q�+Ë`�L|��Q�ys�|��Q�����y|qv��������®�L��x�Ms<��|&x���uw�Y����x}v��L���<{q��x�uT�<���yx������Ls����y�YuL��{¸uO�x}��{�|q���L���y{q�`�Mv�uw� �O���®uLx���{qvy�q�����îx}{qv`x}�<{��{2�Lvy�����<������|quw�Yt���{Ix}{O�gx���{Y�y�:�yx�{q� �Ms���|Ix}��uL���$�L�$�MuL����u6§¯�&�+*+���L{q�¬����{I§©�M{2�4x}s�vy{�L{q|Ix}uwv&��+g�:��xµ���`��s<t�t�����{q�Yx}u£{q�L|��iuL�Sx}��{¸�����y|qvy���Y���®�L��x;�Ms<��|&x���uw���&��� ��{q� +����µ|q���L�³�Ô�à4Þ`ÒEó³ÔIØÉÔI×:Ò@qÓ�ÛOë&ØÉÒyâBÏÐ4ÖSÞ6ÑÝÒMÕEÑÜàOó±Õ@ÑÉëIàµúSë&Ú[ØÉÞ`ÛOÖSëIÛ�C2ÑÜë&Ú4Ò�ïð×EëIÓ«ó¿ë&à&ÕEÖ-,2Õyâ/.gØÉØ�CIÖyó¿Õ@ë&×EÒCÔI×@ÖSó¿ëIØÉÚ[Ó(àCIÖyó¿Õ@ë&×EÒÔ�àOÞ¸Ô Ò@Ú[ÙLÖ³×ÀÒ@ó³×@ÑÉÙ6Õ10�Þ6Öyà[ë�ÕEÖyÒÕE×EÔIà4Ò@ÙOëqÒVÖ&â

Page 5: Department of Computer Science - University of …ceick/DM/Sastry_svm_notes.pdfv {q L {&vq Z ¯ x ¬ u ® L| ÆC wvyuws ¬ nx} < $ Lv {q < Zx}u Yt {q Y{q x x}

�y��·®{&���L�  S{&��uw�<�w�����$x}u�x}���Ox |q���L���(§¯�<uw��{�������|qvy���Y���®�O�Cxµ�Ms���|Ix}��uw���®�L�(x}�<{+�����w�<{q�yxt�uw�y��x}�¤�w{(�O�L��s�{ uw� +g�;°À�S��uw��{¯uL��x}��{¯������|&v����Y�����L��x��Ms���|Ix}��uw���`�®�L�`��tSuL����x����L{-�O�L��s�{�MuLv(x}��{��w�¤�w{q���O�L��s<{+uL�'+g��x���{q��x}�<{$�³�:�yx}{&�"§-uws<����v�{±Íy{q|&x +g�

� �¤x}��x}������ �v���{&�S����x}vyuB�<s�|&x���uw�?x�u�x���{��`�»t�v�uw <��{q� §-{��Yu[�L{ uw��x}u+x}��{¯��{Ix��L�����uO�Ux���{Tr:z�~ ��{Ix}��u:��

')(F' ����� ��� AH9� E+;0/#3 9<M��� /� 03 9K3 L�M /�� M 3����7/��� {��Lv�{Q�w�¤�w{&� ��·®���¤x}{nx}v��L���<���������L�Yt���{nuL�Tt®�Oxyx}{&v����&� � � +��?� ���M�"��� à �������8��?#C�§¯�<{qv�{ +�� 1 �����L�������-1 ��� à ��!�à #C�0§¯����|������������<{2�Lvy������{&t®�Lv}�O ���{O�?� �®�Ox����q�§�{�Ov�{?|&uw��������{qvy����� � �±������{&������uw�®�L�gvy{2�L���M{q�Ox}s<v�{£�L{q|&x�uwv����?�L�<�«x}��{?x±§�u�|q�¶�O�������L S{&����Ov�{���{q�<uLx}{&�« �� !�ÃT�L��� � ÃL� rB����|q{�x}��{$t®�Oxyx}{&v���|q�¶�O����{&���Lvy{������<{2�Lvy���i�y{qt®�Ov}�L ���{L�x���{qvy{�{IÌB���³x � 1�� � �L�<� � 1��$���ys�|���x��®�Ox¯�Muwv�� Ã�������� ��±�

� +��9! � � .9��� �c��s�|���x}�®�Ox���� !?Ã� +��9! � � .9��� �c��s�|���x}�®�Ox���� � à � �³Ã[�

� �<{-���:tS{&v�t����L��{-��� ������{q�y|qvy�� �{q�? �� �����x��®�OxU�}�Ox����³·®{q�(�³Ã[�Z���g|2�O����{&�£����{&t®�Lv}�4x}���<����:t�{qv�t<�¶�L��{$�L�<����� �w���L{q�� C�

� +:! �� . �T&w�r:����|&{Çx}��{Ç|q�¶�O����{&���Lvy{i������{2�Lvy���n�y{qt®�Ov}�L ���{L�;§�{�|2�L�¼�O����s<��{Çx��®�OxTx}��{&v�{�{IÌB���yx}�?��y{qt®�Ov}�Ox����������Bt�{qvyt��¶�O��{���s�|��Âx��®�OxY��uQx}v��L���������n�}�O��t���{�����uw�¼x}��{����:tS{&v�t����L��{L�� ���Ox�����§¯�C�» SuLx��»x}��{�����{&�:s��L���¤x}��{&����� �³Ã[���Lv�{«�³x}vy��|&xq� rB����|&{�x}�<{qv�{Q�Ov�{«uw�<���·�����x�{q���£�Ç�O�C�?�}�L�Yt���{&�q���¤� � ��-{�Ì<���yxµ�}�4x}���³�î�:�����Y�¿Ã[�I��x}�<{q��C �����s��¤x��L <��{(�y|2�L�������+§�{|q�L��·®��� ����¯x}�®�Ox¯���Ox}���y�î�

� +���! � , Ã�� � �¬��s�|���x}�®�Ox ��� !?Ã� +���! � � � à � � ����s<|���x}���Ox���� � à � � H �

� �<{T�O Su6�w{$��{Ix�uL������{q�Cs®�O����x���{&�(|2�L�� �{�§¯vy��xyx}{q���Yuwv�{+|&uw�Yt®�L|&x����i�L����±Á � +��9! �}Å , à � � Ã�������� �� � �� C�

r:����|&{(x}��{ |&�¶�L�y��{q�µ�Lvy{(������{2�Ov����$�y{qt®�Lv��L ���{L�wx}�<{qv�{ {�ÌB���yx`���<·®���¤x}{&���T�Ç�L���T��{&t®�Lv}�4x}���<����:t�{qv�t<�¶�L��{&�q� PU���ws�vy{ÇÃ��y��u6§¯�£�L�n{�Ì<�L��t<��{?uL�`x±§�u�����¦S{qvy{q��x���{&t®�Lv}�4x}���<���C�:t�{qv¿�t<�¶�L��{&�q��� ��{+���:t�{qv�t<�¶�L��{+�y��u6§¯�����Ç·®���0ÃC�V  �µ���(���Cx�s���x����L{q���Y�ÇÈÜ �{&x�x�{qv&Ê���{&t®�Lv}�4x}���<�� íîà�Õ@Ð[Ö£ÒVÖ��qÚ[Ö³Ø�úSÖTÚ4Ò@Ö+Õ@Ð[ÖTÕ@Öy×@Ó Ò�ïðÖyÔ�Õ@Ú[×EÖ C&Öyó±ÕEëI×�ÔIà4Þ�Ù4Ô�ÕVÕEÖ³×Eà CIÖ�ó±Õ@ë&×�ÑÉàqÕ@Ö³×ÀóÀÐ4ÔIà[ìIÖ�Ô�Û[Ø @

úZÐ[Ö³à[Ö CIÖy×Õ@Ð[Öy×@Ö;ÑÝÒà[ë¯Ò@ó³ëIÙLÖ�ïðëI×gó¿ë&à6ïðÚ4Ò@ÑÜë&à

Page 6: Department of Computer Science - University of …ceick/DM/Sastry_svm_notes.pdfv {q L {&vq Z ¯ x ¬ u ® L| ÆC wvyuws ¬ nx} < $ Lv {q < Zx}u Yt {q Y{q x x}

���:t�{qv�t<�¶�L��{O�+� �����¸���¸ S{&|2�Ls��y{?�Muwv¸x������¸���Bt�{qvyt��¶�O��{£x}�<{?�����³x��L�<|q{£x�uÇx}��{£��{2�Lvy{q�³xt��Ox�x�{qv���uw��{&��x���{qv�������{T���¸�Yuwvy{T�O���«��{&��|q{i�V����x�s���x����w{&���<�(��x�|2�O��v�{&��s��¤x����� �{&xyx}{&v�L{q��{&v}�L����­2�4x}��uL�� � {+�Muwv����L����­q{�x}����� ��uLx}��uw�� S{&��u6§��

P®uwv${q���ys�v������«t�vyuwt�{qv£�L{q��{&v}�L����­2�4x}��uL�����|q{&�Cx�v}�L�µ��uLx���uw�¬����r:z�~ �Y{&x���u:�c���x���{�|quL��|q{&t<x�uL� ��� ����� �������%����� � ��� �I�Q°À� ��������Ox}���y�î� � C�I�;x���{q�¼uws<v?��{&t®�Lv}�4x}���<����:t�{qv�t<�¶�L��{+���(��s<|���x��®�Ox(x���{qvy{+���(��u�x�v}�L���������T�}�L�Yt���{� S{Ix±§-{&{q��x}��{�x±§�u�t®�Lv��L����{q����:t�{qv�t<�¶�L��{&����t�{q|&��·®{&�Y �� � + ! �� ï�L�<� � %+ ! �� � Ãw� � {(|2�O���Cx}��{(�<���yx}�L��|&{ �{&x±§�{q{&�£x}�<{q��{`x±§�u¸���:tS{&v�t����L��{&���L�Zx���{`�Ç�Lvy�w���Y�MuL�B��{qt��Lv}�Ox���uw�®�0uL�Bx���{`��{&t®�Lv}�4x}���<����:t�{qv�t<�¶�L��{O�;� ��{��MtS{&v�t�{q���<��|qs<�¶�Lv}�g�����yx}�L��|q{- S{Ix±§-{&{q����tSuL����x�uL�£x}��{-�C�:t�{qvyt��¶�L�<{�� %+ !�� "ÃÇ�L�<�Qx���{����Bt�{qvyt��¶�O��{ �� %+ ! �� .�����Ã�� ��� �����Ý�£� �Cs���x}�<{Y���Lvy�w������ ���� ����� �$� ��{��Ç�Ov��w���«�����i�wuBu:�«�Y{2�L�ys�v�{�uO���<u[§ §�{q�����i��{&t®�Lv}�4x}���<���C�:t�{qvyt��¶�L�<{�y{qt®�Ov}�Ox�{q�¯x}��{+x}v��L���<�����?t��Ox�x�{qv��<�q�HP������G&?����u6§¯�¯x}��{&��{$��uLx}��uw��� �y|���{q���Ox}��|2�L�����L�

� {?��{I·®��{?x}�<{�uwt<x}���Ç�O�Z�C�:t�{qvyt��¶�L�<{?x}ui �{£x}�<{?��{&t®�Lv}�4x}���<���C�:t�{qvyt��¶�L�<{£§¯��x�����4ÌB���£s�� ���Lvy�w����Z� �<{qv�{`���Z�L��uLx���{qv§-�2��uL�:��u:uwÆC�����(�Oxg�Ç�[Ì<������­q�����µx���{`�Ç�Ov��w����°À�g§�{��yx��Ovyx(§¯�¤x}���?��{&t®�Lv��Ox}���������Bt�{qvyt��¶�O��{�x}�®�4x �}�Ox����³·®{q�T�³Ã6�-�L�����y|2�L��{#�����Íys��³x{&��uws��L� x}u¨�}�Ox����³�î� �� C�ix}�<{q� x���{¬x�v}�L�������<�¡t®�Ox�x�{qvy� |q��uw��{&�yx�x}u¼x}��{���{&t®�Lv}�4x}���<����:t�{qv�t<�¶�L��{+§�uws����� �{$�Ox��������³x��L��|&{�uL�-Ã�� ��� �����O�Mv�uw����x2�

� ��{�� "8�� "(|quLv�v�{&��t�uw���������£x�u£x}��{�uwt<x}���Ç�O�����:t�{qv�t<�¶�L��{�|quw���³x}�¤x}s<x�{�x}��{+r:z�~¬�§¯�<��|������¯uws�v¯��uw��s<x}��uw��x}u�x}��{�|&�¶�L�y����·�|2�Ox���uw��t�vyuw ���{&���µ� ��{$|q���L���y��·®|q�Ox}��uw��uL���L���t��Ox�x�{qv����w{&|&x�uwvq�%+g�®��� �<u[§ ��{&x�{qvy������{q�� ���x}��{��y���w��uL� + �#" ! � "2���

��u��Ç�4ÌB������­q{�x}��{����Lv��L����§�{���{q{&��x�u����������Y��­&{!� �£� �¸{&��|q{�x���{�uwt<x������L����:t�{qv�t<�¶�L��{����¯�Y�yuw��s<x���uw��uO�Ux���{+�Muw����u[§¯�����?|&uw���yx�v}�L����{q��uwtBx}���Y��­q�Ox}��uw�it�vyuw ���{q���

����� Ã& � �

�ys� :Íy{&|&x�x}u ���±Á � +��9! �}Å , à � � à �������8�� � � � �°Àx����2�i �{$�<uLx}{&����{&v�{+x}���Ox x}��{+�O�Lvy�¶�L ���{q�(�Muwv(x���{�uwt<x����Y��­2�4x}��uL�i�Lvy{�����6�

� ��{Tªg�L�wv��L���w���L��� �Muwv(x������ t�vyuw ���{q�²���

� � ���� � �Z�� Ã& � � ! !"

�$# ;� �;ÁÄà � ���±��� +���! �I�¿Å ��%��

§¯�<{qv�{&� ©Á�� ; ����� � !Å 21�� ! �L���'� �U�Lv�{�x���{$ªg�L�wv}�O���w{+�?s��¤x}��t�����{qv��&�

(�> Öó³Ô�à`ÔIØÉÒ@ë�Þ6Ö�ó¿ÑÝÞ6Ö®ÕEë�×EÖ*)MÖyó¿Õ<ÔIà8@BA¸åðÕ@Ð4Ô�ÕBÑÝÒ³è�Ô&Ò@Ò@ÑÉìIà;à[ëUó³ØÉÔ&Ò@Ò@Ñ,+Oó³Ô�Õ@ÑÉëIà�Õ@ëUÑêÕ±ç�ÑÜï.- A�/�0 Î2143yÎ -657 â®ÏÐ[ÑÝÒ0óyÔ�à�Ò@ëIÓ(Ö³Õ@ÑÉÓ-Ö�Ò�ÑÉÓ(Ù[×Eë�CIÖgÕEÐ[Ö;ó¿ØÝÔIÒEÒVÑ,+Oó³Ô�Õ@ÑÉëIà¯Ô&ó³ó¿Ú4×EÔ&ó�@-ëIà¯à[Öyú�Ù4Ô�ÕVÕ@Öy×@àOÒ�å�Ô�Õ0Õ@Ð[Ö;ó¿ëqÒMÕ0ë�ï×@Ö8)MÖyó±ÕEÑÜà4ì(Ô�ïðÖyú�Ù4Ô�ÕVÕEÖ³×Eà4ÒEç¿â9 ÏBëYÓ Ô�GIÖ�Õ@Ð4ÑÉÒ¸Ù4Ô�×@Õ�Ò@Ö³ØÜïÄñîó¿ëIàqÕÀÔ�ÑÉà[ÖyÞ�èZÔ?ïðÖyúº×@Ö�ÒVÚ4ØêÕÀÒ ïð×EëIÓ©ëIÙ6ÕEÑÜÓ(Ñ;:yÔ�Õ@ÑÉëIàiÕ@Ð4Ö³ëI×)@�Õ@Ð4Ô�Õ�Ô�×EÖà[Ö³Ö�Þ6ÖyÞ�Ô�×EÖ;ÒMÕÀÔ�Õ@Ö�Þ�ÑÜà�Õ@Ð4Ö .gÙ[ÙLÖ³à4Þ[Ñ ,

%

Page 7: Department of Computer Science - University of …ceick/DM/Sastry_svm_notes.pdfv {q L {&vq Z ¯ x ¬ u ® L| ÆC wvyuws ¬ nx} < $ Lv {q < Zx}u Yt {q Y{q x x}

�@�w�

�V  �PU���ws�vy{�Ãw´(Ë�Ì<�L�Yt���{&�¸uL����{&t®�Lv}�4x}���<�Ç���:tS{&v�t����L��{q�&�¯� ��{TuL��{£�����M  �¯���¯����x}s��¤x}�¤�w{q�¤��iÈÜ S{Ix�x�{qvqÊ®�y{qt®�Ov}�Ox����������:tS{&v�t����L��{

Page 8: Department of Computer Science - University of …ceick/DM/Sastry_svm_notes.pdfv {q L {&vq Z ¯ x ¬ u ® L| ÆC wvyuws ¬ nx} < $ Lv {q < Zx}u Yt {q Y{q x x}

P����ws�vy{ &B´µ~��Lvy�w����uL�;����{qt��Lv}�Ox����������:tS{&v�t����L��{O�

rB����|q{¬� � �£�����L�¼uwtBx}���Y��­q�Ox}��uw�ct<v�uw ���{q��§¯��x}�¢�Cs®�L��v��Ox}��|�|quw�³x��Ms���|&x���uw�¢�L�<�������{q�Lv�|quw���³x}v��L����x}�&� � "8�� "������Ç�w��uL ®�L�g��uw��s<x}��uw��uO�¸� � �¯���`�L�<�«uw���¤���¤�;x}�<{qv�{£{IÌB���³x� "� � �� à ������� ��±���}�4x}���³�î�:�������V�y{q{�� ��{&uwv�{&� ÃT�����Lt�t�{q�����ðÌ��

� � � � " � !"�$# ;

� "� ��� +�� . � � �� �� � !"

�$# ;� "� ��� . �����

à � ���¿� + � � " ! � " � � .9��� � � ������ "� , . �³Ã .��

� "� ÁÄà � ���¿� + � � " ! � " �±Å .9��� � � �³ÃwÃ[�S-uL������x���uw�<��� � �À�I�¿ÃwÃ[�¸�Ov�{?x}�<{���s<���B�±��s�|�ÆO{qv$|quw���<��x}��uw�����MuLv�t�v�uL ���{&� � � �I� P vyuw�� � ��§-{i�y{q{Çx��®�OxTx}��{�uwt<x}���Ç�O�µ���:t�{qv�t<�¶�L��{����£��������{2�OvT|&uw�? ����®�Ox}��uw�QuL� x}v��L���<�����t��Ox�x�{qv��<�q�����¨�¿ÃwÃ[�I�g§�{Ç�?s��³x£���6�L{ �1"� .��������¿� + � �#" ! � "�� �²Ãw�iªg{Ix£s<�T|q�L���+����Ç��s�t<tSuwv³x��w{&|&x�uwv���� ���¿� + � �#"B! �&"��� Ãw�+ªZ{&x»��{q��uOx}{?x}�<{£��{Ix+uL�`��������|&{q�¸uL��ys�t�t�uwvyx��w{q|Ix}uwvy�q��� ��{&�� ��¡�����¸�O���¢�³ÃwÃ6�I� � "� .Ç��� � �1�(� ��u6§��0�Mv�uw� � � �¯§�{�L{&x

� " "�����

� "� ��� +�� � �³Ã &w�rBs<t�tSuLvyx��w{&|&x�uwv����Lvy{«x}��uw�y{«x}v��L����������t®�4x�x}{&v����i�MuLvǧ¯����|��0���Ox�x���{nuwt<x������L�

�yuw��sBx}��uL��µx���{�����{&�:s��L���¤x±�¡|quw�<�yx}v��L����x������K� � �Y�Ov�{��}�Ox����³·®{q�» ��¼{&�:s��L���¤x±�w�»� �Cs��&�

Page 9: Department of Computer Science - University of …ceick/DM/Sastry_svm_notes.pdfv {q L {&vq Z ¯ x ¬ u ® L| ÆC wvyuws ¬ nx} < $ Lv {q < Zx}u Yt {q Y{q x x}

x���{q�y{i�Lvy{�x}��{Y�}�L�Yt���{q��|q��uw��{&�yx$x}u�x}��{Y��{&t®�Lv}�4x}���<�����:tS{&v�t����L��{��L���¬��{q��|&{L�U���¬��y{q���y{L�g�Lvy{Tx���{?�Yuw�yx�����¥Y|qs<��x¸t®�Ox�x�{qvy����x}uÇ|q�¶�O�����¤�î�w�¸� ��{�uwt<x������L�Z���Bt�{qvyt��¶�O��{?����Y������{2�Lv¯|&uw�? ����®�Ox}��uw��uL�;x���{q�y{?��s�t<tSuwv³x��L{q|&x�uwv����L�����<{q��|&{£x}��{T�®�L�Y{?rCz�~��Muwvx���{Y��{Ix}��u:�� P������ H ������s<�yx}v��Ox}{&��x}��{�uwtBx}�����L�;���:t�{qv�t<�¶�L��{��L������s<t�tSuLvyx$�w{q|Ix}uwvy������L��{IÌ<�L�Yt���{O�

°À��§-{�|q�L�¼��{&x�{qv��Y���<{Çx}��{�uLt<x}���Ç�L��ªg�L���wv��L���w{Ç�?s���x���t�����{&v��&�1"� x}��{&�¼§�{��w{&x� "�s��������Q� � �¸uwv¸{q�Cs����O�L��{q��x}�¤�¡�¿Ã &w���Y� � ������{£s<�����<�Q�³Ã &L�I��y����|&{£§-{��<u���uLx+ÆC��u6§�ys�t�t�uwvyxU�w{&|&x}uLv�����t�v���uwv��@�[§�{(��{&x�x}��{���s��Y�Ç�4x}��uL�Tvys��£u6�w{&v��L��� �0��s<|��?x}�®�Ox �1"� � .<�°±�c�w{q��{&v}�L�@�U§�{i|2�O���®�2�w{ �1"� .�{&�L{q�¡§¯��{q� � 1 (�4�¸u6§�{&�w{&vq��x}�<���£�<uB{&�£��uLx�O��x}{&v(x}��{!� "��w�¤�w{&�� ��¬�³Ã &w�I�D�¸{&��|q{O�®�Mv�uw�²�<u[§Kuw��§�{�x}������ÆÇuL����s�t<tSuwv³x¯�w{q|Ix}uwvy��O�¯x���uw�y{$|&uwv�vy{q�ytSuw�<��������x}u���uL��­q{&v�u �1"� �I� � {�|2�L���L���yu���{&x�{qv��Y���<{!�&"¸�L� �Muw����u6§¯�q�����|�ÆÇ�L��� �;��s�|���x��®�Ox � "� � .B��� ��{q��< C�n�³ÃwÃ6�I�B§�{+�?s��³x �®�2�w{����¿� + � � " ! � " �� Ã�O�����<{q��|&{

� " ��� � + � � " �³Ã H � �{q|q�Ls��y{ � �� Ãw� �

��u¬·®�<� �1"� §�{�§¯�����(�yuw���L{�x���{��<s®�L�¯uL�Y� � �I� � {�§¯�����(s<��{�x���{��MuLv��?s����Ox}��uw��<{q��|&v��� S{&������x���{¸�Lt�t�{q�����ðÌS�;°±�Yx��������<uLx��Ox���uw�0�wx}��{¯��s®�O���Ms���|&x���uw���Muwv�� � �����`�w�¤�w{&� ��

� �8�g��¹���<� ��� � � � ���� � �Z��¹���B� ��� � �Ã& � � ! !"

�$# ;� �¿ÁÄà � ���¿� � +��9! �I�±Å# � �³Ã� C�

� �<����{�·��������<�Y���<·®�?s<�²u6�w{qv � 1����®��x¯����|&��{q�Lv(x}�®�4x � �8�Z��§-uws<���� S{ ��� s�����{q�y�§�{Q�®�2�w{ � � ��� .<� rB����|q{«§�{Q��{q{&�¹x�u¼�Ç�4ÌB������­q{ � �¸§�{n§-uLs���� s��y{Qx������|&uw�����¤x}��uw���L���Y|&uw���³x}v}�O����x2�`��uY·®�<�����<·®�?s�� §¯��x}��vy{q��t�{q|Ix¸x�u � 1�� � ��§-{$��{q{&�x�u?��uL���w{ � � � .T§¯����|��������w���L{q�� ��Q� � �I�;� �Cs��(§�{+�w{Ix(x}��{����<·®�£s�� ���Q�¿Ã� C�µ ���ys� ��³x}��x�s<x}�������Muwv��K�Mvyuw� � � �(�L����x��OÆ:����� � � ��� .B��� �����¯�w�¤�w{q� s<�¯x���{���s®�L�0uL�� � �(�L�

�Ç�4Ì � �8�g�� !"�$# ;

� � � Ã& !"� � � # ;

� � � � ��� � � + � + ��ys� :Íy{&|&x�x}u � � ,/.9� � �

!"� # ;

� � ��� . �³Ã � �

� íîà£Ù[×ÀÔIó¿Õ@ÑÝó¿ÖIèwú0Öµú0ëIÚ[ØÝÞ�ÛLÖ-Ú4ÒVÑÉà[ì�ÒVë&Ó(Öµà2Ú[Ó(Ö³×EÑÉóyÔ�Ø<ëIÙ6ÕEÑÜÓ(Ñ;:yÔ�Õ@ÑÉëIà�ÕEÖyóÀÐ[à4Ñ �qÚ[Ö�ïðëI×�ëIÛ6ÕÀÔ�ÑÉà[ÑÉà[ìÕ@Ð[Ö� BÎ� ö Ò³âZù�Ö³à4ó³ÖIèOÕ@ë ÕÀÔ"GIÖ`óyÔ�×EÖ�ë�ï®à2Ú[Ó(Ö³×EÑÉóyÔ�ØBÖ³×E×@ë&×EÒyè6úSÖµÓ(Ô @�Þ6Ö¿ÕEÖ³×EÓ(ÑÜà[Ö 3 Î�Ô&ÒÕ@Ð4Ö�Ô CIÖy×EÔIìIÖ�ë�ïÕ@Ð[Ö C�Ô�ØÉÚ[Ö�ÒìIÑ CIÖ³à�Û�@$å 7 þ&ç�ïðëI×UÔ�ØÉØ���ÒVÚOóÀÐ�ÕEÐ4Ô�Õ� Î��� ý[â

Page 10: Department of Computer Science - University of …ceick/DM/Sastry_svm_notes.pdfv {q L {&vq Z ¯ x ¬ u ® L| ÆC wvyuws ¬ nx} < $ Lv {q < Zx}u Yt {q Y{q x x}

�@�w�

�V  �PU���ws�vy{ H ´`Ë;Ì<�L�Yt���{�uL�guwtBx}�����L�®���:tS{&v�t����L��{��L�<�i��s�t<tSuwv³x(�w{&|&x�uwv��&�µ� �<{Y�@���`t®�Lvyx�y��u6§¯� �T�<uw�B�±uLt<x}���Ç�L�<��{qt��Lv}�Ox������T���Bt�{qvyt��¶�O��{L��� ��{?�V  �`t®�Lv³x-�y��u6§¯�-x}��{¸uwt<x������L����:t�{qv�t<�¶�L��{��Muwv�x}��{��}�L�Y{��®�Ox��B� ��{qvy{�x}�<{�{�Ì��O��t���{q�Y����u6§¯�º���¨�®�Ov�Æ¢�Lv�{�x}�<{�ys�t�t�uwvyx¯�L{q|&x�uwv��&�

�.

Page 11: Department of Computer Science - University of …ceick/DM/Sastry_svm_notes.pdfv {q L {&vq Z ¯ x ¬ u ® L| ÆC wvyuws ¬ nx} < $ Lv {q < Zx}u Yt {q Y{q x x}

��{qvy{«x}��{«uLt<x}������­2�Ox���uw�¢���iu6�L{qv � 1 � ! �¯§¯��{qvy{��$���Çx}�<{n�:s<�? S{&viuL��x}v��L���<�����t��Ox�x�{qv��<�q� � {i��uLx�{�x��®�Ox?���cx}�<{Ç��s®�O�-t�vyuw ���{&����x}��{�x}v}�O����������t��Ox�x�{qv��<���Lt�t�{2�LvuL�������O�U������{qvgt�vyuB�<s�|&x��q��� �<{-��s®�O�E�[�w���L{q�T C�Ç�¿Ã � �I�[����uL��|q{-�L���L���T�O�TuwtBx}���Y��­q�Ox}��uw�t<v�uw ���{q� §¯��x}���Cs®�L�<v}�Ox���|�|quw�³x¯�Ms���|&x���uw���L�<��������{q�Lv(|quL���yx�v}�L���Cx��q�

P®v�uL� � ��{&uwv�{&� &T���Çx}�<{��Lt�t�{q�����ðÌS�/� " �� " ��� �£�yuw��sBx}��uL�ÇuL�gx}�<{�t�v����Ç�O��t<v�uw B���{q� �w���L{q�� ��¬� � �(�L�<� � "¯���¯����uw��s<x}��uw��uL��x}��{���s®�O��w���L{q�� ����³Ã � �������L����uw���¤�i�¤�x���{+�Muw����u6§¯�������Ov�{+�}�4x}���³·®{q�0�� S�Ãw�� "� ,/.<�� ����� "� .B�� S &B��� " � � "� ���7+��E� �L��� � " ��� � + � � " �Muwv��`��s�|���x}�®�4x � "� � .<�� S H �����±� + � � " ! � " � , Ã� S ���1"� � .����Yt�����{q� ���¿� + � �#" ! � "�� Ãw�

� �Cs������«��uw�¤�:�����Q�¿Ã � � §-{?§-�L��x+x}ui·®�<� �1" 1 � ! �ys�|��Qx}�®�Ox �1"� , .<� � � ���� .�îx}�®�4x¯���q��� " ���(�M{2�L�y�� ���{��Muwv$�³Ã � � �(�L�����Ms�vyx���{qv

� "� . � ���±Á + � � " ! � " Å , Ã� "� � . � ���±Á + � � " ! � " Å Ã �³Ã�%��

� �<{q��§¯��x}� � "8�� "¯�L� �w���L{q�� ����!&:�B§�{T�y{q{+x}�®�4x��L����|quw�<����x���uw��� S�ÃI�+S ��Lvy{$���Ox}���³�·�{q���� �:s<�¸x}�<{T|&uw�����¤x}��uL��� �w���L{q�� ����¿Ã�%��-|&uw���yx���x�s<x}{�x}��{$uwt<x������L���¤x±�Y|quw���<��x}��uw����MuLv�|���{q|�ÆC������§¯��{&x���{qv$�i�w�¤�w{q�n�M{q�L���� ���{ �¡����uwtBx}�����L�g�Muwv��¿Ã � �I��� ��{�����x}{qvy{q�³x}���<�x������<���L �uws<x�x���{q�y{�uwt<x������L���¤x±�i|quL������x���uw�<������x}�®�4x�§�{�|2�L�n|���{&|�Æ��Muwv¸uwt<x}���Ç�O����x±�uO��{q�L|��¨|&uw�YtSuw�<{q��x�uL� �¹s<�����<�Qx���{�|quwvyv�{&��t�uw���������Q�}�L�Yt���{Çt®�Ox�x�{qvy�� � {�§¯������<����|&s����¸�L���L���wuwv��¤x}��� �Muwv �yuw���:���<���³Ã � �-����rB{q|Ix}��uL� H �

')(�� ����� ��� � E+;0/:3 9<M � A�; �7/� 03 9K3 L�M+/ @B3��8/r:s�t�t�uw��{«x���{«�w�¤�w{q�»x�v}�L�������<�ct®�Oxyx}{&v������Lvy{«��uLxi�����<{2�Lvy���¼��{&t®�Lv��L ���{O� � ��{q�º§�{|q�L����uOxY·����¨x���{�uwt<x}���Ç�O�-���:tS{&v�t����L��{� S{&|2�Ls��y{�x���{�uwt<x}������­2�Ox���uw�¬t�v�uL ���{&� � � ����L�¯��uY�M{q�L���� ���{+�yuw��sBx}��uL���°±���ys�|��n�����¤x}s®�4x}��uL��§�{$|2�L����u:���¤�î�Çuws<v�uL :Íy{q|Ix}���L{T ���y{q{&Æ:�����+�����:t�{qv�t<�¶�L��{µx}u¸���������Y��­&{�{qv�vyuwv��&��P®uwvgx}������§�{(�YuB�<���î�+uws<vUuwtBx}���Y��­q�Ox}��uw�t<v�uw ���{q���L� �Muw����u[§¯�&�

�Y��� Ã& � � !� !"

� # ;� �

��s< :Íy{q|Ix¸x�u ���¿Á � +���! �}Å', à � � �?� � à �������8��� � ,/.9� � à ������� �� � �³Ã � �

ÃLÃ

Page 12: Department of Computer Science - University of …ceick/DM/Sastry_svm_notes.pdfv {q L {&vq Z ¯ x ¬ u ® L| ÆC wvyuws ¬ nx} < $ Lv {q < Zx}u Yt {q Y{q x x}

PU���ws�vy{ �´+°±����s��yx�v}�Ox���uw��uL�-�y�¶�L|�Æ��L�Ov��¶�O ���{&���L���Q�Ç�Ov��w���«�B��uw�¶�4x}��uL���q�!P uLv�x}��{������t�{qvyt��¶�O��{����<u[§¯�0�<§-{�§�uws������®�2�w{+ �uLx}� � � � .��L��� � � � .B�DQ��Zx���{�x±§�u��}�L�Yt���{&�q�uL����� +���§�uws����� �{+�Y����|&�¶�L�y���¤·®{q�� ��ix}�<���¯���Bt�{qvyt��¶�O��{L�

��{qvy{ � �)� � à ������� ��Z�Lvy{�t�uw���¤x}���L{?�M��u?|q�L����{q� �������L|�Æ��O�Lv����L ���{&�-�O���Çx}�<{�uwt<x����Y��­q�4�x���uw�¢����u6�w{&v � �� � � �E�ºrBs<t�tSuL��{ � "8�� "8� � "� �Lvy{�x}��{�uwt<x������L�-�O�L��s<{q�YuL���O�Lvy�¶�L ���{q��MuLv£x}��{��O Su6�w{�t<v�uw ���{q���Q� ��{q��`x}�<{�|q�¶�O�����¤·®|2�4x}��uL��uL�¸�n��{&§ t®�Oxyx}{qvy� +¨§�uws���� �{Ç�<{&x}{&v��Y����{&��;�O�T{q�Lv�����{qv&�U ��¬�����w�¬uO�-+ � " !�� " ��� �Cs�� � "� � .�����t�����{&��x}�®�Oxx���{�uLt<x}���Ç�L�®���:t�{qv�t<�¶�L��{��Mx}���Ox-���q�Cx}��{���uw��s<x}��uw��uO�µ�³Ã � ���`���-�<uLx(�O ���{¯x}u?�y{qt®�Ov}�Ox�{x�v}�L�������<��t®�Oxyx}{&v����`�L���<{q���L����{&�Y ����� C����P®s�vyx���{qv&����� � "� � Ã(x}��{&��§�{��Lv�{(�L|&x�s®�L���¤����LÆC���<�Ç�L��{qv�vyuwv�����|&�¶�L�y�����î�:������x���{Tx�v}�L���������Yt®�Oxyx}{&v��4+��±��� ���������¸������s��³x}v}�4x}{q�����·����� ��

� �Cs��&� � �$�����¼�wuBu:� ��{q�L��s<v�{QuL�£x���{�{qv�vyuwv��Ç�O��{��L��� �Y��§¯�<��|�� �����t��Lv}�L�Y{&x�{qv�x�u� S{ |���uL��{q�� ��£x}�<{�s<��{qv&�C|quw��x}vyuw�����<u[§¨�?s�|��Y{qvyv�uwvU§-{¯|2�O�Yx�uw��{&v}�Ox�{L������w�¬�L�O��s�{�uL� � §�uws�����|quwvyv�{&��t�uw���¡x}u«�<���w��t�{q���L��x±���Muwv£{&v�vyuwv��&�¢� � {��L��§-�2�:�x}�LÆL{ � � .w�I�Y�V°Àx��Ç�2�� S{?�<uLx}{&�Qx��®�Ox¸x}��{�uwtBx}���Y��­q�Ox}��uw��t�v�uL ���{&� �w�¤�w{&�n C�¡� � �����{q���y{q��x}���L���¤�n���������¤x}���<�Ç|2�O��{��L� � � � ����rB����|&{�§-{Y�Ç�OÆL{Y{qv�vyuwv���uw�<���«§¯��{&�� ��,�Ãw�¸� � �M���Ç�Muwv��L���¡t�uw�y��x}�¤�w{����Cx�{q�w{&v��������n�wu:uB�¼t�{q�®�L�¤x±�cx�{qv������������<��ys�|��¹�ct�{q�®�L�¤x±�¼§-uws<���»vy{q��s<��x����»�c|&uw���w{I̺uwt<x}������­2�Ox���uw�¼t�vyuw ���{q� �Muwvi�O�C���S�P®uwv� à � &B�;§�{i§�uws����¡�L{&x��«�Cs®�L�<v}�Ox���|iuwtBx}���Y��­q�Ox}��uw��t�v�uw <��{q���n°±�¹�³Ã � �$§�{���6�L{Ç|���uL��{q��% Ãw�Ç� ��{i�L�B�L�O�Cx}�L�w{Y���+x}���Ox2�����Qx}�����T|q�L��{O����{&��x���{qv � ����uwv+x}�<{|&uwv�vy{q�ytSuw�<�������cªg�L�wv}�O���w{��?s���x���t�����{&v����Lt<tS{q�Lv����¨x���{���s��L�¯uL�Y�³Ã � �I�º� ��{���s®�L�

à &

Page 13: Department of Computer Science - University of …ceick/DM/Sastry_svm_notes.pdfv {q L {&vq Z ¯ x ¬ u ® L| ÆC wvyuws ¬ nx} < $ Lv {q < Zx}u Yt {q Y{q x x}

�Ms<��|&x���uw���Muwv$�¿Ã � �-��� �L���w{&�� ����M��{&{ �¸t�tS{&�����ðÌ®�

� �8�B���S�� ���<� ��� � � � �Ã& � � ! ��� !"

� # ;� �¶��! !"

�$# ;� �±Áðà � � � � ���¿� � +���! �I�¿Å � !"

�$# ;� � � �#�³Ã ���

§¯�<{qv�{�� � �Lvy{-x}�<{¯ª��O�wv}�L�<�w{-�?s<��x}��t�����{qvy��|&uwv�vy{q�ytSuw�<��������x�u�x}��{-|quw���³x}v��L����x}� � � ���.B�0���+{q�Lv�����{qv&��§�{£§�uws����n��{q{&� � � ��� .Çx�ui{q���ys�v�{?x��®�Ox¸x}��{����<·®�?s�� ������uLx��� �µrB�������¶�Lvy���w�4§-{+�L{&x �$x}{qvy� � � � ��� � � �î� � �Z�L���Ç��{q��|&{�§-{���{q{&�ix}u?{&����s�vy{� �� � ! � �)� � �y� �¸�y�����¬x}��{&��{n�L�<�Âx��LÆC�����c���<·®�?s�� §¯�¤x}�»vy{q�ytS{&|&xix�u �  ���ys� ��³x}��x�s<x}����� �� � � ���7+��±�B§-{$�w{&x¯x���{���s®�L�uO� �¿Ã � �(�L�

�Ç�4Ì � �8�g�� !"�$# ;

� � � Ã& !"� � � # ;

� � � � ��� � � + � + ��ys� :Íy{&|&x�x}u . � � � � � ��� �

!"� # ;

� � ��� . �³Ã ���

� �<{�uw�<���¡���¤¦0{&v�{&��|q{� S{Ix±§-{&{q�Âx���{�x±§-u¬uwt<x}������­2�Ox���uw�ct�v�uw <��{q�Y���w���L{q�¢ �� �³Ã � ��O�����³Ã �w�µ���µx}�®�4x � �Z�Ov�{� �uws����<{q���Mv�uw�  �uLx}���y����{&�q���Ç� �Cs��  ��Çx���{��®�4x}s�vy{�uL�Zx}�<{t�{q���L��x±�?x�{qvy��§-{¯{&��t���u6�w{q�0�C§�{��w{&xµ{q�y��{&�Cx��¶�L�����Tx}��{¯�}�O��{¯uwt<x����Y��­q�Ox}��uw�£t�vyuw ���{q�x�un��uw�¤�w{�{I�w{q�¼§¯��{&�¨t®�4x�x}{&v������Ov�{i��uOx������<{2�Lvy���Q��{&t®�Lv��L ���{O�¬� �<{ �+s��<�B�±��s�|�ÆL{&v|&uw�����¤x}��uw���(�Muwv$�¿Ã � �(�Lvy{�x}��{+�Muw����u6§¯�����<�

� ��ÃL��� � !�$# ; � � ���7+�� .<�

� � &:�� !�$# ; � � ��� .<�

� � H � � � � � � � � .<�

� �! <� à � � � � ���±���� %+��9! �I� �/.<�

� � � � � � ,/.<� � � , .<����� ,/.<� � �y�

� �&%B�� �¿ÁÄà � � � � ���¿���� %+��9! �I�¿Å .<� � ���

� � � ����� � � .<� � ��� ò6ÑÜà4ó³Ö� � Þ6ëµà[ëIÕ0ÔIÙ[ÙOÖ�Ô�×SÖ-,6Ù[ØÉÑÉó³ÑêÕEØ @ ÑÉà Õ@Ð4Ö�Þ6ÚOÔ�ØOïðÚ[à4ó±ÕEÑÜë&àCè6Ô�ØÉØOú0Ö�à4Ö³ÖyÞ Õ@ëµÖyà4Ò@Ú[×@ÖU×@Öyì&ÔI×EÞ6ÑÉà[ìÕ@Ð[ÖyÓ¢ÑÝÒ� �� ý ÔIà4Þ� � 1 ����� âò2ë4è[ÑÜï�úSÖ�Öyà4ÒVÚ4×@Ö�ý�� � � � ÕEÐ[Ö³à+Û�@¯ÕÀÔ"G2ÑÉà[ì� ������� �úSÖ�ó³ÔIà�ÒEÔ�ÕEÑÉÒVï<@¸ÔIØÜØCó³ëIà4ÒVÕ@×ÀÔ�ÑÉàqÕEÒ0ëIà� � â ÏÐ[ÑÝÒZÑÝÒ0Õ@Ð[Ö�×EÖyÔ&ÒVë&à¯ïðë&×ZÕ@Ð[Ö;Ú[Ù4ÙOÖy×gÛOë&Ú[à4Þ�ëIà � â

à H

Page 14: Department of Computer Science - University of …ceick/DM/Sastry_svm_notes.pdfv {q L {&vq Z ¯ x ¬ u ® L| ÆC wvyuws ¬ nx} < $ Lv {q < Zx}u Yt {q Y{q x x}

°À� � � .¡x}��{&�  �� � H ��� � � .¨�O��� �<{q��|&{¬ �� � � � � .<� �¸u6§��� �� �� �����¿� � +�� ! �I� , ÃL�«°À�$. � � � � �"x}�<{q� � � � .n�O������{&��|q{O�µ �� � � �L��� � %<����¿� � %+�� ! �I�! Ãw�Y°À� � � ��x}��{&�¬ �� �� ��O��� � %<� ���±���� %+�� ! �&�! à � � ���ÃL�Â��s<xyx}���<�c�L���-x}�<����x}uw�L{&x}�<{qvq�(�L�����¼x}��{�t�vy{&�:��uws<���ys� ���{&|&x���uw���§-{�|2�L�¢��{qvy���L{|&uw�����¤x}��uw���(�Muwv � "� x�uY �{$�Y�yuw��sBx}��uL��uL� �¿Ã ���(�L�(�MuL����u6§¯�&´

. � � "� � � � �L��� !"�$# ;

� "� ��� . �T&�.��

�O���� "� . � ���±Á + � � " ! � " Å , Ã

. � � "� � � � ���±Á + � � " ! � " Å Ã� "� � � ���±Á + � � " ! � " Å � à �T&BÃ[�

§¯�<{qv�{ � " �� " �µ§¯����|��¨§¯�����( �{���uw��s<x}��uw�¡x}unx}��{�t�vy�����L�-t�vyuw ���{q� �w�¤�w{&�¨ �� �³Ã � �I��Ov�{i�w�¤�w{&�¡ C� �#"� !�$# ; ��� �1"� +��¯�L��� � " � � � + � � "£�Muwv?�yuw��{ � �ys�|��¼x}�®�Ox. � � "� � �Y�� �Cs��Y���¡x}�<{�|q�L��{�§¯��{&v�{�x}��{��w�¤�w{&�¨t®�4x�x}{&v��¼�w{&|&x}uLv����Lv�{���uOx�������{q�Lv��¤����{qt:��Ov}�L ���{L�;x���{�r:z�~ ����uL <x��L����{q�¡ ��¡�yuw���:�����¢�³Ã �w�i�M�MuwvT§¯����|��¼x}��{�|&uw�����¤x}��uw���£�Muwv|��<{q|�ÆC������uwt<x������L���¤x±���Ov�{��w���L{q�� ��¨�T&BÃ[�+��§¯����|��¬����x}��{Y��s®�O��uL�+�¿Ã � ���Y� �<������uO���s<x}��uw�i���(x}��{?ÈÜ S{&�yxqÊ®�����<{2�Lv(�<����|&v��������®�L��x-�Ms��<|&x}��uw�����ix���{���{&����{�x}�®�4xT�V��{&tS{&�������<�uL� �£����x¸�w���L{q�+�Ç���:t�{qv�t<�¶�L��{T§¯��x}�¬ÈÉ��{2�L�³x2Ê0{&v�vyuwv�uw��x}��{£x�v}�L�������<���y{&x2�U��u6§-{I�w{qv&����Ç���L�����Lt�t�����|2�4x}��uL���q�wx�������{qv�vyuwv-���2�� S{¸s��®�L|&|q{&t<x��L <���������w�0�;°±�i��s<|���|2�L�y{q�(§�{�<{q{q��x�u?·®�����?��s��¤x��L <��{��<uw��������{2�Ov-������|qvy���Y���®�O�Cxµ�Ms���|Ix}��uw�ǧ¯����|������({IÌBt����L���<{q�����x���{���{IÌ:x���s< ���{&|&x}��uw��

')(�� � AH;�M E+;0/:3 9 ��� � �

� �<{qv�{+���(�L�<uLx}��{&v-§-�6�ÇuL�g�:��{&§¯�����?t®�4x�x}{&v����y{&x}�(x��®�Ox(�Lv�{��<uLx ������{2�Ov������y{qt®�Ov}�L ���{L�r:s�t�t�uw��{�§�{«x}v��L���³�Muwv�� x}�<{«�w���L{q�ºt®�4x�x}{&v��»�L{q|&x�uwv����O��������U� +��M��§¯��{qvy{�� ´��� � ������uw�Y{���uw��������{q�Lv£�Ms��<|&x}��uw�� � {��L���ys��Y{ x}uQ �{��yuw�Y{���t®�L|&{�uL�§¯�<��|����O�¬������{qv�t�vyuB�<s�|&x$������{I·®��{&��Q� *+{q�<{qv}�O������§-{�x��OÆL{ ��K§¯�¤x}� � ���I� � {Y�Ç�2�n �{Y�L ���{�x�u�·���������s��¤x��L <��{�����s�|��¬x}�®�Ox�x���{�vy{q�ys���x��������w{&|&x�uwv���������2�� �{$������{q�Lv��¤�Ç�y{qt®�Ov}�L ���{���� {&�L{q��x}��uws<�w��x���{$uwv����w���®�O�St®�4x�x}{&v���� +����Lv�{���uLx������{q�Lv��¤����{qt��Lv}�L <��{���� � � �.P®uwv?{�Ì��O��t���{i��� � I&«�L��� +��¸�Lvy{i��{&t®�Lv}�O ���{�uw�<��� ��Â���Cs®�L��v��Ox}��|�������|qvy���Y���®�O�Cx��Ms��<|&x}��uw��(x���{q�������§-{ns��y{�� ´ � � � � � §¯��x���U��� ; ��� � ��©Á�� ; � � � �; � �� � ; � � Å ��Cx���{�vy{q�ys���x�����������§-uws<���Ç �{������<{2�Lvy���?�y{qt®�Ov}�L ���{L�

�

Page 15: Department of Computer Science - University of …ceick/DM/Sastry_svm_notes.pdfv {q L {&vq Z ¯ x ¬ u ® L| ÆC wvyuws ¬ nx} < $ Lv {q < Zx}u Yt {q Y{q x x}

PU���ws�vy{ � ´ÇË�Ì<�L�Yt���{�uL������uw�:�±��{&t®�Lv��L ���{��®�Ox}�«��{&x?����uw�<{Ç������{&������uw�®�L���M{2�4x}s�vy{�yt®�L|&{L� ���ix}v��L���³�Muwv��Y�����Tx}��{�t®�Oxyx}{&v���������x}u � � �<§�{T�L{&x�������{2�Lv-��{qt��Lv}�L <�����¤x±�w�

� �Cs���·®�����������£�Cs®�L�<v}�Ox���|������y|qv��������®�L��x`�Ms���|Ix}��uL�ǧ¯��x���x}�<{�uwvy���w���®�L��x}v��L���<�����$��{Ix���Tx���{Ç���L��{Ç�L�£·®�<����������������{2�OvT������|&v����Y�����L��x$�Ms<��|&x���uw�c§¯�¤x}�cx���{�x�v}�L�<�y�Muwvy��{&�x�v}�L�������<�«��{Ix2��°±�¡·®�w�&� � �4%Q�L��� � §-{��y��u6§"��uw�Y{i{�Ì��O��t���{q��uL��x}�<���?��uOx}��uL�¡uL�x�v}�L�<�y�Muwvy�������Yx���{£t��Ox�x�{qv��<������x�uÇ��uL��{$uLx}�<{qv��yt®�L|&{?��uÇx��®�Ox�x}��{T|q���L���y{q�� �{q|&uw��{������{q�Lv��¤�Y��{qt��Lv}�L <��{L�

��u[§�{&�L{qv&�gx������&�0 �����x}�y{q�¤�¿�S������uLx¸�w{&vy�n�4x�x}v��L|&x����L{£�Muwv¸x±§�u�v�{q�L��uL���q�+� ��{T·®v��³xvy{2�L�yuw����� x}�®�Oxq��x}�����¯�®�L���L{T�Y{&x���u:��§�uws����� �{�|quw�Yt�s<x}�Ox}��uw�®�L�����Y�w{qv³��{IÌBtS{&�����¤�w{O�r:s�t�t�uw��{ +�� 1����B��°À� §�{ǧ-�L��x£x�u�·®���¡�������y|qvy���Y���®�L��x��Ms���|Ix}��uw�¬x��®�Ox?���£��'�����<{q�wvy{q{«t�uw���:��uL�����L�(���¢x}�����Ç�yt®�L|q{O� x}��{&��(x}u�s<��{�x���{«�L �u6�w{«����{2�B�-§-{��®�2�w{�x�u{&��t<��u6�n� �¬�Ms���|Ix}��uL�Q§¯�<uw��{Yv}�L�<�w{���t®�L|&{Y§�uws����¬���6�L{��<���Y{q���y��uw�nuL�µx}�<{�uwvy��{qvuO� �����JS-uw��t<s<x}�����n�L���µx���{ ���±��|&uw��t<s<x}�����«���<��{qv?t<v�u:��s�|&x��������ys�|��¨�«�����w�c���¤��Y{q�<����uL�®�L�`��t®�O|q{Ç{Ix}|O��§�uws������L���µ �{Y|quw�Yt�s<x}�Ox}��uw�®�L�����«{�ÌBtS{&�����¤�w{L��� ��{Ç�y{q|&uw���vy{2�L�yuw��§¯���cx������?�Y{&x���u:�����T��uLx��Oxyx}v��L|&x����w{����£x��®�Oxq��x}��{���{2�Lvy��x?���:tS{&v�t����L��{����x���{$�����w��������{&������uw�®�L��yt®�L|&{T���2���®�2�w{£t�u:uwv �w{q�<{qv}�O����­q�Ox}��uw���L ������¤x}��{&�q�`��u���{2�Lvy������:tS{&v�t����L��{������ �±������{&������uw�®�L�U��t®�L|&{���{q{&���T��{2�Lvy�����<� � !KÃ�t®�Ov}�L�Y{&x�{qv����Mvyuw�x���{Y�w���L{q�����L��t<��{q�&� �¸{&��|q{O��§�{Ç���<uws����¬{IÌBt�{q|&xTx}�®�4xT§�{Ç��{&{q��|&uwv�vy{q�ytSuw�<�������L������Lv��L{qvY�:s<�? S{&viuL�����L��t<��{�t®�Ox�x�{qvy�����L�Çx���{��<���Y{q���y��uw�¨uL�+x}��{���t®�L|&{« �{q|quL��{&����Lv��L{qvq�(�ErB{&{�r:{q|&x���uw�� ��Muwv;�Ms�vyx���{qvµ������|qs<������uw�YuL�0x������`���y��s�{2�I�;� �<{��Oxyx}v��L|&x����w{&��{q�y�uO��r:z+~��Y{&x���uB�<uw��uw�O�Ç���¯x��®�Ox¯�¤x¯�����L ���{�x}uY�L����vy{q�y�� �uLx}��x}�<{q��{Tt�v�uL ���{&��� �����O�{I¦0{&|&x����w{-�Ç�L�<��{qv&��°±�£x������U��s� ��y{q|Ix}��uL�?§-{ {�Ì<t<�¶�L���£��u6§¼§-{(�Lv�{-�L ���{µx}u��L{&x��Ov�uws��<�x���{�t�vyuw ���{q� uL�g|quw�Yt�s<x}�Ox}��uw�®�L�����<{&¥Y|q��{q��|I�Ç{I�w{q��x}�<uws��w�i§�{+{&¦S{q|Ix}���L{q�¤��·®�<���O�uLt<x}���Ç�L�S���Bt�{qvyt��¶�O��{������?�w{qv³�������L���<���Y{q���y��uw�®�O�0��t��L|q{$���ix������¯���L����{&vq�

à �

Page 16: Department of Computer Science - University of …ceick/DM/Sastry_svm_notes.pdfv {q L {&vq Z ¯ x ¬ u ® L| ÆC wvyuws ¬ nx} < $ Lv {q < Zx}u Yt {q Y{q x x}

PU���ws�vy{ %B´�Ë�Ì��O��t���{¸uO�g�£��uw�:�±��{&t®�Lv��L ���{��®�Ox}�£��{Ix(���+� � ´�x}��{�� Q+�¹t�vyuw ���{q��� ���x�v}�L�<�y�Muwvy�������?x}��{�t®�4x�x}{&v����¯���Cx�u�� �2��§�{��w{&x�������{q�Lv(��{&t®�Lv��L �������x±�L�

� {�|2�L�nuL <x��L���«x}��{£uwt<x}���Ç�O�U���:tS{&v�t����L��{?�Muwv�x}��{?x�v}�L�<�y�Muwvy��{&�«x}v}�O���������Ç�y{&x2�� �����?�����M�"� ���Ã�������� ��?#C�® C���yuw���:���<���¿Ã � �-§¯��x�� +��Uv�{&t��¶�L|&{q�� C� ���À�-� �Cs���x���{T�<{&§uLt<x}������­2�Ox���uw��t�v�uw <��{q� �V����x���{���s®�L��MuLv��?s����Ox}��uw� ����u6§ ���&´

���4Ì � �8�Z�� !"�$# ;

� � � Ã& !"� � � # ;

� ��� � ��� � � � � � ���s� CÍy{q|&x�x}u � �',/.�� � �

!"�$# ;

� � ��� . �T& &w�

� {���uLx}{ x��®�Ox`§-{�|quLs����Y�®�2�w{¸s���{&��x}�<{��Muwvy�?s����Ox}��uw�?uL�ZrB{q|Ix}��uL� &B� H �L����x}��{&��x}�<{uL�������<��¦S{qv�{&��|q{+x�u«� & &w�-��� x��®�Ox¯x}��{���uL����{q�w�Ox}�¤�B�¤x±��|quL���yx�v}�L���Cx�uw� � �����¯vy{qt����L|q{&� �� . � � � � � �M��{q{¢�¿Ã ���i��� �-{q|q�Ls���{nuO�$x���{«�V�L|Ixix}�®�4xix}��{¡�Mx}v��L���³�Muwv��Y{q� �t��Ox�x�{qv��i�L{q|Ix}uwvy�¸�Ot�tS{q�Lv(uw�<�����L�¯�L��������{qv-t�v�u:��s�|Ix ���Çx���{+uw :Íy{&|&x����w{��Ms<��|&x���uw��B��xx�s�v��<�-uws<x��@�O�-{IÌBt����L���<{q�Ç �{q��u6§¸��x��®�Ox-§�{�|q�L�i�yuw���L{��T& &w��§¯�¤x}��uLs<x-{I�w{&v({IÌBt�����|q�¤x}�¤�|q�L��|&s��¶�4x}���<� ���±�� {I·®��{����Ms���|Ix}��uL���½´ � ��� � � � � ����¼� +�� ��+ � �� ��� +��M� �U� + � �I�U� �����;§¯�����

 �{�|2�L����{&�Q��ÆO{qv��<{q���Ms���|Ix}��uL���°À��§�{����6�L{Ç����s<��x��O ���{?ÆO{qvy��{q�`�Ms���|Ix}��uL�Â�����|�������£s�|��T��{q�y��{�ÌBtS{&�����¤�w{�x�u¯|quw�Yt�s<x�{`x��®�L� ��� +��V� �U� + � ���0x���{q��§-{`��{&{q�T��uLx�{IÌBt�����|q�¤x}�¤�|q�L��|&s��¶�4x}{ ���C �{q|q�Ls���{�§�{`|2�L����s< ��yx���x}sBx}{��¼� +��?��+ � � �Muwv � � � � ���Y�T& &w���g� �����Z���2����uLx�Ot�tS{q�Lv¯x}uÇ �{£�y���w�<��·®|q�L��x¸ �{q|q�Ls��y{£x}��{ �#"�uL�;x}�<{£uwt<x������L����:tS{&v�t����L��{Tuw <x��O����{&� �����uL���:�������T& &L��§¯������ �{Ç���c��t��L|q{ �4��u6§-{I�w{qv&��§-{���u«��uLxT��{&{q��x}u�{IÌBt�����|q�¤x}�¤�

Ã6%

Page 17: Department of Computer Science - University of …ceick/DM/Sastry_svm_notes.pdfv {q L {&vq Z ¯ x ¬ u ® L| ÆC wvyuws ¬ nx} < $ Lv {q < Zx}u Yt {q Y{q x x}

�@�w�

�V  �PU���ws�vy{ � ´ �¸��uLx���{qv?{�Ì<�L��t<��{ÇuO� x}v}�O���y�Muwvy��������x���{it®�4x�x}{&v����T�Muwv£�w{Ix�x������������<{2�Lv�y{qt®�Ov}�L ������¤x±�w�U���Lv³x��V�������<u[§¯�`x}�<{����Ox��Y�V����� � ��§¯��{&v�{¯uw��{¯|&�¶�L�y�µ���������y����{(�$|&��v�|&��{�O���¡�L��uOx}��{&vT���TuwsBx}������{L� � {Ç��{&{q�¼���Cs®�O��v}�Ox���|��Ms���|Ix}��uL�¬x}u���{qt��Lv}�Ox�{�x���{�x±§�u|&�¶�L�y��{&�q���U�Lvyx �V  �g����u6§¯�`���ys���x}�L ����+x�v}�L�<�y�Muwvy��{&�?�®�Ox}�¸x}�®�4x;����������{2�Ov������y{qt®�Ov}�L ���{L�

à �

Page 18: Department of Computer Science - University of …ceick/DM/Sastry_svm_notes.pdfv {q L {&vq Z ¯ x ¬ u ® L| ÆC wvyuws ¬ nx} < $ Lv {q < Zx}u Yt {q Y{q x x}

ÆC��u6§ �#"�{q�¤x}��{&vq��� ��{£vy{q���Lv�Æ4�L ���{$�M{q�Ox}s<v�{£uO�;x}��{?r:z�~���{Ix}��u:������x��®�Ox� ���x}�<{s<��{£uO�;ÆL{&v���{&�U�Ms��<|&x}��uw���¯§-{T|2�L��|quw�Yt���{&x}{&�����2�Luw����x}��{$��{q{&���Muwv §�uwv�ÆC���<�Ç����x}�<{v��L���w{+�yt®�L|&{TuL� ���

�¸�¸§�{£�®�2�w{T��{&{q���x}��{$uwt<x������L����:tS{&v�t����L��{£������������{2�Ov |quw�? <���®�Ox���uw��uL����s�t:�t�uwv³x?�w{&|&x}uLv��q�¬ªZ{&x � ��´ � "� � .�#���{q��uOx}{ix}�<{���������|q{&�£uL���yx�v���|&x}�¤��tSuw�y��x����w{ªg�L�Lv}�L���L{��?s��¤x}��t�����{qv��&�º� ��{q�º§�{«�®�2�w{�� "� ����� �1"� ��� ���E� �¸u6§ x}uc·����Âx}�<{|&�¶�L�y���¤·®|2�Ox���uw�ºuO�?�L��� ��{I§ t®�4x�x}{&v�� �w{&|&x}uLvq� +g��§�{¬�<{q{q�¹x}u¼|2�O��|qs<�¶�Ox�{��;� +S�%�U� +S� �#" ! � "! �1"� �����U� +��î� ��� +S�B! � "2� � {�ÆC��u6§�x��®�Ox!� "! � � � ��� + � � �#"q��MuLv ��uw�Y{ � ��s<|���x}���Ox$. � �1"� � �Y��� �Cs��¯§�{T|q�L��|q�L��|&s��¶�4x}{��;� +S� �L�

�;� +S�� "��� �

� "� ��� �¼� +�� ��+S� ! � � � "�����

� "� ��� �¼� +��?� + � � � �T& H �

� �<{T|&�¶�L�y����·�|2�Ox���uw��uL� +«§�uws����� �{�!?Ã$�����;� +S� � .Y�L������x¯§¯�����0 �{ � Ã$uLx}��{&vy§¯����{L���{q��|&{L���O���L§�{-��{&{q�£�MuLv���{2�Lvy�����<�¯x���{µ��uw��������{q�Lv�r:z�~ ���Zx}u���uL���w{`x}�<{�uwtBx}���Y��­q�Ox}��uw�t<v�uw ���{q� �w���L{q�� ����T& &L�µ§¯��x�� � � � � ��s� <�yx}�¤x}s<x�{q�� �� �¼� +�� � + � �����V°Àx¯���2�i �{+��uLx}{&�x��®�Ox¯x}�<{TuwtBx}���Y��­q�Ox}��uw�i����� & &w�(���¯u6�w{&v#� ! ��vyv�{q�ytS{&|&x����w{$uL�Ux}��{$�����Y{q�<����uL��uL� �I�Q���|&{�§�{Çuw Bx��L����x���{ÇuwtBx}�����L��ªg�L�Lv}�L���L{��?s<��x}��t�����{qvy�q� �1"� � �# Ã�����������±�U§�{Ç|q�L�|&uw�Yt���{Ix}{q�¤����t�{q|q�¤�î�«x}�<{Yr:z�~  ���x���{���uw��­&{qv�u�ªg�L�wv��L���w{£�?s���x���t�����{&v��¸�L���«x}�<{q��v|&uwv�vy{q�ytSuw�<�������¯x}v��L���<����� t®�4x�x}{&v��&��*+���w{&�$x������&�6§-{µ|2�L�$��{&|q���<{�uw��x}�<{µ|&�¶�L�y���¤·®|2�Ox���uw�uO�µ�L�����<{&§ t®�Oxyx}{qvy�ns��������Q� & H �I��� �Cs��q�0 C��x}�<{?s���{£uL�`ÆL{&v���{&�U�Ms���|Ix}��uw���¸§�{?|q�L�{I¦0{&|&x����w{&����·®�<��x}�<{T�y{qt®�Lv��Ox}�����Y�C�:t�{qvyt��¶�L�<{T����x���{$�����w��������{&������uw�®�L� �M§¯����|�����+x}��{�v}�O���w{���t®�O|q{ÇuO���S��§¯�¤x}��uLs<x$�®�2�B������x}u�|quw�Yt�s<x�{�{&��x���{qv���� �U� +��V��uwv��§¯�<��|����Lv�{���� �`� ����� §-uws<������{q�L��x}�®�4x |2�O��{I�w{q�� S{����<·®���¤x}{+������{&������uw�®�L���

��u[§K��uY§�{$|���uBuL��{$ÆL{qvy��{q�g�Ms���|Ix}��uw���)�� �<{$�Ms��<|&x}��uw� �¼�657�85Ä�-���<uws����� �{$�ys�|��x��®�Ox�x���{qvy{����Y�n�L{q|Ix}uwv���t��L|q{ �L�<�¨� � ´ � � � �ys�|��¨x��®�Ox �¼� +��?��+ � � �U� +��î� ��� + � ��� � ������t���{�{IÌ<�L�Yt���{T��� �¼� +�� ��+ � �� � + � + � � � ��rBs�t�t�uw��{ �%�&B� � {|q�L��|���uBuL��{ � � �L����� �´1��� � � � �L� �U���%��I�! Á�� �� &� � � �}Å � �¸u6§��{&x�� Á� ; � Å ¹�L�<��� Á � ; � � Å º �{�x±§-u��w{q|Ix}uwvy�Ç���$� � �Â� �<{q�§�{����6�L{�U����� �U���T� � � ; � �; !2&� ; � � ; � � !� �

�� �� ���� ��£� � �¼��� ���£��� °ÀxÇ����{q�L�y�

x�u«��{&{Çx}���Ox£�Muwv£���w�¤�w{q�cÆL{qvy��{q���Ms���|&x���uw�c��{q�¤x}��{&vTx}�<{i|���uw��|q{ÇuO� ��uwvTx��®�Ox£uL��Â����s������Cs�{O�¼°±�¢x�������{�Ì��O��t���{L�`§-{�|quLs����¼�®�2�w{�s��y{q� � ´ ��� � � � �L���w{&�¨ ���U���%��I� �Á�� � � ��� � � � Å �� �¸u6§�{&�L{qvq�B§-{���{q{&��x���{¸�yt®�L|&{ x}u$ S{¯{q�<��u6§-{&�ǧ¯��x���O��������{&v�t<v�u:��s�|&xq�

� ��{Y��{&|q{q�y�}�Lv³���L������s<¥Y|&��{q��x$|quL������x���uw�«�MuLv���ÆO{qvy��{q���Ms���|Ix}��uw�nx}u��®�2�w{�x}�<{vy{q�Cs���v�{q��t�vyuwtS{&vyx±����� �w���L{q�� ���x}��{���u�|q�L����{q��~�{qvy|q{&vqÊê��x���{quwvy{q���

� ��� ������� �����%����� � ��´ *��¤�w{q�Ç�T�Ms���|Ix}��uw� ��´ ��� � ��� � ���:x���{qvy{�{IÌC�

��

Page 19: Department of Computer Science - University of …ceick/DM/Sastry_svm_notes.pdfv {q L {&vq Z ¯ x ¬ u ® L| ÆC wvyuws ¬ nx} < $ Lv {q < Zx}u Yt {q Y{q x x}

���yx��g�(�Ç�Ot�t����<� �?�L���$�L�+{�Ì<t��L������uw� �¼� + ; ��+ � � ��� + ; � ��� + � �0���B�L���uw�����¸���C�MuwvZ{I�w{&vy��v�{q�L�L�O�L��s�{q�+�Ms���|Ix}��uw� &�uw� � � §¯��x���� &0� +S� ��� + � � �§-{��®�2�w{ �

�¼� + ; ��+ � � &0� + ; �'&0� + � ��� + ; � + � ,/./�

� {�|q�L�i{2�O�����¤�?�w{&v��¤�î�Yx��®�Oxµx}������|&uw�����¤x}��uw���������Ox}���y·®{&�i ���x}��{¸ÆL{qvy��{q���Ms���|Ix}��uL��¼� � ���£� �� �� �T� �+§¯��{&v�{ � Á� ; ����� � Å 21����B� � �Á�� ; ����� � � Å 21����?�L�<��'���¯��tSuw�y��x����w{+����x}{q�L{qvq� � {���{q{&��x�uY�y��u6§Kx}���Ox�

� �"�$# ;

�� ���î� � &� ��� &0���T��� ��� � ,/. �T&� C�

� �<{�x±�:t���|q�L�¸x�{qv�� ���Âx}��{��?s��¤x}���<uw�����L�({�Ì<t��L������uw�»uL��� �� � �M� �n|quw��x}vy�� �sBx}{q�i�x�{qvy�²uL��x}��{+�Muwvy�

' �� ; � � � �������2� ' � � ; � ������ �� ��; ��� ����� ����; ����� ����� &0�����B&0���$������� �

x�u�x}��{$ª:��r�uL�(�T&� C����� ����� x�{qv�� �V�L|&x�uwv�����{q�¯�O�' �� ; � � � �������2� ' � � ; � �����Ü��� �

� �; �� ����� &0������� ��� � ,/.

P®v�uL� x���{��O Su6�w{O�T�¤x�����|&��{q�Lv�x��®�Ox«�L��� ÆO{qvy��{q�TuL��x}��{��Muwv�� �¼� + ; ��+ � � ���#�� �

�� + ; + � � �+§¯��{&v�{ � � ,/.��Lvy{�v�{q�L�|&uB{I¥�|&��{&�Cx��¯�L����x}�<{+��{qvy��{&� ���(s��<���Muwvy���¤�

|&uw���w{&v��w{&�Cxq�S���Ox}���y·®{&� x}��{T~�{&v�|q{&vqÊê��|&uw�����¤x}��uL���� ��t�{q|&�¶�L�Z|q�L��{�uL��x}�<���¯������ + ; ��+ � ����³Ã ! + ; + � � � à !�'�� + ; + � � ! ����� ! � + ; + � � � � �T& � �

� �<�������¯uw��{$uL��x���{$�yx��O���®�Lvy��ÆL{&v���{&����s���{&�n�L�������¯|2�O����{&��x}��{$tSuL���:��uw�Y�¶�L�SÆL{&v���{&�§¯�¤x}����{q�Lv�{q{ 'Z�Ç� �<���$v�{q�ys���x��T��������uw�<�����<{2�Lv$r:z+~ x��®�Ox$v�{&t�v�{&��{q��x��?��{&t®�Lv}�4x}���<��ys�vy�V�O|q{��w���L{q�� �����t�uw�¤�B�<uw�����L��uL���<{q�wvy{q{�'�����x}��{�uwvy���w���®�L��t®�Ox�x�{qvy���yt®�L|q{O�

�¸��uLx}�<{qv�ÆL{qvy��{q��x}���Ox�����t�uwt�s����Lv����¹�Lt�t�����|q�Ox}��uw���i����x���{ *$�Os����y�¶�L�¹ÆL{&v���{&��<{&·®��{&�� ��

����� + ; ��+ � � ¹{�Ì<t�� � � + ; � + � � �� + ; � + � �&�� � � � �T&�%��

�µ��§¯v��¤x}���<�«{IÌBt�Á � � + ; � + � � �� + ; � + � �±Å {IÌBt�Á � + ; + ; Å�{IÌBt�Á � + � + � Å�{�ÌBt�ÁO&�+ ; + � Å�O����x���{q��s��������Y{IÌBt�ÁO& + ; + � Å ���#�� �T& + ; + � � � �&' �¤��§�{£|2�O��{q�L���������y��u6§Kx}�®�4x�x������ÆO{qvy��{q���L����u��}�Ox����³·®{q� x}�<{£~�{qv�|&{qv�|quw�<����x���uw��

��

Page 20: Department of Computer Science - University of …ceick/DM/Sastry_svm_notes.pdfv {q L {&vq Z ¯ x ¬ u ® L| ÆC wvyuws ¬ nx} < $ Lv {q < Zx}u Yt {q Y{q x x}

� ��uw�<�����<{2�LvYr:z+~ §¯�¤x}�¢� *��Ls��y�����L�¨ÆO{qvy��{q�¯v�{&��s��¤x}�Y���¢�Q|q�¶�O�����¤·®{qv?x��®�OxY����³x}vys�|&x�s�v}�L�����Q{&�:s<���O�L��{&��xTx�u«�����L�����L� �(�L�y��� P®s���|&x���uw�»�@� �)P��+��{&x±§�uwvyÆ�����u«��{&{x������&��v�{&|2�L���0x}���Ox §¯��x�������uL��������{2�Lv r:z�~¬��x���{�|q���L���y��·®|q�Ox}��uw��uL�����<{&§ t®�4x�x}{&v�������<{&x}{&v��Y����{&�c ���x}��{������L�cuL� ��� +S�$�L���w{&�� ��Â�T& H ��� � ��x}�c��*��Ls��y���¶�O�cÆL{&v���{&�-§�{���6�L{

��� +S� "�����

� � ����{IÌBt�� ��� +�� � +��� �&�� � � ! � �T& � �

§¯�<{qv�{0+��U�Lv�{�x���{���s�t<tSuwv³x¯�w{q|Ix}uwvy�q�µ°Àx���� {2�O�����¤�i�y{q{q��x}���Ox �;� +S�-�w�¤�w{&�� ���� & � �-���x���{�uwsBx}t�s<x-uL��� �)Pc��{Ix±§-uwvyÆÇ�®�2�:���<� *$�Os����y�¶�L�i ��L�������Ms���|Ix}��uw���-§¯�¤x}�i|&{q��x}{&v��-+��±�§¯���<x}�<���¢�L�<�Qx���{�§-{&���w��x��$����x}u�x}��{�������{q�Lv�uwsBx}t�s<x$��{&s�v�uL�� �{q�����'� � ���µ�L���nx}�<{ <�¶�L�¸uL��x}��{�uLs<x}t�sBx+��{qs<v�uw�n �{q����� �6� � ��x��Q�L�n� �)PÂ��{Ix±§-uwvyÆ ����{2�Lvy�����<�Ç|q{&��x}{qvy����$���L{qvy�����¤¥Y|qs��¤xTt<v�uw ���{q����� ��{�r:z+~ �Y{&x���uB��uL¦S{qvy�£�L��{q��{q���O�Cx$�yuw��s<x���uw�nx�ux������¯�O����x���{�|q{&�Cx�{qvy��x�s�v���uws<x x�u� �{�x}��{��ys�t�t�uwvyx¯�w{&|&x�uwv��&�

��u[§ §�{�|2�L�¡�ys�� s�t�x���{i|quL��t���{&x�{�r:z�~ �Y{&x���uB���L�£�Muw����u6§¯�q�%*+���L{q��x}�<{x�v}�L�������<�¬�y{&x�uL��t��Ox�x�{qv��<� � � +��)�����¶��� � à ������� �?#C� §�{«��{q{&�»x}u��yuw���L{�x}�<{�uwt<x��¤��Y��­q�Ox}��uw�Yt�v�uw <��{q� ��t�{q|&��·®{&�� C�n�T& &L�`§¯��x�� �� � � � vy{qt����L|q{&�� �� �¼� +��?��+ � ���Muwv(�yuw��{�ys���x}�L ���{?ÆL{&v���{&�;�Ms���|&x���uw�0� ���îx}{qv�uw <x��O��������� � "� � ���à �������8���¿�x���{Yr:z+~ ����|quL���t<��{&x�{q�¤�i��t�{q|&��·®{&�� ���x���{���uw��­&{qv�u�ªg�L�wv��L���w{+�?s<��x}��t�����{qvy�-�L�<��x���{�|quwvyv�{q�ytSuL�������<�x�v}�L�������<��t®�4x�x}{&v����&� *��¤�w{&�Q�L������{I§ t®�Ox�x�{qvy�2+g���x���|q���L���y��·®|q�Ox}��uw��������{Ix}{&v��Y����{&� ���x}��{Ç�����L��uL� �;� +S�T�w���L{q�¡ ��»�T& H ���«°À�¿��§¯�¤x}�cx���{i|���uw�y{q�¼ÆL{&v���{&�(�Ms���|Ix}��uL���§�{�Ov�{£�<uLx��ys�v�{�uL�`t�{qv³�M{q|Ix+��{&t®�Lv}�4x}��uL��{&�L{q�Q����x}��{?�<{&§ �����L�«�����Y{q�<����uL�®�L��M{2�4x}s�vy{�yt®�L|&{L�Sx���{q��§-{T|2�L��s���{$x}��{�x}{&|��������Cs�{£uL�`rB{&|&x���uw��&B� H §¯��x��«����s��¤x��L ���{�tS{&�®�L����­I�������|quw�<�yx��O�Cx ����� ��{Tuw���¤�i���¤¦0{&v�{q�<|q{$����x}��{$uwt<x����Y��­q�Ox}��uw�it�vyuw ���{&�²���(x��®�Ox¯x}�<{ �uws��<��|quw���³x}v��L����x}�-uw� � �§�uws����i��u6§  S{ . � � ��� ���;°Àx ���-{2�O�y�Çx�u?��{&{�x}�®�4x-x}�<{uLt<x}���Ç�L����x±��|&uw�����¤x}��uL��� �w���L{q�� ����T&BÃ6�(�Lv�{�{IÌBt�vy{q�y���� <��{�����x}{&v��Y�¯uL� ��� +��M���

� ����� � �h�p�� p�� �$h�pqkYf ��j�k���� ���

ªZ{q�Lv����������L�Âr:z�~ �����wuL���w{&�Yx���{��Muw����u6§¯������� � {��Lvy{��w���L{q�¨�Qx�v}�L���������n���L�Yt���{� � +��?�����M�"� � Ã�����������?#C� � {���{&{q�Çx�u$·®�<� � ���Muwv`��uw�¤�B������x}��{¯�Muw����u6§¯������uwt<x����Y��­q�4�x���uw��t<v�uw ���{q���

�Ç�[Ì � �8�g�� !"�$# ;

� � � Ã& !"� � � # ;

� ��� � ��� � � �¼� +�� ��+ � ���s� :Íy{&|&x�x}u . � � ��� �0� � à �������8�� �

& .

Page 21: Department of Computer Science - University of …ceick/DM/Sastry_svm_notes.pdfv {q L {&vq Z ¯ x ¬ u ® L| ÆC wvyuws ¬ nx} < $ Lv {q < Zx}u Yt {q Y{q x x}

!"�$# ;

� � ��� . �T& ���

� �<{$|&uw�����¤x}��uw���(�Muwv uwtBx}�����L����x±���Muwv(x}�<{T�O Su6�w{�t�vyuw ���{q��|q�L�� S{��yx}�Ox}{&���O�� � . � ��� �;� +��M�-, Ã

. � � � � � � ��� �;� +��M� � � � � ��� �;� +��M� � à �T& ���

§¯�<{qv�{ �;� +S�-��� �w�¤�w{q�� ���;� +S� "

������ � ��� �¼� +�� ��+S� ! � � � H .��

��{qvy{L� � ��´ � ��� .�#£�L��� ����� �w�¤�w{&�� ������ � � "

������ � ��� �¼� +�� ��+ � � � H Ã[�

�MuLvY�yuw�Y{ � �ys�|��»x}�®�4x�.� � � � ����Q�s�vYuwt<x}������­2�Ox���uw�ct�v�uw <��{q� ����u6�L{qv+� !§¯�<{qv�{!�g���µx}��{��:s<�? S{&v uL�Zx}v��L���<�����T{IÌ<�L�Yt���{&�q��Ë`�L|���ªg�L�wv��L���w{¸�?s���x���t�����{&vq� � �E�<����O����u:|q���Ox}{&��§¯��x��«�L��{IÌ<�L�Yt���{O�;� +�� �����¶�I��� ��{?�³x}vys�|&x�s�v�{?uO��x}��{Tuwt<x}���Ç�O����x±�Ç|quw�<���¤�x���uw�<���w���L{q�Q ��¢�T& ���¸���+�ys�|��Qx}�®�Ox+§�{�|2�L�nx}�L��Æ��L �uws<x+���¤¦0{&v�{&�Cx � �¸�Vuwv+���¤¦0{&v�{&�Cx{�Ì<�L��t<��{q�}���:��uw���Ox}�����?uwt<x������L���¤x±�Y|quw���<��x}��uw���&�

� ��{¸t�v�uL ���{&� ��t�{q|q�¤·®{q�� ��«� & ���;���µ�$�:s��L��v}�4x}��|¯t�vyuw�wv��L���Y���<�Y���+�µ�`t�vyuw ���{q�§¯�¤x}�Q �uws�����|quw�<�yx}v��L����x��$uL�Q�O�Lvy�¶�L <��{q���L����uw��{�{q�Cs®�L����x±��|quw���³x}v��L����x2�R��u6§-{I�w{qv&�s<�����<�i�L�����yx}�L���®�Ov����+�Âx}{&|��������:s<{£����v�{q|Ix}�¤���Ç�2�� �{T����{&¥Y|&��{q��xq� � ��{£uw CÍy{q|&x����L{�Ms<��|&x���uw�¹uL�i�T& ���i��� � �8�Z�% � �� � ;

�� �� � §¯��{&v�{ � ���i�L{q|&x�uwv«�O����uL�T§¯��uw�y{

|&uw�YtSuw�<{q��x}��{&�:s��L�?ÃQ�L��� � ����� � � �$�Ç�4x}v��ð̼§¯��x�� ����� � � ���¬{&��{&��{&�Cx � � � ��� � � �¼� +��?��+ � �I��rB���<|q{ �����¸�w{q�<{qv}�O���������Lv��L{L��{&�w{&�Q{&�O�L��s��Ox}�����Yx���{?�Cs®�L�<v}�Ox���|T�MuLv���4x {2�L|�����x�{qv��Ox}��uw�Ç���2�i �{+{IÌBtS{&�����¤�w{O��� ��{&v�{$�Lvy{���uw�Y{+{&¥Y|&��{q��x §-�2�B��uL����uL���:�����x��������+�Ât<v�uw ���{q� x}�®�Ox�{�Ì<t<��uw�¤x(x}��{��ytS{&|q�¶�O�Z|��®�Lv}�O|&x}{&v����yx}��|q�¯uL��x}����� t�v�uL ���{&���

� (+* � /��0/#;)5GE 3 M � E+;�E N 3 M�� 5GE+N�E� B365KE AH;� �<{ �Ç�L���£����{2��uO��x���{¯r:z+~²��{Ix}��u:�?����x}�®�4x;§¯������{�x���{(�Cs��? �{qv�uL� {�Ì<�L��t<��{q���Ç�2� �{(���Lv��w{O�Lx}�<{ �:s<�? S{&v�uL� ��s<t�tSuLvyx��w{&|&x�uwv���§�uws����� �{ �����L���E�g� �Cs���§-{ {�Ì<t�{q|Ix`x}�®�Oxx���{�uwt<x}���Ç�O���L�O��s�{¯uL�g���¶�Ov��w{¯�Cs��? �{qv�uL��� ��§�uws����� S{�­q{&v�u���� �<{��+��t�v�uL ���{&� uL�rCz�~ ���C�Luw���L{q�`x}��{¸�Cs®�L��v��Ox}��|��Muwvy�©uL�g�$�Ç�4x}v��ðÌ?§¯�¤x}�+� � {&��{&��{&�Cx��q� ��u6§-{I�w{qv&�<x}�<{

&:Ã

Page 22: Department of Computer Science - University of …ceick/DM/Sastry_svm_notes.pdfv {q L {&vq Z ¯ x ¬ u ® L| ÆC wvyuws ¬ nx} < $ Lv {q < Zx}u Yt {q Y{q x x}

�Cs®�O��v}�Ox���|?�Muwvy� ���+s<��|��®�L���L{q���¤�µ§�{Yv�{q�Yu6�w{Yv�u6§¯�T�L���Q|quw��s��Y����uL��x���{��Ç�4x}v��ðÌ� x}�®�4x�|quLv�v�{&��t�uw���«x�ui­q{&v�u�ªg�L�wv��L���w{T�?s��¤x}��t<����{&v��&� � �����¸�w���L{q��vy���y{Tx}u�x}��{T����{q�uO�(ÈÉ|��Cs��<Æ:������ʤ�0S-�Cs��<Æ:�����i ®�O��{q�Q�O���wuwvy��x������-��uw�¤�w{?�Y��{&v���{&��uL� ���º�ys� �t�vyuw ���{&����O���MuL����u6§¯�&� �(xY{2�O|��»��x�{qv}�4x}��uL��§-{���uw�¤�w{�� �+�©�ys� �t�vyuw ���{&� x}�®�4x�����|q��s���{&���O����<uw��­q{&v�uYªg�L�wv��L���w{¸�?s���x���t�����{&v��`uL�gx}��{�t�v�{I�B��uws�� �¤x}{qv��Ox}��uw�Çt<��s��(�yuw�Y{ � ��uwvy{ � �x��®�Ox�|quwvyv�{&��t�uw����x�uTx���{$Èê§�uwv��³x2ÊC�B��uw�¶�4x}uwvy��uL�0x���{�uwtBx}�����L����x±�$|quw�<����x���uw���¸� & ���I���Muwv�yuw�Y{�·<ÌB{q� � � �V°À� x}��{&v�{ �Ov�{��M{I§-{&v;x}�®�O� � �B��uw�¶�4x}uwvy�q�w�O���CuL�®x}�<{q� �Lv�{(����|q��s���{&� �I�� �<{(����­q{-uO��x}��{&��{ �+�n��s< �t�v�uL ���{&���U�Ç�2�$ SuOx}�?�wvyu6§¢�L���?�y��v�����Æ$�L�Ux���{-�¤x}{qv��Ox}��uw���t<v�u:|q{q{&�¢�L���¡���¬x}��{i���L�yx£��x�{qv}�4x}��uL�¬x}�<{i����­q{iuL�¯x���{ �+� �ys� �t�vyuw ���{q�½§�uws����¡ S{���L�Y{T�O��x���{£�Cs��? �{qv�uL����s�t�t�uwv³x¸�L{q|&x�uwv��&�¯Ë;�w{q�n|��Cs��<Æ:�����Ç���2�������wuL���w{$��uL���:��������Lv��L{ �+�¡t�v�uL ���{&���µ������uw�Y{��¤x}{qv��Ox}��uw���&�6� �Ms<vyx}�<{qv(�y���Yt����¤·®|2�Ox���uw�����-t�uw���y�� ���{¸ ��|��<uBuw�y�����i��·<ÌB{q�n�y��­q{T�Muwv�{q�L|��n��s� <t�v�uw <��{q���0��{qvy{��Ox�{q�L|��n��x�{qv��Ox}��uw��§�{?��{&��{&|&x2����2�w� � �VuLv��M{&§�{qv��+�Cs��? �{qv�uL� � ���Muwv+uwt<x����Y��­q�Ox}��uw�« ®�L�y{q�¬uw�n§¯����|�� � ���:��uw���Ox}{� & �����+Ë`�L|��nuL��x}�<{?��s� <t�v�uw <��{q�Y��§�uws����n S{T��uw�¤�w{q�Qs��y�����i�Ç�yx}�L���®�Lvy�n�Cs���{&v���|2�L��Y{&x���u:� �MuLv �����)������uw���¼�L�&���Ox�{q�L|�� �¤x}{qv��Ox}��uw�§�{¬����|q��s���{n�4x���{2�O�yx�uw��{ � �x��®�Ox��B��uw�¶�4x}{q���T& �w�I�B�L����{2�O|����³x}{&t����Yt�v�u6�w{&�-x}�<{�u6�w{qv��L���Suw :Íy{&|&x}�¤�w{��Ms<��|&x���uw���L�<����L���Cx}�L���<��x}��{��M{2�L�y�� ������¤x±��uL�(�L���� �-�4x£�O������x�{qv��Ox}��uw���q�x������$t�vyuB|&{q���$uL� �yuw���:��������y{qvy��{q�¯uL� �+�Â��s< �t�v�uL ���{&��� §¯�����0|&uw���w{qvy�w{�x}u�x}��{�uwt<x������L����uw��s<x}��uw��

rB{&�Cs�{q��x}���L� �����������L�:uwt<x����Y��­2�4x}��uL���Er�~ Q$�;���`��x�{q|��������Cs�{� ®�O��{q��uw��x}����������{q�uO����uw�¤�:�����Ç����{&v���{q��uO�;·<ÌB{q�n�y��­q{ �+� �ys� �t�vyuw ���{q�Y�q� �¸{&v�{?{q�L|����+�º��s� �t<v�uw ���{q������wuw�¤�w{q�Çuw�����¢x±§�u��L�Ov��¶�O ���{&�q�K� �����i���Yx}��{������L����{q�yxÇ����­q{��MuwvYx}��{���s� �t<v�uw ���{q� �{q|q�Ls��y{�§�{���{q{&��x}u��Ç�O����x��L����x���{+u6�w{qv��L���S�M{2�L�y�� �������x±��uO���O��� � �g�Ox¯{2�O|����³x}{&t��L�<�x���{4� �<���6�L{�x�u¸���Ox}���y�î�$�L�${q�Cs®�L����x±��|&uw���yx�v}�L����x2��rB����|&{-�¯x±§-u��O�Lv����L ���{ �+�«t�vyuw ���{q�|q�L�? �{-�yuw���L{q���L�®�O���Cx}��|2�L�����w�[�4x�{q�L|�����x�{qv}�4x}��uL�$§�{(|2�O�?s�t��®�Ox}{µx}��{��L�Ov��¶�O ���{&��s<�����<�x���{��L�®�O���Cx}��|2�L�����Q��{&v����L{q�¢{q�Cs®�Ox���uw�<���Vv}�4x}��{&v£x}�®�O�¢s<�����<�¬�«�Cs��Y{qvy��|q�L�-vyuws<x}����{6�§¯�<��|��º���LÆL{&�Çx}��{���{Ix}��u:�¨�L{qvy�¨�V�L�yxq� r�~�Q �L���wuwv��¤x}��� s���{&�i��uw�Y{«��{&s�v����yx���|q�x�u��y{q��{q|&x�x���{Yx±§�u«ªg�L�Lv}�L���L{Y�£s���x���t�����{qvy�¸x�u� �{�uwt<x}������­q{&�Q�Ox${2�L|��¬��x}{&v}�Ox���uw�Q�yux��®�Ox x���{�u[�L{qv��L���uL :Íy{q|Ix}���L{+�Ms���|&x���uw�����(���Yt�v�u6�L{q���L����x}��{��M{q�L���� �������x±�YuL���L��� � �g������L���Cx}�L���<{q��T� ��{�u[�L{qv��L�����O���wuwvy��x����"x}s�vy����uws<x+x}u� �{��w{qv³�n������t<��{£x�u�t<v�uw�wv��L��O������� ��{&{q��x�u� S{+�w{&vy��{I¥�|&��{&�Cx������Ot�t�����|2�Ox���uw�<�q�

Ë`�L|��¡�¤x}{qv��Ox}��uw��uL�(x}�<{�r�~�Q �L���wuwv��¤x}��� |quw��x}�L�����$x±§-un���L���¬|&uw��t<s<x��Ox���uw�<�q´�y{q��{q|&x���uw�YuL��x}��{¯x±§�u£ªg�L�wv��L���w{¯�?s<��x}��t�����{qvy�;�L���Ys�t��®�Ox������+x}�<{q��v��O�L��s�{q�`s��y�����$�L�B��O���Cx}��|2�L�����Y��{qvy���L{q��{&�Cs®�Ox}��uw��� �Muwv¯��uL���:�����Y��x±§-u��O�Lv����L ���{+|quw���³x}v��L����{&� �+�Ât<v�uw B���{q��� � {�·�v��yx$��{&v��¤�w{�x}��{�{�Ì<t<v�{q�y����uw�����Muwv+s�t��®�Ox}�����ix}�<{�x±§�u�|���uw��{&��ªg�L�wv��L���w{�£s���x���t�����{qvy�q���UuÇÆL{q{&tnx}��{���uOx��Ox���uw�������Yt���{L� §-{£§¯������v�{I�M{qv�x�uÇx}��{Tx±§-u�ªg�L�wv��L���w{�£s���x���t�����{qvy����{q��{q|Ix}{q� �MuwviuLt<x}������­2�Ox���uw�¨�L� � ; �L�<� � � ��ªZ{Ix ��� � �¼� +�� ��+ � �I�

& &

Page 23: Department of Computer Science - University of …ceick/DM/Sastry_svm_notes.pdfv {q L {&vq Z ¯ x ¬ u ® L| ÆC wvyuws ¬ nx} < $ Lv {q < Zx}u Yt {q Y{q x x}

�M� ��{?�O�L��s<{q��uO� � � � ��u���uLx+|����L���w{?�<s�v������ix}��{?�L���wuLv���x����"�L�<�n��{q��|&{�x}��{I��|q�L� �{£|&uw�Yt�s<x}{&�« �{&�Muwvy{q�®�L�<�Q�L���«�³x}uwvy{q�� �����yuÇ��uOx}{Tx��®�Ox ��� � � � �î��� � ������{$��{I��y|qvy�� �������x}��{Y�L���wuwv��¤x}�����S§�{�§¯�����;�����³x}�����ws������n �{&x±§�{q{q�¬x}��{�uw���Q�L������{&§©�O�L��s�{q�uO�;ªg�L�wv��L���w{+�£s���x���t�����{qvy�- ���s��y�����Y����s�t�{qvy��|&v���tBx��O�¸�Ot�t�v�uLt�v����Ox}{O�

P®uwv(���L���Cx}�L���<������x}��{+�M{q�L���� �������x±��uL����uL��s<x���uw��C§�{$�<{q{q��x}u�{&����s<v�{ � � ��� .�4xµ�L���<x����Y{q�&���¸{&��|q{¯§�{¸�?s<�yxµ�®�2�w{?�V��uLx�{ x}�®�Ox�§�{¸�Lv�{¯|��®�L�<�w������uw�<��� � ; �L��� � � �

��� ! �; � ; ! ��� ! �� � � � ��� �; � ; ! � ��� ��

� � � � H &w�r:����|&{ � ; ��� � 1 � !�Ã�� � à #C�<§-{$|2�O��vy{&§¯vy��x}{+x���{$�L Su6�L{T�O�

��� ! �; ! � ; � � ��� ! �� � ��� �; ! � ; � � � ��� �� �� �»�}�2�w� � H H ���u��Ç�L����x��L���Q�M{q�L���� �������x±��uL� � �ÀÊê�£�O�îx�{qv�s�t��®�Ox������'� ; � � � �g§-{�����uws<����{q���ys�v�{Yx}�®�Ox� ��� �; � � ��� �

��}�4x}���³�î�º� H H �£�O���¢�L���yu«�}�Ox����³�î� . � � ��� �; � � ��� �

�� ��� � �¤x}�¼�«���¤x�x���{

�O���w{& �v}�<�:x}�����¯���Yt�����{q��x��®�Ox §�{T�y��uws������}�Ox����y�î�� � � ��� �

�� � � �L��� � ��� �; �� � � ; � � � ��� �� � H C�

§¯�<{qv�{ � � � ��n�Lvy{$�L���w{&�� C��´°À��� ; � � � x}��{&�

� �Ç�4Ì0��.9� � � ! �� � � � ! �; �� ������ � � � ! � � ! �� � � � ! �; �� � � ! �; � � � ! �� � H � �

°À��� ; � � x}��{&�� ���4Ì0�.��4� � ! �� ! � � ! �; � �£�� �Y���0� �0� ��� ! �� ! ��� ! �; �� ��� ! �; ! ��� ! �� � H %��

��u6§©uws�v¸x��L�yÆ«����x�ui·®���Q�L�O��s�{&���Muwv � ��� �; � � ��� ���x}�®�4x��}�Ox����y�î�¡� H ���§¯��x�� � � � ��

�L���w{&�� ���� H � ��uwv¸� H %w�I�C��s�|���x}�®�Ox`§�{¸���4ÌB���Y��­&{ � �8�g��§¯��x���vy{q�ytS{&|&xµx}u�x}��{�|���uw�y{q��O�Lvy�¶�L <��{q�&�ir:����|&{L� � � � � H ������� ��(�Lvy{���{&�îx�s��<|��®�L���w{&�� � ���+x}u� S{��:��{&§�{q�c�L�T��Ms<��|&x���uw��uO��x±§�u«�O�Lv����L ���{q�£uL�����L� � ��x}���«����xyx}��{Ç�L <s���{iuO�¸�<uLx��Ox���uw��§-{�s<��{ix}�<{

& H

Page 24: Department of Computer Science - University of …ceick/DM/Sastry_svm_notes.pdfv {q L {&vq Z ¯ x ¬ u ® L| ÆC wvyuws ¬ nx} < $ Lv {q < Zx}u Yt {q Y{q x x}

���L�Y{��y�:�? �uw� � �MuLv(�L�����ys�|����Ms���|Ix}��uL���q� �µ�Ç�y���Yt���{��L���w{q �v��L��|����L����t<s��¶�Ox���uw�<�q�w§�{|q�L��§¯v���x�{ � �L���?�Ms���|Ix}��uL��uL� � ; � � � �L�

� �8� ; � � � � � ; ! � � �Ã& � ; ; � � ; �

Ã& � ��� � �� ��� � ; � � ; � � � � ; � ; � ; � � � � � � � ! (��n� H � �

§¯�<{qv�{ ��� � �¼� +�� ��+ � �I� � �� ; � � � (������¯��x�{qv�� x}�®�Ox¯�<{qt�{q������uw���¤�iuw� � � � � H ������� ��±�-�L�<� � � !� # � � � � � ! �� � � � � � à � &:� ���¹� H C�T§-{��?s��³xY�®�2�w{ � ; � ��� � � � �¸{&��|q{�§�{T|q�L��vy{&§¯vy��x}{ � �O�¯���Ms��<|&x}��uw��uL�Uuw����� � � �L�

� �*� � � �:! � � �¿Ã ��� � �Ã& � ; ; � � ��� � � � � �

Ã& � ��� � �� ��� � ; � � � � � ��� � � �

� � ; � ; � � ��� � � � � � � � � � � ! (�� � H �����u+���4ÌB���Y��­q{ � §¯�¤x}��v�{&��t�{q|Ixµx�u � � §�{��y{&x � � � � � � .+§¯�<��|����w���L{q�¯�Ms�������� � � Ã�O��� � ; � �� � �� �;� � ; ; � � ; � � ! � � ��� ; � � � � !¹Ã ��� � � � � � ; ; ! � ��� � & � ; � �� . � H ���

P®uwvUx}��{ � �Ms<��|&x���uw�?x�u��Ox�x}�L���������4ÌB���?s<���Ox�� � � �}�Ox����y�î�:�����Y� H �w�I�w§�{ �?s��yx`���6�L{x���{���{&|quw������{qvy���O�Ox����w{+�<{q���Ox����L{L�µªZ{&x��� � � � � � � �� �B§¯����|������ �w�¤�w{q�� ���� � � � ; ; ! � ��� � & � ; � �&� �� .��

P®uwv0��u6§��O��{&xZs��g�O����s<��{� � .<� � v��¤x}�������q�Mvyuw�©� H .����� � ! � � +S� � � ! �� � � �¼� +�� � +S��!� � ! � �<§�{T|q�L���y��u6§Kx}���Ox� ; � � � �� � ! � � + ; � � � � ! � � + � �8!�� � ��� ! �� � � ; ; !�� ��� � & � ; � �8!�� ; ��� � � ; � � ; ; � �T�� �Ã[�

P®vyuw� � H ���I���� .��-�L���c�� <Ã[�I�<§�{$��{q{+x��®�Ox � �*� � �(�Oxyx��L�����¯���Ç�[Ì<���?s�� �Ox ���§¯��{qvy{

� � ��� ! �� � � � � � ; � � � �

��� &w�

§¯�<{qv�{���� � � ! � � +��V� � ���� � à � &B� ��u6§ s<�����<�¢�� &w�$�L���¹� H C�I�;§�{i�w{Ix?x}�<{{�ÌBt�v�{&������uw���¯�Muwv � ��� �; � � ��� �

��O�

� ��� ��

� ��� � �, �

� ���� � � �

�� �

� �¤� � �� �

� ��� �; � � ! �; ! � �8� � ! �� � � ��� ��� �� H �

&�

Page 25: Department of Computer Science - University of …ceick/DM/Sastry_svm_notes.pdfv {q L {&vq Z ¯ x ¬ u ® L| ÆC wvyuws ¬ nx} < $ Lv {q < Zx}u Yt {q Y{q x x}

� ��{�r<~�Q �O���wuwvy��x���� ���£�L�¡��x�{qv��Ox}�¤�w{��L���wuLv���x���� x}���Ox?�®�O�£x±§-un��uBuLt��q�«� �<{uLs<x}{&v���u:uwt¡|���u:uw��{&��x���{�·®v��³xYªg�L�wv}�O���w{��?s��¤x}��t�����{qvq��x}��{�������{qv�uL��{ix}��{��y{q|&uw���ªg�L�Lv}�L���L{��?s<��x}��t�����{qv&�º°±��������{�x���{�x±§�u¡��u:uwt���§-{«|&uw�Yt�s<x}{���{&§ �O�L��s�{q��uL��x}�<{x±§�ui�y{q��{&|&x�{q�Qªg�L�wv��L���w{$�?s��¤x}��t<����{&v��(s<�����<�n�� H �I�T� P®uwv x�������§-{T��{q{&�«x}uÇ|&uw�Yt�s<x}{� � � �� � ���({&x�|L�É� ��u[§ x�u�|quL��t���{&x�{Yx���{��L���wuwv��¤x}��� §-{Ç��{q{&��x}u«�³x��Ox�{Ç��u6§ x}�<{x±§�uYªg�L�wv}�O���w{��?s<��x}��t�����{qvy���Mv�{I�M{qv�vy{q��x}u��O� � ; � � � �O Su6�w{2�(�Lv�{¸x}u� �{���{&��{q|Ix}{&���L�<�§¯���Ox�x}uQ��u���� ���w���L{q�¢ �� �� .��£������uw���<{q���Ox����L{L�¨Ë`�y��{&�Cx��¶�L�������L���¼t®�L��v£uL�+ªg�4��Lv}�L���L{��?s��¤x}��t<����{&v��`x}�®�4x |qs�vyv�{&�Cx������B��uw�¶�4x}{¸x���{+uwt<x������L���¤x±��|quw�<����x���uw�����V�w�¤�w{&�� ��� & ���y� |q�L�� S{$|���uw�y{q�n�L����uL���Y�L��§�{${q���ys�v�{$x}�®�Ox¸�L���ZtSuL������ ���{+t��L��vy�¯§�uws�����{I�w{q�:�x�s®�L������ S{�|&uw���y����{&v�{q�¬�L���O���Q�L���Q�O���L���0�T� ��{�r�~ Q �L���wuwv��¤x}��� �®�O�����<��{qv��Lv�|����uO�(��{&s�v����yx}��|q��x}u��ws�����{�x}��{Y|���uw��|q{YuL�-x���{�x±§�u«ªg�L�wv��L���w{��?s<��x}��t�����{qvy��§¯����|��c�Lv�{s<��{&�Ms<���Muwv�����t�vyu6�B�����Çx���{?��t�{q{&�¬uO��|&uw���w{&v��w{&��|q{O� � {��<{q��|&v��� S{� �{q��u[§ �i�y���Yt���{�y{&x+uO��|���uw��|q{q�&��P®uwv¸x�������������|qs<������uw��0§�{?���6���iªg�L�wv��L���w{$�?s��¤x}��t�����{qv ���¸ SuLs����«�¤��¤x}�$�M|qs�vyv�{q��x�� �O�L��s�{+��� {&��x}�<{qv .�uwv � � uLx}��{&vy§¯����{���x¯��� ��uw�C SuLs�����

��u�|���u:uw��{£x���{T·�v��yx+ª��O�wv}�L�<�w{£�?s<��x}��t�����{qv&������x���{£uLs<x}{&v���u:uwt�§�{?�wuÇu[�L{qv+�O���x���{�ªg�L�wv��L���w{��£s���x���t�����{qvy�µx������ §�{+·®����uw��{��MuLv-§¯����|���x���{+uwt<x������L���¤x±��|quw���<��x}��uw����L���w{&�� ���� & ���U�Ov�{-�:��uL�¶�Ox�{q��-�V°À�®§�{ |2�L�<��uLx�·�������s�|��Y��ªg�L�wv��L���w{��?s��¤x}��t<����{&vx}��{&�§�{(�®�2�L{(x}��{�uwt<x}���Ç�O� � �ÀÊê���L���£��{q��|&{(x}��{���{q�y��vy{q�Yr:z+~«�I� � �®�Ox;������uLv����L���¤����uw�<{���Zx}u���u:uwt+x}��vyuws��w�£�L���Lx���{4� �ÀÊê���MuLvgx���{`·®v��³xUx����Y{L�g� ��{q�T§-{�ÆL{q{&t?��u:uwt������(x}�<v�uws��L�uL������x���{���uL�: �uws��<��ª��O�wv}�L�<�w{¸�£s���x���t�����{qvy�q�g°À���Ox���uw�Y{��¤x}{&v}�Ox���uw��§-{¸|2�L�<��uLx-·��������uw�C �uws������?s��¤x}��t<����{&v�x��®�Ox¯�:��uw���Ox}{&�(x}��{�uwt<x������L���¤x±�Ç|&uw�����¤x}��uw���q�Bx}��{&��§�{T��uBuwtx���v�uLs��w���L��� � �@ÊÜ�¯uw��{+�Yuwvy{�x}����{+�O������u�uw��DS-��u:uw�y�����?x���{+·®v��³x¯�?s���x���t�����{&v`·BÌ<{&�� ; ����� &w��� �¸u6§�� ����x}��{T�����<{qv¯��u:uwt�§-{T��{&��{q|Ix¸x���{£�y{q|&uw���«�?s<��x}��t�����{qv��M§¯����|�������O����u�uL��{�x}�®�4x¯��uB{&�¯��uLx |&s�v�vy{q��x}�¤���}�Ox����³�î�Çx}�<{$uLt<x}���Ç�L����x±��|&uw�����¤x}��uL�����`��s�|���x}�®�Ox� ; � � � ���$�Ç�[Ì<������­q{&�� P®uwv+x}�<���$|���uw��{&�¡t®�L��vq�g��� ���L���w{&�c ��Â�� .w�����T��{&���Ox����w{x���{q�¬§-{i|q�L��t�vyuB|&{q{&�¡�L����s<tS�®�4x}{�x}��{Y�L�O��s�{&�?�L�T�w���L{q�c ��»�� H �I��Ë;�w{&�¢�¤� �Q����<uw����{&���Ox}�¤�w{�§�{�|q�L�ÂuL�îx�{q�¢�Ç�OÆL{�t�v�uL�wv�{&����§¯��x}�¼x}�<{�|��<uw��{&�»t®�L��vq� �¸uLx�{�x}�®�Oxx���{�|&uw���yx�v}�L����x}�-�L���w{&�� ��n� H C�µ�ytS{&|q�¤�î�Ç�T�����<{¸���Çx}��{ � ;�� � � ��t®�L|&{+�L�-x���{��M{q�L���� ���{vy{q�w��uw��irBu����¤� �n���T��uL����{q�w�Ox}�¤�w{�§-{�|2�L��|qs����Ox}{?x���{��O�L��s�{�uL� � �Ox$x}��{�x±§�u«{q���<�uO�+x}�����Ç������{���{q�L��{&�Cx��O���»���+x���{q�y{«x±§-u¼�Ov�{��<uLx��}�O��{�§-{«x}�LÆL{ � ��� �; � � ��� �

�x�u

 �{�x}��{��O�L��s�{&��|quwvyv�{q�ytSuL�������<��x}u�x}�<{�{&���ct�uw����x$uL��x}�����$������{��y{q�w�Y{q��x$x}�®�Ox$�®�O����Lv��L{qv-�O�L��s�{��Muwv � ��°À�Ux���{��O�L��s<{+uL� � �Ox¯ �uLx}��{q�<��t�uw���Cx�� ��� ���L��{¸x}��{&��§�{���{2�2�L{x������-��{q|&uw����ªg�L�wv��L���w{��£s���x���t�����{qv`�O����t�v�u:|q{&{q��§¯��x��ix}��{+������{&v-��u:uwtÇ�MuLv �L��uLx���{qv|��<uw��|&{�uL�Zx}�<{���{&|quw�����£s���x���t�����{qv&�U°À�g�<u?|���uw��|q{�{�Ì<�¤x}�&�<x}��{&�i§-{�|��®�L���w{¸x}��{�|��<uw��|&{uO�U·®vy�yx¸ªg�L�wv��L���w{+�?s<��x}��t�����{qvµ ���t�v�u:|q{&{q��������§¯��x}��x���{�uws<x}{&v¯��u:uwt�

°±� x���{��O���wuwvy��x���� §�{c��{&{q�Kx}u¨ÆL{&{qt |���{&|�Æ:�����»�Muwv�uwt<x������L���¤x±�»|quL������x���uw�<�q�

& �

Page 26: Department of Computer Science - University of …ceick/DM/Sastry_svm_notes.pdfv {q L {&vq Z ¯ x ¬ u ® L| ÆC wvyuws ¬ nx} < $ Lv {q < Zx}u Yt {q Y{q x x}

� �<����{¡|q�L��|&s��¶�4x}���<�»{IÌBt�vy{q���y��uw�<�c��s<|��©�L� � � � � ��� � �?§�{¨�y��uws���� �<uLx}{¡x}���Ox2� �{&x±§�{q{&� �ys�|q|&{q�y�����L{Q��x}{&v}�Ox���uw�<��uw�<���¼x±§-u¡uO�$x���{ � � Êê�ǧ�uws����Â�®�2�w{«x}�<{q��vY�O�L��s�{|����L���w{&�� �¸{&��|q{��Ç�O�C�Q|q�L|���������x±�:t�{�x�{q|��������Cs�{q�T|2�L�¬ S{Ys���{&�¬x�u��w{Ix£{I¥Y|q��{&��x����t<��{q�Y{q��x}�Ox}��uw�� ����uLx���{qv�tSuw����x�x}u��<uLx}{?���¸x��®�Ox�x���{��L���wuwv��¤x}��� �� H ����uB{&����uLx�L���w{£s���x}��{��<{&§ �L�O��s�{?uO� ��{&�L{q�Qx}��uLs��w�n��x�������{&{q��{&�n�Muwv�|���{&|�Æ:������uwt<x}���Ç�O����x±�|&uw�����¤x}��uw���q� � ��x��Q������xyx}��{£�L���w{q <v}�<�0§�{�|2�L�Q��{&v��¤�w{?x}�<{?�Muw����u[§¯�����Ç{&�Cs®�Ox}��uw�����Muwv�L{&x�x������$x}��{���{&§ �O�L��s<{�uL� �¯{&¥Y|q��{q��x}�¤���O�îx}{&v-uw <x}�L���<����� � ��� �; �O��� � ��� �

��µrBs�t�t�uw�y{

� ��� �; ��� ��uL�: �uws��<���� �<{q� � ; �w���L{q�� �{q��u6§ §-uws<���� S{+x���{���{&§K�O�L��s�{+uL���6�� ; � ; ! � ; �*� ��� �; � � � ! �; � � ; ; ! � � �8� ��� �� � � � ! �� � � ; � ! � � ! � �� C�

°À� � ��� ��

��� ��uw�C SuLs�����x}��{&� � � �L���w{&�� S{&��u6§ §�uws����� �{+x}��{���{I§K�O�L��s<{��Muwv��6�� � � � ! � ; �*� ��� �; � � � ! �; � � ; � ! � � �8� ��� �� � � � ! �� � � ��� ! � � ! � �� � �

°À�� �uLx}� � ��� �; �L�<� � ��� ��

�Lv�{���uw�C �uws����Qx}�<{q� � ; �L��� � � §�uws����¬ �{�x}��{����L��{O��°À� �uLx�� � ��� �; �O��� � ��� ��

�Ov�{� SuLs����¬x���{q�c�L���U�L�O��s�{&�T �{&x±§�{q{&� � ; �L��� � � §�uws����¬ S{|&uw���y���yx�{q��xµ§¯��x}��x}�<{¸uwtBx}�����L����x±�$|quw�<����x���uw���&�;°±�Y��s�|�����|2�O��{¯x}��{�r�~�QK�L���wuwvy��x}�<�s<��{q�¯x}�<{T�2�L{qv}�O�w{TuO�Ux���{+x±§-u��

°±�nx}�<{Çr<~�Q �L���wuwvy��x}�<� §�{���{q{&�nx}u�|���{q|�Ænvy{qt�{2�Ox�{q���¤���Muwv+{&�Cs®�L���¤x±�«�O���Q���B�{&�Cs®�L���¤x±��|quw�<�yx}v��L����x��q��� P®uwv¸{�Ì<�L��t<��{L� §�{?��{q{&�«x}u�|���{q|�Æ�§¯��{&x���{qv �;� +��M�� ÃT�Muwv�yuw�Y{ +��±�§¯��{&x���{qv � � ���L������u�uw��É�.P®uwv+�L���;��s�|���|quL��t®�Ov����yuw����§�{���{q{&��x�u�O����u6§ �Muwv+�yuw��{��Cs��Y{qvy��|2�O�;{qvyv�uwv&� ��{q��|&{L�g§-{YÆL{&{qtc��t��Lv}�L�Y{&x�{qv��$�L���¬�L���ys��Y{�O�C�¬|quL���yx�v}�L���CxTx}u« �{i���Ox}���y·®{&����� �¤x?��uL�����$x}u�§¯�¤x}�������q�«��u:u«�����L���`���O�L��s�{YuL��¯§-uLs��������Yt®�L��v(x���{$�:s��L���¤x±��uL�;�yuw��s<x���uw��uw <x}�L���<{q��§¯������{$x�uBuY�¶�Lvy�w{$���O�L��s�{$�Ç�2��Y{2�O�Q§�{Y�wu�x}��vyuws��w�¬���¶�Lvy�w{��Cs��? �{qv�uL����x}{&v}�Ox���uw�<��§¯��x���uws<x�vy{2�L�����«����t<v�u6�:�����x���{���uw��s<x}��uw�� Q��îx�{q����¯���ix���{�v}�L���L{$uO�-à .�� � x�u�Ã�.�� � §-uwvyÆC��§�{q���E�

°±� ���L���»�¶�Ov��w{«{&��t<��v���|2�L���yx�s�����{q�q��x}�������L���wuwv��¤x}��� §-�L���Muws����ºx�u¡ S{«�L{qvy�{I¥Y|q��{&��x2��rB����|&{£����t���{q�Y{q��x��4x}��uL��uL�;x}�<{?�L���wuwv��¤x}��� ���¯�w{&vy�������Yt���{L�Sr�~�Q����¸uw�<{uO�Ux���{�tSuwt<s��¶�Lv(�L���wuLv���x����Y���Muwv ��{2�Lvy�������YrCz�~��&�

������ ��������������

°±��x}�<��� ��s< ���{&|&x}��uw��§�{�������s��³x}v}�4x}{�x���{Tr:z�~ ��{Ix}��u:��x}��vyuws��w��x±§�uÇ{�Ì��O��t���{q�&���� ��� � �7���L´+°±�nx}�<���+{IÌ<�L�Yt���{L�Zx}��{?�M{q�Ox}s<v�{��w{&|&x}uLv��T�Lv�{���� � � �L���nx}��{I���Lv�{

�<v}�2§¯�Ç�Mv�uL� �Ts����¤�Muwv��������³x}v��� �s<x���uw��uw�«ÁE.9� LÅ � Á .9�� LÅ@� P������ �T�y��u6§¯��x}�<{¸x}v��L���<��������L�Yt���{iuO�0& . . .«{IÌ<�L�Yt���{q�q� �����-|&��v�|&��{&���Lv�{�uO�¸uL��{�|q���L�����L�<�¢�³x��Lvy���Lv�{Ç����x}�<{uOx}��{&vµ|&�¶�L�y�q���¸�`����{2�O�y��x}u��y{q{L�Cx}�<{�s<����{qvy���:���<�$|&�¶�L�y�`�yx}vys�|&x�s�v�{����`�! � $|���{q|�ÆO{qv

& %

Page 27: Department of Computer Science - University of …ceick/DM/Sastry_svm_notes.pdfv {q L {&vq Z ¯ x ¬ u ® L| ÆC wvyuws ¬ nx} < $ Lv {q < Zx}u Yt {q Y{q x x}

 �u��Lvy�nt®�Oxyx}{qvy��£� ���Ox����&�0x}��{?�M{q�Ox}s<v�{���t��L|q{�|quL�������yx}�+uO�¸Ã6%i���Cs®�Lvy{q��uw���+ � �Lv����¡§¯�¤x}�¨�L�4Í��L|&{q��xY���Cs®�Lvy{q�Ç �{q������v�{q�L��uw����uO��uwt�t�uw�y��x}{�|&�¶�L�y�q� � {��®�2�w{�s���{&�x���{�r�~ Q �L���wuwvy��x}�<��§¯��x�� *$�Os����y�¶�L�iÆO{qvy��{q�0�Ms<��|&x���uw���� �<{�t®�Lv��L��{Ix}{&v��(s��y{q�i�Muwv�y���?s<�¶�Ox���uw�$�Lvy{L´ � U&B� .¸���Tx���{(ÆO{qv��<{q�<�Ms��<|&x}��uw�� � Ã�. � �;���$x}��{ r�~�Q �L���wuLv���x�������O����� � ���Qx���{�uw :Íy{&|&x����w{��Ms���|Ix}��uw���� ��{�·®�®�O�µr:z�~ uw <x}�L����{&�Q�w���L{q� � �/� � ��O|q|qs<v}�L|I�?uw�?x���{(x}v��L�����������y{&xµ�L�<��� � � �L|q|&s�v}�L|I�?uw�����y{qt®�Ov}�Ox�{q���T�w{&��{qv��Ox}{&��x�{q�³x�y{&xq�

� �����T{�Ì<�L��t<��{Y���$��{q�L��xTuL�����n�Muwv�������s<�yx}v��Ox}��uw�Q�L���¬��{q�<|q{Çx���{�|&�¶�L�y���¤·®|2�Ox���uw��O|q|qs<v}�L|&��{q� �%��� � �g�Lv�{µ��uLxU���YtSuLvyx��O�Cxq�:�¸u6§�{&�w{&vq��x}�<{�|&�¶�L�y�U �uws������Lvy�+x�u� �{���{2�Lvy�Cx���������w���¤����uw��������{q�Lv��O���n��{q�<|q{?x}�<{?tS{&vy�Muwvy�Ç�O��|q{T��������t<v�{q�y���¤�w{L� � �®�Ox������Yuwv�{����x}{qvy{q�³x}���<������u6§-{I�w{&vq�<���;x}u$��u:uwÆT�Ox�x}��{ x���uw��{¯x}v��L���<���������L�Yt���{&�;x}�®�Ox`x�s�v��Yuws<x�x�u �{���s�t�t�uwv³x��L{q|&x�uwv��&�`� ��{q�y{+�Lv�{����<u[§¯�Ç��� P������ �<�;°Àx����µ{2�L�³�Yx�uT�y{q{�x}�®�Ox�uw���¤�?x}�<{t��Ox�x�{qv��<��x}�®�Ox+�Lv�{�|&��uw�y{q�yx�x}uix}�<{���{qt��Lv}�Ox��������ys�vy�V�O|q{� �{&x±§�{q{q�Qx}�<{�|q�¶�O����{&�+x}s�vy�uLs<x¸x�uÇ �{Tx���{£�ys�t�t�uwvyx¸�w{q|Ix}uwvy�q� ���¸v�{q���LvyÆL{q��{2�Lvy����{&vq�®x}�<{£��s<t�tSuLvyx��L{q|Ix}uwvy�+�Lv�{x���{���uL�yx�|qvy��x���|2�O��t®�Oxyx}{&v����+�Muwv�x���{�|q�¶�O�����¤·®|2�4x}��uL�«x��L�yÆn�Ox$�®�L���0��°±��{q��x}�¤·®|2�4x}��uL�uO���ys�|���|&v���x���|q�L�0t®�4x�x}{&v��������&����u�x}u����6�L� �Y �uw�Cs�� �Mv�uL� x}�<{£rCz�~ ��{Ix}��u:��

��� ��� � �7����´ ����uws�v��y{q|&uw���¢{IÌ<�L�Yt���{O�;§-{�������|qs<���Y�nv�{2�O�����³x}��|i�`�²�Lt�t<����|q�4�x���uw�0��®�L�Y{q�¤�w�S·����w{qvyt�v�����x�|q�¶�O�����¤·®|2�4x}��uL���� ��{�v�{&��s��¤x}�+t�vy{q��{&��x}{q�¬��{qvy{��Lv�{?�Mvyuw�ÁÄà �OÅ@� P������w{qv-t�v����Cx��¯�Lv�{�x���{+|��®�Lv��L|&x�{qvy���yx���|+�³x}v�s<|&x}s<v�{�uL�#�®u6§ ������{&�(uL�Uv����<�w{q�¯�L�<��Ms<v�v�u6§¯��x}�®�4x£�Ov�{�t�v�{&��{&�Cx£uw�¬x���{���ÆC���¬uw��uw��{LÊê��·®���w{&vq�i°Àx$���+§�{q����Æ:�<u[§¯�¬x}�®�Ox·����w{qv¸t�v�����x}���Ov�{£s<�����Cs�{��O���n�Lvy{T§�{q������s<��x}{&���Muwv�tS{&v��yuw�n����{&��x}��·�|2�Ox���uw�� � ��{&�·����w{qv+t<v�����x����Ç�L�L{£�®�Ox}�L ®�L�y{��������Lv��L{�����������������Lt�t�����|2�4x}��uL��v�{&�¶�Ox�������x}u��¶�2§ {q�B��MuLv�|q{&��{&��x��I�g�¤x�������{q�y��v��L ���{?x�u����6�L{Ç���³�B�³x}{&�Ç�Ox���|�t®�Lv³x}�¤x}��uL��������x}u�v�{q�<s�|q{�x}����{�O���«|quL��t���{IÌB��x±�����C�Luw���L{q�n����·®���L{qv�t�vy����x����Ox�|��������<� P������w{&v�t�vy����x�|&�¶�L�y���¤·®|2�Ox���uw����¸uL��{T§-�2��uL�`{&�yx}�L ��������������Y��s�|��Q�Çt��Lvyx���x}��uw�����������M� ��{£����{2�Y���¸x��®�Ox¸���;§�{?ÆC��u6§x���{�|q���L���¯uL��x}��{+x�{q�yx�·®���L{qv�t<v�����x¯x}�<{q����x¯��{&{q���¯x}u� �{$���Ox�|���{q��§¯��x���uw�<���Çx���uw�y{·����w{qvyt�v�����x}�Ç���¢x���{��®�Ox��O ®�L��{�§¯����|��»�Lv�{�uL��x���{����L�Y{�|&�¶�L�y���I�?�¸�Ç{&�yx��O ���������{&��������¤x}{&v}�Ox�s�v�{O��·®���w{&v�t�vy����x}���Ov�{i|&�¶�L�y����·�{q�¼�����y�¤Ìc|q���L���y{q�q´i�����w��x?��u:uwt �V�����;ªZ{&�îx��uBuLt��@ª��I�G�¸v�|���� �+������{q��x}{&�«�Lvy|����M���I��rB|q�LvT�Er����®�L��� � ��uwvy�`� � ���®� ��{�|2�Ox�{q�wuO�vy��­q�Ox}��uw�ÇuL�g·®�<�w{qv(t<v�����x��(����x}u?x���{q�y{+|q���L���y{q� ���- ®�L��{&��uw�ix}��{��w��uw ��L�S�y�®�Lt�{+uL�Zx}�<{uLv���{&��x��Ox���uw�Ç·�{q����uO�Uvy�����L{�������{q�(���ix}��{�·����w{qv t<v�����x ���Ç�O�w{L�;°±��x���{+{IÌ<�L�Yt���{���{qvy{§�{$s���{$��� %4�À�����Y{q���y��uw���L�S�M{q�Ox}s�vy{��w{&|&x}uLvq�

� > Ö +O×EÒVÕ�Þ6Ö³Õ@Öyó¿Õ�Ô�ØÉØ ÕEÐ[Ö�×EÑÝÞ6ìIÖ ØÉÑÜà4ÖyÒµÔIØÜë&à[ì+úZÑÜÕ@Ð�ë&×@ÑÉÖ³àqÕEÔ�Õ@ÑÉëIà4Ò�ÔIà4Þ£Õ@Ð4Ö³à�Ö ,qÕE×EÔ&ó±Õ�ïðÖ�Ô�Õ@Ú4×@Ö�ÒúZÐ[ÑÉóÀÐÇÖyÒEÒ@Ö³àqÕ@ÑÝÔ�ØÉØ @�óÀÐ4Ô�×ÀÔIó¿Õ@Ö³×EÑ;:³Ö¯ÕEÐ[Ö�Þ6ÑÝÒMÕE×@ÑÉÛ[Ú6ÕEÑÜë&àië�ïUë&×@ÑÉÖ³àqÕÀÔ�Õ@ÑÉëIàOÒ�ëIï�×EÑÝÞ6ìIÖ�ØÜÑÉà[Ö�Ò¯Ô�×EëIÚ[àOÞ�Õ@Ð4Ö+4à[ìIÖy×@Ù4×@ÑÉàqÕ�ÑÜÓ ÔIìIÖIâ �[ë&×�ë&Ú[× Ù[Ú[×EÙLë&Ò@ÖyÒ ëIïCÑÜØÉØÉÚ4ÒMÕE×EÔ�Õ@ÑÉà[ì�ÕEÐ[Ö�ò���äºÓ(Ö¿ÕEÐ[ë6Þ�èIÕEÐ[ÖUÞ[Ö¿ÕEÔIÑÜØÝÒSë�ïwïðÖyÔ�Õ@Ú[×EÖÖ-,2Õ@×ÀÔIó¿Õ@ÑÉëIà�Ô�×EÖUà[ëIÕg×@ÖyØÜÖ C�Ô�àqÕyâ

& �

Page 28: Department of Computer Science - University of …ceick/DM/Sastry_svm_notes.pdfv {q L {&vq Z ¯ x ¬ u ® L| ÆC wvyuws ¬ nx} < $ Lv {q < Zx}u Yt {q Y{q x x}

0 1 2 3 40

1

2

3

4

P����ws<v�{ �<´���v}�L�������<��t®�Ox�x�{qvy���¯����Ë�Ì��O��t���{�Ãw�

& �

Page 29: Department of Computer Science - University of …ceick/DM/Sastry_svm_notes.pdfv {q L {&vq Z ¯ x ¬ u ® L| ÆC wvyuws ¬ nx} < $ Lv {q < Zx}u Yt {q Y{q x x}

0 1 2 3 40

1

2

3

4

PU���ws�vy{�<´µrBs<t�tSuLvyx¯�w{&|&x}uLv�����{2�Ov���x¯����Ë�Ì<�L��t<��{�Ãw�

& �

Page 30: Department of Computer Science - University of …ceick/DM/Sastry_svm_notes.pdfv {q L {&vq Z ¯ x ¬ u ® L| ÆC wvyuws ¬ nx} < $ Lv {q < Zx}u Yt {q Y{q x x}

� {£t�vy{q�y{q��x+v�{&��s��¤x}�¸uw <x��O����{&��uw�n��·®���w{&v�t�vy����x¸�®�Ox��O ®�L��{$�Mv�uw� �¸�Ox}��uw�®�L�Z°±�B��³x}�¤x}s<x�{TuL�`r:x��L�<�®�Lv��<���L�����U{&|�����uw��uw�L�w� ��r �"���°³rB���I�S� ��{ ��°³rB� �®�Ox}�L ®�L�y{£�®�O��O SuwsBx�& � . .�·®���w{&vTt�vy����xT�����L�w{q��uL��§¯����|��¬uw���¤� � �Lvy{�uO�(|q���L���£rB|q�Lvq� �¸����u�x}�<{|&�¶�L�y��{&� �²�L���¡� x�uw�w{&x���{qv£�®�2�w{�uw���¤�Âà H H {IÌ<�L�Yt���{q�q��r:u����Muwv?uLs�v£������s<�yx}v��Ox}��uw��<{qv�{¯§�{¸|&uw��������{qv`|&�¶�L�y�����î�:��������·����w{qvyt�v�����x�����x}u�uw��{¯uL�S�Muws�v�|q���L���y{q�&´�ª��C�$� � ��uwv���+�®� �¸{&v�{¯|q���L��� ���¢�yx}�L�������MuwvUx}��{¯|quL�? ����<{q����{IxµuL� ��v�|��Yuwv;��{q��x�{q� �¸v�|�� ��� � {s<��{q���Muws�v-r:z�~��&�DQ�s�vµ·�v��yx(r:z+~ �����Muwvµ��{&t®�Lv}�4x}���<�T|&�¶�L�y�H���Â�Mvyuw� ª��:�º�L��� � �� �<{Tvy{q���L���������?x}�<v�{q{Tr:z+~����Ov�{+�Muwv �����yx}�����ws�������������{2�O|���uL�;ª`� ��� �L��� � �Mvyuw�x���{�uLx}�<{qv x±§-u<� � {�s���{&�cà � .�.?�����L�w{q�(�Mvyuw� x���{��®�Ox}�L ®�L�y{T�O�¯x�v}�L�������<���}�L�Yt���{&�q�� �<{��ytS{&|q�¤·®|¸���Ç�O�w{q��x��®�Ox`|&uw���yx���x�s<x}{ x}�<{¯x�v}�L�������<�+��{&x��Lvy{ v}�L�<��uw�Y���?�y{q��{q|&x�{q���°Àx���¸uL ���{&vy�w{&�«x}�®�4x�x}�<{£|q���L���y��·®|q�Ox}��uw���L|q|&s�v}�L|I�����¸�L SuLs<x¸x���{£���L�Y{$§¯�¤x}�«���¤¦0{&v�{&�Cxv��L����uL�²|���uw��|q{�uL��x}v}�O���������?��{Ix}�&�

°±�Qx}�����+{IÌ<�L�Yt���{?�L���yu�§�{��®�2�w{Ys���{&��x���{�r�~�Q �L���wuLv���x����"§¯��x��¬� *��Ls��y���¶�O�ÆO{qvy��{q�¯�Ms���|Ix}��uL�� �¸��vy{q���Lv�ÆO{q�¨{2�Lvy����{&vq�`��{q�Lv��<�������L�Âr:z�~ �����wuL���w{&���yuw���:��������Cs®�O��v}�Ox���|Qt�vyuw�wv}�O���Y�����ct�v�uw <��{q���¸�L��� �<{q��|&{�x���{Q��{Ix}��u:� ���i�w{&vy�¹{&¥Y|q��{q��x2�� �¤x}�¢Ã � . .�x}v��L����������t®�Oxyx}{qvy���q�U��{q�Lv���������uL�({q�L|���uL�(x���{�rCz�~��$x}u:uwÆQ�L �uws<x!&B� &�y{q|&uw������uw���Y��{q��x}��s�� H . .�~4�¸­T�HS��

� ��{¬�L|&|qs�v��L|&� uw Bx��L����{q� uw� x}��{n�Ms���� �¸°³r:� �®�Ox}�L ®�L�y{�s<�����<�¢uLs�v�|q�¶�O�����¤·®{qv|&uw���y���yx������+uO�Sx���{(�Muws�vµr:z+~��`���;t<v�{q�y{q��x}{&�Ç�������L <��{+ï���?x���{(�Muwv�� uL�S�+|quw�<�Ms<����uL����Ox�v��¤ÌS��Ë`�L|��¡v�u6§ uL�(x���{Çx}�L ���{Y���<u[§¯�?x���{Ç�Cs��£ S{&v?uL� t®�4x�x}{&v����£uL� x}�®�4x?|q���L����Mvyuw�"x}��{����Ox��L ��L��{?|&�¶�L�y���¤·®{q�«����x}ui���¤¦0{&v�{&�Cx�|q�¶�O����{&�+ ��«uws�v¸|q���L���y��·®{&vq�+� ��{����L�yx|&uw��s<���QuL��x}��{�x��L <��{��w���L{q�+x}�<{Yx�uLx��L���Cs��£ S{&vTuL�-t®�Oxyx}{qvy���$uL�-x��®�Ox$|q���L���$���nx}�<{���Ox��L ��L��{O������|2�O�� �{���{q{&���������uw�Y{�v�u6§¯��x���{$��s��"uL��x}�<{$·®vy�yx��Muws�v¯|quL��s��Y��� ����<uLx�{&�Cs®�L�Bx�u¸x���{-���L�yxU|quw��s��Y��U� �<�������� S{&|2�Ls��y{L�C�L�U{IÌBt����L����{&�£����rB{&|&x}��uw� &:��Ãw�O���£��£s���x���|q���L���U|q���L���y��·®{&v;s��������Tr:z�~��q��§-{¯vy{¿Íy{q|Ixµ�+t®�Ox�x�{qvy�Y�¤� ��uw��{ uO�Sx���{�r:z�~��µ�L���w{t�uw�y��x}�¤�w{�uws<x�t�s<xq� ��u[§�{&�L{qv&���Muwv�|2�L��|qs����Ox}�����ix}�<{��O|q|qs<v}�L|I�¬�y��u6§¯�c����x���{�x��L ���{L�§�{�|&uws���x}{&�Çx}��{¸v�{±Íy{q|&x�{q��t®�4x�x}{&v����-�L���yu?�L��{qvyv�uwvy�q� P®v�uL� ���L <��{£ÃL�B�¤x������y{q{&�ix}�®�Oxx���{T·��®�L��|q�¶�O�����¤·®|2�4x}��uL�«�L|&|qs�v��L|&��uw <x}�L����{&�������L{qvy���wu:uB��T�M� ��{?t�{qvy�MuLv����L��|q{$����O����u£��{q{&�ix}u� �{��L�-�wuBu:�i�O�(uwv- �{&xyx}{&v-x}�®�O���L���ÇuLx���{qv-��{Ix}��u:�iuw�Çx��������®�Ox}�L ®�L�y{ÁÄà �OŶ�I�

�¢������t���{`|q�¶�O�����¤·®{qvgx}���Ox�����uL�îx}{&�£s��y{q�?���?�Lt�t<����|q�Ox}��uw���Z���gx���{-�yu�|q�L����{q�$��{2�Lvy{q�³x�<{q���L�: �uws�v�|&�¶�L�y���¤·®{qv���� �0S ����°±�Ç�O� ���0S��w§�{¸�³x}uwvy{¯��uw�Y{$�Vuwv`�O���î�guL��x}��{ x}v��L���<�����t��Ox�x�{qv��<�£�L� � � �������8��%���I� � ��{q�<{&�w{&v�����{&§ t®�4x�x}{&v��¬���+x}u� S{Y|q���L���y��·®{&�¬§�{Y·����x���{�t<v�uLx�uLx±�:tS{�t��Ox�x�{qv��n�M�M{2�4x}s�vy{¸�w{&|&x�uwv��µx��®�Ox-���µ|q��uL��{q�³x-x�u£x}������t��Ox�x�{qv��n�M�M{2�4x}s�vy{�L{q|Ix}uwv}���L�<��|&�¶�L�y�����î�Çx}��{���{I§ t®�Oxyx}{qvy�����Cx�u�x}��{��}�O��{�|q���L�����L�¯x}�<��� ��{q�Lv�{&�yx¸t�v�uO�x�uLx±�:tS{O� � {+|q�L��<�Muwv-{IÌ<�L�Yt���{O�<s��y{�x���{�Ë�s�|q������{q�L�������yx��O��|q{��Muwv-��{q|&����������uw�ix}�<{

H .

Page 31: Department of Computer Science - University of …ceick/DM/Sastry_svm_notes.pdfv {q L {&vq Z ¯ x ¬ u ® L| ÆC wvyuws ¬ nx} < $ Lv {q < Zx}u Yt {q Y{q x x}

S-���L��� ª � � ��� � �¸|q|qs<v}�L|I� ��uLx��L�0t®�Ox�x�{qvy���ª ��.<à . . H � �<�;% � . � . % � � . Ã�% � H �;% � H �� . & � � � . � � �;% Ã�. & H��� & . . à & � � � � . à H H

���L <��{�Ãw´DS-uw�B�Ms�����uw�����Ox�v��¤Ì�§¯��x���r:z�~��

S-���L��� ª � � ��� � �¸|q|qs<v}�L|I�ª � .� . . . Ã�. .� . � H � . . Ã�. .� % � à . . � à � �<�;% H��� H � . à & H � &B� �

�U�L ���{ &B´.S-uw�<�Ms��y��uw�º���Ox}vy�¤Ì¢�Muwv ��{2�Lvy{q�³x �¸{q���w�C SuLs�vi|q���L���y��·®{&v��L���¸x}v��L���<�����

���L�Yt���{&�¯�L�¯t�v�uLx�uLx±�:tS{&�q�

�<{2�Lvy{q�yx�t�vyuLx}uOx±�Bt�{L���u¡������s��³x}v}�4x}{�x}��{«vyuw��{�t��¶�2�L{q�  ��Â�ys�t�t�uwvyx��L{q|&x�uwv����<{qv�{O��§�{n���<u[§ ���Â���4�

 <��{�&Tx���{�vy{q��s<��x}�-uw <x��O����{&�i§¯��x}�i�L� � � Sº|&�¶�L�y���¤·®{qv-§¯�<{qv�{�§�{+s��y{q���L���®x���{�à � . .x�v}�L�������<��t®�Ox�x�{qvy���£�O�$t<v�uLx�uLx±�:tS{&�q� �¸�T|q�L�� S{���{&{q���x}��{��L|&|qs�v��L|&�QuL��x}��{�r:z+~|&�¶�L�y���¤·®{qvY�����L�Ç�LuBu:�»�L��x}���Oxǧ¯�¤x}�¨x���{��<{2�Lvy{q�yxi��{q���w�C Suws<v�|&�¶�L�y����·�{qvq� °±�Âx������{�Ì<�L��t<��{L�S�Muwv��L����x}��{?�MuLs�v�r:z+~��+x}uw�w{Ix}��{&v�§-{��®�O�¬�O SuwsBx � .i�����³x}����|&x+t��Ox�x�{qv��<��O�T�ys�t�t�uwvyx$�w{&|&x}uLv��q��� �Cs��&�;x}��{Çr:z�~ |q���L���y��·®{&vT��{&{q���$x}u��yx}uLv�{Yuw�������O SuwsBx ��.t��Ox�x�{qv��<��v��Ox}�<{qv x}�®�O��x���{�à � . .?��{&{q��{&���Muwv(x���{ � � S��

� ��{&v�{����£�L��uLx���{qvT§(�2��uO���Ot�t�v�{&|q���Ox}������x}�<{Ç�V�L|&x£x}�®�Ox?��s�t�t�uwv³x?�w{&|&x}uLv��Y�Lv�{x���{��Yuw�yx-���YtSuLvyx��O�Cxµt®�4x�x}{&v����-���Çx���{�x}v��L���<�����$��{Ix2�`���O ���{ H ����u6§¯�(x���{+�L|&|qs�v��L|&�uL <x��L����{q�¡§¯�¤x}�¢� ���0S |q�¶�O�����¤·®{qv��¤��§�{��®�L�¢s���{&�¨x}�<{��ys�t�t�uwvyx��L{q|&x�uwv����L��x}�<{t<v�uLx�uLx±�:tS{&�q�.�¸��|2�L�¼ �{���{q{&���x������ � �0S t�{qvy�MuLv��Y���L�£§�{q���(�L�?x}��{ ���0S©x}�®�Oxs<��{q���L���Sx}��{Yà � . .����L��t<��{q���L�¯t�vyuLx}uOx±�Bt�{q�&� P®uwv |quL��t®�Ov����yuw��®�U�L ���{� ��y��u6§¯�¸x}�<{�O|q|qs<v}�L|I�nuw <x}�L����{&�n§¯��{q�Q§-{Ys��y{�Ã�. .iv}�L�<��uw�Y������{q��{q|Ix}{q�Qx}v��L���<������t®�4x�x}{&v����$�L�t<v�uLx�uLx±�:tS{&�q�U���+����{2�O�����¤����{q{&��x}�<{?tS{&vy�Muwvy�Ç�O��|q{?�����Cs��¤x}{?t�uBuLvq�0�¸�+������s��yx�v}�Ox�{q��<{qv�{O�����Ç�Ç�L���Ç�Lt�t�����|q�Ox}��uw���q��x���{���s<t�tSuLvyx(�L{q|&x�uwv�� x���{q�Y��{&���w{&� |quw�<�yx}�¤x}s<x�{+�T�L{qvy�s<��{&�Ms<��uLs<x}t�sBx �Mv�uw��x���{Tr:z�~ �Y{&x}�<uB��

H Ã

Page 32: Department of Computer Science - University of …ceick/DM/Sastry_svm_notes.pdfv {q L {&vq Z ¯ x ¬ u ® L| ÆC wvyuws ¬ nx} < $ Lv {q < Zx}u Yt {q Y{q x x}

S-���L��� ª � � ��� � �¸|q|qs<v}�L|I�ª � .� . . . Ã�. .� . � � . . Ã�. .� H � à .<ÃLà à � �<� � H��� H . à &�% �� �� �

�U�L ���{ H ´ S-uw�<�Ms<����uL�����Ox}vy�¤Ì��MuLv ��{2�Lvy{q�³x �¸{&���w�C �uws�v`|q���L���y��·®{&v���s<t�tSuLvyxµ�w{q|Ix}uwvy�

�O��t<v�uLx�uLx±�:tS{&�q�

S-���L��� ª � � ��� � �¸|q|qs<v}�L|I�ª � H & . . � & �BÃw� .� � . % � � . � � � &B� &� H � � H � � & . � � � &��� Ã� H H à � % � � Ãw� �

�U�L ���{ �´�S-uL�<�Ms�����uw�¢�Ç�Ox�v��ðÌ��Muwv �¸{q�Lv�{&�yx��¸{q���w�C SuLs�v�|q�¶�O�����¤·®{qv�à . .Qv}�L�<��uw�

{�Ì<�L��t<��{q�¯�O��t<v�uLx�uLx±�:tS{&�q�

� (F' � 5G-0/#9 � / 5K-0A�� � � AD9 �8AHM�� E+;0C�5G-0/ � 5KE+N�E� B365GE+AH;�1J9KAHL��M /#N

� �<{qv�{¸�Lvy{����L���?uOx}��{&vµ�ytS{&|q���L����­q{q���Y{&x���uB�<�`�MuLv���uw�¤�B�����+x}��{¯uwtBx}���Y��­q�Ox}��uw�£t<v�uw B���{q� �w���L{q�� C�Q�T& ����� � {� �vy��{ �����Y{q��x}��uw��x±§-uY��s�|�������{q�L�  �{q��u6§��

ªZ{&x ; ��{q�<uLx}{?x���{£|&uw���w{IÌn�:s<����uL�µ�L���Zx�v}�L���������Yt®�Oxyx}{&v����� �{q��uw���w������x�ui|q���L���!?Ã$�L������{Ix � �<{q��uLx�{$x���{�|quw���L{IÌ��Cs����uO�Ux�v}�L����������t��Ox�x�{qv��<�� �{q��uw���w�����?x}uY|q���L���� Ãw�`ªZ{&x +41 ; �L��� + 1 �  S{+�ys�|���x��®�Ox ��� + ��+ � ����� �9��� � � � 1 ; � � 1 �§¯�<{qv�{ ��� + ��+ �T���Tx}�<{������³x��L��|&{i �{&x±§�{q{q�¢x}��{�x±§-un�w{&|&x�uwv��&�c°Àx����?{2�L�³�cx�un����u6§x��®�Ox�x���{?uwtBx}�����L�g��{&t®�Lv��Ox}�����i���:tS{&v�t����L��{�����x}��{�t�{qvytS{&������|qs����Lv� �����{&|&x}uLv�uL��x}�<{������{¯Íyuw��������� +c�L����+ ��� � {��O����s<��{���{&v�{�x}�®�4x ; �O��� � �Lvy{������îÍyuw����x+�yu�x}�®�Ox����{qt��Lv}�Ox������Ç�C�:t�{qvyt��¶�L�<{?{IÌB���³x}�}�I��� ��{&v�{��Lvy{£{I¥�|&��{&�Cx�x}{q|��<�����Cs�{&���Muwv¸·®�<�������i�t�uw���Cx��Mv�uL� ��|quL�C�L{IÌ«��{&x¸x}�®�4x�����|q��uw��{&�yx¸x}ui�O��uLx}�<{qv�|quw���w{�Ìn�y{&x2��� ��{&��{�|2�O�« S{�O��uwt<x�{q��x�uÇ·®���«x���{�r:z+~ �L���«x���������{Ix}��u:�«������{&{q�«x�ui S{T��uLv�{£{I¥Y|q��{&��x�x}�®�O�r<~�Q²ÁÄÃwÃqÅ@�

�¸��uLx}�<{qv�����x}{&v�{q�³x}�����Ç����{2����� x}�<{$�Muw����u6§¯���<���(r:s�t�t�uw��{$§-{T|��®�L���w{�x}�<{Tt�vy�����L�uL :Íy{q|Ix}���L{��Ms��<|&x}��uw�Q�Mv�uw� ./� � � � ! � � � x}u ./� � � ��/! � � � !�� � �

H &

Page 33: Department of Computer Science - University of …ceick/DM/Sastry_svm_notes.pdfv {q L {&vq Z ¯ x ¬ u ® L| ÆC wvyuws ¬ nx} < $ Lv {q < Zx}u Yt {q Y{q x x}

� ���Ox`���&�������L���<��x}��uw�£x�u�x���{ ���Lv��w���£§�{¸�Ov�{ ���<|q��s<��������x���{  ����L��uwv;��uB|q�Ox}��uw�?uL� x}�<{���:t�{qv�t<�¶�L��{¯�O����u<��� ��{¯���L�����O�<�O�L��x��L�w{-uL�Sx�������|��®�L���w{¯����x}�®�4x;x}��{ �<{&§»�<s®�L�<§¯��������6�L{�uw������ SuLs�����|quw���³x}v��L����x}�+uL�Qx���{��O�Lv����L ���{&���V�@�Ü{O��� . � � � � �£���O���Q��x�§¯������<uLx?�®�2�L{��L���c{&�Cs®�L���¤x±��|quw���³x}v��L����x}�&�«� ��{&��x}��{���s®�L��|2�L�� �{i{I¥�|&��{&�Cx�������uL���w{&�s<�����<���¸�Lv}�L����{q��xUt�v�u4Íy{&|&x���uw�£x±�:t�{(�L���wuwvy��x}�<� §¯����|��?{q�y��{q��x��¶�L�����������Luw���L{q�;�¤x}{qv��Ox}�¤�w{�yuw��sBx}��uL��uL�Z�T��{Ix(uL������<{2�Lv�{&�:s��Ox}��uw����§¯�¤x}�� Suws<�����-uL��x}�<{¸�O�Lv����L ���{q�q�;rBs�|&|q{q�y���¤�w{Q��L{qv�vy{q���4Ì<�Ox}��uw�¨���Ç�O�¨{I¥�|&��{&�Cx�x}{&|��������Cs�{��Muwv���uw�¤�B�������¶�Lvy�w{��y�:�yx�{q�Y�ÇuL�������<{2�Lv{&�Cs®�Ox}��uw���¸�L������x�|2�L�� S{£�L�®�LtBx}{q��x}u���uw�¤�w{�x}�����¸��{I§ uwt<x����Y��­2�4x}��uL�it�v�uL ���{&���(°Àx|q�L�c �{�����u6§¯�cx��®�Ox�x}�<{��yuw��s<x���uw�nuO�-x}�<{���{I§ uwt<x����Y��­q�Ox}��uw�«t�vyuw ���{&� §�uws����¬ S{|&��uw�y{�x}u?x���{+v�{&�Cs���vy{q��uwt<x������L� ���Bt�{qvyt��¶�O��{L�`� �����¯�L���wuLv���x���� ���-�L���yu£�Muws��<��x�u� S{�Yuwvy{+{&¥Y|q��{q��x¯x}�®�L��r�~�Q §¯��{q��x}��{�����­q{+uL��x}�<{�x�v}�L�������<����{&x����(�w{qv³���¶�Lvy�w{YÁÄà .4Å@�

� � k�fnf���o¯h;pqkYf���� p&h � ih��$h�p ��h�p2o%����� � �?j`fnp2f�� � ��� "kYj��

°±�«x���������{&|&x���uw�«§�{? �vy��{��<��������|&s�����x���{�r:z+~ �Lt�t�vyu��L|����Mvyuw�"x}��{£tSuw����x�uL�;�:��{&§uO�Z�yx}�Ox}���yx}��|2�L� ��{2�Lvy��������x}�<{quwv³�w� �¸�<����ÆO{¸x���{�vy{q�yx-uL�Zx}�<���µ|��®�Lt<x�{qvq�<��{qvy{¸§�{+�L���ys��Y{x��®�Ox x���{�v�{2�O��{qv¯�®�L�¯�wu:u:�� ��L|�ÆC�wv�uws<��������t�v�uw ��L �������x±�Yx}��{&uwvy�L�

S-uw�<�����<{qv$����u:��{q�UuL����{2�Ov��������i�Mv�uw� {IÌ<�L�Yt���{&���L�+�Muw����u6§¯�q� � {��Lvy{Y�L���w{&������L�Yt���{�uL���-uw ��y{qv³�L�4x}��uL�����Vuwv�{IÌ<�L�Yt���{q��� � � +��?�����î�"� � à ���������?#ǧ¯��{&v�{:+��$1�O��� ��� 1����� ���;|2�L����{&�?x}��{ �����yx}�L��|q{ �yt®�L|&{¯�L����� ���;|q�L����{q�£x���{ uws<x�|quw�Y{ ��t®�O|q{L�� �<{({IÌ<�L�Yt���{&�;�Lvy{-��v��2§¯����� ���� ����%� �� �� �%� ���� &�� �� �%�8�)������� � ��7���� ���8����� +� ���� ®�����L�B��<{qv+�L|&|quwvy�����<�ix}u��it�vyuw ®�L <�����¤x±�������³x}vy�� �s<x���uw���Ç� + ���<�¯uw�� � ��� �¸u6§�{&�w{&vq�Z§�{�<u���uOx¸ÆC��u6§Kx������¯t�vyuw ®�L <�����¤x±�Ç�<���yx�v��� �s<x}��uw�� � {T���6�L{£����{q�Lv��<���������L|�������{+x}�®�Ox����|2�Lt®�O ���{�uL�-���Yt���{&��{&�Cx������i���y{&xTuL�(t®�Ov}�L�Y{&x�{qv���­q{&���Ms��<|&x}��uw���&���Mvyuw���x�u�����<{q��uLx�{q�� ���� � ��� + ��������� 1��$#C�;� ��{���{q�Lv��<�����?t<v�uw ���{q� ���-x�u�·�����x}��{+ �{q�³x�Ot�t�v�u2ÌB�����Ox�uwv-�Mv�uL���²�Muwv(x���{�v�{q���Ox}��uw���y����t� �{&x±§�{q{&�4+��U�L��� ���gs��y������x}�<{T�w�¤�w{&����L�Yt���{?uO� ���� ?{�Ì��O��t���{q�&� � {��Lv�{��L���w{&�Q����uw�y���Ms���|Ix}��uL� � � � � �;� + ������� §¯����|��Q�������{q�L��s�vy{£uL�`�<����|&v�{&t®�L��|I�« �{&x±§�{q{q�nx���{£uwsBx}t�s<x�uL�;x}�<{��Lt�t�vyu2Ì<���Ç�4x}uwv¯§¯��x���t®�4�v��L�Y{&x}{&v��¢�L����x}��{$x}v�s<{£uwv���{q�y��vy{q�«uwsBx}t�s<x �i�Muwv¸�L�«���<�yx��O��|q{ +g� � {I·®��{��Yv�����Æ�Ms<��|&x���uw�®�O�uw��x}��{�t®�Ov}�L�Y{&x�{qv ��{Ix��»§¯�<��|������(x}�<{${�ÌBtS{&|&x��4x}��uL��uL�U��uL���¯�L�

� � �;� �

� � � � �;� + ������� �!��� + ���<� �� %��

� {(�Muwvy�Ç�L�����$��{I·®��{ x}��{ �Lu��L��uL����{2�Lvy���������O�;·®���������+x}��{(�Ms��<|&x}��uw� �;� + �����U§¯��{qvy{

�����������Y��­&{q�£x���{�vy���yÆ�� � � ����u6�w{&vÇ�O���"� 1#���»� �������L{q��{&v}�L� �Mv}�O��{I§-uwvyÆ¡{q�B�

H�H

Page 34: Department of Computer Science - University of …ceick/DM/Sastry_svm_notes.pdfv {q L {&vq Z ¯ x ¬ u ® L| ÆC wvyuws ¬ nx} < $ Lv {q < Zx}u Yt {q Y{q x x}

|&uw�Yt®�L���y{q�(t<v�uw ���{q�Y���ys�|����L�-���Oxyx}{qvy����{&|quw�L����x���uw���vy{q�wvy{q�y����uL�i{q�³x}�����Ox���uw��:�L�<��<{q���y��x±��{&�yx}���Ç�4x}��uL��

S-uw�<�����<{qvY� &[�±|&�¶�L�y���`��t�vyuw ���{&��� � {�x}�LÆL{ix���{������³x��L�<|q{���t��L|q{�x}un �{ix}�<{�yt®�L|&{Ç���Q§¯����|��cx}��{��M{2�4x}s�vy{��w{&|&x�uwv��$x��LÆO{��O�L��s<{q�q��� �Cs��T�Muwv�s��q� ���:� � {|q�L��x}�LÆL{ � � !?à � � Ã�#C� � {Tx}�LÆL{ � x�uÇ �{?�Y��{&x�uL�����<����|q�Ox}uwv �Ms��<|&x}��uw���&� P®uwv{�Ì<�L��t<��{L� §�{?|2�L���®�2�w{ �;� + ���;� ������� %+ ! �I�¯§¯�¤x}� � ��� ��I��1 ����� ; �O��������¸�<{&·®��{&�n ��S´������B� � Ã?��� � � .Ç�L�<�������B� ãuLx���{qv³§¯����{O�¸� �<{q�«x}�<{£��{Ix��§¯�����® �{�x���{���{&x-uL�Z���:tS{&v�t����L��{�|q���L���y��·®{&v���x��®�Oxµ§-{¸�®�2�w{¸|quw���y����{&v�{&�i{2�Lvy����{qvq�U°À�§�{|��<uBuw�y{+x}��{���uY|2�O����{&� .

�Ã+��uL��� �Ms���|Ix}��uL���L���w{&�� ��

� ���%��I� .���� �� � ���� � � � �� � �

x���{q�Qx}�<{Yvy���yÆ��Ms���|Ix}��uw�®�L�;����x}��{�t�vyuw ®�L <�����¤x±��uO�-�Y���y|q�¶�O�����¤·®|2�4x}��uL�����{q��|&{��Y�����ð��Y��­&����� � ���;�g�L��uLs���x}�Ux�u¸·®�<����������������|qvy���Y���®�O�CxZ�Ms<��|&x���uw�$x}�®�OxU�Y����������­q{q�Zt<v�uw B��O �������x±�YuL�;�Y���y|q���L���y��·®|q�Ox}��uw��

� ��{�t�vyuw ���{q� uL��v�{q�Lv�{q�y����uw��{q�³x}�����Ox���uw����� �L����u��?�ytS{&|q�¶�O�0|2�O��{+uL��uws�v-�w{q��{&v}�L��Mv��L�Y{&§�uwv�Æ ��rBs<t�tSuL��{ � � �L�<� � �$� S-��u:uw�y{Yx���{��yu�|q�L����{q���:s��L��v}�4x}��|��uw���µ�Ms���|Ix}��uL�ǧ¯����|������-�w�¤�w{&�� C� � ���%��I� ���� � �I� � ��� ��{+v�{&�wv�{&���y��uw��{&�yx}���Ç�4x}{�uL��i�L�¯���Ms<��|&x���uw��uL� +«��� �w���L{q�� C�

&0� +S���� �!����� � +S�

§¯�<{qv�{ ����� � +S������x���{Y|quw���<��x}��uw�®�L�U�����³x}vy�� �s<x���uw�nuO���«�w�¤�w{&�*+g�Y°À�-x���{�v�{q�Lv�{q�y����uw��Ms<��|&x���uw�Y���`����x}�<{���{Ix-uO�0�Ms���|Ix}��uw��� ����x}�<{q�Ç�¤xµ���`{2�L�³��x}u£�y{q{¯x}�®�4x�x���{¸�Y���<���Y��­q{&vuO�Ux���{�v����yÆÇ�Ms���|Ix}��uw�®�L��§-uws<���� S{+x}�<{$vy{q�wvy{q�y����uL���Ms��<|&x}��uw��

°±�nx}�<{?v�{&�yx�uL��x��������y{q|Ix}��uL��0§�{�s���{?x���{?��uLx}�Ox}��uw� � ²� + ���<�£�V�L���n�y���Y���¶�Ov��������²� +�� �����î�y���L������� �9� �;�� � ��� ���;� + ���;�y�I� ��u6§��0x}��{£�wu��L������x�ui�Y����������­q{�x}�<{vy���yÆ��Ms���|Ix}��uw�®�L��<{&·®��{&�� ��

� � �������� �9� �;���!�������� � 1�� � �� ���

� �<{T�ytS{&|q�¶�O�Z|��®�Lv}�O|&x}{&v����yx}��|�uL�;��{2�Lvy��������t�vyuw ���{q�Y� ��� x}�®�4x�x���{������³x}vy�� �s<x���uw� ��� �������s���ÆC��u6§¯���� �Cs��$�w�¤�w{q�Q�O�C� �¨§-{�|q�L����uLx�|q�L��|&s��¶�4x}{ � ���;�I� � {��<{q{q�Qx}ui·����x���{Ç�Y���<���Y��­q{&v+uL�¯v�����ÆQs��y������uw�����Qx���{ ���� Ç���L��t<��{q�T��v}�2§¯�¡�O|q|quLv���������x}u��Ç�����I��¸���Yuw�yxÇ�L������{2�Lvy�����<�c�L���wuwvy��x}�<���Y�Lvy{� ®�L�y{q�ºuw�¨x}��{���u¡|2�O����{&�»Ë��Yt���vy��|2�O�¯������Æ~�����������­2�Ox���uw�«�@Ë`��~�� t<v����<|q��t<��{�§¯����|������ {IÌBt����L����{&�� S{&��u6§��

H

Page 35: Department of Computer Science - University of …ceick/DM/Sastry_svm_notes.pdfv {q L {&vq Z ¯ x ¬ u ® L| ÆC wvyuws ¬ nx} < $ Lv {q < Zx}u Yt {q Y{q x x}

� {I·®��{$�L��uLx���{qv �Ms��<|&x}��uw�®�L�0|2�L����{q��{&��t<��v���|2�L�Sv�����ÆQ�M ®�L��{&��uL� ���}�L�Yt���{&���- ��

��!� ���� Ã

�!"�$# ;��� ���)���;� � �� ���

� �<{�� ��r�uO���� ���µ���-x���{+{IÌBt�{q|&x}�Ox}��uw��uL����uL���-§¯�¤x}��v�{&��t�{q|Ix x}u?x}�<{+{q�Yt���vy��|2�O�S�����³�x�v��� �s<x}��uw�i��{Ix}{&v��Y����{&�� ���x}��{!�4���� +���L�Yt���{&�q�µrB����|q{ ��

!���;�-|2�O�� �{�|q�L��|&s��¶�Ox�{q�i�Muwv

�O�C� �Q�Mv�uw�©x���{��w�¤�w{&�i�}�L�Yt���{L��§-{�|2�L�Çx�vy���L���Ç���������Y��­&{-x}��{¸{q�Yt���vy��|q�L�®v�����Æ�s��³������?�yuw��{�uwt<x}������­2�Ox���uw��x�{q|��������Cs�{L� �¸�<��{qv(x���{+Ë`��~ t<v����<|q��t<��{¸§�{��Lt�t<v�u2ÌB�����Ox}{x���{����������Y��­&{qvµuL� � � �;�- ���x���{����������Y��­&{qvµuL� ��

!���;���

ªZ{&x �!��{q��uOx}{¸x���{����������Y��­&{qv;uL� ��

!�V�<{&·®��{&�i ����� ���y���L���Ç��{&x �

���{&��uLx}{¯x}�<{

�Y���<���Y��­q{&v¸uO� � �V�<{&·®��{&�c ��¢� ���I�!P®uwv�x}�<{�Ë`�¸~ t�v�����|q��t���{£x�u� S{�{I¦0{&|&x}�¤�w{�§�{§-�L��x � � �

!� � � � �

��+�L��� ��

!� �

!� � � � �

������Qt�vyuw ®�L <�����¤x±���L� � � � �����uLx}{

x��®�Ox ��!�L�<� �

!�Lv�{?v��L����uL�  �{q|q�Ls���{�x���{&����{qt�{q���Quw�«x���{ ���� ?�}�L�Yt���{q���w�¤�w{&� �I�

r:����|&{$§�{?��u���uLx¸Æ:�<u[§ x���{£t�vyuw ®�L <�����¤x±�i�����yx�v��� <s<x}��uw����� �w�I�®§-{T§(�L��x¸x}��{£�L Su6�L{|&uw���w{&v��w{&��|q{$x}u���uw�����<u����Ox�x�{qv-§¯���Ox¯x}������t<v�uw ®�O �������x±�Y�����³x}vy�� �s<x���uw�����q�

rBs<t�tSuL��{¯uws�v`��uL�����Ms��<|&x}��uw������ �uws����<{q�Y���?x}�<{��y{q���y{�x��®�Ox��Muwv���uw�Y{ |quw�<�yx��O�Cx��� ���Ç�

� ������9����� �!��� ��� ��� � � � 1��

�MuLv �L���St�v�uL ®�L �������x±�Y�����yx�v��� <s<x}��uw��� ��� �w�I��� ��{&���x}u�{q�<��s�vy{$|&uw���w{&v��w{&��|q{$uL� ��!� �

!�

�O��� � ���!�£x}u � � �

����L�Y��t�{q|&��·®{&�Â{q�Lv�����{qv&�`��x�������{&|q{&���}�Ovy�¨�L���¨��s<¥Y|q��{q��xYx}�®�Ox

��!���;� � � � �;�¸�L��� � � s������MuLv��Y����u6�w{&v�� 1����+°Àx+���2�� S{?�<uLx}{&�n��{qvy{?x}�®�Ox

§¯�<{&x}�<{qv�uwvU��uLx�x�������s������MuLv�� |quL�C�L{qvy�w{q��|&{¸�<uw�����U���U��{qt�{q���<{q��x`uw�?x}�<{(|���uw�y{q����{IxuO�µ�Ms<��|&x���uw��� ���§¯����|��Q��{&x�{qv��Y���<{q��x���{�|2�Lt��L �������x±��uwv�|q�Lt®�L|&��x±��uL�µuws�v���{2�Lvy����������L|�������{L�#�¢��{q|&{q�����Lvy�?�L���T��s<¥Y|q��{q��x�|&uw�����¤x}��uL���MuLv�x�������s����¤�Muwv��K|&uw���w{&v��w{&��|q{(x�u�<uw��������x��®�Ox���ÈÜ����­q{OÊ:t��Lv}�L�Y{&x�{qv�x}���Ox`§-{�|2�L�Ç�L���yuB|&�¶�Ox�{(§¯��x��Yx���{¸�y{&x�uL�0�Ms<��|&x���uw������<x�uY �{�|2�L����{&����� ���� � �9� �)� � uL� ���®���(·�����x�{L�

ªZ{&x � � �;� + ������� � 1 �$#¬ �{n���y{&x�uL�$���<����|q�Ox}uwvY�Ms���|Ix}��uL���q� � �®�Ox����q�{q�L|��nuL�;x���{T�Ms<��|&x���uw����x��LÆO{q��uL������x±§�ui�O�L��s�{&�q���}�2�w� !?Ã��L��� � Ãw� � {T��{&·���{£x}�<{z S ������{&������uw��uL�"� �O�£�Muw����u6§¯�q� ��·®���¤x}{i�y{&x�� � + ; ������� + # � ���£�}�L���x�u« �{ ���9��������� �� Ç �� �����(�w���L{q�¼�L������������§-{Ç|2�L��·®�<�¼��� 1����ys�|��¡x}�®�Ox��� + ������ !?ÃT��� + 1�� �L��� �;� + ����� � Ã?�¤�B+ 1�� � �Y� � �®�Ox¸x}�����¸�Y{2�L�<�����x���{��Muw����u6§¯�����<��� ���-���®�Oxyx}{&v�{q���¤���MuLv({&�L{qvy���Lv� ��¤x}v��Lvy���L�y�����L����{&��x¯uL��|q�¶�O���(���L S{&���x�u�{&��{&��{&�Cx��TuO���Ç�gx}��{&v�{Ç���$���Ms���|Ix}��uw�¬����� §¯�<��|���vy{2�L����­q{&�+x}�����$|&�¶�L�y���¤·®|2�Ox���uw�uO�-{&��{q�Y{q��x��$uO���Ç��� �<{�z S � ���Y{q���y��uw�nuO� � ���+��{I·®��{q��x}u� �{�x���{�|2�Lvy�������L���¤x±�� ÏÐ4ÑÉÒZÑÝÒà4ÔIÓ-Ö�Þ�Ô�ïÄÕ@Öy× � Ô�Ù[à4Ñ G�Ô�à4Þ+ßSÐ[Ö³×)CIë&à[Ö³à�GqÑÝÒyèqúZÐ4ë¯Þ6Ö³×EÑ C&ÖyÞ¯Õ@Ð[ÑÝÒZ×EÖyÒ@Ú[ØêÕ�â

H �

Page 36: Department of Computer Science - University of …ceick/DM/Sastry_svm_notes.pdfv {q L {&vq Z ¯ x ¬ u ® L| ÆC wvyuws ¬ nx} < $ Lv {q < Zx}u Yt {q Y{q x x}

uO�Zx}��{����Lv��L{q�yx(���®�Oxyx}{&v�{q���ys� ��y{&x�uL� «��°À���Lv� <��x}v��Lv����������Lv��L{¸·®���¤x}{��ys� ��y{&x}� |q�L�� S{�y�®�Oxyx}{qvy{q��x���{q��x}��{�z S ������{&������uw�����¯���<·�����x�{L��z S¹�����Y{q���y��uw��uL� � ����{q�Cs®�L�Zx�u� ����t<����{&�q´Zx}�<{qv�{¸������� �7�������®uw�<{���s< ���{Ix(uL� §¯��x}� � {q��{q�Y{q��x}�`x}���Ox-�����y�®�Oxyx}{qvy{q� ��O��� � ���ys� ��y{&x+uL� §¯��x�� � ! ÃT{q��{q�Y{q��x}���������®�4x�x}{&v�{&��¯� ��{£z S ������{&������uw��uL����:t�{qv�t<�¶�L��{¸|q���L���y��·®{&v��-���+� � �M§¯����|������`x}��{¸{IÌ<�L�Yt���{�uL� � §�{�|quw�<�����<{qv�{&�i{2�Ov�����{qv����x}����� ��{q|Ix}��uw� �(����� ! Ãw�

z S �����Y{q�<����uL�«uL�µ�i��{Ix�uL���Ms���|Ix}��uw�����Muwv�uL�µ�i��{2�Lvy���������Ç�O|�������{£|2�Lt®�O ���{TuL�����t<��{q�Y{q��x������ix���uw��{Y�Ms���|Ix}��uL�����+���$���Y{2�O��s�vy{�uL�-x}��{Y|2�Lt��L|q�¤x±�QuL�(x}�<{���{2�Lvy����������L|�������{L��°±�¡uws�v$�Mv}�L�Y{&§�uwvyÆ��;����{q�Lv��<�������Ç�L|��<����{�·®�����£uw��{iuL�-x}��{Ç�Ms<��|&x���uw����Mvyuw� x}��{«�y{&x�uL�+�Ms<��|&x���uw���&� ��� x}�®�4x� S{&�yx��O|q|quLs���x}���Muwv�x���{n�®�Ox}�cuL��x}v��L���<��������L�Yt���{&�?�w���L{q��¬� �®�Ox����q��x}��{���{2�Lvy�����<�«�Ç�O|�������{i·��������L� � §¯����|��¨�Y���<���Y��­q{&�x���{�{q�Yt���v���|q�L�gv�����Æ�uL�«x}��{��w�¤�w{&�n�}�L�Yt���{O�T� �<{�uw :Íy{q|Ix}�¤�w{�uL�µ��{q�Lv��<�����i����x}ui·�������Ms��<|&x}��uw�ºx}�®�4x��<uB{&�i§-{&���Y�VuL�¹x���{��6�L{qv��L�w{6�iuw�¹�L�������<�yx��O��|q{&�q����uOx£Íys��yx�x}�<{uL��{q�$���Qx}��{Yx}v��L�����������}�O��t���{q�&�i� �®�OxT���&��§�{�§-�L��x£x���{��Y���<���Y��­q{&v�uL�-x}v�s<{�vy����Æ ���{q��|&{$�?�®�Ox}s<v}�L�S�:s<{q�yx���uw�����-��u6§ |2�L��§�{+ S{+|&uw�<·®��{&��x�x��®�Ox �LuBu:�it�{qvy�MuLv����L��|q{�M ���x���{?|q���L���y��·®{&v��¯uw��x}�<{£x}v��L���������Y�®�Ox��Yx}v}�O�������Ox}{&������x�ui�wu:uB��tS{&vy�Muwvy�Ç�L�<|q{£uL��O����x���{¬uOx}��{&v�s<����{&{q�Kt®�4x�x}{&v����&��� ����������x}��{����y��s�{QuL�T§¯��{&x���{qv�x}��{Q��{2�Lvy����������L|�������{����Y�L <��{ix}u��L|��<��{&�L{�t<v�uwt�{qv��w{&��{qv��L����­2�Ox���uw�� ��L��{&�Âuw�¼x}��{��w�¤�w{&�¨�®�4x��<�Q��îx�{q������¼t�v}�O|&x}��|q{O��§�{�ÆO{q{qtÂ���y{qt®�Ov}�Ox�{����L��t<��{�uL�¸t®�Oxyx}{qvy���q�-|2�L����{q��x�{q�³xÇ�y{&x2��O���¢�L���y{q���Yx}��{�t�{qv³�Muwv����L��|&{�uL��x}��{�|q���L���y��·®{&v��V��{2�Lvy�Cx?s��������nx}��{�x}v��L���<�����«�y{&x��uL��x}��{Çx�{q�³x���{Ix2��� ��{Ç�Mv}�O��{I§-uwvyƬ�<{q��|&v��� S{&�¨�O Su6�w{��L���w{&�?s��?�yuw�Y{Çx}��{&uwv�{Ix}��|2�L��Ls�����{&������{q�$uw�¼�L�y��{q�y�������«x}��{Ç�w{q��{&v}�L����­q�Ox}��uw�¬|q�Lt®�L <�����¤x}��{q��uL�¯|q���L���y��·®{&v��&���¸���w��{qvz S²������{&������uw�¨§�uws����º��{q�L�Âx��®�Ox2�¯s��<��{q�y�ǧ�{n�®�2�w{Q�c|&uwv�vy{q��t�uw���<�����w�¤�¢�¶�Lvy�w{qv�Cs��£ S{&v�uO�;{IÌ<�L�Yt���{q�q��§�{£|q�L����uOx¸�<uwtS{+�Muwv x���{���{2�Ov����������Ç�L|��<����{�x�u� �{£�O ���{�x�u�<u�t�v�uwt�{qv��w{q��{&v}�L����­q�Ox}��uw���Mvyuw� x}��{?�L���w{&�n�®�Ox}�<�+� ���������<�Muwvy�Ç�O��s<����{qvy�yx}�L���������|q�L�� �{£�³x��Ox�{q�«vy���wuLv�uws��y���Ç����x���{��Muwv��"uL���� �uws����«uL��x}�<{Tvy����Æ��Ms��<|&x}��uw�®�L�g�O�����x���{+�Muw����u6§¯�����£x���{quLv�{q���

���%������� ��� � �L´ � ��x}��t<v�uw ®�O �������x±�Ç�Ox¯��{q�L�yx�à � ���<x}��{�����{q�Cs®�L����x±�

� ���;� � ��!� ��� ! �

&��à !�� à ! ��

!���;�� �� � � .��

��uw���<�������?s��¤x��L��{&uws��y���+�Muwv��L��� ���îx}�®�Ox;���q�4�Muwv;�O���C�Ms���|&x���uw�<����� ���Z§¯��x}�

� � �V���Z�T&���� � � ! Ã[� � ��� ��

� � Ã[�

H %

Page 37: Department of Computer Science - University of …ceick/DM/Sastry_svm_notes.pdfv {q L {&vq Z ¯ x ¬ u ® L| ÆC wvyuws ¬ nx} < $ Lv {q < Zx}u Yt {q Y{q x x}

��� � ���`�+�y{&xµuL�S��������|2�Ox�uwv��Ms��<|&x}��uw���;§¯�¤x}��z S¢������{&������uw� � � � �L���§-{$�Lvy{$s<�����<����t�uw���¤x}���L{� �uws�����{&����uw���(�Ms��<|&x}��uw��

� ��{�vy{q���Lv�Æ4�L ���{¸x��������?�L SuLs<x(x}�<{+ Suws<�����w���L{q�� ���� � .�������x}�®�Ox-�Muwv({&�L{qv³� ���x���{�x}vys�{+v�����Æ«�M§¯����|����<{qt�{q�����¯uw��x���{+s���ÆC��u6§¯��t�v�uw ��L �������x±�Y�����yx}vy�� �sBx}��uL� �Ç����������¯ Suws<����{q���L �u[�L{£ ���x}��{${q�Yt���v���|q�L�0vy���yÆ�uw�«���}�L�Yt���{$uO��� ���� ${�Ì<�L��t<��{q�¯t���s��¸�x�{qvy� x��®�Ox���{qt�{q���<��uw���¤��uw��x}�<{Tz S ������{&������uw���O����x}�<{£�Cs��? �{qv¸uL�`{IÌ<�L�Yt���{&�q�r:����|&{�x}�����(��uw�����-�Muwv-�L���i���L��t<��{�uO�U{�Ì<�L��t<��{q��§¯��x}�i�L���Ç�Ms���|Ix}��uw�®�L�Sv�{q���Ox}��uw���y����t �{&x±§�{q{&� + �O��� ��� ��x������¬§-uLv��yxi|2�L�y{« SuLs�����K� �<{qv�{«�Lv�{��L���yu�uLx}�<{qvÇ�y���Y�����Lv �uws��<���Tx��®�OxT|2�L�¬ S{Y��{qvy���L{q���rB����|q{���x$���$��§�uwvy�yx?|q�L��{� SuLs������¤xT���2�Q��uLxT S{s<��{&�Ms<�g�MuLv�t<v�{q�<��|&x�������x���{$x�v�s�{�vy����ÆÇ ®�L��{&��uw��x}�<{T{&��t���v���|2�L�Sv����yÆ �)�¸u6§�{&�L{qvq� x}�<{�MuLv�� uL�Zx}�����- �uws��������-�w{&vy�Ç����x}{&v�{q�³x}�����?�Mv�uw� x���{��:��{I§¯tSuw����xUÍys����w�����£x���{+�L ������¤x±�uO�;����{q�Lv��<���������L|�������{+�������LÆC�����?�O�L�������w{&��{qv��L����­2�Ox���uw�����Mv�uw� x}��{��®�Ox}�<�

� ��{T·®v��³x¸x�{qv�� uw��x}��{T� ��r�uL��� � .��(����{q�Yt���v���|q�L�Zv�����Æ �¸rBu�� �Muwv x}��{$�Ms���|Ix}��uL���{2�Lvy��x+ ���x}�<{?�Ç�O|�������{Tx}������x}{&�����¸��u6§ §�{q���Ux���{� S{&�yx��Ms<��|&x���uw�«�Mvyuw� � �Lt�t�vyu2Ì:����Ç�4x}{q�+x���{Ç�®�4x��<� � {Ç|q�L�c|q�L����x}�<����x}��{��®�Ox���{qvyv�uwv&��� ��{Ç�y{q|quL����x}{&v����Ux}u� S{|q�L����{q�«x���{��w{q��{&v}�L����­q�Ox}��uw�«{qvyv�uwv&�Z����|&v�{q�L��{&�$§¯�¤x}�Q����|&v�{q�L�������i�O�L��s�{&��uL�`x}��{�v}�4x}��u� � � �V�I� P uLv��i�w�¤�w{q�Q�Cs��? �{qv+uO�`{IÌ<�L�Yt���{&�q�§¯��x��n�����L��{qv � §�{��w{&x������w��{&v��w{q�<{qv³��O����­q�Ox}��uw�n{qvyv�uwv&� � ��x}�c���y{&x?uO�-�Ms���|Ix}��uw��� � uO� �����L��{qv�z S������Y{q�<����uL��§�{Ç|q�L��Yuwvy{�|&��uw�y{q���$�Ot�t�v�u2ÌB�����Ox�{µ���L���$����¦S{qvy{q��x;���Ox�����{&x����L���T��{q�<|q{(��u[§�{qvU�®�Ox}�¸{qvyv�uwv�<uB{&�T��uOxT�<{q|q{&�����Lv������Q�Y{2�L�¬��u6§-{&v+�L�O��s�{�uL��x}v�s<{�vy����Æ �Q� � �����Yt���{� �s<xT{IÌ:x}vy{q�Y{{�Ì<�L��t<��{�uL�-x����������q´�§¯��x}�¬���®�Ox���uL� ���Cs�����vy{q��t��L��vy�$uO�(v�{q�L�`�Cs��? �{qv���§�{�|q�L��L{&x�­q{&v�u��®�Ox}��{&v�vyuwv+ ��«·�x�x����������Cs�����vy{q�<x��c��{&�wv�{&{�tSuw�¤�:��uw�Y�¶�L�� �s<x��¤x+�����L{qvy�s<������ÆL{q�¤�Tx��®�Ox;x�������t�uw�¤�B�<uw�����L�C|quwvyv�{&|&x}�¤�?|q�Lt<x}s<v�{q��x���{ s�����{&v��¤�B�������Ms���|Ix}��uw�®�L�Bv�{I����Ox}��uw���y����t ����� �Cs��&� x�u�uL <x��L��������u6§ �O�L��s�{+uL��x}vys�{�v����yÆǧ�{$�y��uws������³x}vy���w{+x�u�·�������y{&x$uL�µ�Ms���|&x���uw�<��§¯��x}�¡ÈÜ��u6§©{&��uws��L�Ê0z S ������{&������uw�ns��y������§¯����|���§�{�|2�L���w{&xÈÜ��u6§ {q��uws<�w�Ê��®�Ox���{qvyv�uwv&�(� ��{T Suws<�����w�¤�w{&�� ��c� � .��(�w�¤�w{&�¸s�����uL��{�x}��{&uwv�{Ix}��|2�L��Ls�����{&������{q���Muwv�{I¦0{&|&x}��������x�v}�L��{&uL¦¼ �{&x±§�{q{q�¬x}��{��Cs®�L����x±�nuL�(�Lt�t�vyu2Ì<���Ç�4x}��uL�¢�V���x�{qvy����uL��{&v�v�uLv�uw��x}��{ �ytS{&|q��·�|����Ox����y{&x����L�<��x���{ |quL��t���{IÌB��x±�TuL��x}��{ |��<uw��{&�Ç|q���L���uO���Ms���|Ix}��uw���£�V����x}{&v��Y�¸uL�Uz S �����Y{q�<����uL��uL�Ux}��{$��{Ix��i�I�(� �<{q��{£����{q�L�¸�w�6�L{£vy����{x�u�x}�<{i��u«|q�L����{q���³x}vys�|&x�s�v}�L��v�����ÆQ���������Y��­q�Ox}��uw�¢�ErB��~«��t�v�����|q��t���{Ys����<{qv£§¯����|��uL��{���u:uwÆC���Muwv+�Y{&x}�<uB����§¯�<��|�����L��uw���i§¯��x��Q���������Y��­&������x}�<{��O�L��s�{�uL��{q�Yt���vy��|q�L�vy���yÆ��®|&uw��x}vyuw�0x}�<{�z S¹�����Y{q���y��uw��uO�Ux���{���{2�Ov����������Ç�O|�������{O�

��u[§��C§�{�������|qs<����x���{�v�{q��{&�O�L��|&{�uL�Sx}��{&��{¸����{q�L��x}u�r:s�t�t�uwvyxµz`{q|Ix}uwvµ�Ç�O|�������{&�q�� �<{$�ys�t�t�uwvyx �L{q|Ix}uwv¯���L|������<{q� �Lvy{��Muws�����x�uY �{��w{&vy��{I¦0{&|&x����w{�������{2�Ov��������?�wu:uB�|&�¶�L�y���¤·®{qvy�����n���L����t<v}�L|Ix}��|q�L�U�Lt�t�����|2�4x}��uL���q�0�(x+·�v��yx������L�Cx�x}�����������w{qv³�n��s<v�t�vy���³��������2���Ç��{&�Cx���uw�<{q�º{2�Ov�����{qv&�¯x���{�z S"�����Y{q�<����uL�»uL�$���Bt�{qvyt��¶�O��{n|q���L���y��·®{&v������

H �

Page 38: Department of Computer Science - University of …ceick/DM/Sastry_svm_notes.pdfv {q L {&vq Z ¯ x ¬ u ® L| ÆC wvyuws ¬ nx} < $ Lv {q < Zx}u Yt {q Y{q x x}

� �±������{&������uw�®�L�g�yt®�L|q{£��� ��! Ãw��� ��{£��uw��������{q�Lv�rCz�~���x�vy��x}uÇ·®�<�Q�Ç��{&t®�Lv}�4x}���<����:t�{qv�t<�¶�L��{����»�Q�w{&vy�»�<���w�¨�����Y{q���y��uw���L� ��t®�O|q{L� � ��x��»t®�Oxyx}{qvy���Ç��� � � �¤��§�{s<��{+�$tSuw�¤�:��uw�Y�¶�L�®ÆO{qv��<{q�S§¯�¤x}�i�<{q�wvy{q{ '�Bx}�<{¸�M{2�4x}s�vy{���t��L|q{�§¯����� �®�2�w{������Y{q���y��uw�� ��� � � ;����� � � � � ;���� §¯����|���|q�L�� S{��w{qv³�?���Lv��w{�{&�L{q��§¯��x�����u:��{q�³x 'Z�;rB���<|q{-x���{(z S������Y{q���y��uw����;x}�Cs��`�w{&vy�������w��w§�{¸��u$��uLxµ{�Ì<t�{q|Ix�x�u���{2�Ov����V����x������`�yt®�L|q{2�µ�+���:tS{&v�t����L��{�|q���L�³��y��·®{&v+§¯��x}�Q�wu:u:���L{q��{&v}�L����­2�4x}��uL�Q�L �������x���{q�¸s�����{q����§�{�|q�L�¬���6�L{�|&uwv�vy{q�ytSuw�<�������L������Lv��L{qv��Cs��? �{qvµuL�0x�v}�L�������<�$t�uw���Cx��q� ��{q��|&{�x���{��:s<{q�yx���uw������§¯�����Lv�{�r:z�~����Muws��<�x�u� S{��w{&vy�Q{I¦0{&|&x}�¤�w{O� � �wu:uB�nt��Lvyx��¶�L���O���y§�{qv�x}u�x}�<���+�Cs�{q�³x}��uw�c���+t�v�u6�:����{&�¬ ��x���{quLv�{q� �� &? �{q��u[§��

� ��� � � ���)� �®´ ���C�:t�{qvyt��¶�L�<{c��� � �w���L{q�K �� � + ! �$ .¡§¯��x}���� � �����Ãw� ����|q�L����{q����?�À�Ç�Ov��w������{qt��Lv}�Ox������Y���:tS{&v�t����L��{$���;�¤x¯|q���L���y�¤�·®{q� �w{&|&x�uwv�� +n�L� �Muw����u6§¯�

� Ã������ + ! � ,� � ÃT�¤� � + ! � ��� � � &w�

� ��{�|q���L���y��·®|q�Ox}��uw�ÇuO�Z�w{q|Ix}uwvy� +��Muwv�§¯�<��|��+�� +0! �(�V�L�����µ���«� � � ���������s����<{&·®��{&�n�Z�L�����ys�|��Çt®�4x�x}{&v����µ�Lvy{¯��uLx`|quLs���x}{q�Y§¯������{ {&�O�L��s®�Ox}�����x}��{�{qvyv�uwvy�¯�Ç�L�<{+ C���L����|q�¶�O�����¤·®{qv ����x}����� |q�¶�O����������%������� � � � ��´iªZ{IxY�L���µ�w{q|Ix}uwvy� + �{q��uw���«x}uQ�n�yt���{qvy{�uL��v}�L����s��� ®�� ��{q�Çx���{���{&x-uL���£�±���Lvy�w�����y{qt®�Lv��Ox}�����£���:t�{qv�t<�¶�L��{&�-�®�O�µz SÂ������{&�B�����uL�� �uws��<��{q�� ��

� �º����� ��� �� ��� � � � !¹Ã � � ��H �

§¯�<{qv�{ÇÁ �:ÅZ�<{q��uLx�{q� x}�<{$�y�Ç�O����{&�yx ����x}{q�L{qv¯�wv�{q�Ox}{&v(x}�®�O� ���� ��{$|q���L���¯uL�U|q���L���y��·®{&v�����{q�Lv���x¯ ���r:z�~����Lvy{�{q���y{q��x}���L���¤���£�±���Lvy�w�����y{qt®�Lv��Oxy�

�������C�:t�{qvyt��¶�L�<{q�q���V°ÀxT���${2�L�³�¬x�u��y{q{Çx��®�OxT���-§�{i���¤�:����{�x}��{�����{&�Cs®�L���¤x}��{q�+���»� H � �� ��� �����Ý�:x}��{&��§�{T�L{&x¯x}��{$|q���L���y��·®{&v ���¬� � &w�I�`� �Cs��q� x}�<{�� ���¬� � &L� ��� {q�y��{q��x��¶�L��������L�Y{?�L��§¯�®�Ox�§�{?|2�O����{&��x���{£���Lv��L����uL��x}��{T��{&t®�Lv}�4x}���<�i���Bt�{qvyt��¶�O��{6����rBs�t�t�uw�y{x��®�Oxq�<x}��vyuws��w�ix���{+s��y{$uO�UÆO{qvy��{q��Ms��<|&x}��uw�i§�{+�Ç�Lt<tS{&��x���{+t®�Oxyx}{&v��i�w{&|&x�uwv�������x}u�$�����L��������{&������uw�®�L���M{q�Ox}s<v�{���t®�L|&{¸§¯��{&v�{�§�{¸§�{qvy{��L <��{¯x}u�·®�����$��{qt��Lv}�Ox������$�����t�{qvyt��¶�O��{�§¯��x}�$�wu:uB�$���Lv��w����Z� ��{&��Lx}�<uws��w��x}��{`�M{2�4x}s�vy{��yt®�L|q{��Ç�2�+ �{`�w{qv³�$�����w��<���Y{q���y��uw�®�O�E�Lx���{�z S¢�����Y{q���y��uw��uL�Sx}��{�{&¦S{q|Ix}�¤�w{�|q�¶�O���µuL�0�Ms��<|&x}��uw���`����§¯����|���§�{�Ov�{?�y{2�Lvy|���������|&uws����« S{£�?s�|��n�����L����{qv&� � {?|2�O�«x}������Æ�uO��x}��{�rCz�~ �Y{&x}�<uB�Q�L�

H �

Page 39: Department of Computer Science - University of …ceick/DM/Sastry_svm_notes.pdfv {q L {&vq Z ¯ x ¬ u ® L| ÆC wvyuws ¬ nx} < $ Lv {q < Zx}u Yt {q Y{q x x}

�MuL����u6§¯�&�nrBs�t<tSuw�y{i§-{��Ov�v}�O���w{ ���;x}�<{i��{Ix�uL���L�������:tS{&v�t����L��{i|&�¶�L�y���¤·®{qvy�?����x}u«��<{q�yx�{q����{&�:s<{q��|&{ÇuL����s� <��{&x��q´ � ; �#� � � ����� � §¯�<{qv�{�x���{ � ��� ��s� ��y{&xT|quw��x}�L������O���(���:tS{&v�t����L��{&��§¯��x�� ��� ����� � � ���Muwv���uw�Y{�����|&v�{q�L�������¬�y{q�Cs�{&��|q{«uO�+v�{q�L� �Cs���� �{qvy� � �À��°À��§-{�x}������Æ«uL�-��{q�Lv�|����������Muwv� S{&�yx��£�±���Lv��w���n��{&t®�Lv}�4x}���<�����:tS{&v�t����L��{&����c{q�L|��¼uL�(x}�<{q��{��ys� ��y{&x}�?x���{q��x������T��{&�:s<{q��|&{�uO�¯��s� ��y{&x��?§¯�����`�®�2�L{i��{q|&v�{q�L�������z S �<���Y{q���y��uw��-� ��{�r:z+~½�Y{&x}�<uB�� ����·®�<�������Yx}��{T�����L��{q�³x����Lv��L������{&t®�Lv}�4x}���<����:t�{qv�t<�¶�L��{O�<���µ{&���y{q��x}���L���¤����{2�Ov�|��������£�Muwv`x}��{���s< ���{Ix uL� � §¯�¤x}�Ç��{2�L�³x�z SÂ�<���Y{q�B��y��uw�¬�L�������Qx}�<������s� <��{&xT��x$����·®�������������Ms���|Ix}��uw��§¯�¤x}��­q{&v�u����Ox���{qvyv�uwv&��� �Cs��&�x���{�r:z+~ ��{Ix}��u:�«���¸s��y�����ix���{£ �uws��<�n�w���L{q�« ��¼� � .��¯���«�Y�w{qv³�«��u6�L{q�;���L����{&vq�Q�t�{qv��Ox}�����Ts<����{qvµx}��{�|quL���yx�v}�L���Cx�uL�0ÆL{q{&t����<�£x}��{¸�®�Ox}�${&v�v�uLv�­&{qv�u<�:x���{��Y{&x���uB�Y����Y���<���Y��­q�����?x}�<{��w{q��{&v}�L����­q�Ox}��uw��{&v�v�uLv� ��«��{q�Lv�|��<�����i�Muwv��Ç��s� �|q���L���+uO�µ�Ms<��|&x���uw���§¯�¤x}����{2�O�yx�z S �<���Y{q���y��uw��¯� ����������x���{£����{2�YuL��r:x}vys�|&x�s�v}�O���¯���yÆ�~�����������­2�Ox���uw�0��¸���-x���{q�y{�|&uw�Y��{&�Cx��Y�Lt�t��¤��uw���¤��x}unx���{�|q�L��{�§¯��{&v�{�§-{�|2�O�¢·®�<�»�L�¢uwt<x������L�� ���9��� ���8��� �¸���:tS{&v�t����L��{L� ��u6§-{I�w{qv&�®���Ç�£�w{q�<{qv}�O�r:z+~ ��{Ix}��u:��§�{�s��y{+�£t�{q�®�O��x±�x�{qvy�²���ix���{�uw :Íy{q|Ix}�¤�w{��Ms���|&x���uw�0��°±��x������ �L{q��{&v}�L�Z|q�L��{O�� ��L��{&��uw��x���{�t®�Lv}�O��{Ix}{qv���x}�<{���{Ix}��u:�«·®�����$�i�wu:u:�«x}v}�O��{quL¦c S{Ix±§-{&{q�¬�®�Ox���{&v�v�uLv+�L���Q�w{&��{qv��L����­2�Ox���uw�{&v�vyuwvq��� �����(��{&{q�Y�(x}u� �{�x}��{+vy{2�L�yuw�i§¯����r:z+~ |&�¶�L�y���¤·®{qvy� �Lv�{��MuLs����ix}u� �{��L{qvy�{I¦0{&|&x����w{$�����Ot�t�����|2�Ox���uw�<�q�

� �½p ��o¸m�����pqkYf

°±��x������T|��®�Lt<x�{qv&�`§�{���{&��|qvy�� �{q��x���{�rBs�t<tSuwv³x?z`{q|Ix}uwv�~��L|�������{Q�ErCz�~«�T�Y{&x���u:��O�¯�L��{&¥Y|q��{q��x��L���Luwv��¤x}��� �Muwv(��{2�Lvy�����<����uw��������{q�Lv-������|&v����Y�����L��x-�Ms���|Ix}��uw��� �����`�t<v�uw ���{q�Y�q��� ��{µ ®�L����|`����{q�����U�O�g�MuL����u6§¯�&� � �<{q�Tx���{µt®�Ox�x�{qvy�����Ov�{`������{2�Lvy������{qt��Lv}�4� <��{L� x}�<{£uwt<x������L����:tS{&v�t����L��{i�V�E�ê{L�¤� x}��{T��{qt��Lv}�Ox����������Bt�{qvyt��¶�O��{T§¯�¤x}�����4ÌB���£s�����Lvy�w��� �+�®�L�?�L{qv³�¡�wu:uB�¡�w{&��{qv��L����­2�Ox���uw�¬|2�Lt��L �������x���{q�&� � ��{q�¼t®�4x�x}{&v������Ov�{���uLx������{q�Lv��¤����{qt��Lv}�L <��{��M§¯����|��¬����x}��{�|q�L��{��Yuw�yx�uL�îx�{q� ���§-{Y|2�O�¬���Lt«x}�<{Yt��Ox�x�{qv��<�����x}uT���L{qvy�Y�����w�Y�����Y{q���y��uw���L����t��L|q{ x}�<v�uws��L�i����s��¤x��L ���{¯��uw��������{q�Lv;x}v��L���y�MuLv���º�L�<�¨·®���¢x}��{�uwt<x������L�-���:t�{qv�t<�¶�L��{���� � �µ�¡x}��{�s���{�uL��ÆO{qvy��{q�¯�Ms���|Ix}��uL���q�§�{Ç�<u���uLxT��{&{q��x}u�{&�L{qv£{�ÌBt�����|q��x����n|&uw���³x}v�s<|&x �¡uwv�§-uLv�ÆQ��� �¬� ���£�����Ox�x�{qvuO���V�L|&xq� |2�O�« S{T���<·�����x�{I�±�<���Y{q���y��uw�®�O�î�I� �¸���yu��S ���s����������Çt�{q���L����­q���<�Yx�{qv�� ���x���{�uw :Íy{&|&x}�¤�w{��Ms���|Ix}��uw��§�{�|q�L�nx��LÆO{Y|q�Lv�{�uL�µx}�<{Y|q�L��{�§¯��{&v�{�x}�<{�x�v}�L�<�y�Muwvy��{&�t��Ox�x�{qv��<����� �L����u����6�i��uLx¯ �{$������{q�Lv��¤�Y��{qt��Lv}�L <��{L�

� �����¸ ��L����|$����{2��|2�O�� �{$s<��{q�������Ç�L����uOx}��{&v¸��{2�Lvy��������t�vyuw ���{q�Y�¯�L��§�{q���E�µ°±�x������-��{q|Ix}��uw��§-{+ �vy��{ ���iuwsBx}������{¸x��������Muwv-x}�<{+|2�L�y{$uO�U�<uw��������{2�Ov-v�{&�wv�{&���y��uw��`� ��{&�§�{$|quw�Y��{&��x¯uw����u6§ x}�<��� ���<{2��|2�L�� �{${�ÌBt���uw�¤x}{&������uLx}��{&v¯t�v�uw <��{q�Y� �L����u��

H �

Page 40: Department of Computer Science - University of …ceick/DM/Sastry_svm_notes.pdfv {q L {&vq Z ¯ x ¬ u ® L| ÆC wvyuws ¬ nx} < $ Lv {q < Zx}u Yt {q Y{q x x}

�¯{q�wvy{q�y����uL�¢t<v�uw ���{q�����?|&��uw�y{q�¤�¬vy{q���Ox}{&��x}u«x}�<{��µ� t�v�uL ���{&��� ��{qv�{i§�{��Lv�{�L���w{&�n{IÌ<�L�Yt���{&� � � +��)�����¶��� � à ������� ��?#�§¯��x��2+�� 1 � � �O�����21 ��� � {T§(�L��x+x�u·����nx}��{iÈÜ S{&�yxqÊ0�Ms���|Ix}��uL�®�L��vy{q���Ox}��uw�����<��t« �{&x±§�{q{&� +c�L������� � {���{q�Lv�|������n�yuw��{t��Lv}�L�Y{&x�{qvy��­q{&��|&�¶�L�y�¸uO�;�Ms���|Ix}��uL���$&0� + �"( �I��§¯��{&v�{ ( ���¯x}��{$t®�Lv��L��{Ix}{&v��L{q|&x�uwvq��MuLv�x���{- �{q�³x;�Ms���|Ix}��uL��U°±�£|2�L�y{(uL�®������{q�LvUvy{q�wvy{q�y����uL��O§�{-x��OÆL{ &0� + � ����I� � +B!���O����x}�<{?t®�Lv��L��{Ix}{&v¸�w{&|&x�uwvq� (©�S��{qvy{?|quw��x}�L����� � 1 ���i�L�<����1 ����°À��§�{���{q{&�x�u�s���{Y�i��uL��������{2�Lv��Lt�t�vyu6ÌB���Ç�Ox�uwvq��x}��{&��Zs��y������x}�<{Yr:z�~ ���<{2�<�0§�{�|2�L�Q|���u:uw�y{x���{��³x}v�s<|&x}s<v�{+uL�guws<v(�Lt�t<v�u2ÌB�����Ox}uwv��L�F&� + �������&�� � �U� +S� ! � §¯��{qvy{�� 1�� �� 1 ���L�<����´���� � � �����i��s<��x��O ���{$��uw��������{q�Lv¯x}v}�O���y�Muwvy�Ç�4x}��uL���� ���������¸x}�<{�³x}vys�|&x�s�v�{�§-{$|quL��������{qv���{qvy{L� � {+·®�<��x}�<{$ �{q�³x�t��Lv}�L�Y{&x�{qvy� � ��¸ ����Y����������­q������ � ��� ��&0� + ��� ��I���§¯��{qvy{ � ���;����s��¤x��L ���{-��uw�����Ms<��|&x���uw���Q���{ ��uw�y���Ms���|Ix}��uw�£x}���Ox��������x}{qvy{q�³x}���<���Mvyuw� x}�<{�t�uw����xguL�B�:��{&§cuL� rCz�~ �Y{&x���u:�T���gx���{`��u¸|2�L����{q� �³�À�����y{q���y��x����w{��uw���(�Ms<��|&x���uw����{I·®��{q�� ��

� ��� ��&0� + ��� ��I��� . �¤� � � � &0� + ������I��� � �

� � � &� + �������&��� � � uLx}��{&vy§¯����{ � � � C���u6§²�M���n�O�®�L��uL�L��§¯��x}�nr:z�~ �Y{&x���uB�«�MuLv��`��� §-{�|q�L�n�Y����������­q{+x}��{£{IÌBtS{&|&x�{q���uw���¯�O�¯�MuL����u6§¯�&´ P����<� � �� � � �� � � x}u���uw�¤�w{+x}�<{��MuL����u6§¯�����?uwt<x����Y��­q�Ox}��uw�Çt�vyuw ���{q���

�Y��� Ã& � � ! � !"

�$# ;� � ��! � � �

�ys� :Íy{q|Ix�x�u ��� � � ��� +��V� � � � � ! � �?� � à �������8��� �U� +��M� ! � � ��� � �'! � � � � à �������8���� � ,/.9� � à ������� ���� � ,/.9� � à ������� ���-� � � � �

� �<{$�<s®�L�ZuL��x}�����¯t�v�uw <��{q� ���

�Ç�4Ì !"� # ;

���¿�8� � � � � � � � !"�$# ;

�8� ��! � � � � Ã& !"� � � # ;

�8� � � � � �q�*� � � � � � ��� +��î� �U� + � ��ys� :Íy{&|&x�x}u . � � �?� � � � � � � �

!"� # ;

�*� � � � � � . � � %w�

Q���|&{¯�L���L���£x}�<{ ��s®�L������� �+�¬t�vyuw ���{q� §¯��x}��uL��{ {q�Cs®�L����x±�T|quw�<�yx}v��L����xµ�L�<�Y �uws��<�|&uw���³x}v}�O����x}�`uw���O�Lv����L ���{&�q���O���Yx���{ x}v��L���������+�}�O��t���{q�`�Lt<tS{q�Lv`uw�����?�L�`�����<{qv�t�vyuB�B�

.

Page 41: Department of Computer Science - University of …ceick/DM/Sastry_svm_notes.pdfv {q L {&vq Z ¯ x ¬ u ® L| ÆC wvyuws ¬ nx} < $ Lv {q < Zx}u Yt {q Y{q x x}

s<|&x}�&� � {i|2�O�¢vy{qt����L|q{ ��� +��î� �U� + � �T �� �¼� +��?��+ � ��§¯��{qvy{ � �����«��s��¤x��L <��{ÇÆO{qv¿��<{q���Ms<��|&x���uw�� ���c�yuw���:�����¼� � %���§�{iuw <x}�L���¬x}��{iuLt<x}���Ç�L�µªg�L�wv��L���w{��?s��¤x}��t<����{&v��&�� "� � ��� "� � �� à �������8��±��� ��{&��x}�<{$�yuw��sBx}��uL��uL� � � � ��� �#"q�<���¯�w���L{q�� ��

� " !"�$# ;

�8� "� � � � "� � �U� +��î�&�

��{qvy{L�<x���{+��s�t<tSuwv³x(�w{&|&x�uwv����Lvy{�x}��uL��{ +��Z�Muwvµ§¯����|���§�{+�®�2�w{ � "� � � "� ��� �Cs��¯uws�vuLt<x}���Ç�L�0�Lt�t�vyu2Ì<���Ç�4x}��uL�Ç�Muwv����L�¯���Ms���|Ix}��uw��uL�'+���� �w�¤�w{&�� ��

&0� + ��� " �� " �� !"�$# ;

�8� "� � � � "� � �¼� +�� ��+S� ! � " �

� ��������x}��{i|q�L��{�uL�¸�`� t<v�uw ���{q���;§-{�|q�L�¼uw <x}�L��� � "��L���yu«����x�{qvy���?uO��x���{�uwtB�x������L�Uª��O�wv}�L�<�w{?�?s��¤x}��t�����{qv��¸�L���nx���{�ÆL{&v���{&�;�Ms���|&x���uw�®�I�£� �Cs��&�g C�«s���������ÆL{&v���{&��Ms<��|&x���uw���&�0§�{�|2�L�Q{&¥Y|&��{q��x�������uw�¤�w{?x}�<{?��uw��������{q�Lv�vy{q�wvy{q�y����uL�nt�v�uw <��{q� §¯��x���uws<x{I�w{&v�{�Ì<t<����|&��x����$|quw�<�yx}vys�|&x��������Çuwv;§�uwv�ÆC����������x}��{¯�����w��������{&������uw�®�L�Bv}�L���L{��yt®�L|&{uO� �g�����+����x}��{�|q�L��{�uO�µ�µ� t�v�uL ���{&���&���x��Ç�2�� S{?�<uLx}{&�«x}�®�Ox�����§�{��®�2�w{�s���{&�*��Ls��y�����L�¼ÆL{qvy��{q�@��x���{q��µx}��������{Ix}��u:�¼|2�L�¢{&¥Y|&��{q��x����¡��{2�Lvy�¼�L�Â�Ot�t�v�u2ÌB�����Ox�������Ms<��|&x���uw������x���{+�Muwv�� uL�;�Y� �)P¡��{&x±§�uwv�Æ �

� {+|2�L���ys���s<tix}��{�rCz�~ ��{Ix}��u:��uw��uw�L�Y�L���Muw����u[§¯�&� � {��®�2�w{��®�Ox}�T�w{&|&x�uwv��&�+��?� � à ������� ��±�<§¯��x���+�� 1����B� � {+|2�L�����Ltix}��{��®�Ox������Cx�u��������L�i�����Y{q�<����uL�®�L��yt®�L|&{ s��y���������ys���x}�L ���{¸��uw��������{q�Lv�x�v}�L�<�y�Muwvy�Ç�Ox���uw� ����u�x}���Ox ��u6§¹x}��{+�®�4x��?���� ��� +��M��� ���M����� �¸{&v�{L� ���'1 ��� à �"!?Ã�#$�Muwv��`�Kt�v�uw <��{q�Y�q����� 1�� �Muwv¯v�{q�Lv�{q�y����uw�«�L�<��yu£uw�®�I�;°±�Yx}��{������L��������{&������uw�®�L�<��t®�L|&{¸§�{�|q�L�Ç��uLtS{¯x}u�·®������������t<��{$�V�Y{2�O�������������{q�Lv��$|q�¶�O�����¤·®{qv�uLv�v�{q�Lv�{q�y����uw�¡�Ms���|&x���uw�0�¼r:x��4x}���³x}��|2�L����{2�Ov��������«x}��{&uwvy�cx}{q�����?s<�x��®�Oxq�0��uwvy�Ç�O�����L�®���;§�{£§-�L��x�x}uÇ��{2�Ov��«�������w�������Y{q�<����uL�®�L�gt®�Lv��L��{Ix}{&v¸�w{&|&x�uwv�§�{�<{q{q��|quwvyv�{&��t�uw���������w���£�¶�Lvy�w{qv��:s<�? S{&v`uL�0{�Ì<�L��t<��{q�;x�uT �{¯�L ���{(x}u���{q�Lv���t�vyuwt�{qv��¤�w���u6§-{I�w{qv&��yx�v�s�|Ix}s�v��L��v����yÆ����������Y��­q�Ox}��uw���Mv��L��{I§-uLv�Æ��w���L{q�¸s����Y�®�L������{$x�uÇ��{2�Lvy���|q���L���y��·®{&v£uwv$v�{&�wv�{&����uLv£§¯��x��c�����L���µ{&��uws��L���w{q�<{qv}�O����­q�Ox}��uw�Q{qvyv�uwv&� P®s�v³x}��{&vq�;�¤�x���{�v�{q�ys���x�������uwt<x����Y��­q�Ox}��uw��t�vyuw ���{&� �®�L��x}�<{�v����w��x��yx�v�s�|Ix}s�vy{¡�Mx��®�Ox����&�-����x}�<{���Ox��Q�w{q|Ix}uwvy�i�Lt<tS{q�Lv�uL�����¢�L�Y���<��{qvYt�v�u:��s�|Ix}�}�I�(x}�<{q� ��¢|q��{&�L{qvÇs<��{�uO�+ÆL{&v���{&��Ms<��|&x���uw����§�{Ç|2�O�c|quL��t���{&x�{q���n�6�Luw����§-uLv�ÆC����������x}��{Y��t��L|q{ � � {Y|2�L�¬��u«�O���uLs�v¸|&uw�Yt�s<x��4x}��uL���¯{&¥Y|q��{q��x}�¤����� ����x}�<uws��w��§-{£�Lv�{${&¦S{q|Ix}���L{q�¤��·��������<�i�������<{2�Lv|&�¶�L�y���¤·®{qv ����x���{������L���<���Y{q���y��uw�®�O�0��t��L|q{ �

� ��{�s<x�������x±�QuL�¸ÆL{&v���{&�(�Ms���|&x���uw�<�?���£x��®�Ox�§�{�|2�L�¼����t�����|&��x}�¤�«|&uw��t<s<x}{�������{qvt<v�u:��s�|&x����V���«x���{���t��L|q{ �¸§¯��x���uws<x�{&�w{&�cÆC��u6§¯���<��x���{?x}v��L���³�Muwv����Ox}��uw�����L�<�x��Cs�����{I�w{&v�§-uLv�ÆC�����¸���$x}��{µ��t®�O|q{ �U� ������§-uLs����T���Yt����¸x}�®�Ox��L���T�L���Luwv��¤x}���¹x}�®�Ox

Page 42: Department of Computer Science - University of …ceick/DM/Sastry_svm_notes.pdfv {q L {&vq Z ¯ x ¬ u ® L| ÆC wvyuws ¬ nx} < $ Lv {q < Zx}u Yt {q Y{q x x}

s<��{q�¸uw���¤��������{&v¯t�v�u:��s�|Ix}��|q�L�� �{$v�{q|q�L�yx���uYx}�®�Ox¯§�{?�Lvy{£�O|&x}s��L���¤�ix}v��L���y�MuLv��Y�����x���{µ�®�Ox��¯����x�u�� �w{&vy�T�����w��������{&������uw�®�L���yt®�L|&{-�L�<�£s��y�����¯x}��{µ�}�O��{µ��{Ix}��u:��x}��{&v�{L�� �Cs��£ÆL{qvy��{q�µ�Ms���|Ix}��uL���?�L����u6§©s<�Tx}u�{q��{q���L��x����Q|quL���yx�v�s�|Ix���uw��������{q�Lv+�w{&v�����uw���TuL����L���«������{q�Lv��O���wuwvy��x������£ÁÄà � Å@��P®uwv�{�Ì��O��t���{L�0§�{Y�Lv�{��O ���{£x�u���{2�Ov��Q�i��uw�<�����<{2�Lv�<����|&v��������®�L��x0�Ms��<|&x}��uw�$s����������L�£�O���wuwvy��x����º§¯����|��$���Z|&uw��t<s<x��Ox���uw���L���¤���O��{I¥Y|q��{&��x�O�¯·��������<����������{q�Lv(������|qvy���Y���®�O�Cx-�Ms���|&x���uw�0�

� �����;���<{2��uL� ÆO{qvy��{q�<�Ms<��|&x���uw����|2�L�� �{(s��y{q�����£�Ç�L���TuLx}�<{qv;��{2�Lvy��������t�vyuw ���{&����O����u<� S-uw���y����{&v`�+��{2�Lvy{q�³x��<{q���L�: �uws�v�|&�¶�L�y���¤·®{qv;§¯��{&v�{�uw��{ ��{&{q���`x}u+·®�<�Y�<���yx}�L��|&{ �{&x±§�{q{&�nx}��{$x}{q�³x+t®�Oxyx}{&v��n�L�<��x}��{T�yx�uwv�{&�«t�v�uOx}uLx±�:t�{q�q�+rB����|&{£�����yx}�L��|q{&��|q�L�n S{|&uw�Yt�s<x}{&���L�;������{qv�t�v�u:��s�|Ix}�q�w§�{(|q�L��{&¦S{q|&x����L{q���$·®�����<���yx}�L��|&{ �����¸x�v}�L�<�y�Muwvy��{&��yt®�L|&{?s��������iÆO{qv��<{q�U�Ms<��|&x���uw���&�+rBs<|��Q�Yx}�<����������uO�îx}{q����uw��{T���«����{2�Lvy{q�³x+��{q���w�B� �uws�vµ|q���L���y��·®{&vq� P®uwv`{IÌ<�L�Yt���{L�:s��������?� *��Ls��y�����L�ÇÆO{qv��<{q�S§�uws������L�Yuws���xµx}u£s<�����<�~��L�®�L��uw��uw ����¯�����³x��L��|&{$§¯�<��|��«���¸�YtSuLt�s��¶�Ov�|��<uw��|&{£������{q�Lv�{&�yx��<{q���L�: �uws�v�|q���L���y�¤�·�{qv��&�����<uLx}��{&v�{IÌ<�L�Yt���{�§¯����|���������uwvy{(����x�{qv�{&�yx������+����x}��{-��u�|2�L����{&� P����y��{qv������<{2�Lv�<����|&v��������®�L��x`����t®�Oxyx}{&v��Çvy{q|&uw�w���¤x}��uL�����{qv�{¸uw��{����`����x�{qv�{&�yx�{q�i���Y·®�<�������T�������<{2�Lvt<v�u4Íy{&|&x}��uw��uL�-x}��{Ç�M{q�Ox}s<v�{��L{q|Ix}uwv?�yu�x}���Ox£x���{Ç�y{qt®�Lv��Ox}��uw�c �{&x±§�{q{&�¡x}��{i|&�¶�L�y��{&��������4ÌB���Y��­&{q����¸�������cÆO{qvy��{q���Ms<��|&x���uw���Yuw��{�|2�L�¨·®���º���wuBu:�¢��uw��������{q�Lv�t�v�uO�Íy{&|&x���uw�ǧ¯�¤x}��uLs<x-����|qs<v�v������?�O�C�������w���¤·®|2�L��x-�L�����¤x}��uw�®�L� |quL��t�sBx��Ox���uw�®�O�®u[�L{qvy��{2�L�0�°±�¼�«�y���Y�����Lv+§(�2��uL��{i|2�O�¡s���{�ÆO{qv��<{q�(�Ms���|Ix}��uw���£x�unv�{&�MuLv��?s����Ox}{�x}�<{�t�v�����|q��t®�L�|&uw�YtSuw�<{q��x$�L�®�L�¤�:�����+t<v�uw ���{q� x}u�uw <x}�L�����i�wu:u:���<uw��������{2�Ov¸x}v��L���³�Muwv����Ox}��uw���Muwv�<���Y{q���y��uw�®�O����x±�Yvy{q��s�|Ix}��uw�¬Áðà � ÅE�

�¸�-�}�O���i����x}�<{�����x�v�u:��s�|&x���uw�0�Cx���{+rCz�~ �Y{&x���uB���wv�{I§ uws<x-uL�x}�<{�v�{&��{q�Lv�|�������³x��Ox����³x}��|q�L����{q�Lv��<����� x}�<{quwv³�w�L���L���������Mv�uw�Kx���{`§-uwvyÆ�uL�<zµ�Lt<����Æ+�O���£�������L���yuB|&�¶�Ox�{q�q��³x��Lv³x}�����¡�Mv�uw� ���Ox}{Q�y�¤Ì:x}��{q�q� � ��{cr:z�~ �L���wuLv���x���� §(�L��·®vy�yx�t�v�uwt�uw�y{q� ���©Á H Å�O����§(�O���¶�Ox�{qv£�L{q��{&v}�L����­q{&�¡��� Á LÅ@�¬� �<{�r:z�~ �L���wuwv��¤x}��� vy{q�ys���x�{q�¡����x���{i �{q�³xt�{qv³�Muwv��Y���<�+|q�¶�O�����¤·®{qv��Muwv�x���{ ��r��0��t�|qu:��{¸���Ox��Y�V�y{q{�x}��{¯��{&��|qvy��t<x���uw�Y����Á � Ŷ�µ�L�<��L{q��{&v}�Ox�{q�Y����uOx;uL� ���Cx�{qvy{q�yx;���£x���{(�Y{&x}�<uB��U� ��{(x}sBx}uwvy�¶�L�C �� �-s<v��w{&���6Á %LÅ�t<v�u6�:����{&��Ç�L{qv³�n�wu:uB�«����x}v�u:��s�|Ix}��uw�«x}u�r:z+~��q�T°Àx$�L���yui|quL�Cx}�L���<���i�:s<�? S{&v+uL�µv�{I�M{qv�{&��|q{&�x�u��Lt�t<����|q�Ox}��uw���&�U� ��{� Su:uwÆ� �� S-�<{qv�Æ4�w�O��Æ����L�<��~�s�����{qv�Á � Å0���(�$�wuBu:�Ç�yuws�vy|q{��Muwvvy{q���Ox}{&�£���Ox}{&v��¶�O�E�g� ��{ �+�nt�vyuw ���{&� x}�®�Ox���{q{&����x�u� S{���uw�¤�w{&�£x}u�uL <x��L���Tx���{ r:z+~|&�¶�L�y���¤·®{qv&�L�®�L���L���yu� �{q{&���¸�ys� :Íy{q|Ix`uL�®�?s<|��?����x}{&v�{&�yx2��Q���{-uL�<x}��{µ·®v��³x��L���wuwv��¤x}���Y�x��®�Ox£{IÌBt���uL��x}{&�cx}�<{i|��Cs���ÆC�����n����{2�����Tx���{Ç�yun|2�L����{&�¡r:z+~��±�����w��x£�L���wuLv���x���� ��s<{x�u��Luw�L|�������Á �4Å@�(� ��{$|qu:��{��Muwv x}�������L���wuLv���x�������� �Mv�{q{&�����<u[§¯�<��u��L���L ���{+�Mvyuw��x}�<{�<{&x2� � �<{�r�~�Q �L���wuwvy��x}�<�����¯��s<{Tx}uÇ���¶�Oxyx?Á �OÅU�L������x����¯�V�L�³x}{qv¯x}���L�nr:z+~��±�����w��xuL�n��uw�³x+t�vyuw ���{&���&�0uL�îx�{q�n ��n�Ç�V�O|&x}uLv�uL� ���� ��{�uLx���{qv�x±§�u��L���Luwv��¤x}���Y�¸ <v���{ ����Y{q��x���uw��{&�Ç���Ç��{&|&x���uw� H �Lv�{¯�Mv�uL� ÁðÃwÃ&Å�L�<�nÁÄà .OÅ@�������wuwv��¤x}���Y�`��s�|��i�L� r:z+~��±�����w��x

&

Page 43: Department of Computer Science - University of …ceick/DM/Sastry_svm_notes.pdfv {q L {&vq Z ¯ x ¬ u ® L| ÆC wvyuws ¬ nx} < $ Lv {q < Zx}u Yt {q Y{q x x}

�O����r�~�Q v�{q�¤�ÇuL���<{q|quL��t�uw�����������¶�Ov��w{¸�:s��L��v}�4x}��|�t�v�uw�Lv}�L�Y�������$t�v�uw <��{q� ����x}u�i�y{qvy��{q��uL�µ��u6§ �����Y{q���y��uw���L�gt�v�uw <��{q�Y�q�+� �<{quwvy{&x}��|2�L���L�®�L�¤�:������uL�`��s�|����Y{&x}�<uB���|q�L�� S{?�Muws<���¬���¨Áðà &C��à H Å@� � {��®�2�L{�t�vy{q�y{q��x}{&�¬x}�<{ÇrCz�~ ��{Ix}��u:���L�$�4&6�±|q���L���t��Ox�x�{qv���|q���L���y��·®|q�Ox}��uw�ix}{&|��������:s<{£�L�<���®�2�L{T �vy��{ �������<����|q�Ox}{&����u6§K§-{�|q�L��s<��{T��Cs��£ S{&v-uL��rCz�~��-�MuLv-��uL���:�����T�£�?s<��x}��|q���L���`t�vyuw ���{&���&�6� �wuBu:�Ç�<����|&s����y��uw�ÇuL�x}�<{�2�O�L���¶�L ���{���{q�y���w�«|��<uw��|&{q���Muwv¸�?s��¤x}��|&�¶�L�y�¯t�v�uw <��{q�Y��|q�L�« �{£�Muws��<�«���¼ÁÄÃ� B�Uà � ÅE�0��LuBu:�£x}sBx}uwvy�¶�L�:uw����s<t�tSuLvyx��w{&|&x�uwv�v�{&�wv�{&������uw�����;�<u[§¯�<��u��L���L ���{µ�Mv�uw� § § §��êÆL{qvy��{q�ð����L|�������{q�&�ÜuLv��C¾Ot��LtS{&v��}¾4x}v¿� H .4�}à � � �B�Üt��&�Ü�L­L��� �<{� Su:uwÆQ ��czµ�Lt��<��ÆSÁ � Å-t�vyu6�B����{q���O�{�ÌB|q{q����{&�CxTu6�w{&vy�:��{I§ uL�(�³x��Ox����yx���|q�L�;��{q�Lv��<������x}�<{quwv³�w��~�uLv�{Yv����Luwv�uws<���L|q|&uws���x}�TuL�x���{`x}��{&uwvy�T�L���T��x��Uvy{q��{I�O�L��|q{`x}u¸����¦S{qvy{q��xU��{2�Ov���������x�{q|����<���Cs�{q�������2�L�O���¶�O ���{����iÁ &�.<�&:Ã&Å@�$� �<{�v�{q|&{q��x�t®�Lt�{qv+ ���zµ�Lt�����Æ�Á & &4Å�t�v�u6�:���<{q�+�i�wu:u:�«��s��Y���Lvy��uL�µv�{&��{I�L�O�Cxvy{q�ys���x��q�º� ��{�x}��{&uwv�{&���Y�Cs�uLx}{&�»���»rB{q|Ix}��uw� c�Lv�{��L���(x��LÆO{q�Â�Mvyuw� x}������t��LtS{&vq�� �<{� ��L����|nv�{q�ys���x�vy{q���Ov��������¼s������MuLv�� |quw���w{&v��w{&��|q{¬uL�T{q�Yt���vy��|2�O�¸{�Ì<t�{q|Ix��Ox���uw�<�s<�����<�Qx���{�����{q�«uL��§¯�®�OxY������u6§ |2�L����{&�¼x���{iz S �<���Y{q���y��uw��`����t�v�u6�w{&�¨��� ÁO& H ÅE�� �<{�z S x���{quwv³�¼�®�L�Y�w���L{q�¨v����y{�x�u¬�£s�|��Â���Cx�{qvy{q�yx����¢�yx�s��<�:���<�c|quL��t���{IÌB��x±��uL���{2�Lvy�����<�¯�L���wuLv���x����Y��L����x}�<{µ�yu¸|q�L����{q�$��v�uw ��L ����0��t�t�vyu2Ì<���Ç�4x}{q�¤��S-uLv�v�{&|&x(�@� � S ���{2�Lvy�����<�Ç�YuB��{&�(�M��{&{L�Z{L�ê���¤�`Á &� �� & � Ŷ�I�$rBuw�Y{£�<����|&s����y��uw�nuO�µx���{�r:z+~ ��{Ix}��u:�n���x���{£|&uw��x}{�ÌBx�uL�`v�{&�¶�Ox�{q������{2�O�¸�Mv�uL�"�yx��4x}���³x}��|q��|2�L�« �{T�MuLs����«���¡Á &�%OÅ��L���¼Á & � Å@� ��LuBu:�Q�����y|qs��y����uL�cuw��ÆL{&v���{&�¤�± ��L��{&����{q�Lv����������L���wuwv��¤x}���Y�����$���¨Áðà � ��à �<��Ã�%OÅ@�Ç� �<{t��LtS{&v�Áðà � Å:�L���yu¸�w�¤�w{&��vy{&�M{&v�{q�<|q{q�Ux}u¸�����Lv��w{��Cs��£ S{&v�uO��v�{&|q{&�Cx;�Lt�t�����|q�Ox}��uw���q��r:uw��{uO�Sx���{��Ot�t�����|2�Ox���uw�<��uL�Zr:z�~"���Y�`�»t�v�uL ���{&����|q�L�� �{ �Muws����Y����Á & �OÅð�IÁ H Ã&Å@��� �wu:uB��yuws�vy|q{��Muwv?���<�Muwv����Ox���uw�¬uw�¡�L�Ov���uLs����Lt�t<����|q�Ox}��uw���TuL�+rCz�~ ��{Ix}��u:�¼���£x���{�§-{& �y��x�{L´;§ § §��ê|q��uLt�����{Ix2�ê|quw�ǾO���}�L �{q����{6¾O�`vyu4Íy{q|Ix}�}¾wr:z�~�¾L�Lt�t������³x2�ê�Cx����@� �¸��uLx���{qv¯�wu:uB��yuws�vy|q{?�Muwv����<�Muwvy�Ç�Ox���uw���O�Lv���uws��������ys�{q��uw�nÆO{qv��<{q�� ®�L�y{q����{q�Lv��������i�O���wuwvy��x����������x���{`§-{& ?���¤x}{`§ § §��ÜÆO{qv��<{q�¤�À�Ç�O|�������{&�q�êuwv��<��� �����U�y��x}{µ|quL�Cx}�L���<�����L���+x}sBx}uwvy�¶�L���x}�®�Ox|q�L�� S{$��u6§¯����uw�L��{q���L������x��L����u�t�vyu[�:����{q����uw�Y{���{Ix}��uO���®�4x����Muwv¯ S{&��|������Lv�ÆC���<���{2�Lvy�����<���O���wuwvy��x������&� � �L{qv³���LuBu:�������³x¯uL���L���t�s� <����|q�Ox}��uw��� vy{q�¶�4x}{q��x}u�x}�������Lv�{q����(�Muws���������§ § §��êÆL{&v���{&�¤�±���L|�������{q�&�ÜuLv��C¾Ot<s� �����|2�Ox���uw�<�q�ê�Cx����@�

H

Page 44: Department of Computer Science - University of …ceick/DM/Sastry_svm_notes.pdfv {q L {&vq Z ¯ x ¬ u ® L| ÆC wvyuws ¬ nx} < $ Lv {q < Zx}u Yt {q Y{q x x}

� � �+fnlnp��

°±�cx������T�Lt�t�{q�<���¤ÌQ§�{i�yx}�Ox}{Y��uL��{�v�{q�ys���x��$�Mvyuw� uwt<x����Y��­q�Ox}��uw�«x}��{&uwvy�Q§¯����|���Ov�{�s���{&��������{&�L{q��uLt�������x���{Tr:z�~��L���wuLv���x������U� �����¯�Ç�Ox�{qvy�¶�L� �Muw����u6§¯�6Á H &[Å@�

S-uw�<�����<{qv x}��{+�Muw����u6§¯���<�?|quw�<�yx}v��L���<{q��uwt<x}������­2�Ox���uw��t�v�uL ���{&�������� �;� +S�

�ys� :Íy{q|Ix¸x�u � � + � � � � � à ������� � � � � � � �§¯�<{qv�{ �¬´ ��� � � �����Y|quw���L{IÌ��Ms���|&x���uw���L��� � � 1%���B� � � 1 ��� � � � �¸����t�uw����x+ 1 ���Çx}�®�Ox����Ox}���y·®{&��x}��{�|&uw���yx�v}�L����x}�q� � � +�� � � � � ²Ã �������8� � ����+�}�L���nx}u� S{������� ��� �7���Muwv � � � ���6�¸� + " 1�� � x}�®�4x`���;�M{2�O���� <��{ �L�<�Y���Ox}���y·®{&� �;� + " � � �;� +S��� � +21���i�ys�|��nx}�®�4x +������M{q�L���� ���{O�0����|2�L����{q��� ��� �9���� ����� �� ���7� ����� � ��� ��� �� uL� �¬uwv�����7� ����� � � �3��8�)� �¡�Muwv������Yt��¤�n�2� � �3��8�)� �:��uL�-x���{�uLt<x}������­2�Ox���uw��t�v�uw <��{q� �w���L{q�c ��� � � ��� � {���{I·®��{�x}��{���u�|q�L����{q��� � ������� ��������|&uwv�vy{q��t�uw���<������x}u�� � � �(�L�

� � + � �Z� �;� +S� ! "� # ;

� � ��� � + � � � � � � ���

§¯�<{qv�{&� ©Á�� ; ����� � Å 1�� �L���'� � �Ov�{�|2�L����{&�ix}��{�� � ��� ��� ��� � .�3�8�;� � �)��� �I����%������� � �L´ ªZ{Ix �© S{¡|&uw���w{IÌ �L��� |quw��x����Cs�uws��y��� ����¦S{qvy{q��x}���L ���{O�� ��{q� + "����µ�T�w��uw ®�L�®�yuw��sBx}��uL�YuO�µ� � � ���¤�Z�L�<�Çuw���¤����� + "-�����M{q�L���� ���{ �Muwv� � � �(�O����x}��{&v�{${IÌB���³x � "� � � à �������8� � ���ys�|���x��®�OxÃw� ����� � + "�� �1"�� .&B� �1"� ,/.H � �1"� ��� � + " � � � � .�� � �

§¯�<{qv�{ ����� ����x���{��wv��L����{q��x uL� � §¯��x��iv�{&��t�{q|&x x�u?x}��{¸�w{q|Ix}uwv-+g��� �<{+|quw���<��x}��uw�������x���{+�L �u6�w{�x���{quwvy{q� �Lv�{¸|2�L����{&�Çx}��{ �+s�������s�|�ÆL{&v |quw���<��x}��uw���µ�Muwvµx���{�t�vyuw ���{q�� � � ���� {I·®��{Y�i�Ms���|&x���uw�0� � ´ � � Á ��� � � ���Z|2�L����{q�«x���{ �9���9�".� ���8�)� ���Muwv�� � � �I�

 ��� �8�g��¹���<� � � � + � �g� � � ���

§¯�<{qv�{ � ���¯x}��{£ª��O�wv}�L�<�w�¶�L�0��� � �8�g�(���2��x��LÆO{T�O�L��s<{ ��� ����x}��{$���<·��?s��"������uLx�4x�x��O����{&� �I�

Page 45: Department of Computer Science - University of …ceick/DM/Sastry_svm_notes.pdfv {q L {&vq Z ¯ x ¬ u ® L| ÆC wvyuws ¬ nx} < $ Lv {q < Zx}u Yt {q Y{q x x}

��u[§Âx}��{���s®�L�U�Muwv�x}��{���s®�L� uwtBx}���Y��­q�Ox}��uw�?t�vyuw ���{q�Ç�U�Muwv¸� � � �;���µ�<{&·®��{&�Çx}uT S{x���{�uwt<x����Y��­2�4x}��uL�Çt�vyuw ���{&�

���4Ì � �*�g���s< :Íy{q|Ix�x}u � � , .9� � Ã���������� � � ��% .��

� �<{�uwtBx}���Y��­q�Ox}��uw�«t�vyuw ���{q� �w�¤�w{&�¬ ��¨� � � ������|2�O����{&�nx}��{ � � ��� ��� � � � � �7� ���Y� �<{�MuL����u6§¯������x}��{&uwv�{&��{&�yx}�L ���������{&�£x}�<{Çv�{&�¶�Ox���uw�<������t� �{&x±§�{q{&�¡x}��{���uw��s<x}��uw���$uL�(x}�<{t<v������L�0�L������s®�L�t<v�uw ���{q�Y�q�

���%������� � ��´�<� °À�gx}��{+t�vy�����L� t�v�uL ���{&� �®�O�(uwt<x������L� ��uw��s<x}��uw��x���{q����u��<uB{&�-x}��{��s®�L�g�O����x���{�|quwvyv�{&��t�uw����������uwt<x}���Ç�O�S�O�L��s<{q���Lv�{+{&�Cs®�L�E�

 �¯°±�¬uLv���{&v��Muwv + "�x�u� S{�uwtBx}�����L��t�v����Ç�O����uL��s<x���uw�n�O��� � "+x�u� S{uwt<x������L�U�<s®�L���yuw��sBx}��uL��S�¤x�������{q|&{q�y�}�Lv³�Q�L���n�ys<¥Y|q��{&��x+x}�®�Ox + "���-�M{q�L���� ���{¸�Muwv�x���{+t�v����Ç�O��t<v�uw ���{q����� " ���-�M{2�O���� <��{¸�MuLv-x}��{+�<s®�L�t�v�uL ���{&�"�L���

��� + " � � � + " � � " � ¹�Y��� � � � + � � " �&� �8%<Ã[�

r:����|&{Y��%<Ã[�µ��{q���L����� ��� + "�� � � + "�� �1"��I���L����������|q{ + "¯���-�M{q�L���� ���{¸�Muwv$� � � �I�B�Mvyuw�� � �����<§-{$�?s��³x¯�®�2�w{

� "� ��� � + "F� � � � .9� � à �������8� �§¯�<��|��c����|2�L����{q�Q|&uw��t<��{q�Y{q��x}�Lvy�����¶�O|�Æ:�<{q���T|quw�<����x���uw��R�¸����u<��§�{��£s��yx$�®�2�w{ + "�O��x���{Ys���|quL���yx�v}�L����{q�¬���������?s<� uL� � � + � � " ��§¯����|��c�Y{2�L�<�0+ " ���$����uw��s<x}��uw�QuL���� � � + � �g�� .T�Ox4�� �1"q��� ��{&��{+�Lvy{�x���{�|quw���<��x}��uw����§�{��®�2�w{¸s���{&�i������{qvy���:�����x���{Tr:z�~ �L���wuwv��¤x}��� �����y{q|Ix}��uL��&B�

Page 46: Department of Computer Science - University of …ceick/DM/Sastry_svm_notes.pdfv {q L {&vq Z ¯ x ¬ u ® L| ÆC wvyuws ¬ nx} < $ Lv {q < Zx}u Yt {q Y{q x x}

� � � �+j �+fno%���

ÁðÃqÅTr�� *�{&�Ç�L���L�<��Ë � �-��{q��{&���yx�uB|�Æ �����¸{&s�v}�O���{&x±§�uwvyÆ:���L����x}��{� ����L��¾[�L�Ov��¶�O��|q{�<����{&�����<����� ���� ��� � � � � ��?���8�)� �®�<�wuL�E�� ���t<t�ZÃ

�� �B�à � � &:�

ÁO&4Å$���:Q?� � s������L�����U�gË �B�¸�Lvyxq��� ����� ��� � � � ����� � �-�������)� � ���� � ��� � �:��� ��� � �7�I���{&§µuLv�Æ ´ � ����{I�w�Sà � � H �

Á H Å �¸� �-uw��{&vq�:°�� *+s<�Luw��:�L����z?���$�wzµ�Lt�����Æ���� �»x�v}�L�������<���L���wuLv���x���� �Muwv`uwt<x������L����Lvy�w����|q���L���y��·®{&vq���Ç����� � � ��� ���� � �"����� � �% ����� ����� ���%��� � � ��� � � ��)���8�)� � ����7����� � ��� � ���%����� ���� � ��� � �8�� � �:� t�t�ZÃ�

�à � &B�7� S ~¬�Zà � � &B�

Á LÅ S�� S-uwv³x}��{&���O����z£�®zµ�Lt�����Æ����}r:s�t�t�uwvyx��w{&|&x}uLv���{Ix±§-uwvyÆC�q��� � ��������� � � ����� ������ �L���Luw�E�K&�.<��t�t0� & � H

�& � � �0�� � � �

Á � Å+z£�9�$��zµ�Lt�����Æ�� ���%� � ������ � ��� ���)���8�7�����)����� �7����� � ��� � �*�%����� 4�grBt�vy�����w{&vµz`{&v����L�������Zà � � � �

Á�%OÅ S�� �<� S�� �-s�vy�w{q�&��� � x}s<x�uwv����L��uw�¹��s<t�tSuLvyx��w{&|&x}uLv����L|�������{n�Muwv�t®�Oxyx}{qvy�vy{q|&uw�w���¤x}��uL���� � ���)� � ��� ��� �2���� ��&� ��� �7�� ��� � �7� ��������� 4��wuw�@�:&B�gt�t�`Ã

� � �

Ã�� � �<�Á � Å+z£� S-��{&v�Æ4�L�y��Æ��¼�L��� P��;~�s<����{&vq� � ����� � ��� � �"� � � � ���?� � � � � ����� � �!� ���%�����

���� � �����%� ��I� � ����{I�w�%��{&§"µuwv�Æ �Zà � � �<�Á �OÅ��+� �Luw�L|��������#�}~��LÆC����� �¶�Lvy�w{ ��|q�L��{ �ys�t�t�uwvyx �w{&|&x�uwv �Ç�L|��<����{ ��{2�Lvy�������

t<v}�L|Ix}��|q�L�E���¹���$� ������ ��� ���%� ��� � ��� � �����%� ��&�(' �� �%���"� � ��������� � ����� � ��� ������µrB|���uL��ÆLuLt<�¿� S�� �<�DS�� �-s�vy�w{q�&� �L��� �£� �<�µr:��uw���<��{q�<�q�É�I�(t�t0� Ã�% �

��� ��

~�°±� ��v�{q�y�q� S(�L�? <v����<�w{L�É~4�£�ZÃ�� � �<�� �<{ �yuws�vy|q{ |qu:��{ �Muwv x}����� �L���Luwv��¤x}��� |q�L�  S{ uL <x��L����{q� �Mvyuw���xyx}t´É¾w¾O�³�B�Y�����w��x2� Íyu��L|��������&�ÜuLv����

Á �OÅ �<�S���¶�Oxyx2�)�}rB{&�:s<{q��x}���L���Y�������Ç�O�0uwt<x����Y�����Ox}��uw�´D� �V�L�³x��L���wuwvy��x}�<���Muwv¯x}v}�O���B��������ys�t�t�uwvyxT�w{&|&x}uLv?�Ç�O|�������{O���n���*� ������ ��� ���+� ��� � ��� � ���*�%� ��&�,' �� �%���"�� ����� ��� � ����� � ��� � �����£rB|���uw��ÆLuwtB�¿� S�� �<��S�� �-s�vy�w{q�&�i�L��� �£� �<�?rB�Yuw���<�{&���q�É�I��t<t�?à � �

�&�. �<�T~�°±� ��v�{q�y�q� S(�L�£ �v������w{L�É~4�T�£Ã � � �<���6�O�L���¶�L <��{¬�Ox2´

��xyx}t´É¾w¾4§ § §��êv�{&��{2�Ov�|���ê����|qvyuw��uL�îxq�Ü|&uw�ǾOs���{&v��}¾�Íyt��¶�4x�x�¾4���YuO�± �uBuLÆ��êt��<�¿�ÁÄà .OÅ Q?�Tª��£~��L�����L���Lv����L�©�O��� � �$���?~�s<����|q�L��x2�-�}rBs�|&|q{&�����¤�w{ºu6�w{&v�vy{q�¶�[Ì��4x}��uL�

�MuLvT�ys�t�t�uwvyxT�w{q|Ix}uwv£�Ç�L|��<����{O���/. � � � � � ���9�8�����8�)� �9��� �+� ���� ���0� ���1� ����� �I�t<t�Zà . H &

�à . H � �®rB{&t<x2�Zà � � �<�

%

Page 47: Department of Computer Science - University of …ceick/DM/Sastry_svm_notes.pdfv {q L {&vq Z ¯ x ¬ u ® L| ÆC wvyuws ¬ nx} < $ Lv {q < Zx}u Yt {q Y{q x x}

ÁÄÃwÃqÅTr��`rS� �+{&{qvyx����E�µr�� ����rB�<{&�O�L��{O��S�� �-�®�Oxyx��L|��®�Ovy���Q�L�<� �����$� ���;~�s<vyx}���L��+� �V�L�yx��¤x}{&v}�Ox����w{���{2�Ov�{q�³x�tSuL����x��L���wuwv��¤x}��� �MuLvÇ��s<t�tSuLvyx��w{&|&x�uwv��Ç�O|�������{|&�¶�L�y���¤·®{qv���{q�y���w���� . � � � �9� ���9�8�������)� �9� � � � ���� ��� � ���1� ����� �I�Bt�t��à &�

�à H %<�

�w�O�� &�. . .B�ÁÄà &4Å S�� �<��ªZ���� � Q��¬x���{�|&uw���w{&v��w{&��|q{�uL��x}��{Y��{&|quw�YtSuL����x���uw���Y{&x}�<uB�Q�Muwv���s�t:�

t�uwv³x��w{q|Ix}uwv`���L|�������{q�&��� . � � � � � ���9�8�������)� �9��� � � ���� ��� � ��� � ����� �I�wz`uw�E�Bà &B�t<t�Zà & � �

�à & � �B� �¸u6��� &�. .BÃw�

ÁÄà H Å S�� �<�wªZ���0� � �¢�Muwv����L�:�L�®�L�¤�:�����UuL�®�³x}uwt�t<������|&v��¤x}{qvy�¶��uL� ��{q|&uw�YtSuw�y��x���uw�T��{Ix}�B�u:���£�MuLv£��s<t�tSuLvyx��w{&|&x�uwv?���L|������<{q�q���-. � � � � � ���9�8�����8�)� �9� � � � ���� ��� � ��� �� ����� �I�<z`uL�E�à H ��t�t�Zà .� �

�à . � &B�®r:{qt<xq� &�. . &B�

ÁÄÃ� LÅ S�� � � �¸��s��O��� S�� �<�<ªZ���� �+� |&uw��t��Lv�����uw�YuL�Z�Y{&x���uB�<���Muwvµ�?s��¤x}��|&�¶�L�y����s�t:�t�uwv³x��w{q|Ix}uwv`���L|�������{q�&��� . � � � � � ���9�8�������)� �9��� � � ���� ��� � ��� � ����� �I�wz`uw�E�Bà H �t<t�� �à �

� & � ��~��Lvq� & . . &B�

ÁÄà � Å$���C�¯���MÆC�����O��� �T� �+�¶�LsBx��Ls� �³°±�Y�<{&�M{q�<��{�uL�0uL��{I�E�B�¿�¿�L����|q���L���y��·®|q�Ox}��uw���� � ���� �� ���B��� � ��������� � � ����� � ��� ��� ��� ����� ���:�<z`uw�E� � ��t�t0�Zà .<Ã

�Ã� �Ãw� �w�O���� & . . ��

ÁÄÃ�%OÅT~�� *�� *�{&�Cx�uw�� � S-���L���y{q��uL� �+{qvy��{q�����MuLv�~��L|�������{�ªZ{2�Lvy�����<��´0� r:x}�Ox}���yx}��|q���{qvy��t�{q|&x����L{L��� � ���� � ���-��� � ��������� ��� ����� � ��� ��� ��� ���������:��z`uw�E�#&:�;t�t�6& � �

H à &B� � {&|L�¤� &�. .<Ãw�ÁÄà � Å ���-�$�-~�s�����{qv&�¯rS�(~���Æ4�<��*����¸�Ox���|��� ����� �ys��®�¡�L�<� ��� r:|���uw��ÆOuwt<�¿��� �¸�

����x}v�u:��s�|Ix}��uw�cx}unÆO{qvy��{q�ð�± ®�L�y{q�¢��{q�Lv��������«�O���wuwvy��x������&���/. � � � � � ���9�8�������)� �9�� � � �������� � ��� � ���!� �I�®t<t�Zà �<Ã

�&�.<Ãw��~��Lvq� & . .<Ãw�

ÁÄà �OÅU�T�`��s<��­��L�<�Â����Ë �`ªguLtS{&­I�±�<{I�±��{qvys�{q�@� � �¸uw��������{&v£ÆO{qv��<{q�¤�À ®�L�y{q�Â�³x��Ox����³x}��|q�L�t��Ox�x�{qv�� �O�®�L���:�y���q����� . � � � � � ���9�8�����8�)� �9� � �� ���� ��� � ��� � ����� �I��z`uL�E��à &B�t<t�ZÃ�%

�H &B� �w�L�� & . .<Ãw�

ÁÄà �OÅTr���r:�®�L���O��������r���rB�L�yx�vy�w� � P������w{qv+t<v�����x$|q���L���y��·®|q�Ox}��uw�Qs��������«���M{q{&�� ®�L|�Æ ��L��{&�¢������{Y��{Ix}{q|Ix}uwv&���-. � � � �9� ���9�8�������)� �9� � �*' ��� � ��� � ��� ���� � ����� �� ���8�)�����-���"���¯�Bz`uw�E� H ���t�t� � �

�� ��8P®{q � &�.�. ��

Á &�.OÅT~��4z����<�w�L�}�L�w�Lvq� � �*�%����� ���� �7����� � ��� � ���� ��� � ������� �7�8���8�)� �®�BrBt�vy�����w{&v�z`{&v����L�������Zà � � � �

Á &BÃqÅ+z£� �T��zµ�Lt<����Æ � ' �)�����7���8�)����� �7����� � ��� � ���%����� 4� � ����{&�w�9� ?�Zà � � �<�

Page 48: Department of Computer Science - University of …ceick/DM/Sastry_svm_notes.pdfv {q L {&vq Z ¯ x ¬ u ® L| ÆC wvyuws ¬ nx} < $ Lv {q < Zx}u Yt {q Y{q x x}

Á & &4Å+z£���T�Lzµ�Ot�����Æ � � �¸��u6�L{qvy�:��{&§»uO�0�³x��Ox����yx���|q�L�<��{2�Lvy��������x���{quLvy�w��� . � � � �9� ���9� ������8�)� �9� � � � ���� ��� � ���1� ����� �I��z`uw�@�à .<�<t�t� � � �

�� � �<��rB{qtBx2�Zà � � �<�

Á & H Å+z£� �$�µzµ�Ot�����Ƽ�O��� �£� �<��S-��{qv³�wuw�<{q��ÆC���&��� Q+�¢x}��{�s����¤�Muwv�� |&uw���w{qvy�w{q�<|q{uO�-vy{q�¶�4x}���L{£�Mv�{&�Cs�{q��|&��{&�$uO��{I�w{&�Cx��$x�uix}��{&��v�t<v�uw ®�O �������x}��{q�&��� ���%����� � � � ��� � �� � � �����wuL�E�Ã�%B�®t�t� &�%

�& � .<�SÃ � � ÃL�

Á &� LÅ �¸� ��� �¸�Ox��Lv��[Í��L�� � ��������� � � ����� � ��� � � � ���%����� �����)����� � � � � �8�����:��~�uwv����O����LsB�M�Ç�L�<�� r<�L��~��Ox�{qu�� S��T�Zà � �<ÃL�

Á & � ÅU�T� �-��s��Y{qv&�G�£��Ë���vy{q�<�M{&s�|���x2� � �<���Ls��y����{qvq���L�<�«~¬� ��� � �Lv��?sBx}�� ��ªZ{q�Lv��B��O �������x±� �L���"x}�<{K�L�Ot�����Æw�À|���{qv³�wuw��{&��ÆC���¹�����Y{q�<����uL���� � ��� � � �Ç�Luw�E� H %<�t<t� � & �

�� % � �Sà � � �<�

Á &�%OÅ � �-~��Oxyx}{&v}�<� P-�����L����{&v��@�(�L���¹r����¸�6�:ÆC���0� ��rB���Yt���{��L�<�ºv�uw �s<�yxi�Y{&x���u:��MuLv¸�ys�t�t�uwvyx¸�w{q|Ix}uwv��Ç�L|��<����{${IÌBt®�L�<����uL���q����. � � � �9� ���9�8�������)� �9� � � � ���� ���� ��� � ���!� �I�®t<t�Zà . H �

�à . � �®rB{&t<x2�Zà � � �<�

Á & � Å �<�:�+� �� ��§-uLÆ�� �}~�u:��{qv��Ox}������x}��{¸uws<x}t<s<x-uO���s<t�tSuLvyx-�L{q|Ix}uwv��Ç�L|��<����{�|q���L�³��y��·®{&vq��� . � � � � � ���9�8�������)� �9� � � � ���� ���)� ���1� ����� �I�-t<t�¯Ã .<à �

�à . H Ãw��rB{&t<x2�

Ã�� � �<�Á & �OÅ �$� � v�s�|�ÆO{qvq� � � � sÂ�L���¼z?�F�T�;zµ�Lt<����Æ � ��rBs�t�t�uwvyxY�w{&|&x�uwv����L|�������{q���Muwv

�yt®�L�"|q�Ox}{&�wuwv����}�Ox���uw�0��� . � � � � � ���9�8�����8�)� �9� � � � ���� ��� � ���1� ����� �I��z`uw�@�à .<�t<t�Zà . �

�à . � <�®rB{&t<x2�Zà � � �<�

Á & �OÅTr�� �-{q�:� ��L|&uws� ��?�6�� ���{&�ãÍ��Luws<{q�¼�L���¼Ë �;~��2�wuwv��L­L� � P®s��y��uw��uO� �V�L|q{��L�<��ytS{&{q|��T�®�Ox��(�MuwvZt�{qvy��uw������{q��x}�¤x±���L{qv��¤·®|2�4x}��uL���� . � � � � � ���9�8�������)� �9� � � � �� �� ��� � ���1� ����� �I��z`uw�@�0à .B��t�t�Zà .�% �

�à . � ��®r:{qt<xq�Zà � � �<�

Á H .OÅ��+�7P®s�v�{I�w���T�7S-��vy���³x}�¶�O�������@� �T� � s<¦��w� � � �-{&���®�Lvy��ÆC�E��~¬�BrB|��Cs��Y��{&v��O��� � ��¸�Ls��y����{&vq� �}rBs�t�t�uwv³x¸�L{q|&x�uwv����L|�������{$|q�¶�O�����¤·®|2�4x}��uL���L�<���O�L�����®�Ox���uw��uL�;|2�L�B�|&{qv�x}�����ys�{��}�L�Yt���{&��s��������Q����|qvyu��Lv�v��2�c{�Ì<t<v�{q�y����uw�¨���Ox��<��� � �)� ��������� � ���8�)���I�z`uL�E�Ã�%B��t�t� � .�%

��<� <�K&�. .�.<�

Á H ÃqÅU�T� �0��{&���*��6���Ox���|���LrS�4~���ÆO�B� �¸�[rB|���uw��ÆLuwtB�¿�O�+�[ªZ{q�<���Ls�{&vU�O��� ���6���4~�s�����{&vq��yË`�<�w����{&{qvy�������ys�t�t�uwvyx �L{q|&x�uwv¯�Ç�O|�������{�ÆL{qvy��{q��� x}�®�Ox¯vy{q|&uw�w����­q{�x}v��L���y�¶�Ox���uw�������x��¶�Ox���uw�����¤x}{q�¯��� � � �£��� � �)� ��������� � �����)���I�:z`uw�E�SÃ�%<��t�t0� � � �

���. � �<&�.�. .<�

Page 49: Department of Computer Science - University of …ceick/DM/Sastry_svm_notes.pdfv {q L {&vq Z ¯ x ¬ u ® L| ÆC wvyuws ¬ nx} < $ Lv {q < Zx}u Yt {q Y{q x x}

Á H &4Å � ����� �-{&vyx���{qÆ4�L�&�)� � � � ��� ����� � � � ��� ��� � ��� �L� �(x}��{&�®�QrB|&��{q��x���·®|O� �-{&���Yuw��x2�~ �£�gà � � � �