狠狠撸

狠狠撸Share a Scribd company logo
异常の定义と推定
n
?
?
?
?
n
?
?
n
n
?
?
?
n
?
n
?
!
"
n
?
n
?
!
"
n
?
#
n
?
!
"
n
?
#
n
?
?
?
n
n
n
?
?
n
?
?
?
n
?
?
n
?
?
?
n
?
?
n
?
?
?
n
?
?
n
?
?
?
n
?
?
n
?
?
?
n
?
?
n
?
?
?
“ ”
? “ ”
? “ ”
n
?
?
n
?
?
?
“ ”
? “ ”
? “ ”
n
?
?
?
n
?
?
n
?
n
?
n
?
n
异常の定义と推定
n
n
n ! = #$ $%&
'
?
n
?
?
?
n
n
?
?
n
?
n
n ! = #$ $%&
'
? # ~ ) # , supp ) ? 0, 1 1
n
?
? 2 ∶= # ∣ ) # > 6
! 2
7
82 ? {# ∣ 7 # > 0}
#
6
2
) #
n
? ! ∶= $ ∣ & $ > (
? !) ∶= $ ∣ & $ ≤ (
n
? ! ≈ ,! = {$ ∣ . $ > 0} .
n
? min$ % & ? ( ) △ +)
) = - ∣ / - > 1 +) = {- ∣ & - > 0}
?
/
n
? min$∈? 7 &
?
8′ = :; ;<=
>
: ~ @ : , @ 0, 1 C
8 D = 1
8′ D = ?1
7(&) ?
1
1 + 1
IJ~KL sign & - = ?1 +
1
1 + 1
IO~PL sign(& : ) = 1
) △ +) ) +)
n
? ! " # = 1 = & "
? ! " # = ?1 = ( "
n
? ! ", # = ! " # = 1 ! # = 1 + ! " # = ?1 ! # = ?1
= +& " + 1 ? + ((")
? + = 1/1 + /
"
( "
"
/
& "
0
120
( "
"
0
120
1
120
& "
"
0
120
3 " > 0 3 " ≤ 0
7
n
?
! " = 1 =
%
%&'
, ! ) " = 1 = *())
?
! " = ?1 =
'
%&'
, ! ) " = ?1 = .())
min2∈? 5 6
?
1
1 + 9
:;~=> sign 6 ) = ?1
+
9
1 + 9
:A~B> sign(6 C ) = 1
n
? ! ∶= $ ∣ & $ > (
? !) ∶= $ ∣ & $ ≤ (
n
? ! ≈ ,! = {$ ∣ . $ > 0} .
n
? . = argmin7∈? : .
:(.) ?
1
1 + (
@A~CD sign . $ = ?1 +
(
1 + (
@G~HD sign(. I ) = 1
! " ? $ △ &$ = | ) > + △ " > 0 |
- " ?
.
./0
12~45 sign " : = ?1 +
0
./0
1>~?5 sign " @ = 1
n
? ("B) ! "B → 0 ? - "B → -FGH
? ! " = 0 ? - " = -FGH
? ) :
?
n
? " ? J → ∞ ! &" = 0
n
? ! ∶= $ ∣ & $ > (
? !) ∶= $ ∣ & $ ≤ (
n
? + = argmin2∈? 5 +
n
? + ?
5(+) ?
1
1 + (
;<~>? sign + $ = ?1 +
(
1 + (
;B~C? sign(+ D ) = 1
n
? ! " ?
$
$%&
'(~*+ sign " 0 = ?1 +
&
$%&
'5~6+ sign " 7 = 1
n
?
? + sign(" 0 ) = :
→ ? " 0 , : : = max{0, 1 ? :" 0 }
?
E!(") ?
1
1 + F G
H
IJ$
K
? " 0I , ?1 +
F
1 + F L
H
MJ$
N
? " 7M , 1
n
n
n
异常の定义と推定
n
n
n
n
?
n
?
! = # $ ∈ ?'
$()
*
+ = , - ∈ ?'
-()
.
? / ? 1 ? {1, 2, … , 1}
n
? ! = # $
$()
*
+ = , -
-()
.
/ ? 1
n ! ? [$]
? & = ( )
)*+
,
~ . / , 1 = 2 3
3*+
4
~ 5(/)
? ! ? $
. /89 = 5(/89)
. /89∪{<} ≠ 5(/89∪{<})
., 5
?
?
?@ ∈ !
!
!B
. = 5
. ≠ 5 . ≠ 5
n ! ? #
? $ %&' = ) %&'
? $ %&'∪{,} ≠ )(%&'∪{,})
n !
n
? !""# = dist(*""#, ,""#) (., .′)
!""# = 0
= 0, (if *""# = ,""#)
> 0, (if *""# ≠ ,""#)
n
? !""# = dist(*""#, ,""#) (., .′)
!""# = 0
= 0, (if *""# = ,""#)
> 0, (if *""# ≠ ,""#)
* 567 = ,(567)
* 567∪{"} ≠ ,(567∪{"})
?. ∈ =
=
n
? !""# = dist(*""#, ,""#) (., .′)
!""# = 0
= 0, (if *""# = ,""#)
> 0, (if *""# ≠ ,""#)
* 567 = ,(567)
* 567∪{"} ≠ ,(567∪{"})
;
;<
> 0
= 0! =
;<
;
?. ∈ ;
;
n
? !""# = dist(*""#, ,""#) (., .′)
!""# = 0
= 0, (if *""# = ,""#)
> 0, (if *""# ≠ ,""#)
* 567 = ,(567)
* 567∪{"} ≠ ,(567∪{"})
;
;<
> 0
= 0! =
;<
; ;
;<
?. ∈ ;
;
!
n
? "##$ = dist(+##$, -##$) (/, /′)
"##$ = 1
= 0, (if +##$ = -##$)
> 0, (if +##$ ≠ -##$)
+ 678 = -(678)
+ 678∪{#} ≠ -(678∪{#})
!
!<
> 0
= 0" =
!<
! !
!<
?/ ∈ !
"##$ = dist(+##$, -##$)
dist(&''(, *''()
n
? ,-
. / = ∫2-
3
& / 4/ 5(/) = ∫2-
3
* / 4/
KS &, * ? sup
3
|. / ? 5(/)|
n
? =(>log>)
?
Pr KS &, ?& ≤ F ≥ 1 ? 2 exp(?2FL>)
& ?&
/
. /
5(/)
KS(&, *)
dist(&''(, *''()
n
? ,-
. / = ∫2-
3
& / 4/ 5(/) = ∫2-
3
* / 4/
KS &, * ? sup
3
|. / ? 5(/)|
n
?
? dist(&''(, *''()
/
. /
5(/)
KS(&, *)
n
n
?
!" ? $%cos) + $+sin)
KS(1(!"), 4(!"))
? )
$%
$+
E"~789:;<=[KS (1(!"), 4(!"))]
n
n
?
! !", !$, … , !& ~ Uniform
/"
/$
E1~2345678[KS (=(>1), @(>1))]
=
1
D
E
FG"
&
KS (=(>1H
), @(>1H
))
n
? !""# = dist(*""#, ,""#) (., .′)
!""# = 0
= 0, (if *""# = ,""#)
> 0, (if *""# ≠ ,""#)
* 567 = ,(567)
* 567∪{"} ≠ ,(567∪{"})
;
;
;<
> 0
= 0! =
;<
; ;
;<
?. ∈ ;
!""# = dist(*""#, ,""#)
n !
?
n
?
? "( $ ? ! $)
' "($()*log*)
./0
= argmin78∈ : ;
<,<>∈ 78
:
'<<> , s. t. /0
= ! !
n
? !""# = dist(*""#, ,""#) (., .′)
!""# = 0
= 0, (if *""# = ,""#)
> 0, (if *""# ≠ ,""#)
* 567 = ,(567)
* 567∪{"} ≠ ,(567∪{"})
;
;
;<
> 0
= 0! =
;<
; ;
;<
?. ∈ ;
!""# = dist(*""#, ,""#)
n ! ? #
? $ %&' = ) %&'
? $ %&'∪{,} ≠ )(%&'∪{,})
n !
n 1
? 2!3 = argmin&'∈ ; ∑,,,>∈ &'
;
?,,> , s. t. !3 = 1
?,,> = dist($,,>, ),,>)
!"
n
? ?$ ∈ "
&'' > 0 ?$* ≠ $, &''- > 0.
n !"
? /, 0
Pr !" ≠ " ≤ 45exp ?
/:
8<= > + 5 5 ? 1 exp ?20> + exp ?
/:
8<= B
?
lim
F→H
Pr !" ≠ " = 0
? J
> = K
<=
/: log
5
J
"
"N
> 0
= 0
& =
n ! ? #
? $ %&' = ) %&'
? $ %&'∪{,} ≠ )(%&'∪{,})
n 1
? 2!3 = argmin&'∈ ; ∑,,,>∈ &'
;
?,,> , s. t. !3 = 1
?,,> = dist($,,>, ),,>)
n
n
?
?
n
?
n
? ! "
? ! " #
!
n
异常の定义と推定
n
n
n
?
n
?
n
n ! = #$ = %$, '$ ∈ ?*
×? $,-
.
n ' = / %; 1 1
? / %; 1 = 1, %
? / %; 1 =
n
21 = argmin
9
:
;∈<
?(#; 1) ?
n
!
! ? #$
%& = argmin
.
/
0∈2
?(#; &) %&7$ = argmin
.
/
0∈2? 08
?(#; &)
#$
#$
#$
n
? ! "#
! ? "#
? %&'# = argmin
/
∑1∈3? 14
?("; &)
%& "#
9& = argmin
/
:
1∈3
?("; &) 9&'# = argmin
/
:
1∈3? 14
?("; &)
n
? ! " = !, %&'( ? %&
%&'(
n
? *+ ! = ∑-∈/0
?2?(5; %&)
?
!, %&'( ? %& ≈ 9
-∈/0
? 5; %&'( ? ? 5; %&
? !, %&'( ? %&/ ≈
n
? ! = #$ = %$, '$ $()
*
? +,
? -
. = 1, 2, … , 2
34 = -, +,54 ? +,
+. = argmin
4
34
! ← ! ? #+4
n !"#$
? %"#$
%"#$ = argmin
-
.
/∈1? /3
?(6; ")
n !"#$ ? !"
?
%"#$ ? %"
n
? ! " = !, %&'( ? %& *(
n +&'( ? +&
?
?
n !"#$ ? !"
n
? &"#$ ? &"
? (; " =
+
,
- ? ", / ,
? &"#$ ? &"
n ? "; $ =
&
'
( ? $, + '
? , = +&, +', … , +.
/ ∈ ?. ×3
? ,/,
4$56 ? 4$ =
4$, +6 ? (6
1 ? +6
/ ,/, 5&+6
,/
, 5&
+6
n
? !" #$%&'# !" = #$%&')&'
%&'
)&' = # *" + %&'
,-
(/ ? 1(# *"))
?
? #? = %&'
-/5
# /? = %&'
-/5
)&'
? #$%&'#
*",6 ? *" =
*", 86
?
? /6
?
1 ? 8?
6
$
#?$#? ,-86
?
#?$
#? ,-
86
?
n ? "; $
? %&' =
)
*
∑,-)
*
?'
/
?(",; 1$)
?
3$45 ? 3$ ≈ ?
1
9
%&'
4)
?'?("5; 3$)
n
n
?
?
n
?
?
n
? ! " = !, %&'( ? %& *(
n +&'( ? +&
?
?
n
?
?
n
? ! " = !, %&'( ? %& *(
n +&'( ? +&
?
?
n
?
?
?
n
!"#$ ? !"
?
?
n
?
? &"#$ ? &"
!"#$ ? !"
n
? ! "
← !$
? % = 1, 2, … , +
,- ←
"
|/0|
∑2∈/0
?5?(8; ! - )
! -;"
← ! -
? =-,-
! " = !$
! >
! ?
! @
! A
! B
! C
! D
! E
F-
=-
n !
? "#$
%
← "'
? ( = 1, 2, … , .
/#$,0 ←
%
|23|
∑5∈23?{59} ?<?(?; "#$
0
)
"#$
0B%
← "#$
0
? D0/#$,0
" % = "'
" E
" F
" G
" H
" I
" J
" K
" L
?$ ∈ M0
N3
|23|
?<?(?$; " 0
)
M0
D0
n !
? "#$
%
← "'
? ( = 1, 2, … , .
/#$,0 ←
%
|23|
∑5∈23?{59} ?<?(?; "#$
0
)
"#$
0B%
← "#$
0
? D0/#$,0
" % = "'
" E
" F
" G
" H
" I
" J
" K
" L
?$ ∈ M0
?$ ∈ M0
N3
|23|
?<?(?$; " 0
)
M0
D0
n !
? "#$
%
← "'
? ( = 1, 2, … , .
/#$,0 ←
%
|23|
∑5∈23?{59} ?<?(?; "#$
0
)
"#$
0B%
← "#$
0
? D0/#$,0
E0
D0
" % = "'
" F
" G
" H
" I
" J
" K
" L
" M
?$ ∈ E0
?$ ∈ E0
?$ ∈ E0
"#$
M
N3
|23|
?<?(?$; " 0
)
n
? ! ?#$ = !, '($
)
? ' )
+
!"#
$
? ! $
n &#
n !"#
$
? ! $
Δ!"# ?
)* #
+* #
,$"-,$". … ,* # 0-?2?(&#; ! * # )
? 7 8 &#
? ,9 ? : ? )9;9
? ;9 ?
-
<=
∑?∈<=
?2
.
?(&; ! 9 )
A
!"#
$
? ! $
n &
!"#
'()
? ! '()
= !"#
'
? +',"#,' ? ! '
? +','
= !"#
'
? ! '
? +' ,"#,' ? ,'
?
,"#,' ? ,' ≈ /'(!"#
'
? ! ' )
n
!"#
$
? ! $
≈ (2 ? +$")/$"))(!"#
$")
? ! $")
)
≈ 3$")3$"4 … 36 # ()(!"#
6 # ()
? ! 6 # ()
)
= 3$")3$"4 … 36 # ()
78 9
:8 9
?<?(>#; ! 6 #
)
3$")
n
? ! " = !, %&'( ? %& *(
n +&'( ? +&
?
?
n
?
?
?
Δ&'( ?
./ (
0/ (
12'312'4 … 1/ ( 63?8?(*(; & / ( )
n
? !, Λ > 0 !& ? ?)
*
?(-; /) ? Λ&
n
? -1
/21
3
? / 3
? Δ/21 ≤ 2(?1 ! * + ?1 Λ *)
?1(:) ?
<= >
?= >
∏ABC 1 DE
32E
1 ? GA: ?)? -1; / C 1
Δ/21 /21
3
? / 3
n
? ?"
#
? %; '( ? ?"
#
?(%; '#) ≤ - '( ? '#
n
? ?"?(%; ') ≤ . ?"
#
?(%; ') ? Λ1
2 = 4(5/ 7)
? %8
'98
:
? ' :
? Δ'98 ≤
<=:>=?
@
expD <@ :
7
Δ'98 '98
:
? ' :
n
? ! " = !, %&'( ? %& *(
n +&'( ? +&
?
?
?
n
? !
? "
!"# = %, '(#
)
? '
)
n
? (,-, .-, ' - )
n 0 ?"# = %, Δ'(#
?"# ← 0, ?0
6 = 7 ? 1, 7 ? 2, …
(,-, .-, ' - )
?"# ← ?"# +
<=
>=
%, ?@?(B#; ' - ) , ?B# ∈ ,-
% % ← % ? .-E-%
%
!"# = %, '(#
)
? '
)
n Δ'(#
? Δ'(# ?
-. /
0. /
1)(21)(3 … 15 # 62?8?(;#; ' 5 #
)
> ?
?
>2 ? , >3 ? , … >@ ? ;#
Δ'(# ? A
BC2
@
D5E #
F5E #
1)(21)(3 … 15E # 62?8?(;#; ' 5E # )
!"# = %, '(#
)
? '
)
n Δ'(# ?"# = %, Δ'(#
?"# = %, Δ'(# = -
./0
1
234 #
534 #
%, 6)(06)(7 … 634 # 90?;?(>#; ' 34 # )
n
? % A ? 6A906A97 … 6)(0%
?"# = %, Δ'(# = -
./0
1
234 #
534 #
% 34 # , ?;?(>#; ' 34 # )
? % A
% A = 6A90% A90 = % A90 ? 2ACA% A90
!
n ! ! ← ! ? $%&%!
&% =
(
)*
∑,∈)*
?/
0
?(3; 5 % )
? ?/
0
?(3; 5 % )
n
? ?/
0
? 3; 5 % !
? ?/
0
? 3; 5 % ! = ?/ ?/? 3; 5 % , !
n
? ?"# = %, '(#
)
? ' )
n
?
n
?
?
?
n
?
?
n
n
n
!"# = %, '(#
)
? ' )
? %
% = ∑,∈./
?1?(4; 6') , %, '(# ? ' ≈ ∑,∈./
? 4; '(# ? ? 4; '
n
? ?"# = %, '(#
)
? ' )
?"# = %, '(#
)
? ' )
n
n
Kendall’s tau Jaccard Index
K&L K&L
Adult .93 (.02) .85 (.07) .80 (.10) .60 (.17)
20News .94 (.05) .82 (.15) .79 (.15) .52 (.19)
MNIST .95 (.02) .70 (.15) .83 (.10) .41 (.16)
%, '(#
)
? ' )
%, '(#
)
? ' )
%, '(#
)
? ' )
?"# = %, '(#
)
? ' )
n
n
Kendall’s tau Jaccard Index
K&L K&L
Adult .75 (.10) .54 (.12) .59 (.16) .32 (.11)
20News .45 (.12) .37 (.12) .25 (.08) .11 (.07)
MNIST .45 (.12) .27 (.16) .37 (.15) .27 (.12)
%, '(#
)
? ' )
%, '(#
)
? ' )
%, '(#
)
? ' )
n
n
n
?
?
?
?"# = %, '(#
)
? ' )
?
n
? !" #
#
? ?
#
n
n
n
n
n
n
?
?
?
n
?
n
?
?
n
?
?
?
“ ”
? “ ”
? “ ”

More Related Content

异常の定义と推定

  • 18. n n
  • 19. n ! = #$ $%& ' ? n ? ? ? n
  • 21. n ! = #$ $%& ' ? # ~ ) # , supp ) ? 0, 1 1 n ? ? 2 ∶= # ∣ ) # > 6 ! 2 7 82 ? {# ∣ 7 # > 0} # 6 2 ) #
  • 22. n ? ! ∶= $ ∣ & $ > ( ? !) ∶= $ ∣ & $ ≤ ( n ? ! ≈ ,! = {$ ∣ . $ > 0} .
  • 23. n ? min$ % & ? ( ) △ +) ) = - ∣ / - > 1 +) = {- ∣ & - > 0} ? / n ? min$∈? 7 & ? 8′ = :; ;<= > : ~ @ : , @ 0, 1 C 8 D = 1 8′ D = ?1 7(&) ? 1 1 + 1 IJ~KL sign & - = ?1 + 1 1 + 1 IO~PL sign(& : ) = 1 ) △ +) ) +)
  • 24. n ? ! " # = 1 = & " ? ! " # = ?1 = ( " n ? ! ", # = ! " # = 1 ! # = 1 + ! " # = ?1 ! # = ?1 = +& " + 1 ? + ((") ? + = 1/1 + / " ( " " / & " 0 120 ( " " 0 120 1 120 & " " 0 120 3 " > 0 3 " ≤ 0 7
  • 25. n ? ! " = 1 = % %&' , ! ) " = 1 = *()) ? ! " = ?1 = ' %&' , ! ) " = ?1 = .()) min2∈? 5 6 ? 1 1 + 9 :;~=> sign 6 ) = ?1 + 9 1 + 9 :A~B> sign(6 C ) = 1
  • 26. n ? ! ∶= $ ∣ & $ > ( ? !) ∶= $ ∣ & $ ≤ ( n ? ! ≈ ,! = {$ ∣ . $ > 0} . n ? . = argmin7∈? : . :(.) ? 1 1 + ( @A~CD sign . $ = ?1 + ( 1 + ( @G~HD sign(. I ) = 1
  • 27. ! " ? $ △ &$ = | ) > + △ " > 0 | - " ? . ./0 12~45 sign " : = ?1 + 0 ./0 1>~?5 sign " @ = 1 n ? ("B) ! "B → 0 ? - "B → -FGH ? ! " = 0 ? - " = -FGH ? ) : ? n ? " ? J → ∞ ! &" = 0
  • 28. n ? ! ∶= $ ∣ & $ > ( ? !) ∶= $ ∣ & $ ≤ ( n ? + = argmin2∈? 5 + n ? + ? 5(+) ? 1 1 + ( ;<~>? sign + $ = ?1 + ( 1 + ( ;B~C? sign(+ D ) = 1
  • 29. n ? ! " ? $ $%& '(~*+ sign " 0 = ?1 + & $%& '5~6+ sign " 7 = 1 n ? ? + sign(" 0 ) = : → ? " 0 , : : = max{0, 1 ? :" 0 } ? E!(") ? 1 1 + F G H IJ$ K ? " 0I , ?1 + F 1 + F L H MJ$ N ? " 7M , 1
  • 30. n
  • 31. n
  • 32. n
  • 34. n n n
  • 35. n ? n ? ! = # $ ∈ ?' $() * + = , - ∈ ?' -() . ? / ? 1 ? {1, 2, … , 1} n ? ! = # $ $() * + = , - -() . / ? 1
  • 36. n ! ? [$] ? & = ( ) )*+ , ~ . / , 1 = 2 3 3*+ 4 ~ 5(/) ? ! ? $ . /89 = 5(/89) . /89∪{<} ≠ 5(/89∪{<}) ., 5 ? ? ?@ ∈ ! ! !B . = 5 . ≠ 5 . ≠ 5
  • 37. n ! ? # ? $ %&' = ) %&' ? $ %&'∪{,} ≠ )(%&'∪{,}) n !
  • 38. n ? !""# = dist(*""#, ,""#) (., .′) !""# = 0 = 0, (if *""# = ,""#) > 0, (if *""# ≠ ,""#)
  • 39. n ? !""# = dist(*""#, ,""#) (., .′) !""# = 0 = 0, (if *""# = ,""#) > 0, (if *""# ≠ ,""#) * 567 = ,(567) * 567∪{"} ≠ ,(567∪{"}) ?. ∈ = =
  • 40. n ? !""# = dist(*""#, ,""#) (., .′) !""# = 0 = 0, (if *""# = ,""#) > 0, (if *""# ≠ ,""#) * 567 = ,(567) * 567∪{"} ≠ ,(567∪{"}) ; ;< > 0 = 0! = ;< ; ?. ∈ ; ;
  • 41. n ? !""# = dist(*""#, ,""#) (., .′) !""# = 0 = 0, (if *""# = ,""#) > 0, (if *""# ≠ ,""#) * 567 = ,(567) * 567∪{"} ≠ ,(567∪{"}) ; ;< > 0 = 0! = ;< ; ; ;< ?. ∈ ; ;
  • 42. ! n ? "##$ = dist(+##$, -##$) (/, /′) "##$ = 1 = 0, (if +##$ = -##$) > 0, (if +##$ ≠ -##$) + 678 = -(678) + 678∪{#} ≠ -(678∪{#}) ! !< > 0 = 0" = !< ! ! !< ?/ ∈ ! "##$ = dist(+##$, -##$)
  • 43. dist(&''(, *''() n ? ,- . / = ∫2- 3 & / 4/ 5(/) = ∫2- 3 * / 4/ KS &, * ? sup 3 |. / ? 5(/)| n ? =(>log>) ? Pr KS &, ?& ≤ F ≥ 1 ? 2 exp(?2FL>) & ?& / . / 5(/) KS(&, *)
  • 44. dist(&''(, *''() n ? ,- . / = ∫2- 3 & / 4/ 5(/) = ∫2- 3 * / 4/ KS &, * ? sup 3 |. / ? 5(/)| n ? ? dist(&''(, *''() / . / 5(/) KS(&, *)
  • 45. n n ? !" ? $%cos) + $+sin) KS(1(!"), 4(!")) ? ) $% $+ E"~789:;<=[KS (1(!"), 4(!"))]
  • 46. n n ? ! !", !$, … , !& ~ Uniform /" /$ E1~2345678[KS (=(>1), @(>1))] = 1 D E FG" & KS (=(>1H ), @(>1H ))
  • 47. n ? !""# = dist(*""#, ,""#) (., .′) !""# = 0 = 0, (if *""# = ,""#) > 0, (if *""# ≠ ,""#) * 567 = ,(567) * 567∪{"} ≠ ,(567∪{"}) ; ; ;< > 0 = 0! = ;< ; ; ;< ?. ∈ ; !""# = dist(*""#, ,""#)
  • 48. n ! ? n ? ? "( $ ? ! $) ' "($()*log*) ./0 = argmin78∈ : ; <,<>∈ 78 : '<<> , s. t. /0 = ! !
  • 49. n ? !""# = dist(*""#, ,""#) (., .′) !""# = 0 = 0, (if *""# = ,""#) > 0, (if *""# ≠ ,""#) * 567 = ,(567) * 567∪{"} ≠ ,(567∪{"}) ; ; ;< > 0 = 0! = ;< ; ; ;< ?. ∈ ; !""# = dist(*""#, ,""#)
  • 50. n ! ? # ? $ %&' = ) %&' ? $ %&'∪{,} ≠ )(%&'∪{,}) n ! n 1 ? 2!3 = argmin&'∈ ; ∑,,,>∈ &' ; ?,,> , s. t. !3 = 1 ?,,> = dist($,,>, ),,>)
  • 51. !" n ? ?$ ∈ " &'' > 0 ?$* ≠ $, &''- > 0. n !" ? /, 0 Pr !" ≠ " ≤ 45exp ? /: 8<= > + 5 5 ? 1 exp ?20> + exp ? /: 8<= B ? lim F→H Pr !" ≠ " = 0 ? J > = K <= /: log 5 J " "N > 0 = 0 & =
  • 52. n ! ? # ? $ %&' = ) %&' ? $ %&'∪{,} ≠ )(%&'∪{,}) n 1 ? 2!3 = argmin&'∈ ; ∑,,,>∈ &' ; ?,,> , s. t. !3 = 1 ?,,> = dist($,,>, ),,>) n
  • 54. n ? ! " ? ! " #
  • 55. ! n
  • 57. n n
  • 59. n ! = #$ = %$, '$ ∈ ?* ×? $,- . n ' = / %; 1 1 ? / %; 1 = 1, % ? / %; 1 = n 21 = argmin 9 : ;∈< ?(#; 1) ?
  • 60. n ! ! ? #$ %& = argmin . / 0∈2 ?(#; &) %&7$ = argmin . / 0∈2? 08 ?(#; &) #$ #$ #$
  • 61. n ? ! "# ! ? "# ? %&'# = argmin / ∑1∈3? 14 ?("; &) %& "# 9& = argmin / : 1∈3 ?("; &) 9&'# = argmin / : 1∈3? 14 ?("; &)
  • 62. n ? ! " = !, %&'( ? %& %&'( n ? *+ ! = ∑-∈/0 ?2?(5; %&) ? !, %&'( ? %& ≈ 9 -∈/0 ? 5; %&'( ? ? 5; %& ? !, %&'( ? %&/ ≈
  • 63. n ? ! = #$ = %$, '$ $() * ? +, ? - . = 1, 2, … , 2 34 = -, +,54 ? +, +. = argmin 4 34 ! ← ! ? #+4
  • 64. n !"#$ ? %"#$ %"#$ = argmin - . /∈1? /3 ?(6; ") n !"#$ ? !" ? %"#$ ? %"
  • 65. n ? ! " = !, %&'( ? %& *( n +&'( ? +& ? ?
  • 66. n !"#$ ? !" n ? &"#$ ? &" ? (; " = + , - ? ", / , ? &"#$ ? &"
  • 67. n ? "; $ = & ' ( ? $, + ' ? , = +&, +', … , +. / ∈ ?. ×3 ? ,/, 4$56 ? 4$ = 4$, +6 ? (6 1 ? +6 / ,/, 5&+6 ,/ , 5& +6
  • 68. n ? !" #$%&'# !" = #$%&')&' %&' )&' = # *" + %&' ,- (/ ? 1(# *")) ? ? #? = %&' -/5 # /? = %&' -/5 )&' ? #$%&'# *",6 ? *" = *", 86 ? ? /6 ? 1 ? 8? 6 $ #?$#? ,-86 ? #?$ #? ,- 86 ?
  • 69. n ? "; $ ? %&' = ) * ∑,-) * ?' / ?(",; 1$) ? 3$45 ? 3$ ≈ ? 1 9 %&' 4) ?'?("5; 3$) n
  • 71. n ? ! " = !, %&'( ? %& *( n +&'( ? +& ? ? n ? ?
  • 72. n ? ! " = !, %&'( ? %& *( n +&'( ? +& ? ? n ? ? ?
  • 73. n !"#$ ? !" ? ? n ? ? &"#$ ? &" !"#$ ? !"
  • 74. n ? ! " ← !$ ? % = 1, 2, … , + ,- ← " |/0| ∑2∈/0 ?5?(8; ! - ) ! -;" ← ! - ? =-,- ! " = !$ ! > ! ? ! @ ! A ! B ! C ! D ! E F- =-
  • 75. n ! ? "#$ % ← "' ? ( = 1, 2, … , . /#$,0 ← % |23| ∑5∈23?{59} ?<?(?; "#$ 0 ) "#$ 0B% ← "#$ 0 ? D0/#$,0 " % = "' " E " F " G " H " I " J " K " L ?$ ∈ M0 N3 |23| ?<?(?$; " 0 ) M0 D0
  • 76. n ! ? "#$ % ← "' ? ( = 1, 2, … , . /#$,0 ← % |23| ∑5∈23?{59} ?<?(?; "#$ 0 ) "#$ 0B% ← "#$ 0 ? D0/#$,0 " % = "' " E " F " G " H " I " J " K " L ?$ ∈ M0 ?$ ∈ M0 N3 |23| ?<?(?$; " 0 ) M0 D0
  • 77. n ! ? "#$ % ← "' ? ( = 1, 2, … , . /#$,0 ← % |23| ∑5∈23?{59} ?<?(?; "#$ 0 ) "#$ 0B% ← "#$ 0 ? D0/#$,0 E0 D0 " % = "' " F " G " H " I " J " K " L " M ?$ ∈ E0 ?$ ∈ E0 ?$ ∈ E0 "#$ M N3 |23| ?<?(?$; " 0 )
  • 78. n ? ! ?#$ = !, '($ ) ? ' ) +
  • 79. !"# $ ? ! $ n &# n !"# $ ? ! $ Δ!"# ? )* # +* # ,$"-,$". … ,* # 0-?2?(&#; ! * # ) ? 7 8 &# ? ,9 ? : ? )9;9 ? ;9 ? - <= ∑?∈<= ?2 . ?(&; ! 9 ) A
  • 80. !"# $ ? ! $ n & !"# '() ? ! '() = !"# ' ? +',"#,' ? ! ' ? +',' = !"# ' ? ! ' ? +' ,"#,' ? ,' ? ,"#,' ? ,' ≈ /'(!"# ' ? ! ' ) n !"# $ ? ! $ ≈ (2 ? +$")/$"))(!"# $") ? ! $") ) ≈ 3$")3$"4 … 36 # ()(!"# 6 # () ? ! 6 # () ) = 3$")3$"4 … 36 # () 78 9 :8 9 ?<?(>#; ! 6 # ) 3$")
  • 81. n ? ! " = !, %&'( ? %& *( n +&'( ? +& ? ? n ? ? ? Δ&'( ? ./ ( 0/ ( 12'312'4 … 1/ ( 63?8?(*(; & / ( )
  • 82. n ? !, Λ > 0 !& ? ?) * ?(-; /) ? Λ& n ? -1 /21 3 ? / 3 ? Δ/21 ≤ 2(?1 ! * + ?1 Λ *) ?1(:) ? <= > ?= > ∏ABC 1 DE 32E 1 ? GA: ?)? -1; / C 1 Δ/21 /21 3 ? / 3
  • 83. n ? ?" # ? %; '( ? ?" # ?(%; '#) ≤ - '( ? '# n ? ?"?(%; ') ≤ . ?" # ?(%; ') ? Λ1 2 = 4(5/ 7) ? %8 '98 : ? ' : ? Δ'98 ≤ <=:>=? @ expD <@ : 7 Δ'98 '98 : ? ' :
  • 84. n ? ! " = !, %&'( ? %& *( n +&'( ? +& ? ? ? n ? ! ? "
  • 85. !"# = %, '(# ) ? ' ) n ? (,-, .-, ' - ) n 0 ?"# = %, Δ'(# ?"# ← 0, ?0 6 = 7 ? 1, 7 ? 2, … (,-, .-, ' - ) ?"# ← ?"# + <= >= %, ?@?(B#; ' - ) , ?B# ∈ ,- % % ← % ? .-E-% %
  • 86. !"# = %, '(# ) ? ' ) n Δ'(# ? Δ'(# ? -. / 0. / 1)(21)(3 … 15 # 62?8?(;#; ' 5 # ) > ? ? >2 ? , >3 ? , … >@ ? ;# Δ'(# ? A BC2 @ D5E # F5E # 1)(21)(3 … 15E # 62?8?(;#; ' 5E # )
  • 87. !"# = %, '(# ) ? ' ) n Δ'(# ?"# = %, Δ'(# ?"# = %, Δ'(# = - ./0 1 234 # 534 # %, 6)(06)(7 … 634 # 90?;?(>#; ' 34 # ) n ? % A ? 6A906A97 … 6)(0% ?"# = %, Δ'(# = - ./0 1 234 # 534 # % 34 # , ?;?(>#; ' 34 # ) ? % A % A = 6A90% A90 = % A90 ? 2ACA% A90
  • 88. ! n ! ! ← ! ? $%&%! &% = ( )* ∑,∈)* ?/ 0 ?(3; 5 % ) ? ?/ 0 ?(3; 5 % ) n ? ?/ 0 ? 3; 5 % ! ? ?/ 0 ? 3; 5 % ! = ?/ ?/? 3; 5 % , !
  • 89. n ? ?"# = %, '(# ) ? ' ) n ?
  • 91. n n n !"# = %, '(# ) ? ' ) ? % % = ∑,∈./ ?1?(4; 6') , %, '(# ? ' ≈ ∑,∈./ ? 4; '(# ? ? 4; ' n ? ?"# = %, '(# ) ? ' )
  • 92. ?"# = %, '(# ) ? ' ) n n Kendall’s tau Jaccard Index K&L K&L Adult .93 (.02) .85 (.07) .80 (.10) .60 (.17) 20News .94 (.05) .82 (.15) .79 (.15) .52 (.19) MNIST .95 (.02) .70 (.15) .83 (.10) .41 (.16) %, '(# ) ? ' ) %, '(# ) ? ' ) %, '(# ) ? ' )
  • 93. ?"# = %, '(# ) ? ' ) n n Kendall’s tau Jaccard Index K&L K&L Adult .75 (.10) .54 (.12) .59 (.16) .32 (.11) 20News .45 (.12) .37 (.12) .25 (.08) .11 (.07) MNIST .45 (.12) .27 (.16) .37 (.15) .27 (.12) %, '(# ) ? ' ) %, '(# ) ? ' ) %, '(# ) ? ' )
  • 94. n n n ? ? ? ?"# = %, '(# ) ? ' ) ?
  • 96. n
  • 97. n
  • 98. n
  • 99. n
  • 101. n ? ? n ? ? ? “ ” ? “ ” ? “ ”