狠狠撸

Multimedia Information Processing Lab.K y u t e c h
Kyushu Institute of Technology
[チュートリアル講演]
画像を対象にした情報ハイディング
～JPEG画像に対するハイディング～
新見道治
九州工業大学?大学院情報工学研究院
1

K y u t e c h
Multimedia Information Processing Lab.
画像へのハイディング
? カバー画像：C
? メッセージ：M
? 埋め込み処理：E
? ステゴ画像：S?
? （カバー画像にメッセージを埋め込んだ画像）
? S=E(C,M)
? 評価尺度：d
? d(C,S)?→?評価尺度dでのCとSの違い
? たくさんのEが提案されいる
2

K y u t e c h
ハイディングの四つのカテゴリ
3
CとMに関連がある CとMに関連がない
存在を隠す電子透かしステガノグラフィ
存在を隠さない電子透かし明白な埋め込み通信
著作権保護
秘匿通信

K y u t e c h
本チュートリアルの目指すところ
? 画像に対する技術トレンドの変遷
? JPEG画像に対するハイディングの分かりやすい解説
? JPEG Ghostの紹介
? H. Farid,
? Exposing digital forgeries from JPEG ghosts, IEEE Trans Information
Forensics and Security, Vol.4, No.1, pp.154-160, 2009.
? JPEG Ghostを利用した秘匿通信
? Guo, J. -M and Thanh-Nam Le,
? Secret Communication Using JPEG Double Compression, IEEE Signal
Processing Letters, Vol.17, No.10, pp.879-882, 2010.
? ハフマン符号の冗長性を利用したハイディング
? Mobasseri BG, Berger RJ 2nd, Marcinak MP, NaikRaikar YJ
? Data embedding in JPEG bitstream by code mapping, IEEE Trans
Image Process., Vol.19, No.4, pp.958-66, 2010.
4

K y u t e c h
内容
?技術トレンドの変遷
?JPEGの説明
?JPEG Ghostの説明
?JPEG Ghostを利用した秘匿通信
?JPEGハフマンテーブルの冗長性を利用したハ
イディング
?まとめと今後の方向性
5

K y u t e c h
第一の流れ
?dとしてPSNRを設定し，なるべく高いPSNR
のまま，Mの量を増やす
?秘匿通信の評価基準
?何気なさ?→?高いPSNR
?可逆的画像圧縮（無圧縮）
?限定色カラー画像
?非可逆的画像圧縮
6

K y u t e c h
第二の流れ
? 画像の自然性に注目が集まる
? 高いPSNRだけではダメ
? 例）LSBステガノグラフィ
? LSBのみ異なる偶数と奇数の画素値の出現頻度は、埋め込み
後，ほぼ同じ
? →?自然な画像では出現しない
? (自然な画像)と(LSBステガノグラフィを施した画像)を区
別する基準となり得る
? ステガナリシス(steganalysis)研究の始まり
? ステガノグラフィはステガナリシスに頑健であることを示す
7

K y u t e c h
第三の流れ
?可逆的情報ハイディング
?Sは少なからず劣化した画像
?MをSから抽出した後，Cを１ビットの間違い
も無く復元できる
8

K y u t e c h
第四の流れ
?埋め込み時のコードの工夫
?ステガノグラフィはできるだけCを変化させず
にMを埋め込みたい
?誤り訂正符号でのシンドローム計算の考え方
を用いる
?Matrix embedding
?Wet Paper code
9

K y u t e c h
第五の流れ
? フォレンジクスヘの移行
? 画像から自然性の検出
? 透かしを挿入することなく，原画像を利用する
ことなく，画像の真正性（改ざんされていな
い）を検出する
? 透かしを挿入すると画質劣化する
? →?それを避けたい
? 画像固有の指紋(Intrinsic ?ngerprint)
10

K y u t e c h
第五の流れ続き
?JPEG二重圧縮(Double Compress)検出
?ステガナリシスの精度向上
?JPEGステガノグラフィに対するステガナ
リシスでは，再符号化を想定していない
?画像処理履歴の追跡
?画像編集の過程で発生
11

K y u t e c h
内容
?JPEGの説明
イディング
12

K y u t e c h
JPEG総論
?Joint Photographic Experts Group（ISOに
より設置された専門家組織の名称）
?静止画像データの圧縮方式
?非可逆的圧縮と可逆的圧縮
?自然画像に対しては、圧縮率を1/10～1/100
程度にしても見た目の劣化がほとんど感じられ
ない
?実質的な標準画像フォーマット
13

K y u t e c h
ベースラインとプログレッシブ
? ベースライン
? JPEGの基本的な仕様
? 画像が上方から順次表示される（シーケンシ
ャル符号化）
? プログレッシブ符号化
? 画像の概略から順次表示し、しだいに詳細な
画像になる表示方式
? 大まかな部分から細かい部分へ
14

K y u t e c h
JPEG符号化概略
15
Figure 4 shows the main procedures for all encoding processes based on the DCT. It illustrates the special case of a sing
component image; this is an appropriate simplification for overview purposes, because all processes specified in th
Specification operate on each image component independently.
TISO0680-93/d004
DCT-based encoder
8 × 8 blocks
FDCT Quantizer Entropy
encoder
Table
specifications
Table
specifications
Source
image data
Compressed
image data
Figure 4 – DCT-based encoder simplified diagram
FIGURE 4 [D04] 7 cm = 273 %
In the encoding process the input component’s samples are grouped into 8 × 8 blocks, and each block is transformed
the forward DCT (FDCT) into a set of 64 values referred to as DCT coefficients. One of these values is referred to as t
(Figure.4, p.15, T.81)量子化
テーブル
ハフマン
テーブル
DCT 量子化
エントロピー
符号化

K y u t e c h
JPEGのカラーへの対応 #1
16
(Figure.11, p.19, T.81)
ets of table data, when performing its encoding procedures. The source image in this example consis
ponents A, B and C, and there are two sets of table specifications. (This simplified view does not dis
e quantization tables and entropy coding tables.)
TISO0750-93/d011
A
B
C
Encoding
process
Source
image data Table speci-
fication 1
Table speci-
fication 2
Compressed
image data
Figure 11 – Component-interleave and table-switching control
1 [D11] 7 cm = 273 %
各チャンネル毎に、テーブルを指定できる
色
チ
ャ
ン
ネ
ル

K y u t e c h
JPEGのカラーへの対応 #2
?フルカラーRGB画像?→?YCbCr色空間
?Y…輝度成分
?CbとCr…色相成分
?テーブルを二種類用意する
17

K y u t e c h
量子化テーブル
? 種々の量子化テーブルが考えられる
? http://www.impulseadventure.com/photo/
jpeg-quantization.html
? JPEG標準で推奨されているテーブル値
? 通常qualityパラメータ（Qf)で画質を制御する
? （Qfを利用して計算される）量子化テーブルは
JPEGファイルに保存されている
? 復号化時にはQfは必要ありません
18

Algorithm 1 JPEG ライブラリ [14] での Qf からの量子化
テーブルの生成
1: if Qf <= 0 then
2: Qf = 1;
3: end if
4: if Qf > 100 then
5: Qf = 100;
6: end if
7: if Qf < 50 then
8: ScaleFactor = 5000/Qf;
9: else
10: ScaleFactor = 200 - Qf × 2;
11: end if
12: for i = 0 to 63 do
13: temp = (BasicTable[i] × ScaleFactor + 50)/100
14: if temp<=0 then
15: temp =1
16: end if
17: if temp>32767 then
18: temp = 32767
19: end if
20: QuantizationTable[i] = temp
21: end for
表
グループ
0
1
2 -3,
3 -7,
4 -15,
5 -31,
...
15 -31,
2
6
6
6
6
6
6
6
6
6
6
6
6
6
6
6
4
16 11 10
12 12 14
14 13 16
14 17 22
18 22 37
24 35 55
49 64 78
72 92 95
であり，色相成分の
2
6
6
6
17 18
18 21
最大値の処理に補足あり！！！

K y u t e c h
最大値の補足
?ベースラインJPEGの場合、量子化テーブルの
最大値は255に制限されます
20

K y u t e c h
基となる量子化テーブル
21
16 11 10 16 24 40 51 61
12 12 14 19 26 58 60 55
14 13 16 24 40 57 69 56
14 17 22 29 51 87 80 62
18 22 37 56 68 109 103 77
24 35 55 64 81 104 113 92
49 64 78 87 103 121 120 101
72 92 95 98 112 100 103 99
17 18 24 47 99 99 99 99
18 21 26 66 99 99 99 99
24 26 56 99 99 99 99 99
47 66 99 99 99 99 99 99
99 99 99 99 99 99 99 99
99 99 99 99 99 99 99 99
99 99 99 99 99 99 99 99
99 99 99 99 99 99 99 99
輝度成分用色相成分用
（JPEG標準で示されている）
Qf=100の場合、すべて１
Qf=0の場合、すべて255（ベースラインの場合）

K y u t e c h
内容
?JPEGの説明
イディング
22

K y u t e c h
JPEG Ghostとは？
23
Qf = q0 で保存されたJPEG画像（画像A）
画像Bに隠されている q0 の痕跡
で再保存（画像B)画像Aを
←?JPEG Ghost
Qf = q1(q1 > q0)

K y u t e c h
まずは実数で
24
?c0 = round
c0
q1
←実数の集合量子化され整
数の集合
c1 = ?c0 q1
?c1 = round
c1
q2
c2 = ?c1 q2
difference =
i
(c1i c2i)2
q2 を変数として計算できる
再量子化
再量子化

K y u t e c h
実数データによる例
25
0
10000
20000
30000
40000
50000
60000
70000
80000
0 5 10 15 20 25 30
difference
quantization
平均0，標準偏差200の
正規分布に従うデータを
1000個発生
q1 = 17
q0 = 23
はすでにこの値で
量子化されている
c0 JPEG Ghost

K y u t e c h
画像データによる例 #1
? 以下の差分計算式を用いる
? ????????????色成分画像
? ?????????で再符号化
? 非圧縮モードで撮影された1643 1224 のフルカラー画像（A）
? (400, 400)を左上とする800 800 の領域を抽出(B)
? BをQf=65でJPEG 圧縮
? BをAに戻す（C)
? CをQf=85 でJPEG 圧縮
26
d(x, y, q) =
1
3
3
i=1
[f(x, y, i) fq(x, y, i)]
2
f(x, y, i), i = 1, 2, 3
fq(·) Qf = q

K y u t e c h
画像データによる例 #2
27
Qf=45 Qf=65
Qf=75 Qf=85

K y u t e c h
コメント
?単純な差分だけではJPEG Ghostは検出しに
くい
?文献ではいくつかの工夫をしている
?局所領域の平均
?その値を正規化
?さらに、統計モデルで判定
28

K y u t e c h
内容
?JPEGの説明
イディング
29

K y u t e c h
概要と埋め込み
? JPEG Ghostに情報(0 or 1)を対応させよう
? メッセージは2値画像(MxN, S(m,n) {0,1})
? PxQのカバー画像（P/Q=M/N）
? 埋め込み
? カバー画像をP/MxQ/Nでブロック分割
? 各ブロックは，S(m,n)の一つの画素に対応
? S(m,n)=0の場合は，そのブロックをQf=Q2で，S(m,n)=1の
場合は，Qf=Q1で量子化し，再量子化する
? 埋め込みが行われた後，Qfを100あるいは95程度の高画質モ
ードでJPEG符号化する
30

K y u t e c h
抽出手順
? ステゴ画像をQ2よりも低い値で再量子化
? 再量子化画像とステゴ画像の差分画像を計算
? 差分画像を8x8ブロックに分割
? 差分画像にてブロックの合計値を計算
? 最大と最小をs1とs2
? (s1-s2)を持つ差分画像を選択
? 閾値は(s1-s2)/2
? ブロックにて差分画素の合計値
? 閾値よりも小さい?→?黒画素、白画素
31

K y u t e c h
実験 #1
?1632x1224のフルカラー画像
?S(m,n)は204x153の2値画像
?カバー画像上の8x8領域がメッセージの一つ
の画素を表現する
?Q2=80，Q1=95
?JPEGはconvertコマンドで実行
32

K y u t e c h
実験 #2
33
原画像メッセージ
差分画像復元したメッセージ

K y u t e c h
コメント
?手順に不明瞭な部分がある
?JPEG Ghostは領域によってはうまく検出でき
ない
?比較的一様な領域は埋め込み情報を保持す
るDCT係数が少ない
?情報検出が不安定なので2値画像をメッセージ
にして逃げている
34

K y u t e c h
内容
?JPEGの説明
イディング
?まとめと今後の展開
35

K y u t e c h
ハフマン符号化（可逆圧縮）
?五つのアルファベットのみで構成される1000
文字の文章がある
?A(0x41), B(0x42), C(0x43), D(0x44), E
(0x45)
?一つの文字は7ビットで表現できる
?合計、7000ビット
36
p(B) = 0.21
p(A) = 0.11 p(C) = 0.2
p(D) = 0.05
p(E) = 0.43 各文字の
出現確率

K y u t e c h
ハフマン木の生成
37
p(B) = 0.21 p(A) = 0.11p(C) = 0.2 p(D) = 0.05p(E) = 0.43
0.16
0.36
0.57
1

K y u t e c h
符号の割り当て #1
38
p(B) = 0.21 p(A) = 0.11p(C) = 0.2 p(D) = 0.05p(E) = 0.43
0.16
0.36
0.57
1
0 0
1
0
0
1
1 1

K y u t e c h
符号の割り当て #2
39
p(B) = 0.21 p(A) = 0.11p(C) = 0.2 p(D) = 0.05p(E) = 0.43
0.16
0.36
0.57
1
0 0
1
0
0
1
1 1

K y u t e c h
ハフマン符号まとめ
40
2進数 2進数文字数ビット数
A 1000001 1101 110 440
B 1000010 10 210 420
C 1000011 111 200 600
D 1000100 1100 50 200
E 1000101 0 430 430
ハフマン符号
2090ビット
↑
7000ビット

K y u t e c h
AC成分のハフマン符号化 #1
? 量子化後のDCT係数のAC成分、63個の整数値
を符号化する
? （NNN,SSS,付加ビット）あるいは(NNN,SSS)
で表現する
? NNN：0の連続する長さ（ラン長）
? SSS：係数が属するグループ番号
? (15,0) → ZRL （ラン長が16）
? (0,0) → EOB (最後まで0)
41

K y u t e c h
DCT係数のグループ分け
42
グループ DCT係数DCT係数DCT係数付加ビット
0 0 0
1 -1 1 1
2 -3,-2 2,3 2
3 -7,…,-4 4,…7 3
4 -15,…,-8 8,…,15 4
5 -31,…,-16 16,…,31 5
6 -63,…,-32 32,…,63 6
グループ２?（-3,-2,2,3）全部で四通り
2ビットで表現可能（付加ビット）

K y u t e c h
AC成分のエントロピー符号化 #1
43
* 10 2 0 0 0 0 0
-3 0 0 0 0 0 0 0
0 2 -1 0 0 1 0 0
0 0 0 0 0 0 0 0
0 0 0 0 0 0 0 0
0 0 0 0 0 0 0 0
0 0 0 0 0 0 0 0
0 0 0 0 0 0 0 0

K y u t e c h
AC成分のエントロピー符号化の例符号化 #2
? 10,-3,0,0,2,0,0,0,-1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0
,1,（最後まで0）
? 10の表現?((0)4,(4)4, (X) 4)
? -3の表現?((0) 4,(2) 4,(X)2)
? 0,0,2の表現?((2) 4,(2) 4,(X) 2)
? 0,0,-1の表現?((3) 4,(1) 4,(X)1)
? 16個の0の表現?((15) 4,(0) 4) ←?ZRL
? 0,1の表現?((1) 4,(1) 4,(X)1)
? 最後まで0の表現?((0) 4,(0) 4)?←?EOB
44
ハフマン符号化を適用
(NNNとSSSの組み
合わせがシンボル)

K y u t e c h
NNNとSSSの組み合わせ
45
0 1 2 … 9 10
0 EOB 0,1 0,2 … 0,9 0,10
1 1,1 1,2 … 1,9 1,10
2 2,1 2,2 … 2,9 2,10
… … … … … … …
13 13,1 13,2 … 13,9 13,10
14 14,1 14,2 … 14,9 14,10
15 ZRL 15,1 15,2 … 15,9 15,10
SSS(グループ番号：4ビット)
NNN
(ラン
長：
4ビ
ット)
ハフマン符号化対象シンボル
162シンボル

K y u t e c h
AC成分のエントロピー符号化の例符号化 #3
?10の表現?
?((0)4,(4)4, (X) 4) → (ハフマン符号, (X) 4)
?-3の表現?
?((0) 4,(2) 4,(X)2) → (ハフマン符号, (X)2)
?0,0,2の表現
?((2) 4,(2) 4,(X) 2) → (ハフマン符号, (X) 2)
46

K y u t e c h
Mobasseri等の着眼点
?JPEG画像を生成するほとんどの商用符号化器
は，画像毎にハフマン符号生成を行わずJPEG
標準で示されている符号語を利用している
?Table K.5, p.150, T.81
?通常の画像では，標準符号語は最適化された
符号語ではなく，かなりの符号語は利用され
ていない
47
70/162シンボル=43%

K y u t e c h
AC成分のエントロピー符号化の例符号化 #3（再掲）
? 10,-3,0,0,2,0,0,0,-1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0
,1,（最後まで0）
? 10の表現?(ハフマン符号, (X) 4)
? -3の表現?(ハフマン符号, (X)2)
? 0,0,2の表現?(ハフマン符号, (X) 2)
? 0,0,-1の表現?(ハフマン符号, (X)1)
? 16個の0の表現?(ハフマン符号)
? 0,1の表現?(ハフマン符号,(X)1)
? 最後まで0の表現?(ハフマン符号)
48
データユニット
ハフマン符号を変更
することでデータを
埋め込む
（ラン長／グループ番号）

K y u t e c h
埋め込み手順
? ハフマン符号を抽出する
? 利用されているシンボル，利用されていないシンボルを特
定する
? 利用されているシンボルを基にペアとなる、利用されてい
ないシンボルを決定する
? 1を埋め込むときは，ペアとなる利用されていないシンボ
ルに変更する
? ペアとなる利用されていないシンボルのラン長/グループの
値を調整する
? 0を埋め込むときは何もしない
49

K y u t e c h
どうやってペアを作るのか？
?ハフマン符号の任意のビットを反転させる（1
個でも複数個でもよい）
?ビット反転させたものは、利用されていない
ハフマンコード
?ビット反転には三つのケースがある
?AC係数の表現
?ラン長/グループ番号/コード長（コード
語）/総ビット長
50

K y u t e c h
三つのケース概要
51
もとの符号
符号長が同じ
他の符号の前半部分と一致
ビット反転符号の前半部分が
他の符号と一致
ビ
ッ
ト
反
転
符
号

K y u t e c h
(1)ビット反転されたコードのコード長が一致する
? 表K.5の上から43番目のコード
? 4/2/10(1111111000)/12
? LSBを反転させると1111111001
? 112番目のコードと一致
? 11/1/10(1111111001)/11
? (11,1)?→?(4,2)
? 付加ビット数が変化しないので画質にまったく影響
を与えない
52
（ラン長／グループ番号）の調整
ペアを作る

K y u t e c h
(2)ビット反転されたコードが，他のコードの先頭部
と一致する
? 8/2/15(111111111000000)/17
? 右から5ビット目を反転
? 5/6/16(1111111110100001)/22および
5/5/16(1111111110100000)/21の先頭部と一致
? コード長：15ビット→16ビット、全体で17ビットにし
たい
? (5/6/16/22 → 8/1/16/17)
? (5/5/16/22 → 8/1/16/17）
? 付加ビットの情報が減るので，画質劣化は発生する
53
ペアを作る

K y u t e c h
(3)ビット反転されたコードの先頭部分が，他のコードと一
致する
? 5/2/11(11111110111)/13?右から2番目のビットを反転
? そのコードの先頭10ビットは，12/1/10(1111111010)/11と一致
? 1/5/11(11111110110)/16?右から2番目のビットを反転
? そのコードの先頭10ビットも，12/1/10(1111111010)/11と一致
? コード長：11ビット?→?10ビット、全体で13ビットにしたい
? 12/1/10/13 → 5/3/10/13
? 1/5/11/16 → 1/6/10/16
? 付加ビットの情報が増えることになり，画質劣化は発生する．
? どちらを選ぶ？
? 埋め込み量を増やしたいのであれば，出現頻度の高い方を利用
54
ペアを作る
ペアを作る

K y u t e c h
データ抽出
? ハフマン符号を抽出する
? 標準ハフマン符号と抽出したハフマン符号のシンボル情報
（ランレングス/グループ）を比較し，重複するものをピッ
クアップする
? ハフマン符号のペアを生成する
? ハフマン符号のペア情報に基づき0,1を抽出する
? JPEGファイルでは，ハフマン木（シンボル（ランサイズと
グループ番号）と符号語）を保存できる
? シンボルの重複をチェックすれば，ペアとなる符号語を特
定可能
55

K y u t e c h
コメント
?ケース(1)の場合のみを利用すれば、画質劣化
はまったく発生しない
?JPEGの最適符号化を行えば、情報は消える
?再符号化に対しては、利用されているコード
が、利用されなくなると、情報は消える
56

K y u t e c h
内容
?JPEGの説明
イディング
?まとめと今後の展開
57

K y u t e c h
まとめ
?技術トレンドを概説
?JPEGの解説
?JPEGに対するハイディング
? 0 ， 1 に割り当てられた情報は何？
?量子化、再量子化における差分画像
?使用されているシンボル，使用されていな
いシンボル
58

K y u t e c h
今後の展開
?現在のテーマを深化させる
?例）大容量なステガノグラフィ，JPEG再符
号化に頑健な電子透かし
?実際に試作システムを作ってみよう
?普通の人はJPEGを再圧縮するの？
?新しい応用分野を切り拓こう
59

K y u t e c h
ハイディングの応用分野
? 著作権保護
? コンテンツと著作者を結びつける情報
? 秘匿通信
? 誰にも悟られずに情報をやりとりする
? 高能率符号化
? ハイディング，画像復元を組み合わせる
? 電子透かし検出器のimage hashingへの応用
? 仮想透かしを検出
? 可逆的情報ハイディングのプライバシー保護への応用
? 画質劣化を一種のスクランブルと捉える
? ？？？
60
典型的な応用分野

狠狠撸

摆チュートリアル讲演闭画像データを対象とする情报ハイディング?闯笔贰骋画像を利用したハイディング?

More Related Content

摆チュートリアル讲演闭画像データを対象とする情报ハイディング?闯笔贰骋画像を利用したハイディング?