�ݺ�ߣ

Теория кодирования
МФТИ, осень 2013
Александр Дайняк
www.dainiak.com

Коды
Пусть 𝔸 𝑞 — некоторый алфавит из 𝑞 символов.
𝑞-ичный код — это произвольное множество
𝐶 ⊆ 𝔸 𝑞
𝑛
𝑛 — длина кода (длина кодовых слов)
𝐶 — мощность кода (число кодовых слов)
Чаще всего рассматривают двоичные коды, т.е. когда 𝑞 = 2 и 𝔸 𝑞 = 0,1 .
Для произвольного двоичного слова 𝒂 будем через 𝒂 обозначать вес
слова, т.е. величину
# 𝑖 ∣ 𝑎𝑖 ≠ 0

Границы Хемминга и Синглтона
Теорема. (Граница Хемминга, граница сферической упаковки)
Для любого 𝑛, 𝑀, 𝑑 𝑞-кода имеем 𝑀 ≤ 𝑞 𝑛
𝑆 𝑑−1 2 𝟎
Теорема. (В некотором смысле, обратная границе Хемминга)
Пусть числа 𝑞, 𝑛, 𝑀, 𝑑 ∈ ℕ таковы, что 𝑀 ≤ 𝑞 𝑛 𝑆 𝑑 𝟎 .
Тогда существует 𝑛, 𝑀, 𝑑 𝑞-код.
Теорема. (R.C. Singleton)
Для любого 𝑛, 𝑀, 𝑑 𝑞-кода имеем 𝑀 ≤ 𝑞 𝑛−𝑑+1
.

Граница Плоткина
Теорема. (M. Plotkin)
Пусть 𝑛𝑟 < 𝑑, где 𝑟 ≔ 1 − 1
𝑞
. Тогда для любого 𝑛, 𝑀, 𝑑 𝑞-кода
𝑀 ≤
𝑑
𝑑 − 𝑛𝑟

Доказательство:
Рассмотрим матрицу, в которой по строкам выписаны все кодовые
слова:
𝒂1
⋮
𝒂 𝑀
Элементы этой матрицы будем обозначать 𝑎𝑖𝑗.
Оценим снизу и сверху следующую сумму:
𝑇 ≔
1≤𝑘≤𝑛
1≤𝑖<𝑗≤𝑀
𝟙 𝑎 𝑖𝑘≠𝑎 𝑗𝑘

Имеем
𝑇 =
1≤𝑖<𝑗≤𝑀 1≤𝑘≤𝑛
=
𝑑 𝒂𝑖, 𝒂𝑗
Отсюда
𝑇 ≥
𝑀 ⋅ 𝑀 − 1
2
⋅ 𝑑

С другой стороны
𝑇 =
1≤𝑘≤𝑛 1≤𝑖<𝑗≤𝑀
Зафиксируем произвольное 𝑘.
Пусть среди кодовых слов ровно 𝑥 𝑠 слов имеют 𝑘-ю координату,
равную 𝑠. Тогда
=
𝑠′≠𝑠′′
𝑥 𝑠′ ⋅ 𝑥 𝑠′′

Имеем
𝑠′≠𝑠′′
𝑥 𝑠′ ⋅ 𝑥 𝑠′′ =
1
2
⋅
𝑠
𝑥 𝑠
2
−
𝑠
𝑥 𝑠
2
=
1
2
⋅ 𝑀2
−
𝑠
𝑥 𝑠
2
Минимум выражения 𝑠 𝑥 𝑠
2
достигается, когда все 𝑥 𝑠 равны 𝑀 𝑞
(неравенство Коши—Буняковского).
Отсюда
1
2
⋅ 𝑀2 −
𝑠
𝑥 𝑠
2 ≤
1
2
⋅ 𝑀2 − 𝑞 ⋅
𝑀2
𝑞2
=
𝑀2
2
1 − 1
𝑞

При любом 𝑘 мы получаем
𝑠′≠𝑠′′
𝑥 𝑠′ ⋅ 𝑥 𝑠′′ ≤
𝑀2
2
1 − 1
𝑞
Значит
𝑇 =
1≤𝑘≤𝑛 1≤𝑖<𝑗≤𝑀
≤
𝑛𝑀2
2
1 − 1
𝑞

Сопоставим верхнюю и нижнюю оценки для 𝑇:
𝑀 ⋅ 𝑀 − 1
2
⋅ 𝑑 ≤ 𝑇 ≤
𝑛𝑀2
2
1 − 1
𝑞
Отсюда
𝑀 − 1 ⋅ 𝑑 ≤ 𝑛𝑟𝑀 ⇔ 𝑀 𝑑 − 𝑛𝑟 ≤ 𝑑
Так как 𝑑 − 𝑛𝑟 > 0 по условию, и 𝑀 ∈ ℤ, то
𝑀 ≤
𝑑
𝑑 − 𝑟𝑛

Вложение метрических пространств
Метрическое пространство — это множество с заданной на нём
метрикой.
Примеры:
• 0,1 𝑛, 𝑑 𝒂, 𝒃 — метрическое пространство Хемминга
(здесь 𝑑 — метрика Хемминга).
• ℝ 𝑛, 𝑑 𝒂, 𝒃 — евклидово метрическое пространство (здесь
𝑑 𝒂, 𝒃 ≔ 𝑖 𝑎𝑖 − 𝑏𝑖
2 — обычная евклидова метрика).

Вложение метрического пространства 𝑈 в метрическое
пространство 𝑉 — это отображение 𝜙: 𝑈 → 𝑉, сохраняющее
метрику:
dist 𝑈 𝑥, 𝑦 = dist 𝑉 𝜙 𝑥 , 𝜙 𝑦
Вложение 𝑛-мерного хеммингова пространства в евклидово 𝑛-
мерное пространство при 𝑛 > 1 сделать не получится, но можно
выполнить отображение, сохраняющее определённую
информацию о метрике…

Сопоставим каждому вектору 𝒂 ∈ 0,1 𝑛 вектор 𝒙 𝒂 ∈ ℝ 𝑛 по
правилу:
𝑥𝑖
𝒂
=
1, если 𝑎𝑖 = 1
−1, если 𝑎𝑖 = 0
При этом:
• 𝑑 𝒙 𝒂, 𝒙 𝒃 = 2 ⋅ 𝑑 𝒂, 𝒃
• 𝒙 𝒂
, 𝒙 𝒃
= 𝑛 − 2 ⋅ 𝑑 𝒂, 𝒃
• 𝒙 𝒂 = 𝑛 (здесь ⋅ — евклидова норма)

Лемма о векторах в ℝ 𝑛
Лемма (о тупоугольной системе векторов).
Пусть 𝒚, 𝒙1, … , 𝒙 𝑚 ∈ ℝ 𝑛
таковы, что выполнено
• 𝒙𝑖, 𝒚 > 0 для 𝑖 = 1, … , 𝑚
• 𝒙𝑖, 𝒙𝑗 ≤ 0 при 𝑖 ≠ 𝑗
Тогда 𝒙1, … , 𝒙 𝑚 линейно независимы и, в частности, 𝑚 ≤ 𝑛.

Доказательство леммы о векторах
Рассмотрим произвольную нулевую линейную комбинацию:
𝑐1 𝒙1 + ⋯ + 𝑐 𝑚 𝒙 𝑚 = 𝟎
Положим
Pos ≔ 𝑖 𝑐𝑖 > 0 , Neg ≔ 𝑖 𝑐𝑖 < 0
Нам нужно доказать, что Pos = Neg = ∅.
Допустим, что это не так, и придём к противоречию.
Пусть, например, Pos ≠ ∅ (быть может, при этом Neg = ∅).

𝑐1 𝒙1 + ⋯ + 𝑐 𝑚 𝒙 𝑚 = 𝟎
Положим
𝒛 ≔
𝑖∈Pos
𝑐𝑖 𝒙𝑖 =
𝑗∈Neg
−𝑐𝑗 𝒙𝑗
Имеем
𝒛, 𝒚 =
𝑖∈Pos
𝑐𝑖 𝒙𝑖, 𝒚 > 0
Отсюда следует, что 𝒛 ≠ 𝟎.

𝑐1 𝒙1 + ⋯ + 𝑐 𝑚 𝒙 𝑚 = 𝟎
Имеем
𝒛 ≔
𝑖∈Pos
𝑐𝑖 𝒙𝑖 =
𝑗∈Neg
−𝑐𝑗 𝒙𝑗 ≠ 𝟎
Рассмотрим теперь соотношения
0 < 𝒛, 𝒛 =
𝑖∈Pos
𝑐𝑖 𝒙𝑖 ,
𝑗∈Neg
−𝑐𝑗 𝒙𝑗 =
=
𝑖∈Pos
𝑗∈Neg
𝑐𝑖 −𝑐𝑗 ⋅ 𝒙𝑖, 𝒙𝑗 ≤ 0 — противоречие!

Граница Элайеса—Бассалыго
Теорема. (P. Elias, Л.А. Бассалыго)
Для любого 𝑛, 𝑀, 𝑑 -кода, где 𝑑 ≤ 𝑛 2, выполнено неравенство
𝑀 ≤
𝑛2 𝑛
𝑆 𝜏𝑛−1
где 𝜏 = 1− 1−2𝛿
2
, 𝛿 = 𝑑
𝑛
.
(𝑆 𝜏𝑛−1 — сокращённое обозначение для шара 𝑆 𝜏𝑛−1 𝟎 )

Доказательство теоремы Э.—Б.
Пусть 𝐶 — 𝑛, 𝑀, 𝑑 -код, и пусть 𝑡 ∈ ℕ.
Положим deg 𝑡 𝐶 ≔ max
𝒃∈ 0,1 𝑛
𝐶 ∩ 𝑆𝑡 𝒃 .
Имеем
𝐶 ⋅ 𝑆𝑡 =
𝒂∈𝐶 𝒃∈ 0,1 𝑛
𝟙 𝑑 𝒂,𝒃 ≤𝑡 =
𝒃∈ 0,1 𝑛 𝒂∈𝐶
𝟙 𝑑 𝒂,𝒃 ≤𝑡 ≤ 2 𝑛 ⋅ deg 𝑡 𝐶
Отсюда 𝑀 ≤ 2 𝑛⋅deg 𝑡 𝐶
𝑆 𝑡
для любого 𝑡 ∈ ℕ.

Пусть 𝐶 — 𝑛, 𝑀, 𝑑 -код.
Положим 𝛿 ≔ 𝑑
𝑛
, 𝜏 ≔ 1− 1−2𝛿
2
и 𝑡 ≔ 𝜏𝑛 − 1 .
Мы обосновали, что
𝑀 ≤
2 𝑛 ⋅ deg 𝑡 𝐶
𝑆𝑡
Осталось доказать, что при выбранном 𝑡 выполнено неравенство
deg 𝑡 𝐶 ≤ 𝑛.

𝛿 ≔ 𝑑
𝑛
, 𝜏 ≔ 1− 1−2𝛿
2
и 𝑡 ≔ 𝜏𝑛 − 1 .
Пусть 𝒃 ∈ 0,1 𝑛, и 𝒂1, … , 𝒂 𝑚 ∈ 𝐶 ∩ 𝑆𝑡 𝒃 (𝒂𝑖 ≠ 𝒂𝑗 при 𝑖 ≠ 𝑗).
Нам нужно доказать, что 𝑚 ≤ 𝑛.
Сопоставим словам 𝒃, 𝒂1, … , 𝒂 𝑚 вектора 𝒚, 𝒙1, … , 𝒙 𝑚 ∈ ℝ 𝑛
так
(на примере 𝒃):
𝑦𝑖 =
1 𝑛 , если 𝑏𝑖 = 1
−1 𝑛 , если 𝑏𝑖 = 0

𝛿 ≔ 𝑑
𝑛
, 𝜏 ≔ 1− 1−2𝛿
2
и 𝑡 ≔ 𝜏𝑛 − 1 .
Сопоставим словам 𝒃, 𝒂1, … , 𝒂 𝑚 вектора 𝒚, 𝒙1, … , 𝒙 𝑚 ∈ ℝ 𝑛 так (на
примере 𝒃):
𝑦𝑖 =
1 𝑛 , если 𝑏𝑖 = 1
−1 𝑛 , если 𝑏𝑖 = 0
При этом
𝒙𝑖, 𝒚 = 1
𝑛 𝑛 − 2𝑑 𝒂𝑖, 𝒃 ≥ 1
𝑛 𝑛 − 2𝑡 > 1 − 2𝜏
и
𝒙𝑖, 𝒙𝑗 = 1
𝑛 𝑛 − 2𝑑 𝒂𝑖, 𝒂𝑗 ≤ 1
𝑛 𝑛 − 2𝑑 = 1 − 2𝛿

𝛿 ≔ 𝑑
𝑛
, 𝜏 ≔ 1− 1−2𝛿
2
и 𝑡 ≔ 𝜏𝑛 − 1 .
Имеем
• 𝒙𝑖, 𝒚 > 1 − 2𝜏 при всех 𝑖
• 𝒙𝑖, 𝒙𝑗 ≤ 1 − 2𝛿 при 𝑖 ≠ 𝑗
Похоже, можно применить лемму о векторах в ℝ 𝑛
, но для этого
придётся «подправить» вектора 𝒚 и 𝒙1, … 𝒙 𝑚.
Для этого перейдём к векторам
2𝜏𝒚, 𝒙1 − 1 − 2𝜏 𝒚 , … , 𝒙 𝑚 − 1 − 2𝜏 𝒚

𝛿 ≔ 𝑑
𝑛
, 𝜏 ≔ 1− 1−2𝛿
2
• 𝒙𝑖, 𝒙𝑗 ≤ 1 − 2𝛿 при 𝑖 ≠ 𝑗
Для векторов
2𝜏𝒚, 𝒙1 − 1 − 2𝜏 𝒚 , … , 𝒙 𝑚 − 1 − 2𝜏 𝒚
получаем
𝒙𝑖 − 1 − 2𝜏 𝒚 , 2𝜏𝒚 = 2𝜏 𝒙𝑖, 𝒚 − 2𝜏 1 − 2𝜏 𝒚, 𝒚 =
= 2𝜏 𝒙𝑖, 𝒚 − 2𝜏 1 − 2𝜏 > 0

𝛿 ≔ 𝑑
𝑛
, 𝜏 ≔ 1− 1−2𝛿
2
• 𝒙𝑖, 𝒙𝑗 ≤ 1 − 2𝛿 при 𝑖 ≠ 𝑗
Имеем
𝒙𝑖 − 1 − 2𝜏 𝒚 , 𝒙𝑗 − 1 − 2𝜏 𝒚 =
= 𝒙𝑖, 𝒙𝑗 + 1 − 2𝜏 2
𝒚, 𝒚 − 1 − 2𝜏 𝒙𝑖, 𝒚 + 𝒙𝑗, 𝒚 ≤
≤ 1 − 2𝛿 + 1 − 2𝜏 2
− 2 1 − 2𝜏 2
= −2 2𝜏2
− 2𝜏 + 𝛿 = 0

Для векторов
2𝜏𝒚, 𝒙1 − 1 − 2𝜏 𝒚 , … , 𝒙 𝑚 − 1 − 2𝜏 𝒚
мы доказали соотношения
𝒙𝑖 − 1 − 2𝜏 𝒚 , 2𝜏𝒚 > 0
𝒙𝑖 − 1 − 2𝜏 𝒚 , 𝒙𝑗 − 1 − 2𝜏 𝒚 ≤ 0
и отсюда, по лемме о тупоугольной системе векторов, следует, что
𝑚 ≤ 𝑛.
Мы доказали, что deg 𝑡 𝐶 ≤ 𝑛, и тем самым доказали теорему.

Сравнение границ для 𝑛, 𝑀, 𝑑 -кодов
𝑑 𝑛
log2 𝑀
𝑛

Что было и что будет
На лекции мы рассмотрели:
• Граница Плоткина
• Вложение метрических пространств
• Граница Элайеса—Бассалыго
В следующий раз:
• Линейные коды

�ݺ�ߣ

Границы Плоткина и Элайеса—Бассалыго

Recommended

More Related Content

What's hot (20)

Viewers also liked (14)

Similar to Границы Плоткина и Элайеса—Бассалыго (18)

More from Alex Dainiak (8)

Границы Плоткина и Элайеса—Бассалыго