Дискретный канал предназначен для передачи дискретных сигналов (символов). При передаче по такому каналу сообщение представляется некоторой последовательностью элементарных дискретных сообщений , принадлежащих конечному множеству. В результате помехоустойчивого кодирования последовательность заменяется другой последовательностью , которая ставится в соответствие сообщению . Последовательность , состоящая из кодовых символов , подается на вход дискретного канала. Кодовые символы обычно (но не всегда) являются цифрами двоичной системы счисления. Таким образом, сообщение на входе дискретного канала может быть представлено последовательностью , где - номер позиции, а - дискретная случайная величина, принимающая значение 0 и 1. Сообщение на выходе дискретного канала также представляется в виде , где , а - аналогичная случайная величина. В идеальном случае, при отсутствии помех и искажений, для всех .
Ограничения на входные символы дискретного канала обычно задаются указанием алфавита символов и скорости их следования. Основной характеристикой дискретного канала является вероятность того или иного изменения символа на данной позиции. Эта характеристика определяется теми преобразованиями, которые претерпевает символ при передаче по каналу:
Смещение во времени (задержка символов);
Отличие на некоторых позициях выходных символов от входных (аддитивные ошибки);
Смещение номеров позиций выходной последовательности относительно номеров входной (ошибки синхронизации);
Появление на некоторых позициях символов стирания (невозможность принять надежное решение по какому-либо символу).
Первый фактор (задержка) является детерминированным или содержит детерминированную и случайную составляющие. Все остальные факторы случайны.
При действии рассмотренных факторов основная характеристика дискретного канала – вероятность искажения символа на определенной позиции – зависит от номера позиции, от значения передаваемого и всех ранее переданных символов.
Так определяются характеристики для нестационарного несимметричного канала с неограниченной памятью. Полное описание таких каналов задается совокупностью условных (переходных) вероятностей вида , т.е. вероятностей того, что выходные символы примут значения , если входные символы имеют значения , где и - номера позиций последовательностей и , - длина конечной последовательности (сообщение).
Естественно, что эти вероятности должны быть известны при любых и . Если рассматриваются стационарные каналы с идеальной синхронизацией, то полное описание канала задается системой переходных вероятностей . Располагая этой системой вероятностей, можно, например, найти такую важную характеристику, как пропускную способность дискретного канала.
В ряде случаев, особенно при анализе методов повышения достоверности, дискретный канал удобно описывать методами случайных процессов, а не заданием системы условных вероятностей рассмотренного вида.
Для канала с идеальной синхронизацией используется понятие потока ошибок. Поток представляет собой дискретный случайный процесс Е (иногда используется термин «последовательность ошибок»). Каждая позиция потока Е складывается по определенному правилу с соответствующей позицией процесса Y.
В общем случае реализации потока ошибок зависят от реализации помех в непрерывном канале, вида модели и реализации процесса Y. Так, например, при стационарном канале и стационарной передаваемой последовательности Y поток ошибок также будет стационарным.
Существует тип дискретного канала, для которого характеристики потока ошибок не зависят от вида информации, передаваемой по каналу. Такой тип канала принято называть симметричным. В этом случае переходные вероятности имеют вид , где - реализация потока ошибок.
Из изложенного следует, что модель двоичного канала это, но сути дела, статистическое описание двоичной последовательности Е. Полное описание таких последовательностей достигается на основе многомерных распределений, например, интервалов между элементами последовательности или через многомерные переходные вероятности. Располагая математической моделью, дающей полное описание ошибок двоичного симметричного канала, можно определить любую характеристику методов повышения достоверности при передаче информации по такому каналу. Наиболее удобный вариант модели для проектирования задается теорией случайных процессов в виде потока ошибок.
Представляется логичным и достаточно удобным рассматривать поток ошибок дискретного канала связи как ступенчатый случайный процесс. Такой подход позволяет при исследовании каналов связи использовать многочисленные важные результаты, полученные для случайных процессов.
Выделим среди различных способов задания потоков следующие два.
Первый способ описания потоков. Для задания потоков ошибок этим способом необходимо для любого натурального числа и произвольного набора чисел , указать r -мерную функцию распределения случайного вектора , где - количество ошибок, появившихся в промежутке времени , или найти
Где - начало отсчета времени.
Таким образом, есть вероятность того, что на последовательно расположенных промежутках времени (откладываемого от момента времени ), появится соответственно ошибок. Это распределение полностью определяет поток ошибок. На практике (1) наиболее часто используется для , что соответствует одномерному распределению числа ошибок в промежутке времени :
Для стационарного потока зависимость от отсутствует.
Второй способ описания потоков. Пусть - моменты наступления событий потока ошибок. Можно определить поток, задав распределение - мерного вектора:
Однако часто удобнее получать распределение моментов наступления событий потока не на основе , а несколько иначе. Положим , тогда поток считается заданным, если определено - мерное распределение вектора , т.е.
Если , то имеем одномерную функцию распределения интервалов, которая в общем случае может зависеть от номера интервала, что отражается следующим образом:
.
В дискретном канале всегда содержится непрерывный канал, а также модем. Последний можно рассматривать как устройство, преобразующее непрерывный канал в дискретный. Поэтому, в принципе можно вывести математическую модель дискретного канала из моделей непрерывного канала и модема. Такой подход часто является плодотворным, однако он приводит к сложным моделям.
Рассмотрим простые модели дискретного канала, при построении которых свойства непрерывного канала и модема не учитывались. Для модели дискретного канала входным и выходным сигналами являются последовательности кодовых символов. Поэтому для определения возможных входных сигналов достаточно указать число m различных символов, из которых формируется последовательность (основание кода), а также длительность передачи каждого символа. Будем считать значение одинаковым для всех символов, что выполняется в большинстве современных каналов. Величина определяется количеством символов, передаваемых в единицу времени. Она называется технической скоростью и измеряется в бодах. Каждый символ, поступивший на вход канала, вызывается появление одного символа на выходе, так что техническая скорость на входе и выходе канала одинакова.
При подаче на вход канала любой заданной последовательности кодовых символов, на выходе появится некоторая реализация случайной последовательности . Кодовые символы обозначим числами от 0 до m-1.
Введем еще одно определение. Будем называть вектором ошибки поразрядную разность (разумеется, по модулю m) между принятой и переданной кодовыми последовательностями (векторами)). Это значит, что прохождение дискретного сигнала через канал можно рассматривать как сложение входного вектора с вектором ошибки. Вектор ошибки играет в дискретном канале примерно ту же роль, что и помеха в непрерывном канале. Таким образом, для любой модели дискретного канала можно записать, пользуясь сложением в векторном пространстве (поразрядным, по модулю m):
(1.4)
где и - случайные последовательности из n символов на входе и выходе канала; -случайный вектор ошибки. Различные модели отличаются распределением вероятностей вектора . Смысл вектора ошибки особенно прост в случае двоичных каналов (m=2), тогда его компоненты принимают значение 0 и 1. Всякая единица в векторе ошибок означает, что в соответствующем месте передаваемой последовательности символ принят ошибочно, а всякий нуль означает безошибочный приём символа. Число ненулевых символов в векторе ошибок называется его весом.
Перечислим наиболее важные и достаточно простые модели дискретных каналов
1) Симметричный канал без памяти определяется как дискретный канал, в котором каждый переданный кодовый символ может быть принят ошибочно с фиксированной вероятностью p и правильно с вероятностью 1-p, причем в случай ошибки вместо переданного символа в может быть с равной вероятностью принят любой другой символ. Таким образом, вероятность того, что принят символ , если был передан
(1.5)
Термин «без памяти» означает, что вероятность ошибочного приема символа не зависит от предыстории, т.е. от того, какие символы передавались до него и как они были приняты.
Очевидно, что вероятность любого n – мерного вектора ошибки в таком канале
где -число ненулевых символов в векторе ошибки (вес вектора ошибки). Вероятность того, что произошло каких угодно ошибок, расположенных как угодно на протяжении последовательности длинноq n, определяется формулой Бернулли:
(1.7)
где -биномиальный коэффициент, равный числу различных сочетаний l ошибок в блоке длиной n.
Эту модель называют также биноминальным каналом. Она удовлетворительно описывает канал, возникающий при определенном выборе модема, если в непрерывном канале, отсутствуют замирания, а аддитивный шум белый (или, по крайней мере, квазибелый). Вероятности переходов показаны в виде графа на рис. а:
2) симметричный канал без памяти со стиранием отличается от предыдущего тем, что алфавит на выходе канала содержит, дополнительный (m+1)-u символ, обозначаемый знаком «?».
Этот символ появляется тогда, когда 1-я решающая схема (демодулятор) не может надежно опознать переданный символ. Вероятность такого отказа от решения или стирания символа в данной модели постоянна и не зависит от передаваемого символа. За счет введения стирания удается значительно снизить вероятность ошибки, иногда ее даже считают равной нулю. На рис. б) схематически показаны вероятности переходов в такой модели.
3) Несимметричный канал без памяти характеризуется, как и предыдущие модели, тем, что ошибки возникают в нем независимо друг от друга, однако вероятности ошибок зависят от того, какой символ передается. Так, в двоичном несимметричном канале вероятность р (1/0) приема символа «1» при передаче символа «0» не равна вероятности р (0/1) приема «0» при передаче»1» (рис. в)).
4) Марковский канал представляет собой простейшую модель дискретного канала с памятью. В ней вероятность ошибки образует простую цепь Маркова, т.е. зависит от того, правильно или ошибочно принят предыдущий символ, но не зависит от того, какой символ передается. Такой канал, например, возникает, если в непрерывном канале с гауссовским шумом используется ОФМ.
5) Канал с аддитивным дискретным шумом. Является обобщением моделей симметричных каналов. В такой модели вероятность вектора ошибки не зависит от передаваемой последовательности. Вероятность, каждого вектора ошибки считается заданной. Имеется тенденция к тому, что в векторе ошибки единицы расположены близко друг к другу, то есть группированию ошибок.
Раздел 2 Основные положения теории передачи информации
В общем случае под каналом передачи информации понимается совокупность технических средств, обеспечивающих передачу сигналов от источника информации к потребителю.
Наиболее общую классификацию каналов связи можно осуществить по характеру сигналов на их входе и выходе. Различают поэтому два типа каналов:
1. Непрерывные каналы . В таких каналах сигналы на входе и выходе непрерывны (по уровням).
2. Дискретные каналы . Навходе и выходе таких каналов наблюдаются дискретные сигналы или символы из конечномерного алфавита. Наибольшее распространение получили дискретные модели каналов.
Дискретным каналом является канал, рассматриваемый от входа кодера до выхода декодера.
Рис. 3. Дискретный канал передачи информации.
На вход канала поступают символы Xi , а с выхода – символыYi .
Дискретный канал математически описан, если задан входной алфавит сигналов {X }={ X k , K = 1… M } вместе с их априорными вероятностями {Р(X k)} и выходной алфавит сигналов {Y * }={ Y * k , K = 1. . . M +1 } , который в общем случае может содержать символ стирания Q и значения вероятностей переходов Р(Y * i / X k) , т. е. вероятностей того, что на выходе канала появится сигнал Y * i при условии, что на вход подан сигнал X k .
Удобно вероятностные характеристики канала задавать матрицами. Так априорные вероятности группируются в матрицу-строку априорных вероятностей
||P(X k) ||=|| P(X 1) P(X 2) . . . P(X m) ||
Характеристики, связанные с входным и выходным алфавитами, определяются свойствами источника сообщений и полосой пропускания канала.
Объем выходного алфавита {Y j } (J = 1, 2, …, M+1} определяется способом построения системы передачи информации.
Условная вероятность Р(Y * i / X k) определяется в основном характеристиками дискретного канала и его свойствами.
Если для любых сочетаний Y * i и X k эта вероятность не зависит от момента времени взятия отсчета, т.е.
(5)
то канал называется однородным.
Если данное условие не выполняется, то канал является – неоднородным.
Если справедливо условие
(6)
то такой канал называют каналом без памяти.
Если данное условие не выполняется, то такой канал называют каналом с памятью на n символов.
Реальные дискретные каналы являются неоднородными и с памятью. Это обусловлено следующими причинами:
Искажением и влиянием помех в непрерывном канале;
Задержкой во времени выходной последовательности сигналов по отношению к входной последовательности;
Нарушением тактовой синхронизации.
Однако, модель дискретного однородного канала без памяти, как модель первого приближения, нашла широкое применение. Она позволяет упростить методы анализа и получения исходных данных.
Рассмотрим математические модели дискретных каналов с помехами и без них.
Полезно напомнить, что внутри дискретного канала всегда содержится непрерывный канал. Преобразование непрерывного канала в дискретный осуществляет модем. Поэтому в принципе можно вывести математическую модель дискретного канала из моделей непрерывного канала при заданном модеме. Такой подход часто является плодотворным, однако он приводит к сложным моделям.
Рассмотрим простые модели дискретного канала, при построении которых свойства непрерывного канала и модема не учитывались. Следует, однако, помнить, что при проектировании системы связи имеется возможность варьировать в довольно широких пределах модель дискретного канала при заданной модели непрерывного канала изменением модема.
Модель дискретного канала содержит задание множества возможных сигналов на его входе и распределение условных вероятностей выходного сигнала при заданном входном. Здесь входным и выходным сигналами являются последовательности кодовых символов. Поэтому для определения возможных входных сигналов достаточно указать число различных символов (основание кода), а также длительность передачи каждого символа. Будем считать значение одинаковым для всех символов, что выполняется в большинстве со
временных каналов. Величина определяет количество символов, передаваемых в единицу времени. Как указывалось в гл. 1, она называется технической скоростью и измеряется в бодах. Каждый символ, поступивший на вход канала, вызывает появление одного символа на выходе, так что техническая скорость на входе и выходе канала одинакова.
В общем случае для любых должна быть указана вероятность того, что при подаче на вход канала любой заданной последовательности кодовых символов на выходе появится некоторая реализация случайной последовательности Кодовые символы обозначим числами от 0 до что позволит производить над ними арифметические операции. При этом все -последовательности (векторы), число которых равно образуют мерное конечное векторное пространство, если "сложение" понимать как поразрядное суммирование по модулю и аналогично определить умножение на скаляр. Для частного случая такое пространство было рассмотрено в гл. 2.
Введём ещё одно полезное определение. Будем называть вектором ошибок поразрядную разность (разумеется, по модулю между принятым и переданным векторами. Это значит, что прохождение дискретного сигнала через канал можно рассматривать как сложение входного вектора с вектором ошибки. Вектор ошибки играет в дискретном канале примерно ту же роль, что и помеха в непрерывном канале. Таким образом, для любой модели дискретного канала можно записать, пользуясь сложением в векторном пространстве (поразрядным, по модулю
где и случайные последовательности из символов на входе и выходе канала; случайный вектор ошибки, который в общем случае зависит от Различные модели отличаются распределением вероятностей вектора Смысл вектора ошибки особенно прост в случае двоичных каналов когда его компоненты принимают значения 0 и 1. Всякая единица в векторе ошибок означает, что в соответствующем месте передаваемой последовательности символ принят ошибочно, а всякий нуль означает безошибочный приём символа. Число ненулевых символов в векторе ошибок называется его весом. Образно говоря, модем, осуществляющий переход от непрерывного канала к дискретному, преобразует помехи и искажения непрерывного канала в поток ошибок. Перечислим наиболее важные и достаточно простые модели дискретных каналов.
Постоянный симметричный канал без памяти определяется как дискретный канал, в котором каждый переданный кодовый символ может быть принят ошибочно с фиксированной вероятностью и правильно с вероятностью причём в случае ошибки вместо переданного символа может быть с равной вероятностью принят любой другой символ. Таким образом, вероятность того, что принят символ если был передан
Термин "без памяти" означает, что вероятность ошибочного приёма символа не зависит от предыстории, т.е. от того, какие символы передавались до него и как они были приняты. В дальнейшем, для сокращения, вместо "вероятность ошибочного приёма символа" будем говорить "вероятность ошибки".
Очевидно, что вероятность любого -мерного вектора ошибки в таком канале
где - число ненулевых символов в векторе ошибки (вес вектора ошибки). Вероятность того, что произошло ошибок, расположенных как угодно на протяжении последовательности длины определяется формулой Бернулли
где биномиальный коэффициент, равный числу различных сочетаний I ошибок в блоке длиной
Эту модель называют также биномиальным каналом. Она удовлетворительно описывает канал, возникающий при определённом выборе модема, если в непрерывном канале отсутствуют замирания, а аддитивный шум белый (или по крайней мере квазибелый). Нетрудно видеть, что вероятность появления ошибок в двоичной кодовой комбинации длины (кратному согласно модели (4.53) при
Вероятности переходов в двоичном симметричном канале схематически показаны в виде графа на рис. 4.3.
Постоянный симметричный канал без памяти со стиранием отличается от предыдущего тем, что алфавит на выходе канала содержит дополнительный символ, часто обозначаемый знаком "?". Этот символ появляется тогда, когда 1-я решающая схема (демодулятор) не может надёжно опознать переданный символ. Вероятность такого отказа от решения или стирания символа в данной модели постоянна и не зависит от передаваемого символа. За счёт введения стирания удаётся значительно снизить вероятность ошибки, иногда её даже считают равной нулю. На рис. 4.4 схематически показаны вероятности переходов в такой модели.
Несимметричный канал без памяти характеризуется, как и предыдущие модели, тем, что ошибки возникают в нём независимо друг от друга, однако вероятности ошибок зависят от того, какой символ передаётся. Так, в двоичном несимметричном канале вероятность приёма символа 1 при
Рис. 4.3. Переходные вероятности в двоичном симметричном канале
Рис. 4.4. Переходные вероятности в двоичном симметричном канале со стиранием
Рис. 4.5. Переходные вероятности в двоичном несимметричном канале
передаче символа 0 не равна вероятности приёма 0 при передаче 1 (рис. 4.5). В этой модели вероятность вектора ошибки зависит от того, какая последовательность символов передаётся.
Математическое моделирование непрерывных каналов связи требует знания физических процессов, протекающих в них. В большинстве случаев для их определения и перевода в аналитическую форму требуется проведение сложных экспериментов, испытаний и последующей аналитической обработки данных.
В подобных ситуациях очень полезной является модель двоичного симметричного канала связи (ДСК). Подобная модель является простейшим примеров взаимодействия двух источников без памяти. Подобная модель является дискретной двоичной моделью передачи информации по каналу с АБГШ. ДСК описывается с помощью диаграммы переходов (рис. 2.10).
Рис. 2.10. Модель двоичного симметричного канала
На диаграмме представлены возможные переходы двоичных символов от передатчика (источника ) в двоичные символы приемника (источника ). Каждому переходу приписана переходная вероятность. Ошибочным переходам соответствует вероятность . Эквивалентом диаграммы переходов является матрица канала. Она содержит переходные вероятности и является стохастической матрицей, у которой сумма всех элементов каждой строки равна единице. В общем случае матрица канала в входным алфавитом их символов и выходным алфавитом из символов , содержит все переходные вероятности и имеет вид
(2.51)
В случае ДСК матрица принимает вид
.
(2.52)
Единственным параметром, характеризующим ДСК, является вероятность ошибки и из-за равновероятного появления входных символов и симметрии переходов следует равномерное распределение выходных символов, т.е.
Среднее значение информации, которыми обмениваются два дискретных источника без памяти и равно
Поскольку пропускная способность дискретного канал связи определяется как , то
После подстановки числовых значений выражение принимает вид
Важным частным случаем ДСК является двоичный симметричный канал со стираниями (ДСКС). Как и ДСК подобный канал является упрощенной моделью передачи информации по каналу с АБГШ. Схема переходных вероятностей стирающего канала представлена на рис. 2.11.
Рис. 2.11. Граф переходных состояний в стирающем канале связи
Матрица переходных вероятностей оказывается зависимой от двух параметров и имеет вид
.
(2.56)
Входные символы
равновероятны, поэтому 
. Тогда вероятности выходных символов
равны
и .
Следовательно,
После преобразований получаем
Положив в полученном
уравнении ,
получим 
. Введение
стирающего канала связи обеспечивает выигрыш пропускной способности стирающего
канала связи, при условии, что вероятность ошибки . Отклонение значений и от их минимальных значений
приводит к образованию криволинейной поверхности, представляющей общий вид
которой представлен на рис. 2.12.
Рис. 2.12. Пропускная способность стирающего канала связи
Рассматривая модель стирающего канала связи, в которойстирания разделяются на ложные и правильные, можно представить граф переходных вероятностей в виде рис. 2.13. Матрица переходных вероятностей оказывается зависимой от четырех параметров принимает вид
Рис. 2.13. Граф переходных состояний с разделением стираний на ложные и правильные стирания
Предположение о точном совпадении стертых позиций с ошибками является условием, которое никогда не выполняется в реальных канала связи. Для гауссовского канала связи соотношения между ложными и правильным стираниями в зависимости от ширины интервала стирания приведены в табл. 2.1.
Табл. 2.1 Соотношение вероятностей между ложными и правильными стираниями в канале без памяти
|
Значение интервала стирания |
|||||||||||
|
Ложные стирания |
|||||||||||
|
Относительный прирост |
|||||||||||
|
Правильные стирания |
Прирост показателей для и в табл. 2.1 определялся относительно интервала стирания при этом показатель для ложных стираний в указанных пределах вырос практически на порядок. Это говорит о невозможности прямого применения стирающего канала связи в системах обмена информацией с целью снижения вероятности ошибочного приема данных.