Научно-исследовательская и испытательная лаборатория терминального оборудования научно-исследовательского и испытательного центра ОАО "Гипросвязь"

НИИЛ ТО НИИЦ
ОАО "Гипросвязь"

Методы контроля параметров качества услуг передачи данных
в сетях стационарной электросвязи

 

 

 

 

Методы обработки и представления результатов измерений

В результате измерений по методам, изложенным выше, будут получены совокупности значений для следующих параметров качества:

 

N означает число измерений (отсчетов). Выбор значения N напрямую связан с точностными характеристиками метода.

Полученные совокупности позволяют определить следующие величины параметров:

- минимальное значение;

- среднее значение;

- максимальное значение.

Минимальные и максимальные значения времени задержки и коэффициента потери IP-пакетов можно не учитывать, чтобы не усложнять представление результатов и не перегружать пользователя. Кроме того, действующие стандарты не требуют учета этих параметров.

Максимальное значение скорости передачи, как правило, рекламируется провайдером и не отражает реальную скорость доступа к ресурсам сети, что в отдельных случаях может вводить в заблуждение пользователя. Этот параметр не является критичным для оценки качества услуг передачи данных, однако результаты его измерения могут быть полезны оператору электросвязи для выявления возможностей по улучшению.

Минимальное значение скорости передачи является важной информацией для пользователя и отражает соответствие требованиям приложений, т.к. для них регламентируется минимально необходимая скорость доступа.

Очевидно, что информацию об измеренных значениях минимальной и максимальной скорости передачи пользователю предоставлять нецелесообразно.

Среднее значение скорости передачи является наиболее объективным показателем качества услуг передачи данных, и регламентируются действующими международными и региональными стандартами (например, ETSI EG 202 057-4, ITU-T Recommendation Y.1540 и др.).

Перед определением числовых значений параметров целесообразно проверить совокупности (1) – (4) на наличие аномальных отсчетов, которые могут возникнуть по независимым от оператора электросвязи причинам, например, воздействие электромагнитных помех различного происхождения, кратковременных перерывов в системах электроснабжения и др.

Для этого можно воспользоваться критерием вариационного размаха. Совокупности (1) – (4) представляют в виде ранжированных вариационных рядов по возрастанию следующего вида:

 

Процесс преобразования совокупности отсчетов в возрастающую последовательность можно выполнить с помощью известных алгоритмов «Определение наибольшего числового значения элементов ряда» и «Перестановка элементов ряда». Далее определяют размах вариационного ряда по следующим формулам:

 

 

 

Внешние воздействия могут привести к существенному снижению скорости передачи или увеличению задержки и коэффициента потерь. Поэтому проверку проводят для  используя следующие неравенства:

где z – критерий вариационного размаха, определенный из таблицы 5; T, D, L - выборочные средние арифметические значения, вычисленные без учета предполагаемых аномальных значений.

Выборочные средние арифметические значения рассчитывают по следующим формулам:

 

Если неравенства (13) – (16) выполняются (нулевая гипотеза), то проверяемое значение участвует в последующих вычислениях. В противном случае проверяемое значение исключают из вариационного ряда.

Далее вычисляют средние значения измеренных параметров

 

 

Минимальную скорость определяют как среднее значение выборки, состоящей из наименьших значений результатов измерений, максимальный порядковый номер которых в вариационных рядах (5) и (6) n меньше 5 % от общего числа N. Для этого:

1) вычисляют отношение ;

2) если полученное значение является дробным числом, то его округляют в сторону уменьшения до ближайшего целого;

3) результат округления принимается в качестве n;

4) если полученное значение является целым числом, то его принимают в качестве n;

5) вычисляют среднее значение выборки по формуле

 

 

 

Максимальную скорость определяют как среднее значение выборки, состоящих из наибольших значений результатов измерений, минимальный порядковый номер которых в вариационных рядах (5) и (6) x больше 95 % от общего числа N. Для этого:

1) вычисляют отношение ;

2) если полученное значение является дробным числом, то его округляют в сторону увеличения до ближайшего целого;

3) результат округления принимается в качестве x;

4) если полученное значение является целым числом, то его принимают в качестве x;

5) вычисляют среднее значение выборки по формуле

 

Указанные выше операции выполняют раздельно для входящей и исходящей скорости.

Таким образом, проведя представленные выше расчеты, получаем следующие оценки параметров качества услуги передачи данных:

- достигнутая средняя скорость передачи данных  (раздельно для входящей и исходящей скорости);

- достигнутая средняя минимальная скорость передачи данных  (раздельно для входящей и исходящей скорости);

- достигнутая средняя максимальная скорость передачи данных  (раздельно для входящей и исходящей скорости);

- средняя задержка передачи пакетов ;

- средний коэффициент потери пакетов .

Полученные оценки необходимо сравнить с установленными нормами (в договоре на оказание услуги или в стандарте) и сделать вывод об их соответствии или несоответствии. Как правило, требования к параметрам задаются в следующем виде:

- скорость передачи данных должна быть не менее  (кбит/с или Мбит/с);

- время задержки передачи IP-пакетов должно быть не более  (мс);

- коэффициент потери IP-пакетов должен быть не более  (%).

Алгоритм принятия решения о соответствии или несоответствии во многом зависит от того, какие принципы будут заложены в его основу. В сетях передачи данных процесс установления носит случайный характер. Это связано с многими факторами, например, сеть состоит из разных элементов (участков), часть которых может быть повреждена в какой то момент времени, на сети установлено оборудование разных производителей, что может привести к проблемам с совместимостью, могут быть выбраны разные маршруты и др. В этом случае не применим классический принцип, используемый при измерениях параметров средств электросвязи: «измеренное значение параметра должно быть не хуже заданного». Поэтому необходимо использовать вероятностные принципы, заложенные в Рекомендациях МСЭ-Т серии Е.8ХХ: «вероятность установления соединения с параметрами хуже заданных не должна превышать определенной величины» или «вероятность соответствия установленным требованиям должна быть не менее заданной». Такой подход применен, например, в СТБ 1642-2009. Справедливость вероятностного принципа оправдана еще и тем, что в случае установления соединения с плохими характеристиками, при повторном установлении соединения может быть выбран маршрут с лучшими характеристиками.

Очевидно, что значение вероятности должно иметь несколько градаций, а само качество должно ранжироваться, например, установлением шкалы соответствия (например, цифровой, текстовой, мнемонической и др.). В Рекомендации МСЭ-Т Е.803 рассматриваются только подходы к такому разделению. Конкретные величины должны определяться национальными требованиями, что является предметом отдельного исследования. Поэтому дальнейшие предложения по градациям вероятности и ранжированию необходимо рассматривать как предварительные, которые могут уточняться в процессе экспериментальной проверки метода на реальной сети передачи данных. При этом следует идти на компромисс между потребностями пользователей и возможностями реальной сети. Не следует устанавливать оператору электросвязи слишком жесткие требования, т.к. сеть уже создана и функционирует, а затраты на ее модернизацию могут оказаться значительными и экономически не оправданными.

Математическая статистика определяет следующие методы вероятностных оценок:

- доверительных интервалов;

- доверительных границ;

- толерантных интервалов;

- статистического контроля продукции.

Сравнительный анализ этих методов, исходя из нормального закона распределения измеренных величин (при относительно большом числе измерений это предположение можно считать справедливым), позволяет сделать вывод, что наиболее эффективным является метод толерантных интервалов, обеспечивающий минимальное количество измерений при эквивалентных показателях надежности. Определение толерантного интервала дается в международном стандарте ISO 16269-6.

Толерантный интервал это интервал, определенный по случайной выборке относительно которого можно утверждать с уровнем доверия , что он содержит, по крайней мере, указанную долю  совокупности. Границы статистического толерантного интервала называются статистическими толерантными границами. Уровень доверия  это вероятность того, что толерантный интервал будет содержать не менее чем долю  совокупности, и наоборот, вероятность того, что толерантный интервал будет содержать менее чем долю  совокупности, есть .

В общем виде реализация указанного метода заключается в следующем.

 

 

 

где  - коэффициент, выбираемый из таблиц в зависимости от .

В таблице 6 приводятся значения коэффициента для ограниченного числа . Полные таблицы приведены в ISO 16269-6 (приложение С). Знак (+) или (-) в выражении (29) выбирается исходя из физического смысла параметра:

- знак (+) для задержки передачи IP-пакетов и коэффициента потерь IP-пакетов;

- знак (-) для скорости передачи данных.

Расчет предлагается выполнять для уровня доверия   и трех значений , равных 0,95; 0,9 и 0,75. Последнее позволяет ввести 4 градации уровня качества (например, отличное, хорошее, удовлетворительное, неудовлетворительное). Если в процессе опытной эксплуатации окажется, что значения  заданы слишком жестко, то можно принять другие значения, например, 0,5; 0,75; 0,9.

 

 N  1-a=0,5  1-a=0,9  1-a=0.95
 p  p  p

0,75

0,9

0,95

0,75

0,9

0,95

0,75

0,9

0,95

5

0,722

1,382

1,780

1,698

2,743

3,400

2,150

3,407

4,203

10

0,695

1,325

1,702

1,257

2,066

2,569

1,466

2,355

2,911

20

0,685

1,302

1,672

1,046

1,766

2,208

1,167

1,926

2,397

50

0,679

1,290

1,655

0,894

1,560

1,966

0,961

1,646

2,065

100

0,677

1,286

1,650

0,825

1,471

1,862

0,870

1,527

1,927

 

 

Рассчитанные значения   сравнивают с установленной нормой , применяя следующие условия:

-   Y_T≤G_r  для задержки передачи IP-пакетов и коэффициента потери IP-пакетов;

-  Y_T≥G_r для скорости передачи данных.

Порядок расчетов и принятия решений, например, для скорости передачи данных, следующий:

1) Вычисляют толерантную границу Y_T для   p=0,95.

2) Проверяют условие Y_T (0,95)≥G_r .

3) Если условие выполняется, то делают вывод, что по данному параметру обеспечивается отличное качество, т.е. можно утверждать с уровнем доверия 0,95 (95 %), что по крайней мере 0,95 (95 %) измеренных значений соответствует установленной норме. Следующие шаги не выполняют.

4) Если условие не выполняется, то вычисляют толерантную границу Y_T (0,9) для  p=0,9.

5) Проверяют условие .

6) Если условие выполняется, то делают вывод, что по данному параметру обеспечивается хорошее качество, т.е. можно утверждать с уровнем доверия 0,95 (95 %), что по крайней мере 0,9 (90 %) измеренных значений соответствует установленной норме. Следующие шаги не выполняют.

7) Если условие не выполняется, то вычисляют толерантную границу Y_T (0,75)  для p=0,75.

8) Проверяют условие Y_T (0,75)≥G_r .

9) Если условие выполняется, то делают вывод, что по данному параметру обеспечивается удовлетворительное качество, т.е. можно утверждать с уровнем доверия 0,95 (95 %), что по крайней мере 0,75 (75 %) измеренных значений соответствует установленной норме.

10) Если условие не выполняется, то делается вывод, что по данному параметру качество услуги не обеспечивается.

Таким образом, обобщенный алгоритм вычислений, выполняемый тестовым сервером при условии, что совокупности измеренных значений уже получены, выглядит следующим образом:

1) Преобразование совокупности измеренных значений в ранжированный ряд в соответствии с (5) – (8).

2) Вычисление размахов вариационных рядов в соответствии с (9) – (12).

3) Вычисление выборочных средних арифметических значений в соответствии с (17) – (20).

4) Проверка выполнения неравенств в соответствии с (13) – (16).

5) Вычисление средних значений измеренных параметров в соответствии с (21) – (24).

6) Вычисление среднего значения минимальной скорости передачи в соответствии с (25).

7) Вычисление среднего значения максимальной скорости передачи в соответствии с (26).

8) Вычисление выборочных стандартных отклонений в соответствии с (28) за исключением максимальной скорости передачи.

9) Вычисление границ толерантных интервалов в соответствии с (29).

10) Сравнение границ толерантных интервалов с установленной нормой и принятие соответствующего значения.

Точность вычислений по приведенным выше формулам, должна составлять не менее четырех цифр после запятой. Конечный результат (т.е. результат который отображается у пользователя) рекомендуется округлять до ближайшего целого.

Полученные в результате выполнения вычислений результаты передаются в тестовый ПК для отображения в соответствии с установленными требованиями.

Если тестовым ПК является оборудование пользователя, то достаточно передавать информацию о достигнутой средней скорости (входящей и исходящей) и информацию о средней задержке передачи пакетов.

Если тестовым ПК является оборудование контролирующей организации, то следует передавать всю информацию, включая принятые решения о соответствии установленной норме.