Отчет по тестопригодности (DFT) для плохой реальной схемы с именем "GA32"

На предыдущем этапе улучшали управляемость

На этом этапе улучшают наблюдаемость

Коричневая область расширилась до 98%

Область хорошей управляемости неизменна

Синяя область была расширена до 96%

Добавим ТДН, еще расширив синюю область хороших оценок наблюдаемости до 98.6%

Зеленая общая область, где обе оценки хорошие,
была расширена до 94%

Зеленую область еще раз расширили до 96%.
Качество теста, кажется, уже неплохое..

Отчет по тестопригодности (DFT) для плохой реальной схемы с именем "GA32" ...

По схеме GA32 разработчиком получено:

отчет по своему тесту, если он представлен разработчиком
- теста не было представлено
отчет по тесту верификации, спроектированному автоматически, включая проверку Z-состояний
- тест с рейтингом 96.4%
отчет о состоятельности шин и двунаправленных магистралей
- проблем не было отмечено
отчет по тестопригодности, включая
+ рекомендации по размещению 13 точек дополнительного управления (ТДУ) для улучшения управляемости и наблюдаемости
+ рекомендации по размещению 6 точек дополнительного наблюдения (ТДН) для улучшения наблюдаемости
+ прогноз качества теста
- прогноз 64.6% для исходной схемы
- прогноз 92.5% для измененной схемы
+ график изменения прогноза качества теста по мере добавления ТДУ и ТДН для планирования качества
Поясняются препятствия к достижению идеального 100% качества, устранимые только разработчиком
- 12 непроверяемых неисправностей
- 16 недостижимых значений при верификации
Реально сгенерированный тест для исходной схемы имеет полноту 73.9%
Реально разработчик не проводил изменений, поэтому тест для измененной схемы не строился.

Отчет по DFT содержит

· Подробную таблицу прогноза по составляющим для тестопригодных изменений, выработанных автоматически

· Соответствующую им диаграмму прогнозируемого улучшения качества по мере внесения предложенных рекомендаций

Диаграмма прогнозируемого улучшения качества по мере внесения предложенных изменений

Три колонки процентов из рассматривавшейся таблицы представлены в виде графиков на нижеследующей диаграмме. Проектировщик может проследить тенденцию изменения кривых двух составляющих, чтобы оценить их вклад в итоговую кривую, а также реалистичность рейтинга

· составляющая управляемости (Controllability) представлена коричневой кривой

· составляющая наблюдаемости (Observability) представлена синей кривой

· итоговая кривая тестопригодности (Testability) – зеленая

· итоговая кривая тестопригодности с рейтингом (Rated Testability) –желтая рейтинг

Прогнозируемое улучшение качества теста по мере введения дополнительных точек

Попробуем интерпретировать тенденции, по кривым, представленным на диаграмме

Позиции по оси абсцисс соответствуют последовательному внесению изменений в схему
Стартовая позиция "0" соответствует исходной схеме, имеющей плохой прогноз качества теста на уровне 67%
Сопоставляя стартовые уровни управляемости 70% и наблюдаемости 90% можно отметить, что проблем больше с управляемостью
Желтая пунктирная вертикальная линия на уровне позиции 13 делит диаграмму на две части – левую и правую

слева, где добавляются точки дополнительного управления (1:13) вплоть до насыщения
- зеленая линия тестопригодности растет вслед за коричневой линией управляемости и почти эквидистантна ей
- синяя линия наблюдаемости растет вслед за коричневой линией управляемости лишь поначалу (6 точек) и не так быстро

справа, где добавляются точки дополнительного наблюдения (14:19) вплоть до насыщения
- зеленая линия тестопригодности растет вслед за синей линией наблюдаемости и эквидистантна ей
- коричневая линия управляемости на постоянном уровне

синяя линия наблюдаемости растет как слева (вследствие роста управляемости), так и справа (рост собственно самой наблюдаемости)
зеленая линия располагается всегда ниже как коричневой, так и синей линий ввиду того, что обе эти оценки должны быть хорошими
в точке 13 прогноз управляемости достигает уровня 98%, далее насыщение коричневой кривой
в точке 19 прогноз наблюдаемости достигает уровня 99%, далее насыщение синей кривой

последующая 20^яточка по наблюдаемости была отвергнута - указана лишь для понимания тенденции

в точке 19 прогноз качества теста достигает уровня 96%, далее полное насыщение всех трех кривых, включая итоговую зеленую
очевидно, что идеал в 100% не достижим ни для одной из трех кривых по ряду причин
прогноз качества теста достиг лишь уровня 96%, и это ещё притом, что пока рейтинг верификации не учитывался
учет рейтинга 0.964 снизил и сделал более реалистичным прогноз качества теста в каждой точке

Характерные моменты в процессе приближения к 100% качеству

Далее рассмотрим характерные моменты в процессе внесения тестопригодных изменений, включая три особые позиции приведенной диаграммы, дополнительную рейтинговую желтую кривую, а также препятствия к достижению 100% качества

· Исходная схема

· Насыщение по управляемости

· Насыщение по наблюдаемости

· Учет рейтинга верификации

· Проблемы, которые препятствуют достижению 100% качества для схемы GA32

Позиция [0] на оси абсцисс – исходная схема

Показаны точки с трех кривых коричневого, синего и зеленого цвета в позиции 0.

Построим область Хороших оценок управляемости	Построим область Хороших оценок наблюдаемости	Построим зону тестопригодности как общую зеленую область, где хорошими являются обе оценки и управляемость, и наблюдаемость

Коричневый сектор 70 % от всех битов	Синий сектор 90% от всех битов	Зеленая область составляет 67 % от всех битов - именно по ней делается прогноз качества теста.
Низкое качество определяется, в основном, низкой управляемостью.

Позиция [13] на оси абсцисс – насыщение по управляемости

Показаны точки с трех кривых коричневого, синего и зеленого цвета в позиции 13.

Оценены и отобраны лучшие точки дополнительного управления (ТДУ). Улучшенные характеристики показаны в сравнении с исходными характеристиками

	Оценена исходная схема		Улучшаем схему по управляемости
Коричневая область - область хороших оценок управляемости		Добавив ТДУ, расширим коричневую область до 98%
Синяя область - область хороших оценок наблюдаемости		Как следствие, расширится Синяя область хороших оценок наблюдаемости 96%
	Зеленая общая область, где обе оценки хорошие, составляет 67 % , и даже оптимистический прогноз качества теста по тестопригодности неутешителен		Зеленая общая область, где обе оценки хорошие, расширилась всего лишь до 94%. -- оставляет желать лучшего.

На более высоком уровне качество все же оставляет желать лучшего, но теперь в большей степени из-за наблюдаемости, которая подтянулась вслед за управляемостью с 90% до 96%, но все еще не достаточна. Поэтому на следующем этапе целенаправленно улучшают наблюдаемость.

Позиция [19] на оси абсцисс – насыщение по наблюдаемости

Показаны точки с трех кривых коричневого, синего и зеленого цвета в позиции 19.

Оценены и отобраны лучшие точки дополнительного наблюдения (ТДН) в дополнение к ранее улучшенной управляемости.

Улучшение характеристик показано в сравнении по двум этапам

Качество теста, кажется, уже неплохое – это именно потому, что обе составляющие и управляемость (98%) и наблюдаемость (98.6%) – на достаточно высоком уровне. Так ли все хорошо? Перейдем к следующему шагу анализа составляющих качества теста..

Рейтинг верификации. Дополнительная желтая кривая, представленная на диаграмме

В данном случае рассматривается не отдельная позиция на оси абсцисс, как в предыдущих случаях, а весь график.
Поскольку рейтинг 96.4%<100%, то зеленая кривая тестопригодности опустилась на 3.6% в каждой позиции, превратившись в желтую кривую тестопригодности с рейтингом. В частности, опустились и три характерные точки, указанные ранее. Сравнение тестопригодности с учетом рейтинга по мере ее улучшения

Оценка исходной схемы

Улучшение управляемости

Улучшение наблюдаемости

· 70% управляемость низкая

· 90% наблюдаемость недостаточная

· 67% тестопригодность очень низкая

· рейтинг 96.4% тоже недостаточен – это он пока на фоне других низких характеристик не проявляется

Реальное качество теста, достигнутое в ATPG, составило 73.9%

Прирост
тестопригодности 27%

13 точек дополнительного управления,
в среднем по 2% на точку

· целенаправленно подняли управляемость до максимально достижимого уровня 98%

· попутно первые 6 точек подтянули наблюдаемость до промежуточного уровня 96%, но этот уровень еще не достаточен

· подняли тестопригодность до промежуточного уровня 94%

Прирост
тестопригодности 2%

6 точек дополнительного наблюдения,
в среднем по 0.3% на точку

· целенаправленно подняли наблюдаемость до максимально достижимого уровня 98.6%

· подняли тестопригодность до максимально достижимого уровня 96%

· теперь на фоне высоких оценок составляющих тестопригодности проблема верификации (всего лишь 96.4%) стала одним из очевидных препятствий к достижению идеального качества

Рейтинг верификации получен при генерации теста верификации исходной схемы. Он делает прогноз более реалистичным, учитывая перебор и проблемы, реально возникающие в ATPG. Процедура генерации теста верификации менее трудоемкая, чем ATPG. Прогноз для измененной схемы делался в предположении, что по протоколу верификации схему пока не исправляли. Если до внесения тестопригодных изменений разработчик изменит схему, повысив рейтинг по протоколу верификации и по протоколу контроля состоятельности шин, то это будет еще одна прибавка к прогнозу и к реальному качеству теста.

Из сравнения видно, с каким, все большим трудом даются более высокие проценты качества! Например, 6 ТДН дают вместе тот же прирост 2%, что и ранее в среднем одна ТДУ, но на это приходится идти. Число точек на каждый дополнительный процент становится больше и больше.. Эффект от внесения каждой новой точки все меньше и меньше.. Как видно из последней диаграммы, примерно одинаково влияние на не идеальный прогноз (92.5%) как со стороны не идеальной тестопригодности (96%), так и не идеального рейтинга (96.4%). В данном случае на пути к идеальному качеству коррективы проекта схемы полностью в компетенции разработчика с учетом проблем, которые препятствуют достижению 100% качества для схемы GA32.

TwCAD рекомендует место и характер вносимых изменений, но не фиксирует способ реализации изменений, что относится к компетенции разработчика. Однако, для того, чтобы сориентироваться в спектре возможных изменений приводится 2 крайних варианта возможных изменений применительно к схеме GA32

Общие выводы

Вычисляемые высокие проценты порой обманчивы, как рейтинг верификации в случае GA32. Из анализа становится понятно, что генерация теста – комплексная проблема. Дело в том, что при кажущейся пристойности составляющих процентов общий процент качества теста часто получается недостаточным. И мы здесь показываем, из чего это складывается. Из проведенного обсуждения можно заключить следующее

· для достижения качества, близкого к 100%, требуется реально обеспечить все составляющие качества
управляемость, наблюдаемость, тестопригодность, верификацию, неизбыточность

· прогноз качества будет не лучше худшей из характеристик

· согласно предлагаемой технологии в отчете Tw-CAD досконально и конкретно излагаются проблемы по каждой составляющей качества

· предлагаются исчерпывающие решения для каждой схемы индивидуально

· тест контроля оборудования предоставляется в заказанном формате

· указывается, какого качество теста реально достигли, не только в виде общего процента, но и подробно
- список проверенных неисправностей
- список непроверенных неисправностей
- список непроверяемых неисправностей

· как правило, реальное качество теста не превышает прогнозируемого качества

· снижение полноты теста по причине избыточности схемы трудно прогнозировать

· диаграмма прогноза имеет характерный вид “лестницы качества”

1. поначалу ступеньки высокие и на одном уровне узкие

2. по мере продвижения вверх ступеньки становятся ниже и ниже, а путь длиннее и длиннее – почти на одном уровне по нескольку ступенек

3. в конце концов, движение вверх прекращается по одной из двух причин

· возникли препятствия (как здесь, уперлись в стенку), не достигнув идеального уровня качества в 100%

· могли бы достичь 100% (но в данной схеме не достигли идеального уровня качества в 100% ввиду возникших проблем, которые в силах разрешить лишь разработчику схемы)