Отчет по тестопригодности (DFT) для плохой реальной схемы с именем "GA32" ...

По схеме  GA32 разработчиком получено:

• отчет по своему тесту, если он представлен разработчиком
  - теста не было представлено
• отчет по тесту верификации, спроектированному автоматически, включая проверку Z-состояний
  - тест с рейтингом 96.4%
• отчет о состоятельности шин и двунаправленных магистралей
  - проблем не было отмечено
• отчет по тестопригодности, включая
  + рекомендации по размещению 13 точек дополнительного управления (ТДУ) для улучшения управляемости и наблюдаемости
  + рекомендации по размещению 6 точек дополнительного наблюдения (ТДН) для улучшения наблюдаемости
  + прогноз качества теста
     - прогноз 64.6% для исходной схемы
     - прогноз 92.5% для измененной схемы
  + график изменения прогноза качества теста по мере добавления ТДУ и ТДН для планирования качества
• Поясняются препятствия к достижению идеального 100% качества, устранимые только разработчиком
  - 12 непроверяемых неисправностей
  - 16 недостижимых значений при верификации
• Реально сгенерированный тест для исходной схемы имеет полноту 73.9%
• Реально разработчик не проводил изменений, поэтому тест для  измененной схемы не строился.

Отчет по DFT содержит

·       Подробную таблицу прогноза по составляющим для тестопригодных изменений, выработанных автоматически

·       Соответствующую им диаграмму прогнозируемого улучшения качества по мере внесения предложенных рекомендаций

·       Перечень рекомендованных изменений

Диаграмма прогнозируемого улучшения качества по мере внесения предложенных изменений

 Три колонки процентов из рассматривавшейся таблицы представлены в виде графиков на нижеследующей диаграмме. Проектировщик может проследить тенденцию изменения кривых двух составляющих, чтобы оценить их вклад в итоговую кривую, а также реалистичность рейтинга

       ·       составляющая управляемости (Controllability)   представлена коричневой кривой

      ·       составляющая наблюдаемости (Observability) представлена синей кривой

      ·      итоговая кривая тестопригодности (Testability) – зеленая

·       итоговая кривая тестопригодности с рейтингом (Rated Testability) –желтая рейтинг 

Прогнозируемое улучшение качества теста по мере введения дополнительных точек

Попробуем интерпретировать тенденции, по кривым, представленным на диаграмме

• Позиции по оси абсцисс соответствуют последовательному внесению изменений в схему
• Стартовая позиция "0" соответствует исходной схеме, имеющей плохой прогноз качества теста на уровне 67%
• Сопоставляя стартовые уровни управляемости 70% и наблюдаемости 90% можно отметить, что проблем больше с управляемостью
• Желтая пунктирная вертикальная линия на уровне позиции 13 делит диаграмму на две части – левую и правую

  слева, где добавляются точки дополнительного управления (1:13)  вплоть до насыщения
           - зеленая линия тестопригодности растет вслед за коричневой линией управляемости и почти эквидистантна  ей
           - синяя линия наблюдаемости растет вслед за коричневой линией управляемости лишь поначалу (6 точек) и не так быстро

 справа, где добавляются точки дополнительного наблюдения (14:19) вплоть до насыщения
           - зеленая линия тестопригодности растет вслед за синей линией наблюдаемости и эквидистантна ей
           - коричневая линия управляемости на постоянном уровне

• синяя линия наблюдаемости растет как слева (вследствие  роста управляемости), так и справа (рост собственно самой наблюдаемости)
• зеленая линия располагается всегда ниже как коричневой, так и синей линий ввиду того, что обе эти оценки должны быть хорошими
• в точке 13 прогноз управляемости достигает уровня 98%, далее насыщение коричневой кривой
• в точке 19 прогноз наблюдаемости достигает уровня 99%,  далее насыщение синей кривой

     последующая 20^я точка по наблюдаемости была отвергнута - указана лишь для понимания тенденции

• в точке 19 прогноз качества теста достигает уровня 96%,  далее полное насыщение  всех трех кривых, включая итоговую зеленую
• очевидно, что идеал в 100% не достижим ни для одной из трех кривых по ряду причин
• прогноз качества теста достиг лишь уровня 96%, и это ещё притом, что пока рейтинг верификации не учитывался
• учет рейтинга 0.964 снизил и сделал более реалистичным прогноз качества теста в каждой точке

Характерные моменты в процессе приближения к 100% качеству

Далее рассмотрим характерные моменты в процессе внесения тестопригодных  изменений, включая три особые позиции приведенной  диаграммы, дополнительную рейтинговую желтую кривую, а также препятствия к достижению 100% качества

·       Исходная схема

·       Насыщение по управляемости

·       Насыщение по наблюдаемости

·       Учет рейтинга верификации

·       Проблемы, которые препятствуют достижению 100% качества для схемы GA32

 

Позиция [0] на оси абсцисс – исходная схема

Показаны точки с трех кривых коричневого, синего и зеленого цвета в позиции 0.

Построим область Хороших оценок управляемости	Построим область Хороших оценок наблюдаемости	Построим зону тестопригодности как общую зеленую область, где хорошими являются обе оценки и управляемость, и наблюдаемость

 

Коричневый сектор 70 % от всех битов	Синий сектор 90%   от всех битов	Зеленая область составляет 67 % от всех битов - именно по ней делается прогноз качества теста.
Низкое качество определяется, в основном, низкой управляемостью.

 

Позиция [13] на оси абсцисс – насыщение по управляемости

Показаны точки с трех кривых коричневого, синего и зеленого цвета в позиции 13.

Оценены и отобраны лучшие точки дополнительного управления (ТДУ). Улучшенные характеристики показаны в сравнении с исходными характеристиками

 На более высоком уровне качество все же оставляет желать лучшего, но теперь в большей степени из-за наблюдаемости, которая подтянулась вслед за управляемостью с 90% до 96%, но все еще не достаточна. Поэтому на следующем этапе целенаправленно улучшают наблюдаемость.

 

Позиция [19] на оси абсцисс – насыщение по наблюдаемости

Показаны точки с трех кривых коричневого, синего и зеленого цвета в позиции 19.

Оценены и отобраны лучшие точки дополнительного наблюдения (ТДН) в дополнение к ранее улучшенной управляемости.

Улучшение характеристик показано в сравнении по двум этапам

Качество теста, кажется, уже неплохое – это именно потому, что обе составляющие и управляемость (98%) и наблюдаемость (98.6%)  – на достаточно высоком уровне.  Так ли все хорошо?  Перейдем к следующему шагу анализа составляющих качества теста..

Рейтинг верификации. Дополнительная желтая кривая, представленная на диаграмме

В данном случае рассматривается не отдельная позиция на оси абсцисс, как в предыдущих случаях, а весь график.
Поскольку рейтинг 96.4%<100%, то зеленая кривая тестопригодности опустилась на 3.6% в каждой позиции, превратившись в желтую кривую тестопригодности с рейтингом. В частности, опустились и три характерные точки, указанные ранее. Сравнение тестопригодности с учетом рейтинга по мере ее улучшения

Рейтинг верификации получен при генерации теста верификации исходной схемы. Он делает прогноз более реалистичным, учитывая перебор и проблемы, реально возникающие в ATPG. Процедура генерации теста верификации менее трудоемкая, чем в ATPG для контролирующего теста. Прогноз для измененной схемы делался в предположении, что по протоколу верификации схему не исправляли. Если бы до внесения тестопригодных изменений разработчик изменил схему, то он повысил бы рейтинг верификации. В этой схеме проблем с шинами нет. Коррекция схемы по протоколам верификации и несостоятельности шин устраняет проблемы и даёт еще одну прибавку к прогнозу и к реальному качеству теста.

Из сравнения видно, с каким, все большим трудом даются более высокие проценты качества!  Например, 6 ТДН дают вместе тот же прирост 2%, что и ранее в среднем одна ТДУ, но на это приходится идти. Число точек на каждый дополнительный процент становится больше и больше.. Эффект от внесения каждой новой точки все меньше и меньше..  Как видно, в том числе и из последней диаграммы, влияние на не идеальный прогноз (92.5%) таково

·       -4% со стороны не идеальной тестопригодности (96%)

o      в том числе -2% со стороны не идеальной управляемости

o      в том числе -1.6% со стороны не идеальной наблюдаемости

·       -3.6%  со стороны неидеального рейтинга верификации (96.4%)

·       влияние со стороны непроверенных (избыточных) неисправностей не поддается прогнозу, а их количество составляет 1% от общего числа неисправностей

Проблемы, которые препятствуют достижению 100% качества для схемы, а коррективы схемы полностью в компетенции разработчика

o      по протоколу верификации

o      по протоколу несостоятельности шин

o      по списку непроверенных (избыточных)  неисправностей

TwCAD рекомендует место и характер вносимых изменений, но не фиксирует способ реализации изменений, что относится к компетенции разработчика. Однако, для того, чтобы сориентироваться в спектре возможных изменений приводится 2 крайних варианта возможных изменений применительно к схеме GA32

 

Общие выводы

Вычисляемые высокие проценты порой обманчивы, как рейтинг верификации в случае GA32. Из анализа становится понятно, что генерация теста – комплексная проблема. Дело в том, что при кажущейся пристойности составляющих процентов общий процент качества теста часто получается недостаточным. И мы здесь показываем, из чего это складывается. Из проведенного обсуждения можно заключить следующее

     ·       для достижения качества, близкого к 100%, требуется реально обеспечить все составляющие качества
                  управляемость, наблюдаемость, тестопригодность, верификацию, неизбыточность

·       прогноз качества будет не лучше худшей из характеристик

     ·       согласно предлагаемой технологии в отчете Tw-CAD досконально и конкретно излагаются проблемы по каждой составляющей качества

·       предлагаются исчерпывающие решения для каждой схемы индивидуально

·       тест контроля оборудования предоставляется в заказанном формате

·       указывается, какого  качество теста реально достигли, не только в виде общего процента, но и подробно
- список проверенных неисправностей
- список непроверенных неисправностей
- список непроверяемых неисправностей

·       как правило, реальное качество теста не превышает прогнозируемого качества

·       снижение полноты теста по причине избыточности схемы трудно прогнозировать

·       диаграмма прогноза имеет характерный вид “лестницы качества”

1.     поначалу ступеньки высокие и каждая следующая выше

2.     по мере продвижения вверх ступеньки становятся ниже и ниже, а путь длиннее и длиннее – почти на одном уровне по нескольку ступенек

3.     в конце концов, движение вверх прекращается по одной из двух причин

·       возникли препятствия (как здесь - уперлись в стенку), не достигнув идеального уровня качества в 100%

·       могли бы достичь 100% (но в данной схеме не достигли) идеального уровня качества в 100% ввиду возникших проблем, которые в силах разрешить лишь разработчик схемы