автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.05, диссертация на тему:Обеспечение целостности сигналов при разработке современных вычислительных устройств

На правах рукописи

Воробушков Василий Владимирович

ОБЕСПЕЧЕНИЕ ЦЕЛОСТНОСТИ СИГНАЛОВ ПРИ РАЗРАБОТКЕ СОВРЕМЕННЫХ ВЫЧИСЛИТЕЛЬНЫХ УСТРОЙСТВ

Специальность 05.13.05 - элементы и устройства вычислительной техники и систем управления

Автореферат

диссертации на соискание ученой степени кандидата технических наук

2 6 МАЙ 201?

Москва-2011 г.

4848123

Работа выполнена в ЗАО "МЦСТ" и ОАО «ИНЭУМ им. И.С. Брука»

Научный руководитель: доктор технических наук, профессор

Рябцев Юрий Степанович.

Официальные оппоненты: доктор технических наук, старший

научный сотрудник Саморуков Вячеслав Владимирович,

кандидат технических наук, старший научный сотрудник Груздов Федор Анатольевич

Ведущая организация:

ОАО «Институт точной механики и вычислительной техники им. С.А. Лебедева», г. Москва

Защита диссертации состоится & си-ОХ 2011 г. в час. » о мин. На заседании диссертационного совета Д.409.009.01 при ОАО «Институт электронных управляющих машин им. И.С. Брука» по адресу: 119991, г. Москва, ул. Вавилов, д. 24.

С диссертацией можно ознакомиться в библиотеке ОАО «ИНЭУМ им. И.С. Брука».

Автореферат разослан 5" уА^Л Л_2011г.

Ученый секретарь диссертационного совета кандидат технических наук, профессор

Красовский В.Е.

Общая характеристика работы

Актуальность проблемы

Проблема обеспечения целостности сигналов (ЦС), предполагающая анализ причин их искажения и разработку методов устранения, неизменно играла существенную роль при проектировании вычислительной техники. За последние годы в связи с резким ростом производительности микропроцессоров и вычислительных комплексов, обусловившим переход на сигналы субнаносекундиого диапазона, целостность сигналов (signal integrity) приобрела ключевое значение и стала предметом ряда основательных исследований и связанных с ними публикаций в зарубежной периодике. В отечественной практике подобная работа не была заметно развита из-за отсутствия необходимого для ее постановки проектного базиса. Несомненную актуальность она получила только в последние годы, когда в стране стала постепенно расширяться сфера проектирования и производства высокопроизводительных вычислительных средств, в первую очередь связанная с задачей укрепления обороноспособности. В связи с этим необходимо отметить, что все представленные в диссертационной работе теоретические и конструкторские результаты были получены в рамках выполнения проектов по созданию высокопроизводительных микропроцессоров, процессорных модулей и вычислительных комплексов серии «Эльбрус», применяемых в системах государственного значения и имеющих показатели, которые сопоставимы с параметрами функционально аналогичных зарубежных изделий. Разработка устройств убедительно показала, что обеспечение целостности сигналов на должном уровне является необходимым условием устойчивого функционирования логически верно спроектированных устройств.

Рисунки 1а,б в обобщенной форме демонстрируют структуры, обеспечивающие подключение кристалла в современном компьютерном модуле. Кристалл распаивается на подложке по технологии Flip-Chip. Подложка соединяется с многослойной печатной платой (МПП) посредством пайки (рис. 1а) или через контактное устройство, сокет (рис.1б).

Проблема ЦС решается использованием современных САПР Структура, слабо поддающаяся анализу ЦС средствами САПР

1ШШ

а)

Рис. 1 Типовая структура в составе современного компьютерного модуля.

В кристалле микропроцессора проблема целостности сигналов комплексно решается с использованием современных САПР, например фирмы Synopsis. В части структуры, образованной подложкой и МПП,

средства САПР основных производителей (Mentor Graphics, Cadence, Ansoft) такую возможность дают весьма ограничено. Это вызвано тем, что в данном случае конструкция и эквивалентная ей электромагнитная структура достаточно сложная. Множественные неоднородности в ней не позволяют создать универсальную компьютерную модель в составе единой САПР1.

С ростом пропускной способности шин передачи данных и частоты синхронизации радикально сократилась длительность фронта сигналов. Раньше, когда она не была меньше 2 не, вычислительные устройства обладали общей системой синхронизации, время распространения сигналов не превышало значительно их длительность, а сигналы при передаче практически не деформировались. Основная задача разработчика состояла в том, чтобы для устойчивой передачи сигналов выполнить требования к задержке передаваемых сигналов относительно синхросигнала. При этом, в случае необходимости, незначительное снижение частоты синхронизации поддерживало работоспособность устройства. Однако дальнейший рост производительности процессорной части и пропускной способности шин обусловил переход на сигналы субнаносекундного диапазона с длительностью фронта до 0,2 не. Использование в каналах единого синхросигнала стало невозможно, отсюда появилось множество независимых, практически асинхронных интерфейсов, взаимодействие которых может носить непредсказуемый характер. Выход в более высокий частотный диапазон повлек проявление новых физических причин разрушения сигналов, таких как интерференция, скин-эффект, диэлектрические потери и прочих. Основной временной характеристикой интерфейсов стал разброс фаз фронтов сигналов (skew).

Используемые при проектировании вычислительных модулей идеализированные модели электромагнитных структур достаточно изучены, но их точная реализация приводит к значительному увеличению стоимости и сложности изделия. В результате, разработчикам приходится идти на ряд вынужденных отступлений, в частности, из-за большого количества номиналов электропитания разрезать экраны, формируя полигоны питания. Разрезы экранов, неидеальные соединители создают область общей индуктивности в цепи обратных токов, которая может привести к кодозависимым ошибкам и увеличению взаимного влияния сигнальных цепей в МПП.

Из-за высокой плотности токов и сравнительно высокой индуктивности проводящих структур в подложках современных микропроцессоров, обозначенные проблемы существенно усугубляются.

1 Конструкция на рис. 16 отличается наличием контактирующего устройства (сокета), которое увеличивает индуктивность выводов микропроцессора. Методы анализа, в большинстве случаев, для обеих структур не различаются. В отдельных случаях проблемы, связанные с наличием сокета, будут отмечаться особо.

Поэтому в определенных случаях средства компенсации негативных эффектов, реализованных на МПП, не устраняют эти эффекты на подложке.

Из-за сложности и неоднородности исследуемой структуры невозможно гарантировать, что принятые в каждом случае решения проблемы целостности сигналов в приемлемой степени компенсируют негативные эффекты. Чтобы гарантировать устойчивость работы разработанных вычислительных устройств, необходимо ввести для них систему мер, контролирующих эффективность обеспечения ЦС.

В итоге можно констатировать, что создание комплексных методов обеспечения целостности сигналов в структурах компьютерных модулей, недостаточно охватываемых средствами САПР, становится особенно актуальным для современных вычислительных систем.

Целью диссертационной работы является анализ, разработка и контроль эффективности методов обеспечения целостности сигналов при проектировании современных высокопроизводительных вычислительных устройств.

В соответствии с этим были определены следующие задачи:

1. Проведение теоретических и экспериментальных исследований с целью создания общей системы обеспечения ЦС при проектировании высокопроизводительных вычислительных устройств.

2. Обеспечение целостности сигналов в МПП с учетом эффектов взаимного влияния сигнальных цепей и пульсаций в системе электропитания.

3. Разработка технических решений для проектирования подложки мощных высокопроизводительных микропроцессоров с многоразрядными каналами ввода-вывода по технологии flip-chip.

4. Разработка и внедрение системы инженерных испытаний вычислительных устройств для выявления дефектов в обеспечении ЦС, не обнаруженных в процессе теоретических и экспериментальных исследований.

5. Формирование технической библиотеки, поддерживающей требование обеспечения ЦС в маршруте проектирования высокопроизводительных вычислительных устройств.

Методы исследования базируются на аналитических расчетах с использованием физических законов электродинамики, компьютерном моделировании электромагнитных процессов в цепях вычислительных

в

устройств, экспериментальном анализе распространения сигналов в образцах разработанных модулей.

Научная новизна работы заключается в следующем:

■ Научно обоснована разработанная автором система обеспечения целостности сигналов при проектировании высокопроизводительных вычислительных устройств на базе микропроцессоров.

■ Предложены методы обеспечения целостности сигналов субнаносекундного диапазона в многослойных печатных платах с учетом эффектов взаимного влияния сигнальных цепей и пульсаций в системе электропитания.

■ Разработаны технические решения для проектирования по технологии flip-chip подложки мощных высокопроизводительных микропроцессоров с широкими каналами ввода-вывода с учетом целостности сигналов.

■ Научно обоснована система инженерных испытаний высокопроизводительных устройств, направленная на устранение дефектов в обеспечении ЦС, не охваченных в процессе теоретических и экспериментальных исследований.

Практическая ценность.

Результаты исследований, выполненных по теме диссертации, нашли применение в разработках компании ЗАО «МЦСТ» и ОАО «ИНЭУМ им. И.С. Брука».

Будучи использованы при проектировании вычислительных модулей на базе микропроцессоров «Эльбрус», «Эльбрус-S», «МЦСТ-411», «Кубик», они позволили достичь высокого уровня устойчивости и производительности, обеспечивая при этом реализацию заданных функциональных требований. Их применение существенно сократило время и ресурсы на наладку и проведение дополнительных итераций изготовления опытных образцов устройств вычислительных систем.

В процессе диссертационной работы была создана техническая библиотека, содержащая технические указания и руководства для разработчиков вычислительных систем, которая использовалась при проектировании модулей MB3S1/C, MB3S2/C, E3S-ST, МВЗС1/С, МВЗС2/С, МВЗСЗ/С, МВС4_1/С, МВС4_2/С, МВС4-РС, Ml КУБ, М2КУБ, КУБ-СТ, Е2С-Я/С, Е2С-КС. Требования и методы, сформулированные в технической библиотеке, включены в технологический процесс проектирования печатных плат, СБИС, вычислительных модулей и систем в компаниях ЗАО «МЦСТ» и ОАО «ИНЭУМ им. И.С. Брука».

Результаты, выносимые на защиту

В процессе проведения исследований автором были получены следующие результаты:

1. На основе теоретических и экспериментальных исследований, инженерного проектного опыта создана система обеспечения целостности сигналов при проектировании устройств на базе современных высокопроизводительных микропроцессоров.

2. Разработаны методики обеспечения целостности сигналов в многослойных печатных платах с учетом эффектов взаимного влияния цепей распространения сигналов субнаносекундного диапазона и пульсаций в системе электропитания.

3. Предложены и опробованы технические решения для проектирования подложки мощных высокопроизводительных микропроцессоров с многоразрядными каналами ввода-вывода по технологии flip-chip.

4. Сформирована и внедрена система инженерных испытаний вычислительных устройств при экстремальных условиях, позволяющая определить и устранить дефекты в обеспечении целостности сигналов, не выявленные в процессе теоретических и экспериментальных исследований.

5. Разработана и внедрена техническая библиотека методов и средств обеспечения целостности сигналов, позволяющая учитывать требования ЦС во всем маршруте проектирования высокопроизводительных вычислительных устройств.

Личный вклад автора

Постановка задачи выполнена совместно с научным руководителем. Рассматриваемые в диссертации вычислительные системы и модули спроектированы коллективом разработчиков компании ЗАО «МЦСТ» и ОАО «ИНЭУМ им. И.С. Брука» при участии автора. Панель ПЭЗМ1 и модули МВЗБ1/С МВС4/С, рассматриваемые в данной диссертации разработаны автором, модули МВЗМ1/С, МВЗМ2/С, МВЗБ2/С разработаны под руководством автора. Автор принял участие в наладке, испытании и экспериментальных исследованиях большинства рассмотренных средств вычислительной техники. Автор выполнил теоретические и экспериментальные исследования, на основе которых сформулированы соответствующие научные положения, рекомендации и выводы.

Автором разработаны методики обеспечения целостности сигналов в многослойных печатных платах и предложены технические решения для проектирования подложек микропроцессоров с учетом ЦС. Автором предложена система инженерных испытаний и создана техническая библиотека методов и средств обеспечения целостности сигналов.

Апробация

Результаты диссертационной работы изложены в ряде печатных публикаций, докладывались на всероссийских и вузовских научных конференциях, в частности на Всероссийской научно-технической конференции "Проблемы разработки перспективных микро и наноэлектронных систем" МЭС-2010 (Москва-Истра, 2010), 51-й научной конференции МФТИ (Москва-Долгопрудный, МФТИ, 2009), научной сессии МИФИ-2009 (Москва, МИФИ, 2009), 50-й научной конференции МФТИ (Москва-Долгопрудный, МФТИ, 2008), 49-й научной конференции МФТИ (Москва-Долгопрудный, МФТИ, 2008).

Публикации

По теме диссертации опубликованы 8 печатных работ, из них 3 публикации в изданиях, входящих в перечень ВАК РФ.

Структура и объем диссертации. Диссертация состоит из введения, четырех глав, заключения и приложения. Список литературы составляет 112 наименований. Объем диссертации составляет 156 страниц. Диссертация содержит 55 рисунков и 2 таблицы.

Содержание работы

Во введении обоснована актуальность диссертационной работы, сформулирована цель и аргументирована научная новизна исследований, показана практическая значимость полученных результатов, отмечен личный вклад автора. Дана краткая характеристика содержания работы.

Первая глава посвящена анализу проблем целостности сигналов в структуре «подложка-плата» и методов их исследования. Эта работа, являющаяся одной из целей диссертации, состояла в исследовании основных проблем ЦС, таких как разрушение сигналов, взаимное влияние сигнальных цепей и пульсаций в цепях электропитания и поиску методов их анализа.

В результате автором была предложена и внедрена на практике система обеспечения целостности сигналов, принцип которой приведен на рис. 2.

Инженерные испытания

Экспериментальное исследование

Компьютерное моделирование и аналитические расчеты

Физически й анализ

СО о;

ш I

1- со

о ш

^ о

с; о.

ю X

^ ю Ё <13

о; о

го а.

* с

и 0) т 1->4 о.

X а

X о.

ш со

н 2

Рис. 2 Структура системы обеспечения ЦС в вычислительном устройстве

Основным методом использованного в работе теоретического анализа явилось компьютерное моделирование. Оно позволило получить необходимые данные в тех случаях, когда задача сводилась к анализу электромагнитной структуры (отдельных фрагментов и типовых решений вычислительной системы) или получению удовлетворяющих по точности характеристик системы (уровня перекрестных помех, падения напряжения и других) на базе идеализированных примеров.

При невозможности или недостаточной результативности теоретических выкладок использовался экспериментальный метод анализа целостности сигналов. В частности, внесение помех в сигнальные цепи позволило изменять степень и параметры проявления изучаемого паразитного эффекта, выявить «узкие» места, нарушающие устойчивую работу системы. Были также предложены экспериментальные методы получения достоверных данных о параметрах системы питания вычислительных модулей.

Синтез исследований, проведенных применительно к подложке и плате, осуществляется на этапе инженерных испытаний, в котором система при экстремальных условиях подвергается ряду воздействий, позволяющих выявить узкие места, не проявившиеся на предыдущих этапах.

Весь процесс обеспечения ЦС охвачен обратной связью, предполагающей повторение исследований определенного типа на основе результатов, полученных на следующих этапах. Будучи неоднократно использованным на практике, он позволил сформировать библиотеку обеспечения ЦС, внедренную компанией в маршруты проектирования и существенно повысившую эффективность новых разработок.

Вторая глава посвящена проблемам обеспечения целостности сигналов в многослойной печатной плате, рассматриваемой как часть исследуемой структуры. Пропускную способность шин современных

вычислительных устройств в диапазоне несколько Гбит/с можно обеспечить только в такой структуре МПП, где сплошные металлизированные слои земли и питания используются в качестве путей возвратного тока. Однако ряд факторов существенно усложняет выполнение этого условия: набор различных номиналов питания, наличие частей схемы, требующих особой помехозащищенности питания^ значительный разброс в перепаде логических уровней и устойчивости к помехам используемых интерфейсов. От реализации системы питания существенно зависит как производительность вычислительного устройства, так и устойчивость его работы, и его работоспособность вообще. Поскольку, с точки зрения анализа целостности сигналов, рассматриваемая система является сложной структурой с множеством неизвестных параметров, при одновременном учете этих обстоятельств необходимо было выделить круг критических проблем, разработать адекватные модели, а затем, путем сочетания компьютерного моделирования и эксперимента, провести общий анализ.

Существенная часть этого исследования посвящена анализу процессов, сопровождающих прохождение возвратных токов в МПП. Он особенно актуален в связи с тем, что для распределения набора номиналов питающих напряжений по плате и формирования помехозащищенных областей при проектировании платы, разработчики часто вынуждены разрезать сплошные слои металлизации. Поэтому в первую очередь были рассмотрены паразитные эффекты, возникающие при отклонении путей возвратных токов от путей наименьшей индуктивности из-за прохождения сигнальных трасс над разрезами. Для получения количественной оценки возможных помех было проведено моделирование высокоскоростной передачи данных над разрезом в слое питания с помощью программного пакета фирмы AWR: AWR Design Environment 2008 (рис. 3). На этой модели изучалось влияние разреза в слое электропитания на уровень перекрестных помех между трассами в соседнем слое металлизации МПП.

Трассы агрессоров Трасса жертвы

Рис.3 Моделирование распределение токов в слоях металлизации над

разрезом

Эти результаты были использованы также при анализе отклонения путей прохождения возвратных токов через разъемы и со слоя на слой через переходные отверстия. В качестве одного из возможных универсальных решений проблемы автор ввел в состав ранее используемых приемов метод сшивающих (bypass) конденсаторов. Этот метод показал положительные результаты в нескольких разработках, в том числе в панели расширителя шины SBUS и в системной панели ВК Эльбрус-ЗМ1, и был помещен в техническую библиотеку.

Другой существенной проблемой, рассматриваемой в главе 2, является обеспечение стабильности системы электропитания. Исследование проводится, исходя из того факта, что общей физической причиной формирования большинства внутренних искажений является существенная индуктивность проводящих структур системы - любое изменение тока, протекающего через цепи питания, вызывает на них падение напряжения (уnoise ^а рис. 4).

Vnoise -

t-PWR

ir

ЧГ

к

Vout

L-pwr

./Vout

V

лЛ-

\Л

л/Ч

Рис. 4 Модель цепей земли и питания LVTTL буфера

В частности, для приведенной модели имеем:

JDD=CL(dV/dT) = Q/Vout/Tj), Vnoise = max(LPWR(dIdd/dT)) = тах(1Рт<С^УМГ2)) ~ ~LpwrCL(1.52 VouT^Tf),

где JDD - ток, протекающий по цепи питания, Vno/se ~ падение напряжения в цепи питания, C¿ - емкость нагрузки, V0ut - напряжение питания, 7) -длительность фронта сигнала, LPWR - индуктивность цепи питания.

Рассмотрены эффекты, к которым могут привести пульсации в цепях системы электропитания: увеличение разброса фаз выходных сигналов (skew); ошибочный прием данных; увеличение фазового шума (jitter) синхросигналов; помехи, возникающие на дифференциальных сигналах; снижение производительности системы.

Показано как при помощи развязывающих конденсаторов можно снизить импеданс системы питания. Рассмотрена физическая модель реального конденсатора и его поведение в цепи питания в зависимости от частоты пульсаций. Введен принцип многоуровневой фильтрации системы питания в зависимости от характера и частоты пульсации (рис. 5). Работа каждого из уровней фильтрации (высокочастотной, среднечастотной и низкочастотной) подробно проанализирована и даны соответствующие рекомендации. Приведен теоретический анализ и даны соответствующие расчетные формулы для оптимального подключения развязывающих конденсаторов - как высокочастотных, так и низкочастотных. Проведена численная оценка необходимого количества и типов конденсаторов в зависимости от типа фильтруемых помех. Исходные данные брались из экспериментов, проведенных на образцах действующей аппаратуры на базе микропроцессоров R500S и Эльбрус.

Рис. 5 Функциональная схема многоуровневой фильтрации помех по

питанию.

Проведены экспериментальные исследования, подтверждающие эффективность и необходимость этих методов. В частности, в панелях ПЭЗМ1, М1ЭЗМ/С, МВС/С и других панелях на базе микропроцессоров Эльбрус и R500S, наблюдались нерегулярные сбои при инициализации системы и в процессе работы на штатных тактовых частотах. Использование принципа многоуровневой фильтрации в следующих версиях ВК решило эти проблемы. Применение данных методов в дальнейших разработках позволило создать более качественную систему питания,

Помимо этого, проработаны такие немаловажные аспекты проектируемых систем как методы создания схемы электропитания аналоговых цепей и цепей, участвующих в генерации и распространении синхросигналов с высокими требованиями по стабильности номинала, а также - методы реализации аналоговой земли для внешних аналоговых интерфейсов. В частности использование в качестве НЧ фильтра линейного источника питания с высоким коэффициентом подавления по низким частотам решило проблему сбоев ФАПЧ микропроцессора Эльбрус. Использование аналогового фильтра с низким импедансом для формирования аналоговой земли графического модуля МГА исключило проникновение цифровых помех в аналоговую схему, являвшихся причиной искажений на экране. Разработаны рекомендации по созданию корпусной земли, позволяющие обеспечить надежную экранировку от внешних помех, наводимых как через щели в корпус, так и через внешние интерфейсы.

Третья глава посвящена вопросам обеспечения целостности сигналов на уровне подложки микросхемы. Подложка, связывая кристалл и печатную плату, играет важную роль в обеспечении целостности сигналов. В главе рассмотрены вопросы обеспечения целостности сигналов на уровне подложки применительно, прежде всего, к микросхемам, изготовленным по технологии flip-chip, наиболее полно отвечающей современным требованиям. Основываясь на опыте изготовления микропроцессоров MIICT-R150, МЦСТ-R500, MIJCT-R500S и Эльбрус, автор показал необходимость исследования вопросов самостоятельного проектирования подложки высокоскоростных микросхем разработчиками устройств вычислительного комплекса.

11

В главе рассмотрены особенности реализации топологии подложки, накладываемые спецификой технологии, ее малыми размерами и высокой плотностью сигналов. Выявлено влияние взаимного расположения сигнальных выводов микросхемы и выводов земли и питания на целостность передаваемых сигналов. Взаимное расположение выводов определяет такие существенные эффекты, как эффект одновременно переключающихся выходов (SSO), уровень перекрестных помех в сигнальных цепях, воздействие на цепи питания аналоговых схем, таких как ФАПЧ. Влияние сокета только усугубляет перечисленные эффекты.

Для получения оценки уровня перекрестных помех, возникающих в сигнальных цепях микропроцессора на подложке, было проведено компьютерное моделирование (рис. 6), показавшее зависимость уровня перекрестных помех от взаимного расположения сигнальных выводов микропроцессора и выводов земли и питания (таблица )) и высоты монтажа микропроцессора (таблица 2).

Агрессоры Жертва

Рис. 6 Моделирование перекрестных помех в сигнальных цепях микропроцессора.

Таблица 1

Зависимость уровня перекрестной помехи от расстояния до ближайшего вывода цепи питания (Ь) и расстояния до агрессора (Ю).

Б, мм Ь, мм 1 4 8

10 205 мВ 60.4 мВ 38.6 мВ

20 369 мВ 98.8 мВ 39.0 мВ

Таблица 2 Зависимость уровня перекрестных помех от высоты монтажа микропроцессора (Н) и расстояния до агрессора (О)

О, мм Н, мм 1 4 8

3 205 мВ 60.4 мВ 38.6 мВ

10 514 мВ 249 мВ 186 мВ

На примере первых версий микропроцессоров МЦСТ-К5008 и Эльбрус показаны характерные проблемы проектирования подложки микропроцессоров, которые во многом обусловили приведенные в таблицах негативные эффекты. В частности, нарушения в системе подвода напряжений питания (рис. 7а,б), большое количество неэкранированных пересечений сигнальных линий (рис. 7в), расположение выводов земли и питания, образующее большие петли общей индуктивности возвратных токов -привели к повышенному уровню перекрестных помех в сигнальных шинах и к сбоям при одновременном переключении большого количества выходов микропроцессора (рис. 8).

Рис. 7 Нарушения топологии: а) прохождение сигнальных линий над разрезом в земельном полигоне; б) порядка 20 выводов питания кристалла

микропроцессора подключаются к соответствующему полигону на внутреннем слое подложке посредством одного переходного отверстия; в) прохождение параллельных сигнальных линий в соседних слоях.

Рис.8 Помехи по питанию 3.3 В в панели ПЭЗМ1 предшествующие сбою микропроцессора при одновременном переключении большого количества сигнальных вентилей (эффект SSO). Помехи по питанию (верхние графики) фиксировались по сигналу логического анализатора, обозначающий сбой.

Для решения этих проблем разработан набор методов проектирования подложки. Они были опробованы в последних итерациях микропроцессоров Эльбрус и R500S и показали положительные результаты. В частности, предложенный метод оптимизации расположения сигнальных выводов позволил уменьшить число пересечений сигнальных линий и оптимизировать топологию подложки. Благодаря методу оптимизации взаимного расположения выводов питающих и сигнальных выводов микропроцессора, удалось сократить и разделить пути возвратных токов сигналов микропроцессора. Был предложен сокет с меньшей 1 индуктивностью выводов. Применение этих методов в комплексе позволило снизить уровень перекрестных помех и пульсации по питанию до приемлемого уровня и избавиться от эффекта SSO. Предложен и внедрен метод подвода питания к цепям, требующим повышенного уровня помехозащищенности, что в комплексе с методом улучшенной фильтрации аналогового питания, сформулированном во второй главе, позволил снизить уровень искажений питания ФАПЧ? и решил проблему сбоев ФАПЧ , микропроцессора Эльбрус. Изменения, сделанные в новых версиях микропроцессоров, позволили выйти на требуемые показатели производительности и устойчивости работы в области шире установленной техническими требованиями.

В главе подробно рассмотрен вопрос фильтрации системы питания на уровне, включающем кристалл и подложку, который является важным звеном многоуровневой системы фильтрации (рис. 10), предложенной во второй главе. Показано, что даже при создании идеальной системы питания на печатной плате, без принятия специальных мер применительно к подложке, уровень помех по питанию внутри кристалла может оставаться достаточно высоким. Подробно рассмотрен принцип формирования помех в системе питания внутренней логики (ядра) микропроцессора и системе питания внешних интерфейсов микропроцессора. Рассмотрены методы снижения уровня помех в системе распределения питающих напряжений на уровне микросхемы.

подложка - МПП (Cboad, - емкость нагрузки, CPackagc decoupling И Cdec0Upiing - развязывающие конденсаторы на подложке и МПП)

Все эти результаты были использованы при создании системы электропитания микропроцессора Эльбрус, продемонстрировавшей приемлемый уровень обеспечения ЦС. Тем не менее, при проектировании Эльбрус-S с тактовой частотой, возросшей от 300 до 500Мгц. суммарной пропускной способностью интерфейсов, выросшей более чем в 5 раз, и вдвое большей мощностью - пришлось провести дополнительное исследование.

В качестве ключевого метода подавления пульсаций по питанию на уровне подложки микропроцессора был предложен метод установки развязывающих конденсаторов непосредственно на подложку. Проведенное с учетом динамических характеристик микропроцессора и технологических возможностей изготовления подложки моделирование структуры кристалл -подложка - МПП (рис. 11), показало высокую эффективность использования развязывающих конденсаторов, монтируемых непосредственно на подложку (таблица 3).

Рис. 11 Моделируемая электромагнитная структура кристалл -подложка - МПП.

Таблица 3

Сводная таблица результатов моделирования

Тип моделируемых конденсаторов Максимальная помеха, мВ Максимальная крутизна поступающего в плату тока, мА/нс

Микропроцессор установлен в сокет Не установлены 60 270

0201, 100 нФ 18,3 80

0204, 100 нФ, Low ESL 7,8 38

Микропроцессор распаян на плате Не установлены 22 280

0201, 100 нФ 11,5 141

0204, 100 нФ, Low ESL 6,0 80

Для дальнейшего экспериментального исследования факторов, определяющих уровень пульсации микропроцессора, в подложку были введены дополнительные тестовые связи, соединяющие вывод питания ядра и вывод земли на кристалле с двумя выводами на подложке. С. их помощью в опытном образце микропроцессора Эльбрус-8 были проведены прямые измерения уровня пульсации напряжения питания непосредственно в кристалле микропроцессора (рис. 12). Согласно проведенным замерам уровень пульсаций в нагруженном микропроцессоре составил 40мВ, в то время как для микропроцессора предыдущего поколения Эльбрус он оценивался в 70 мВ.

Рис. 12 Измерение уровня пульсации напряжения питания в кристалле микропроцессора Эльбрус-Б

В четвертой главе показана необходимость комплексной инженерной оценки уровня обеспечения ЦС проектируемой системы, которая позволяет выявить узкие места и скрытые дефекты, невыявленные на предыдущих стадиях работы. С этой точки зрения предложено и проверено несколько видов испытаний аппаратуры, использующих режим контроля правильности функционирования, при воздействии: расширенного диапазона температур и питающих напряжений; изменения фаз стробирующих сигналов; внешних помех повышенной амплитуды. Определение границ устойчивой работы при воздействиях различных факторов, в том числе и комплексных воздействиях, позволило дать количественные оценки областей устойчивой работы системы и прогнозировать чувствительность к технологическим отклонениям при серийном выпуске.

В процессе этих испытаний проверка логической корректности прохождения тестов, уже отработанных при штатных условиях, необходима

лишь для фиксации нарушений нормальной работы, анализ которых далее проводится инженерными средствами - логическим анализатором, внесением малых искусственных помех в подозрительные цепи, подключением дополнительных неоднородностей, при необходимости проводилось повторное компьютерное моделирование. В частности, эти испытания позволили выявить недостаточный запас временных соотношений в работе оборудования, некачественное согласование внутренних интерфейсов ВК, метастабильное состояние входных триггеров системы. Испытания на электромагнитную совместимость, в процессе которой исследуется устойчивость работы вычислительной системы при воздействии радиочастотных, импульсных и электростатических помех на ВК, позволили выявить слабые места в реализации фильтрующих схем внешних интерфейсов, дефекты экранирующих элементов жгутов внешних интерфейсов и конструктивных элементов ВК.

Таким образом, эффективность комплексной инженерной оценки целостности сигналов была доказана опытом, и сейчас задача заключается в том, чтобы оформить и ввести ее в стандартный маршрут проектирования.

Основные результаты работы

1. Проведены теоретические и экспериментальные исследования разрабатываемых вычислительных устройств на этапах проектирования, наладки и испытаний, на основе которых создана система обеспечения целостности сигналов для устройств на базе современных высокопроизводительных микропроцессоров.

2. Разработаны методики обеспечения целостности сигналов в многослойных печатных платах. Проведен теоретический анализ и экспериментальные исследования эффектов взаимного влияния цепей распространения сигналов субнаносекундного диапазона и уровня пульсаций в системе электропитания. Предложены технические решения реализации системы электропитания для аналоговых цепей и внешних интерфейсов.

3. Решена задача проектирования подложки мощных высокопроизводительных микропроцессоров с многоразрядными каналами ввода-вывода по технологии flipchip с учетом ЦС, что существенно снизило уровень перекрестных помех, проявления эффекта SSO, пульсаций напряжения питания в микропроцессорах.

4. Сформирована и внедрена система инженерных испытаний макетных и опытных образцов вычислительных устройств при экстремальных условиях, позволяющая определить и устранить дефекты в обеспечении целостности сигналов, не выявленные в процессе теоретических и экспериментальных исследований.

5. По результатам исследований, изложенных в диссертационной работе, в компаниях ЗАО «МЦСТ» и «ИНЭУМ им. И.С. Брука» была внедрена техническая библиотека, позволяющая учитывать требования ЦС во всем маршруте проектирования высокопроизводительных вычислительных устройств.

Список работ, опубликованных по теме диссертации

1. Воробушков В. В., Николаев И. А., Шмаев В. Б. «Проектирование вычислительных систем на основе микропроцессоров «Эльбрус»», Сборник научных трудов 49-й научная конференция МФТИ, Москва-Долгопрудный, ноябрь 2006

2. Воробушков В. В. «Моделирование целостности земли и питания в быстродействующих цифровых системах» Сборник научных трудов 50-й научная конференция МФТИ, Москва-Долгопрудный, ноябрь 2007.

3. Воробушков В. В., Шмаев В. Б. «Проблемы проектирования вычислительных комплексов на базе микропроцессора «Эльбрус». Приложение к журналу «Информационные технологии» №11, Москва 2008

4. Воробушков В. В., Рябцев Ю. С. «Опыт проектирования системных панелей вычислительного комплекса «Эльбрус-ЗМ1». Научная сессия МИФИ-2009. Аннотации докладов, Москва, январь 2009.

5. Воробушков В. В. Рябцев Ю. С. Использование развязывающих конденсаторов на подложке микропроцессора «Эльбрус-С», Сборник научных трудов 51-й научной конференции МФТИ, Москва-Долгопрудный, ноябрь 2009

6. Воробушков В. В., Рябцев Ю. С., Тимофеев В. К. «Особенности разработки топологии системы питания в многослойных печатных платах современных вычислительных устройств». Вопросы радиоэлектроники, серия «Электронная вычислительная техника», Выпуск 3, Москва 2009

7. Воробушков В. В., Рябцев 10. С. «Методы конструирования помехозащищенной системы питания для подложки современных микропроцессоров», Вопросы радиоэлектроники, серия «Электронная вычислительная техника», Выпуск 3, Москва 2010

8. Воробушков В. В. Рябцев Ю. С. «Методы обеспечения помехозащищенности питания системы на кристалле «Эльбрус-Б». Сборник трудов всероссийской научно-технической конференции МЭС-2010, Москва-Истра, октябрь 2010

Подписано в печать 04 мая 2011 г. Объем 1,2 п.л. Тираж 100 экз. Заказ № 366 Отпечатано в Центре оперативной полиграфии ООО «Ол Би Принт» Москва, Ленинский пр-т, д.37

Содержание.

Введение.

Актуальность работы.

Цель исследования.

Научная новизна работы.

Результаты, выносимые на защиту.

Практическая ценность.

Личный вклад автора.

Апробация.

Публикации по теме диссертации.

Глава 1 Система обеспечения целостности сигналов в вычислительном устройстве.

1.1 Применение САПР для решения задач обеспечения ЦС.

1.2 Решение задачи обеспечения целостности сигналов в маршруте проектирования вычислительного устройства.

1.2.1 Физический анализ.

1.2.2 Компьютерное моделирование.

1.2.3 Экспериментальный анализ.

1.2.3.1 Внесение помех в сигнальные цепи.

1.2.3.2 Измерение динамических характеристик потребления СБИС.

1.2.3.3 Определение окна устойчивого захвата сигналов на шине.

1.2.4 Инженерные испытания.

1.2.5 Техническая библиотека методик обеспечения ЦС.

1.3 Выводы.

Глава 2 Обеспечение целостности сигналов в многослойных печатных платах

2.1 Взаимное влияние сигнальных цепей в МПП.

2.1.1 Возникновение перекрестных помех вследствие разрезания слоя электропитания.

2.1.2 Моделирование влияния разреза в слое электропитания.

2.1.3 Передача сигналов через разъем.

2.1.4 Помехи, наводимые на слой электропитания.

2.1.5 Переход сигнала между слоями МПП.

2.1.6 Рекомендации к проектированию.

2.2 Обеспечение стабильности системы электропитания.

2.2.1 Внутренние источники пульсаций.

2.2.2 Фильтрующий конденсатор.

2.2.3 Многоуровневая фильтрация пульсаций в системе электропитания.

2.2.3.1 Пульсации внутри СБИС.

2.2.3.2 ВЧ пульсации.

2.2.3.3 СЧ пульсации.

2.2.3.4 НЧ пульсации.

2.2.4 Падение напряжения по постоянному току.

2.2.4.1 Реакция ШИМ источника электропитания на изменение нагрузки.

2.2.4.2 Падение напряжение на полигонах электропитания.

2.2.5 Методы подключения конденсаторов.

2.2.6 Оценка необходимого количества развязывающих конденсаторов

2.2.6.1 Развязывающие конденсаторы в вычислительных модулях.

2.2.6.2 Развязывающие конденсаторы в коммутационных панелях.

2.2.7 Эффекты, создаваемые искажениями в системе электропитания

2.2.8 Реализация аналогового питания и земли.

2.2.8.1 Реализация аналогового питания.

2.2.8.2 Реализация аналоговой земли.

2.2.9 Корпусная земля.

2.2.10 Рекомендации к проектированию:.

2.3 Выводы.

Глава 3 Обеспечение целостности сигналов на уровне подложки микропроцессора.

3.1 Корпусирование первых микропроцессоров.

3.2 Топология системы электропитания подложки микропроцессора.

3.3 Взаимное расположение выводов микросхемы.

3.4 Эффект SSO.

3.5 Использование сокета.

3.6 Цепи аналогового питания.

3.7 Моделирование перекрестных помех в подложке микропроцессора.

3.8 Проблемы ЦС в подложках микропроцессоров MH|CT-R500S и Эльбрус первых итераций.

3.8.1 Структура слоев.

3.8.2 Топология системы электропитания и взаимное расположение выводов.

3.8.3 Перекрестные помехи и эффект SSO.

3.8.4 Питание ФАПЧ.

3.8.5 Использование сокета.

3.9 Обеспечение ЦС в подложках микропроцессоров Эльбрус и R500S

3.9.1 Улучшенная цоколевка микропроцессоров Эльбрус и R500S.

3.9.2 Топология цепей электропитания.

3.9.3 Использование сокета.

3.9.4 Результаты внедрения новых требований к реализации подложки микропроцессоров.

3.10 Методы повышения стабильности системы электропитания на уровне подложки микропроцессора.

3.10.1 Опыт предыдущих разработок.

3.10.2 Образование пульсаций в системе электропитания микропроцессора.

3.10.2.1 Пульсации в системе электропитания периферии микропроцессора.

3.10.2.2 Пульсации в системе электропитания ядра микропроцессора

3.10.3 Специфика формирования стабильной системы электропитания микропроцессора «Эльбрус-S».

3.10.4 Моделирование системы электропитания микропроцессора «Эльбрус-S».

3.10.5 Исследование эффективности методов подавления пульсации в подложке микропроцессора.

3.11 Выводы.

Глава 4 Инженерные испытания.

4.1 Воздействие расширенного диапазона температур и питающих напряжений.

4.2 Воздействие внешних помех повышенной амплитуды.

4.3 Воздействие изменения фаз стробирующих сигналов.

4.4 Выводы.

Актуальность работы

Проблема обеспечения целостности сигналов (ЦС), предполагающая анализ причин их искажения и разработку методов устранения, неизменно играла существенную роль при проектировании вычислительной техники. За последние годы в связи с резким ростом производительности микропроцессоров и вычислительных комплексов, обусловившим переход на сигналы субнаносекундного диапазона, целостность сигналов (signal integrity) приобрела ключевое значение и стала предметом ряда основательных исследований и связанных с ними публикаций в зарубежной периодике [43, 84, 92]. В отечественной практике подобная работа не была заметно развита из-за отсутствия необходимого для ее постановки проектного базиса. Несомненную актуальность она получила только в последние годы, когда в стране стала постепенно расширяться сфера проектирования и производства высокопроизводительных вычислительных средств, в первую очередь связанная с задачей укрепления обороноспособности. В связи с этим необходимо отметить, что все представленные в диссертационной работе теоретические и конструкторские результаты были получены в рамках выполнения проектов по созданию высокопроизводительных микропроцессоров, процессорных модулей и вычислительных комплексов серии «Эльбрус» [11, 12, 24], применяемых в системах государственного значения и имеющих показатели, которые сопоставимы с параметрами функционально аналогичных зарубежных изделий. Разработка устройств убедительно показала, что обеспечение целостности сигналов на должном уровне является необходимым условием устойчивого функционирования логически верно спроектированных устройств.

Рисунки 1а,б в обобщенной форме демонстрируют структуры, обеспечивающие подключение кристалла в современном компьютерном модуле. Кристалл распаивается на подложке по технологии Flip-Chip. Подложка соединяется с многослойной печатной платой (МПП) посредством пайки (рис. 1а) или через контактное устройство, сокет (рис. 16).

Проблема ЦС решается использованием современных

САПР

Структура, слабо поддающаяся анализу ЦС средствами САПР

Подложка а)

Рис. 1 Типовая структура в составе современного компьютерного модуля.

В кристалле микропроцессора проблема целостности сигналов комплексно решается с использованием современных систем автоматизированного проектирования (САПР), например фирмы Synopsis. В части структуры, образованной подложкой и МПП, средства САПР основных производителей (Mentor Graphics, Cadence, Ansoft) такую возможность дают весьма ограничено. Это вызвано тем, что в данном случае конструкция и эквивалентная ей электромагнитная структура достаточно сложная. Множественные неоднородности в ней не позволяют создать универсальную компьютерную модель в составе единой САПР1.

С ростом пропускной способности шин передачи данных и частоты синхронизации радикально сократилась длительность фронта сигналов. Раньше, когда она не была меньше 2 не, вычислительные устройства обладали общей системой синхронизации, время распространения сигналов не превышало значительно их длительность, а сигналы при передаче практически не деформировались. Основная задача разработчика состояла в том, чтобы для устойчивой передачи сигналов выполнить требования к задержке передаваемых сигналов относительно синхросигнала. При этом, в случае необходимости, незначительное снижение частоты синхронизации поддерживало работоспособность устройства. Однако дальнейший рост

1 Конструкция на рис. 16 отличается наличием контактирующего устройства (сокета), которое увеличивает индуктивность выводов микропроцессора. Методы анализа, в большинстве случаев, для обеих структур не различаются. В отдельных случаях проблемы, связанные с наличием сокета, будут отмечаться особо. производительности процессорной части и пропускной способности шин обусловил переход па сигналы субнаносекундного диапазона с длительностью фронта до 0,2 не. Использование в каналах единого синхросигнала стало невозможно, отсюда появилось множество независимых, практически асинхронных интерфейсов, взаимодействие которых может носить непредсказуемый характер. Выход в более высокий частотный диапазон повлек проявление новых физических причин разрушения сигналов, таких как интерференция, скин-эффект, диэлектрические потери и прочих. Основной временной характеристикой интерфейсов стал разброс фаз фронтов сигналов (skew).

Используемые при проектировании вычислительных модулей идеализированные модели электромагнитных структур достаточно изучены [21, 61], но их точная реализация приводит к значительному увеличению стоимости и сложности изделия [18, 24]. В результате, разработчикам приходится идти на ряд вынужденных отступлений, в частности, из-за большого количества номиналов электропитания разрезать экраны, формируя полигоны питания. Разрезы экранов, неидеальные соединители создают область общей индуктивности в цепи обратных токов, которая может привести к кодозависимым ошибкам и увеличению взаимного влияния сигнальных цепей в МПП.

Из-за высокой плотности токов и сравнительно высокой индуктивности проводящих структур в подложках современных микропроцессоров, обозначенные проблемы существенно усугубляются. Поэтому в определенных случаях средства компенсации негативных эффектов, реализованных на МПП, не устраняют эти эффекты на подложке.

Из-за сложности и неоднородности исследуемой структуры невозможно гарантировать, что принятые в каждом случае решения проблемы целостности сигналов в приемлемой степени компенсируют негативные эффекты. Чтобы гарантировать устойчивость работы разработанных вычислительных устройств, необходимо ввести для них систему мер, контролирующих эффективность обеспечения ЦС.

В итоге можно констатировать, что создание комплексных методов обеспечения целостности сигналов в структурах компьютерных модулей, недостаточно охватываемых средствами САПР, становится особенно актуальным для современных вычислительных систем.

Цель исследования

Целью диссертационной работы является анализ, разработка и контроль эффективности методов обеспечения целостности сигналов при проектировании современных высокопроизводительных вычислительных устройств.

В соответствии с этим были определены следующие задачи:

1. Проведение теоретических и экспериментальных исследований с целью создания общей системы обеспечения ЦС при проектировании высокопроизводительных вычислительных устройств.

2. Обеспечение целостности сигналов в МПП с учетом эффектов взаимного влияния сигнальных цепей и пульсаций в системе электропитания.

3. Разработка технических решений для проектирования подложки мощных высокопроизводительных микропроцессоров с многоразрядными каналами ввода-вывода по технологии flip-chip.

4. Разработка и внедрение системы инженерных испытаний вычислительных устройств для выявления дефектов в обеспечении ЦС, не обнаруженных в процессе теоретических и экспериментальных исследований.

5. Формирование технической библиотеки, поддерживающей требование обеспечения ЦС в маршруте проектирования высокопроизводительных вычислительных устройств.

Научная новизна работы

Научная новизна работы заключается в следующем:

Научно обоснована разработанная автором система обеспечения целостности сигналов при проектировании высокопроизводительных вычислительных устройств на базе микропроцессоров.

Предложены методы обеспечения целостности сигналов субнаносекундного диапазона в многослойных печатных платах с учетом эффектов взаимного влияния сигнальных цепей и пульсаций в системе электропитания.

Разработаны технические решения для проектирования по технологии flip-chip подложки мощных высокопроизводительных микропроцессоров с широкими каналами ввода-вывода с учетом целостности сигналов.

Результаты, выносимые на защиту

В процессе проведения исследований автором были получены следующие результаты:

1. На основе теоретических и экспериментальных исследований, инженерного проектного опыта создана система обеспечения целостности сигналов при проектировании устройств на базе современных высокопроизводительных микропроцессоров.

2. Разработаны методики обеспечения целостности сигналов в многослойных печатных платах с учетом эффектов взаимного влияния цепей распространения сигналов субнаносекундного диапазона и пульсаций в системе электропитания.

10

3. Предложены и опробованы технические решения для проектирования подложки мощных высокопроизводительных микропроцессоров с многоразрядными каналами ввода-вывода по технологии flip-chip.

4. Сформирована и внедрена система инженерных испытаний вычислительных устройств при экстремальных условиях, позволяющая определить и устранить дефекты в обеспечении целостности сигналов, не выявленные в процессе теоретических и экспериментальных исследований.

5. Разработана и внедрена техническая библиотека методов и средств обеспечения целостности сигналов, позволяющая учитывать требования ЦС во всем маршруте проектирования высокопроизводительных вычислительных устройств.

Практическая ценность

Результаты исследований, выполненных по теме диссертации, нашли применение в разработках компании ЗАО «МЦСТ» и ОАО «ИНЭУМ им. И.С. Брука».

Будучи использованы при проектировании вычислительных модулей на базе микропроцессоров «Эльбрус», «Эльбрус-S», «МЦСТ-41Ъ>, «Кубик», они позволили достичь высокого уровня устойчивости и производительности, обеспечивая при этом реализацию заданных функциональных требований. Их применение существенно сократило время и ресурсы на наладку и проведение дополнительных итераций изготовления опытных образцов устройств вычислительных систем.

В процессе диссертационной работы была создана техническая библиотека, содержащая технические указания и руководства для разработчиков вычислительных систем, которая использовалась при проектировании модулей MB3S1/C, MB3S2/C, E3S-ST, МВЗС1/С, МВЗС2/С,

МВЗСЗ/С, МВС41/С,. МВС42/С, МВС4-РС, М1КУБ, М2КУБ, КУБ-СТ, Е2С-Я/С, Е2С-КС. Требования и методы, сформулированные в технической библиотеке, включены в технологический процесс проектирования печатных плат, СБИС, вычислительных модулей и систем в компаниях ЗАО «МЦСТ» и ОАО «ИНЭУМ им. И.С. Брука».

Личный вклад автора

Постановка задачи выполнена совместно с научным руководителем. Рассматриваемые в диссертации вычислительные системы и модули спроектированы коллективом разработчиков компании ЗАО «МЦСТ» и ОАО «ИНЭУМ им. И.С. Брука» при участии автора. Панель ПЭЗМ1 и модули МВ381/С МВС4/С, рассматриваемые в данной диссертации разработаны автором, модули МВЗМ1/С, МВЗМ2/С, МВ382/С разработаны под руководством автора. Автор принял участие в наладке, испытании и экспериментальных исследованиях большинства рассмотренных средств вычислительной техники. Автор выполнил теоретические и экспериментальные исследования, на основе которых сформулированы соответствующие научные положения, рекомендации и выводы.

Автором разработаны методики обеспечения целостности сигналов в многослойных печатных платах и предложены технические решения для проектирования подложек микропроцессоров с учетом ЦС. Автором предложена система инженерных испытаний и создана техническая библиотека методов и средств обеспечения целостности сигналов.

Апробация

Результаты диссертационной работы докладывались на всероссийских и вузовских научных конференциях:

1. Воробушков В. В., Николаев И. А., Шмаев В. Б. Проектирование вычислительных систем на основе микропроцессоров «Эльбрус», 49-я научная конференция МФТИ, Москва-Долгопрудный, ноябрь 2006.

2. Воробушков В. В. Моделирование целостности земли и питания в быстродействующих цифровых системах. 50-я научная конференция МФТИ, Москва-Долгопрудный, ноябрь 2007.

3. Воробушков В. В. Проектирование системной панели для вычислительного комплекса «Эльбрус-ЗМ1». Научно-техническая конференция войсковой части 03425, Москва, декабрь 2007.

4. Воробушков В. В., Рябцев Ю. С. Опыт проектирования системных панелей вычислительного комплекса «Эльбрус-ЗМ1». Научная сессия МИФИ-2009, Москва, январь 2009.

5. Воробушков В. В. Рябцев Ю. С. Использование развязывающих конденсаторов на подложке микропроцессора «Эльбрус-С», 51-я научная конференция МФТИ, Москва-Долгопрудный, ноябрь

2009.

6. Воробушков В. В. Рябцев Ю. С. Методы обеспечения помехозащищенности питания системы на кристалле "Эльбрус-8". Всероссийская научно-техническая конференция "Проблемы разработки перспективных микро- и наноэлектронных систем" МЭС-2010, Москва-Истра, октябрь

2010.

Публикации по теме диссертации

По теме диссертации опубликованы 8 печатных работ, из них 4 публикации в изданиях, входящих в перечень ВАК РФ:

1. Воробушков В. В., Николаев И. А., Шмаев В. Б. «Проектирование вычислительных систем на основе микропроцессоров «Эльбрус»», Сборник научных трудов 49-й научная конференция МФТИ, Москва-Долгопрудный, ноябрь 2006

2. Воробушков В, В. «Моделирование целостности земли и питания в быстродействующих цифровых системах» Сборник научных трудов 50-й научная конференция МФТИ, Москва-Долгопрудный, ноябрь 2007.

3. Воробушков В. В., Шмаев В. Б. «Проблемы проектирования вычислительных комплексов на базе микропроцессора «Эльбрус». Приложение к журналу «Информационные технологии» №11, Москва 2008

4. Воробушков В. В., Рябцев Ю. С. «Опыт проектирования системных панелей вычислительного комплекса «Эльбрус-ЗМ1». Научная сессия МИФИ-2009. Аннотации докладов, Москва, январь 2009.

5. Воробушков В. В. Рябцев Ю. С. Использование развязывающих конденсаторов на подложке микропроцессора «Эльбрус-С», Сборник научных трудов 51-й научной конференции МФТИ, Москва-Долгопрудный, ноябрь 2009

6. Воробушков В. В., Рябцев Ю. С., Тимофеев В. К. «Особенности разработки топологии системы питания в многослойных печатных платах современных вычислительных устройств». Вопросы радиоэлектроники, серия «Электронная вычислительная техника», Выпуск 3, Москва 2009

7. Воробушков В. В., Рябцев Ю. С. «Методы конструирования помехозащищепной системы питания для подложки современных микропроцессоров», Вопросы радиоэлектроники, серия «Электронная вычислительная техника», Выпуск 3, Москва 2010

8. Воробушков В. В. Рябцев Ю. С. «Методы обеспечения помехозащищенности питания системы на кристалле «Эльбрус-8». Сборник трудов всероссийской научно-технической конференции МЭС-2010, Москва-Истра, октябрь 2010

5.2.4 Выводы комиссии

1. Микросхема интегральная 1891ВМЗЯ ТВГИ.431281.007, разработанная ЗАО «МЦСТ», государственные испытания выдержала и соответствует требованиям ТТЗ на ОКР «Чемпионство». Ведомость соответствия требованиям ТТЗ прилагается.

2. Присвоить конструкторской документации на микросхему R-500S литеру «Oi».

3. Включить микросхему интегральную 1891ВМЗЛ ТВГИ.431281.007 в «Перечень изделий, разрешенных к применению при разработке (модернизации), производстве и эксплуатации аппаратуры, приборов и оборудования военного назначения».

4. Рекомендовать проект технических условий ТВГИ.431281.007ТУ на микросхему 1891ВМЗЯ к утверждению установленным порядком.

5. ЗАО «МЦСТ» осуществлять поставку микросхем 11-5008 с приемкой «5» для обеспечения разработки и испытаний перспективных систем вооружений и военной техники по договорам с потребителями по утвержденным техническим условиям.

6. Процессорный модуль МВС/С, разработанный ЗАО «МЦСТ», государственные испытания выдержал и соответствует требованиям ТТЗ на ОКР «Чемпионство».

7. Процессорный модуль МВС/С, укомплектованный микросхемой интегральной 1891ВМЗЯ ТВГИ.431281.007, пригоден для использования в радиоэлектронной аппаратуре образцов ВВТ.

8. Конструкторской документации на модуль МВС/С установленным порядком присвоить литеру Оь

9. Целесообразно организовать серийное производства модуля МВС/С.

10. ОКР «Чемпионство» в целом считать выполненной в соответствии с тактико-техническим заданием и принятой.

Заключение

В процессе исследования по теме диссертации автором были получены следующие результаты:

1. Проведены теоретические и экспериментальные исследования разрабатываемых вычислительных устройств на этапах проектирования, наладки и испытаний, на основе которых создана система обеспечения целостности сигналов для устройств на базе современных высокопроизводительных микропроцессоров.

2. Разработаны методики обеспечения целостности сигналов в многослойных печатных платах. Проведен теоретический анализ и экспериментальные исследования эффектов взаимного влияния цепей распространения сигналов субнаносекундного диапазона и уровня пульсаций в системе электропитания. Предложены технические решения реализации системы электропитания для аналоговых цепей и внешних интерфейсов.

3. Решена задача проектирования подложки мощных высокопроизводительных микропроцессоров с многоразрядными каналами ввода-вывода по технологии flipchip с учетом ЦС, что существенно снизило уровень перекрестных помех, проявления эффекта SSO, пульсаций напряжения питания в микропроцессорах.

4. Сформирована и внедрена система инженерных испытаний макетных и опытных образцов вычислительных устройств при экстремальных условиях, позволяющая определить и устранить дефекты в обеспечении целостности сигналов, не выявленные в процессе теоретических и экспериментальных исследований.

5. По результатам исследований, изложенных в диссертационной работе, в компаниях ЗАО «МЦСТ» и «ИНЭУМ им. И.С. Брука» была внедрена техническая библиотека, позволяющая учитывать требования ЦС во всем маршруте проектирования высокопроизводительных вычислительных устройств.

1. Автоматизация проектирования и моделирования печатных узлов радиоэлектронной аппаратуры: монография / Ю. Н. Кофанов, А. В. Сарафанов, С. И. Трегубов и др. М.: Радио и связь, 2000. - 389 с.

2. Бородулин, В. Н. Электротехнические и конструкционные материалы / В.Н. Бородулин, А. С. Воробьев, В. М. Матюнин. М.: Academia, 2007. 280 с.

3. Волин, М. JI. Паразитные процессы в РЭА / М. J1. Волин. М.: Радио и связь, 1981.-296 с.

4. Гелль, П. П. Конструирование радиоэлектронной аппаратуры / П. П. Гелль, Н. К. Иванов-Есипович. JL: Энергия, 1985.

5. Грачев, А. А. Конструирование электронной аппаратуры на основе поверхностного монтажа компонентов / А. А. Грачев, А. А. Мельник, Л. И. Панов. М.:НТ Пресс, 2006. - 384 с.

6. Григорьян, С. Г. Конструирование электронных устройств систем автоматизации и вычислительной техники: учеб. пособие / С. Г. Григорьян. М.: Высш. шк., 2007. - 303 с.

7. Дульнев, Г. Н. Методы расчета тепловых режимов прибора / Г. Н. Дульнев, В. Г. Парфенов, А. В. Сигалов. М.: Радио и связь., 1990. -312 с.

8. Как повысить эффективность разработки и производства электронных устройств в условиях кризиса / Е. Н. Махлип. URL:: http://www.pcbtecb.ru/pages/downloads/49 . - РСВ Technology, 2008.

9. Каленкович, Н. И. Механические воздействия и защита радиоэлектронных средств: учеб. пособие для вузов / Н. И. Каленкович, Е. П. Фастовец, Ю. В. Шамгин. -М.: Высш. шк., 1989. 244 с.

10. Ю.Кечиев, J1. Н. Проектирование печатных плат для цифровой быстродействующей аппаратуры. / JI. Н. Кечиев. М.: Группа ИДТ, 2007.-616 с.

11. Ким, А.К. Состояние и перспективы развития российской высокопроизводительной микропроцессорной техники // Вопросы радиоэлектроники, серия ЭВТ, выпуск 2. М.: ОАО «ЦНИИ «Электроника», 2008.

12. Конструирование радиоэлектронных средств / В. Ф. Борисов, О. П. Лавренов, А. С. Назаров, А. Н. Чекмарев; ред. А. С. Назаров. М.: Изд-воМАИ, 1996.-380 с.

13. Кофанов, Ю. Н. Автоматизация проектирования РЭС. Топологическое проектирование печатных плат: учеб. пособие / Ю. Н. Кофанов, А. В. Сарафанов, С. И. Трегубов. 2-е изд., перераб. и доп. - М.: Радио и связь, 2001.-220 с.

14. Кофанов, Ю. Н. Моделирование и обеспечение надежности технических систем / Ю. Н. Кофанов. М.: Горячая линия, 2006, - 360 с.

15. Круглов М.Г., Сергеев С.К., Такташов В.А. Менеджмент систем качества. М.: ИПК Издательство стандартов, 1997

16. Круглов, М. Г., Козлов, П. М. Управление качеством проектов корпоративных информационных систем // Методы менеджмента качества. М.: РИА «Стандарты и качество», май 2002.

17. Медведев, А. Технология производства печатных плат / А. Медведев. -М.¡Техносфера, 2005. 360 с.

18. Несущие конструкции радиоэлектронной аппаратуры / П. И. Овсищер, Ю. В. Голованов, В. П. Ковешников и др.; ред. П. И. Овсищер. М.: Радио и связь, 1988. - 232 с.

19. Парфенов, Е. М. Проектирование конструкций радиоэлектронной аппаратуры: учеб. пособие для вузов / Е. М. Парфенов, Э. Н. Камышная, В. П. Усачов. М.: Радио и связь, 1989. - 272 с.

20. С. И. Трегубов, А. В. Сарафанов, А. А. Левицкий, В. Ю. Божко Основы проектирования электронных средств // Красноярск, 2008, сс. 352 366

21. Справочник конструктора РЭА. Общие принципы конструирования / ред. Р. Г. Варламов. М.: Сов. радио, 1980. - 480 с.

22. Фельдман, В.М. «Система на кристалле MIJCT-R500S» // Вопросы радиоэлектроники, серия ЭВТ, выпуск 2. М.: ОАО «ЦНИИ «Электроника», 2008.

23. Becker, W., Н. Smith, Т. McNamara, "Mid-Frequency Simultaneous Switching Noise in Computer Systems," Proceedings of 47th Electronic Components and Technology Conference, San Jose, CA, May 1997, pp. 676-681.

24. Chen, J., He, L., 2007. Efficient in-package decoupling capacitor optimization for I/O power integrity. IEEE Trans, on Computer-Aided Design Integr. Circuits Syst., 26(4), pp 734-738.

25. Chen, J., "Experimental results for power-bus noise reduction using power islands," Univ. Missouri-Rolla, Electromagn. Compat. Lab., Rolla, MO, TR99-6-027,1999.

26. Chen, Y., Z. Wu, A. Agrawal, Y. Liu, and J. Fang, "Modeling of Delta-I

27. Noise in Digital Electronics Packaging," 1994 IEEE Multi-Chip Module154

28. Conference, Conference Proc., pp. 126-131, Mar. 15-17,1994, Santa Cruz, CA.

29. Chi-Te Chen, Jin Zhao, Qinglun Chen, A Simulation Study of Simultaneous Switching Noise // Proceedings of 51st Electronic Components and Technology Conference, 29 May-1 June 2001, pp 1102-1106.

30. Daniel I. Amey, "PCB Design with Discrete and Planar Capacitor Materials, PCB Design Conference East, October 21-26,2007, Durham, NC, USA

31. Embedding Ceramic Thick-Film Capacitors into Printed Wiring Boards, W. Borland and R. Snogren, IPC Conf., Anaheim, CA, Feb. 21-24,2005.

32. Fan, J,, Y. Ren, J. Chen, D. M. Hockanson, "RF isolation using power islands in dc power-bus design," in Proc. IEEE Int. Symp. Electromagnetic Compatibility, Seattle, WA, Aug. 1999, pp. 839-843.

33. Fang, J., Liu, Y., Chen, Y., Wu, Z., Agrawal, A., 1993. Modeling of power/ground plane noise in high speed digital electronics packaging. Electr. Perform. Electr. Pack., p.206-208.

34. Fang, Y. Chen, and Z. Wu, "Modeling of Electrical Properties of Power/Ground Planes in Electronics Packaging," First International Symposium on Microelectronics Package & PCB Technology, Conference Proc., pp. 74-83, Sept. 19-23, 1994, Beijing, China.

35. Gamini, N.,"Chip Scale Packaging for High-Speed RDRAM Memory Applications," Proc, SEMICON West, San Jose, July 13-14, 1999, pp. Cl-C14.

36. Garben, B., McAllister, M. F., "Novel Methodology for Mid-Frequency Delta-I Noise Analysis of Complex Computer System Boards and Verification by Measurements," 9th Topical Meeting on EPEP, 2000, pp 6971.

37. Gray, N., Power Supply Effects on Noise Performance // National Semiconductor Application Note 1261, March 2007, USA.

38. Haseloff E., Latch-Up, ESD, and Other Phenomena // Texas Instruments Application Report SLYA014A, May 2000.

39. Howard J., BGA Crosstalk // Signal Integrity Solution Guide, Issue 1, July 2005, USA, pp. 31-41.

40. Howard J., Parasitic Inductance of Bypass Capacitors // EDN Magazine, July 2000, pp 37-45.

41. Integrating Ceramic Passives in Printed Wiring Boards, W. Borland, J. J. Felten, L. Dellis, M. Doyle, D. Majumdar, MRS Symposium B: Materials Integration and Packaging Issues for High-Frequency Applications, Boston, Dec., 2004.

42. Jeong, Y., et al., Analysis of Noise Isolation Methods on Split Power/Ground Plane of Multi-layered Package and PCB for Low Jitter Mixed Mode System // IEEE Press, 2003, pp. 199-202.

43. Katopis, G. A., Delta-I noise specification for a high performance computing machine, Proceedings of IEEE, Vol. 73, No. 9 (1985), pp.1405-1415.

44. Kenneth W. Top Ten EMC Problems & EMC Troubleshooting Techniques // Agilent Technologies, DVD, June 2007, USA.

45. Kim, J. H., Swaminathan, M., 2002. Modeling of multilayered power distribution planes using transmission matrix method. IEEE Trans, on Adv. Pack., 25(2): 189-199.

46. Kim, J. H., et al., Separated Role of On-chip and On-PCB Decoupling Capacitors for Reduction of Radiated Emission on Printed Circuit Boards, EMC, 2001.

47. Kim, J. H., et al., Modeling of Irregular Shaped Power Distribution Planes Using Transmission Matrix Method // IEEE Transactions on Advanced Packaging, Vol. 24, No. 3, August 2001, pp 334-336.

48. Lau, J., Flip-Chip and Wire Bond for CSP, Chip Scale Package // Design, Materials, Processes, and Applications,McGraw-Hill, New York, 1999, pp. 1-41.

49. Lee, J., et al., Analysis and suppression of SSN noise coupling between power/ground plane cavities through cutouts in multilayer packages and PCBs // Adv. Pack., pp 298-309.

50. Lee, K,, A. Barber, Modeling and Analysis of Multichip Module Power Supply Planes // IEEE Trans. Comp., Pkg., Manufact. Technol.-Part B, vol. 18, no. 4, Nov. 1995, pp 628-639.

51. Levine, L., I.,.Hanoon, Bonder and Tool Design Choices for CSPs // Chip Scale Review, 1999, pp 46-49.

52. Li, S.Q., et al., A sparse-matrix/canonical grid method for analyzing densely packed interconnects. // IEEE Trans, on Microwave Theory Tech. 2001. pp 1221-1228.

53. Liaw, H. J., Merkelo, H., Signal integrity issues at split ground and power planes // Proc. 46th IEEE Electronic Comp. Technol. Conf:, 1996, pp. 152755."" '"■■'." '■■ ■ '." ■;v'- . v/.V ' ■

54. Long, Bill, Prevallet, M.,,Prymak, J., KEMET Spice An Update, CARTS2004, Components Technology Institute, Inc., San Antonio, TX, March . 2004, pp. 106-113. ^

55. Mandhana, Om P., Modeling, Analysis and Design of Resonant Free Power Distribution Network for Modern Microprocessor systems // IEEE Transactions on Advanced Packaging, vol. 27, No. 1, February 2004, pp. 107-120. ' ' ::' .

56. Mandhana, Om P., Hector Sanchez, Joshua Seigel, Jonathan Burnett., Study of Simultaneous Switching Noise Reduction for Microprocessor Packages by Application of High-K MIM Decoupling Capacitors // DesignCon 2007, Santa Clara, CA.

57. Na, N., et al., Modeling and transient simulation of planes in electronic packages. // IEEE Trans, on Adv. Pack., 2000., pp 340-352.

58. Na, N.J., Budell, T., Chiu, C., Tremble, E., Wemple, I., The Effects of On-chip and Package Decoupling Capacitors and an Efficient ASIC Decoupling Methodology // Electronic Components and Technology Conf., 2004, pp 556-567.

59. Peter Elenius, Lee Levine., Comparing Flip-Chip and Wire-Bond Interconnection Technologies // Chip Scale Review July/August 2000, pp 81-87.

60. Phillips, J.R., White, J.K., A precorrected-FFT method for electrostatic analysis of complicated 3-D structures // IEEE Trans, on Computer-Aided Design Integr. Circuits Syst 1997., ppl059-1072.

61. Prismark Partners LLC., Microvia Update // Cold Spring Harbor, N.Y., July 1999.

62. Prymak, J., SPICE Modeling of Capacitors // Components Technology Institute, Inc., San Diego, CA., 1995, pp. 39-46.

63. Prymak, J., KEMET FIT Calculator, Version 2.3.3 // KEMET Electronics Corp., 2007.

64. Prymak, J., KEMET Spice, Version 2.0.72 // KEMET Electronics Corp., 2003.

65. Prymak, J., "Ripple Current Capabilities" // KEMET Technical Update, August 2004.

66. Reed, E., New Ripple Current Guidelines for Very Low ESR Tantalum Capacitors // Components Technology Institute, Inc., San Antonio, TX, March 2004, pp. 171-181.

67. Reed, E., The Performance of KEMET Surface Mount Tantalum Capacitors in High Ripple and Inrush Current Applications // KEMET TechTopics, Volume 3, Number 1, KEMET Electronics Corp., February 1993.

68. Roberts, D., et al., Application of on-chip MIM decoupling capacitor for 90nm SOI microprocessor // Electron Devices Meeting, 2005. IEDM Technical Digest. IEEE International, 5-7 Dec. 2005 pp: 72-75.

69. Ruehli, A, E., Cangellaris, A. C., Overview of the partial element equivalent circuit (PEEC) electromagnetic modeling approach, J. Appl. // Computat. Electromagn., vol. 14, no. Supple 1, March 1999, pp. 17-27.

70. Radhakrishnan, K., Yuan-Liang Li, William P. Pinello., Integrated Modeling Methodology for Core and I/O Power Delivery // IEEE Electronic Components and Technology Conference, 2001, USA.

71. Rao, S. M., Wilton, D. R., Glisson, A.W., Electromagnetic scattering by surfaces of arbitrary shape // IEEE Trans. Antennas Propagat., vol. AP-30, May 1982, pp. 409-418.

72. Schutt-Aine, J.E., Time-domain characterization of coupled microstrip lines //IEEE Tarns. Comp., Hybrids, Manuf. Techno., Vol. 15, April 1992.

73. Senthinathan, R., Prince, J. L., Simultaneous Switching Noise of CMOS Devices and Systems // Kluwer., Boston, MA:, 1994.

74. Shi, H., et al, Analysis of FPGA Simultaneous Switching Noise in Three Domains: Time, Frequency, and Spectrum // DesignCon 2006, Santa Clara, CA.

75. Simulation Package for Electrical Evaluation and Design (SPEED 2000), // Sigrity Incorporated, Santa Clara., 2000.

76. Smith, L., et al, FPGA Design for Signal and Power Integrity // DesignCon 2007, Santa Clara, CA.

77. Smith, L., Simultaneous Switch Noise and Power Plane Bounce for CMOS Technology // Proceedings of IEEE 8th Topical Meeting on Electrical Performance of Electronic Packaging, San Diego, CA, October 1999, pp. 163-165.

78. Smith, L., Dale Becker, Steve, Istvan Novak., Comparison of Power Distribution Network Design Methods I I DesignCon 2006, TecForum TF-MP3,2006, USA.

79. Smith, L., Power Distribution System Design Methodology and Capacitor Selection for Modern CMOS Technology // IEEE Transactions on Advanced Packaging, Vol. 22, No. 3, August 1999.

80. Sungjun Chun, Methodologies for Modeling Simultaneous Switching Noise in Multi-Layered Packages and Boards // PhD Dissertation, Georgia Institute of Technology, April 2002.

81. Texas Instruments, Input and Output Characteristics of Logic Circuits Application Report // literature number SDZAE05.

82. Texas Instruments., Using the TL7726 Hex Clamping Circuit Application Report // literature number SLAA004. -URL:http:/Avww.ti.com/sc/docs/psheets/app msp.htm

83. Tschan, T., Deciding between Flip Chip and Wire Bonding // ESEC, march 2001, Switzerland.

84. Actel inc., Simultaneous Switching Noise and Signal Integrity // Application Note AC263, June 2006, USA.

85. Vilson, J. E., Juin J. Liou, Electrostatic Discharge in Semiconductor Devices // An Overview, Proceedings of the IEEE, Vol. 86, No. 2. February 1998.

86. Wang, C.,et al., An efficient approach for power delivery network design with closed-form expressions for parasitic interconnect inductances // IEEE Trans, on Adv. Pack., 2006., pp 320-334.

87. Wang, H.G., Chan, C.H., Tsang, L., A New Multilevel Green's Function Interpolation Method for Large Scale EM Simulations in RF ICs // IEEE Antennas and Propagation Society Int. Symp., 2004., pp 1182-1186.

88. Wang, Y., et al., In-package P/G planes analysis and optimization based on transmission matrix method // Journal of Zhejiang University SCIENCE A, 2008, China, pp 849-857.

89. Wei Cui, et al., DC Power-bus noise isolation with power-plane segmentation // Electromagnetic Compatibility, IEEE Transactions on, Volume: 45 Issue : 2, May 2003, pp 436-443.

90. Weir, S., Does Position Matter? Locating Bypass Capacitors for Effective Power Distribution // TeraSpeed Consulting Group, 2003.

91. Wu, C.T., et al., Composite effects of reflections and ground bounce for signal line through a split power plane // IEEE Trans. Adv. Packaging, Vol. 25, pp. 297-301, May 2002.

92. Z. Yang, et al, Enhancement of IBIS modeling capability in simultaneous switching noise (SSN) and other power integrity related simulations proposal, implementation, and validation // IEEE, International Symposium on EMC, 2005.

93. Zamek, I., Jitter Spectral Theory // DesignCon 2006, Santa Clara, CA.

94. Zamek, I., et al, Definitions of Jitter Measurement Terms and Relationships // IEEE ITC, 2005, Austin.

95. Zamek, I., et al., A study of Jitter effects in nm-FPGA with respect to various physical and electrical quantities // IEEE, APACE, Melaka, Malaysia, December 2007.

96. Zamek, I., P., et al., Modeling FPGA Current Waveform and Spectrum and PDN Noise Estimation // DesignCon 2008.

97. Zhe Li, et al., FPGA I/O Timing Variations Due to Simultaneous Switching Outputs // DesignCon 2007, Santa Clara, CA.

98. Zheng, H., Krauter, B., Pileggi, L., On-Package Decoupling Optimization with Package Macromodels. Proc. // IEEE Custom Integrated Circuits Conf., 2003., pp 723-726.

99. Zheng, H., Pileggi, L.T., Robust and Passive Model Order Reduction for Circuit Containing Susceptance Elements // IEEE Int. Conf. on Computer Aided Design, 2002., pp 761-766.

100. Zutter De, D., The FDTD-method for EMC-problems with application to electrostatic discharge and delta-I noise calculations // IEEE Int. Symp. Elecfromagn. Compat., 1997, pp. 226 -230.