автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.18, диссертация на тему:Разработка программного комплекса для решения квантовых моделей методом точной диагонализации на распределенных вычислительных системах

Искаков Сергей Наильевич

РАЗРАБОТКА ПРОГРАММНОГО КОМПЛЕКСА ДЛЯ РЕШЕНИЯ КВАНТОВЫХ МОДЕЛЕЙ МЕТОДОМ ТОЧНОЙ ДИАГОНАЛИЗАЦИИ НА РАСПРЕДЕЛЕННЫХ ВЫЧИСЛИТЕЛЬНЫХ СИСТЕМАХ

05.13.18 - Математическое моделирование, численные методы и комплексы

программ

Президента России Б.Н.Ельцина

004613922

На правах рукописи

АВТОРЕФЕРАТ

диссертации на соискание ученой степени кандидата физико-математических наук

1 3 ЯНВ 2011

Екатеринбург - 2010

004618922

Научный руководитель:

кандидат физико-математических наук Мазуренко Владимир Владимирович Официальные оппоненты:

доктор физико-математических наук, профессор Никифоров Анатолий Елиферьевич кандидат физико-математических наук Потеряев Александр Иванович Ведущая организация:

Институт математики и механики УрО РАН, г. Екатеринбург

Защита состоится "28"декабря 2010 года в_____часов на заседании диссерта-

ционного совета Д 212.285.13 при Уральском Федеральном Университете, расположенном по адресу: 620002, г. Екатеринбург, ул. Мира 19

С диссертацией можно ознакомиться в библиотеке ФГАОУ ВПО «Уральский федеральный университет имени первого Президента России Б.Н.Ельцина».

Автореферат разослан "26"ноября 2010 года

Отзывы на автореферат (два заверенных экземпляра) просим направить по адресу: 620002, г. Екатеринбург, ул. Мира, 19, ФГАОУ ВПО «Уральский федеральный университет имени первого Президента России Б.Н.Ельцина», ученому секретарю университета.

Ученый секретарь диссертационного совета, к. ф.-м. н., профессор

Рогович В. И.

Общая характеристика работы „

Мотивация исследования. Исторически человечество всегда стремилось к созданию и развитию новых материалов. В самом деле, “информаци-онпая эра”, в которой мы живем, зародилась на основе полупроводниковых процессоров и технологий магнитной записи, которые успешно развиваются вот уже на протяжении 40 лет. Экспоненциальный рост, как мощности процессоров, так и плотности записи информации стал возможен благодаря способности контролировать свойства материалов даже на атомных масштабах. Бурный рост возможностей вычислительной техники естественным образом сопровождается развитием математических моделей и численных методов для эффективного использования ресурсов многопроцессорных систем. Это позволяет исследователям проводить реалистичное моделирование физических свойств современных материалов. .

Одним из важнейших достижений современной вычислительной физики является разработка теории динамического среднего поля (DMFT)1 для решения модели Хаббарда, которая позволяет исследовать системы с сильными корреляционными эффектами. Эти материалы активно исследуются в последние годы вследствие открытия в них явлений высокотемпературной сверхпроводимости, колоссального магнетосопротивления и других интересных свойств, имеющих большие перспективы для практических применений. Основные вычислительные и временные затраты в методе DMFT приходятся на решение эффективной примесной модели Андерсона. Вне зависимости от выбранного метода решения исследователь сталкивается со следующими проблемами: обработка больших объёмов данных, организация расчётов на многопроцессорных системах и вычисление сложных корреляционных функций для воспроизведения результатов экспериментов. .

Цель диссертационной работы заключается в разработке вычислительного комплекса для исследования электронной структуры и магнитных свойств реальных физических систем в рамках теории динамического среднего поля методом точной диагонализации. Данный комплекс позволяет эффективно использовать ресурсы современных вычислительных систем и вести расчеты физических свойств сложных соединений на нескольких сотнях

1 Georges Antoine, Kotliar Gabriel, Kmuih Werner, Rotenberg Marcelo J. DyoainirrtJ meaa-fieltl tbeoiy of strougly correlated fermkm systems and the limit of infinite dimensions // Rev. Mod. Phys. 1096. — Jan. Vol. 68, no. 1. P. 13.

и тысячах процессоров.

В соответствии с поставленной целью в диссертационной работе решаются следующие задачи:

• создание программного комплекса, позволяющего проводить расчёт электронных и магнитных свойств методом точной диагонализации. Разработанный комплекс состоит из следующих модулей:

— модуль распределенного хранения массивов большого объёма в оперативной памяти (размером больше 20 Гбайт);

— модуль перемножения сверхбольших разреженных матриц (размерностью более 108 х 108) на вектор;

— модуль межпроцессных коммуникаций, позволяющий минимизировать обмен данными, хранимыми распределенно;

• тестирование предложенной численной схемы с использованием модели Хаббарда на квадратной решётке для демонстрации эффективности и определения границ применения;

• создание on-line сервиса, который позволяет широкому кругу исследователей проводить расчёты электронной структуры сильнокоррелированных систем через сеть Internet;

• применение разработанного программного комплекса для расчёта электронной и магнитной структуры реальных физических систем;

— исследование электронной структуры соединения Sr-^RuO4, которое демонстрирует значительные корреляционные эффекты;

— моделирование электронных и магнитных свойств системы, состоящей из отдельных атомов кобальта, размещенных на платиновой подложке, с целью микроскопического описания экспериментального спектра проводимости вблизи уровня Ферми.

Автором на защиту выносятся следующие положения:

1. предложенный формат распределенного хранения матрицы гамильтониана позволяет эффективно обрабатывать матрицы сверхбольшой размерности на многопроцессорных вычислительных системах;

2. разработанная вычислительная схема метода точной диагонализации для расчёта электронной структуры на распределённых вычислительных системах позволила впервые проводить исследование сильнокоррелированных систем с числом эффективных орбиталей в гамильтониане модели Андерсона равным М, = 17;

3. в рамках исследования электронной структуры соединения Зг^ВмО^. была показана важность учёта недиагональных элементом матрицы ку-лоновского взаимодействия;

4. при помощи разработанного комплекса решена многочастичная модель, описывающая электронные и магнитные свойства поверхностной наносистемы Со/Р1;(111). Это позволило дать -микроскопическое объяснение особенностей экспериментального спектра проводимости вблизи уровня Ферми, и проследить механизмы формирования магнитного момента атома кобальта.

Актуальность работы

В существующих пакетах программ, решающих задачу ОМГТ, уже предусмотрена возможность применения параллельных вычислений, однако, стремительное развитие современных супер-ЭВМ ставит проблему полного использования их мощностей для решения задач предсказательного моделирования. Задача оптимизации распределения потоков команд и данных на вычислительных системах, состоящих из тысяч процессоров, радикально отличается от параллельных вычислений на кластерах с несколькими десятками ядер. Эта задача не имеет единого универсального решения, пригодного для любых пакетов программ и типов вычислительных комплексов. Для каждой супер-ЭВМ необходимо учесть особенности ее архитектуры и соответственно перестроить вычислительный алгоритм для достижения наилучшей эффективности. Разработка подобного вычислительного комплекса и обеспечивает актуальность работы.

Научная новизна работы заключается в следующем:

1. при помощи разработанного вычислительного комплекса на основе метода точной диагонализации впервые было проведено исследование сильнокоррелированных систем в области низких температур с числом эффективных орбиталей в гамильтониане модели Андерсона равным = 17;

2. проблема экспоненциальной зависимости размерности задачи от числа эффективных орбиталей была частично сведена к росту количества требуемых процессоров при помощи организации распределённого хранения разреженных матриц большой размерности;

3. разработан новый формат хранения матрицы гамильтониана и метод её перемножения на вектор, что позволило проводить реалистичное моделирование современных материалов;

4. в рамках метода точной диагонализации впервые была использована четырёхоператорная форма матрицы кулоновского взаимодействия;

5. впервые в рамках теории динамического среднего поля было учтено влияние недиагональных элементов матрицы кулоновского взаимодействия на спектр электронных возбуждений соединения Зг^ЯиОц]

6. впервые проведено исследование электронных свойств поверхностной наносистемы Со/Р1 (111) в рамках модели Андерсона методом точной диагонализации, которое позволило обнаружить орбитальную поляризацию спектра проводимости.

Практическая значимость работы. Разработанная библиотека процедур и функций предназначенная для работы с большими разреженными матрицами на распределённых многопроцессорных системах позволяет проводить диагонализацию матриц размерностью более 5 х 108. Данная библиотека содержит в себе формат распределённого хранения разреженных матриц, процедуру заполнения матрицы гамильтониана, процедуру перемножения разреженной матрицы на вектор. На основе созданной библиотеки автором работы был разработан вычислительный комплекс метода точной диагонализации, позволяющий проводить исследование сильнокоррелированных систем в области низких температур. Библиотека может быть использована для решения широкого круга задач науки и техники.

Апробация работы была выполнена на кафедре теоретической физики и прикладной математики УрФУ и в Университетском центре параллельных вычислений УрФУ. Основные положения диссертации докладывались на:

1. заседаниях кафедры теоретической физики и прикладной математики;

2. семинаре «Распределённые и высокопроизводительные вычисления» (Новосибирск 2008);

3. международной конференции «Вычислительные и информационные технологии в науке, технике и образовании — 2008» (Алматы 2008);

4. второй международной научной конференции «Суперкомпьютерные системы и их применение» (Минск 2008).

Публикации. Материалы диссертации опубликованы в 6 печатных работах, из них 2 статьи в рецензируемых журналах, 3 статьи в сборниках трудов конференций и 1 тезис доклада.

Публикации в журналах, входящих в перечень рецензируемых научных журналов, в которых должны быть опубликованы основные научные результаты диссертаций на соискание ученых степеней доктора и кандидата наук:

• Искаков С. Я., Мазуренко В. В. Эффективное решение уравнений теории динамического среднего поля на многопроцессорных системах // Вычислительные методы и программирование. 2009. Т. 9, №2. С. 281-285.

• Mazurenko V. V., Iskakov S. N., Rudenko A. N. et al. Renormalized spectral function for Co adatom on the Pt(lll) surface //Phys. Rev. B. 2010. — Nov. Vol. 82, no. 19. P. 193403.

Структура и объем диссертации: Диссертация состоит из введения, четырёх глав, заключения и списка литературы. Объем диссертации состав-ляег 112 страниц, включая 30 рисунков и 4 таблицы, список цитируемой литературы представлен из 81 наименования.

Данная работа была выполнена на кафедре теоретической физики и прикладной математики Уральского Федерального Университета при поддержке гранта «Развтие научного потенциала высшей школы» Xs 2.1.1/779, гранта Президента Российской Федерации МК-1162.2009.2, гранта Федерального агентства по науке и инновациям JV* 02.740.11.0217.

Содержание работы

Во введении обоснована актуальность диссертационной работы, сформулирована цель и аргументирована научная новизна исследования, показана практическая значимость полученных результатов и представлены выносимые на защиту научные положения.

Первая глава посвящена анализу проблемы исследования электронной структуры сильнокоррелированных систем. Одной из базовых моделей для описания физики сильнокоррелированных систем является многочастичная модель Хаббарда2:

н = - 52 М/Л» + 52 ki)4ß\<r’di<r'dkv. (1)

* ijkLa.(f

где d\a ((1^) ~ оператор рождения (уничтожения) электрона na. г-м узле решётки, tij ~ J ф"(x^^cpj^dx — интеграл перескока между узлами i и j, (ij\U\kl) = J J" ^ —- ]dxdx' — элемент четырёхоператорной матри-

цы кулоновского взаимодействия, ф(х) — функция Ванье. В случае реальных систем, число эффективных орбиталей становится бесконечно большим, и напрямую использовать данную модель невозможно. Для того, чтобы преодолеть данные ограничения, существуют различные приближсния.Так, в рамках теории динамического среднего поля, решеточная задача для модели Хаббарда сводится к решению эффективной примесной модели Андерсона:

Ядд/ ^ ^ CiTliu -|- ^ ^ {ij\U\kl)d]ad]a,di„'dka + (2)

i,a ijkl,a,a'

/* ^ \УргСр(т&^ + VpidtjCpa] + ^ ^ CpC^jCprr

р, р,сг

где Si — энергия примесных орбиталей, X)Piii(T [VpiC^d^ + V^dfnc,,„] — взаимодействие примеси с резервуаром, ер — энергия эффективных орбиталей резервуара. Для решения модели Андерсона существует ряд численных методов: квантовый метод Монте-Карло (QMC — Quantum Monte Carlo), метод точной диагонализации (ED — Exact Diagonalization), итеративная теория возмущений, метод ренорм-груни3 и др. Каждый из данных методов имеет ряд преимуществ и недостатков, связанных с аппаратной сложностью численного моделирования систем с большим числом частиц.

Второй подраздел посвящен практической реализации метода точной диагонализации. Приводятся существующие численные схемы диагонализации разреженных матриц и алгоритмы диагонализации матриц, построенные

2 Hubbard J. Electron Correlations in Narrow Energy Bands //Proceedings of the Royal Society of London. Series A- Mathematical and Physical Sciences. 1963. Vol. 276, no. 1305. Pp. 238-257.

3 Georges Antoine, Kotliar Gabriel, Krauth Werner, Rozenbery Afarrelo J. Dynamical mtxin-Jitld theory of strongly conxiatcd fcrmion systems and the limit of infinite dimensions //Rev. Mod. Phys. 1996. ■ Jan. Vol. 68, no. 1. P. 13.

на теории подпространств Крылова, такие как метод Ланцоша4 и метод Ар-нольди5.

В третьем подразделе описаны существующие подходы к параллелиза-ции численных схем метода точной диагонализации в рамках решения уравнений теории динамического среднего ноля. Указываются технические проблемы, которые возникают при решении квантово-механических систем с большим числом эффективных орбиталей.

Во второй главе описана разработанная в данном исследовании библиотека процедур для эффективного решения уравнений теории динамического среднего поля методом точной диагонализации. Представлен распределенный формат хранения матрицы гамильтониана на многопроцессорных системах. а также приводится реализация алгоритмов, направленных на работу с распреде-ленно-хранимыми массивами.

В первом подразделе описывается алгоритм кодирования квантово-механических состояний. В рамках данного алгоритма предлагается представлять набор базисных функций в виде последовательности сочета-Рис. 1. Зависимость размерности за- ний двоичных чисел, упорядоченной в лекси-дачи от числа орбиталей (пунктир- кографическом порядке.6 Данный подход да-ная линия), минимальное число тре- ёт возможность реализовать эффективную бусмых процессоров (сплошная ли-

ния^ параллельную схему заполнения матрицы га-

мильтониана и сократить объём требуемой памяти, поскольку нет необходимости хранить все элементы последовательности, так как каждый последующий элемент получается из предыдущего по строгому закону.

Во втором подразделе данной главы приводится реализация алгоритма заполнения матрицы гамильтониана. Отличительной особенностью метода

4 Templates for the Solution of Algebraic Eigenvalue Problems: a Practical Guide, Ed. by Z. Bai, J. Deramcl, J. Dongarra et al. SIAM, Philadelphia, 2000.1

5 Maschhoff K.. Sorensen D. A portable implementation of ARP AC К Jot distributed memory parallel architectures. 1996.

6 Липский В. Комбинаторика для программистов. Мир, 1988.

точной диагонализации является необходимость напрямую работать с матрицей гамильтониана (2), что, в свою очередь, увеличивает объём необходимой оперативной памяти для её хранения. В разработанной библиотеке алгоритмов была организована схема распределённого хранения разреженных матриц, позволяющая сократить объем памяти, требуемой на каждом узле многопроцессорной системы (см. рисунок 1).

В третьем подразделе приведен разработанный формат хранения разреженных матриц на распределенных вычислительных системах. При решении задачи теории динамического среднего поля методом точной диагонализации матрица гамильтониана является сильно разреженной и имеет регулярный спектр, что позволяет минимизировать число межпроцессорных коммуникаций и объем передаваемых данных. Исходя из этого, появляется возможность модернизировать существующие форматы хранения разреженных матриц для эффективного использования ресурсов многопроцессорной системы. В качестве основы используется формат хранения сжатой строки (Compressed Row Storage - CRS), представленный в первой главе. Поскольку для каждого процессора необходимо получить данные лишь с малого числа процессоров, то формат хранения »можно модернизировать, организовав сдвиг в массиве индексов, с помощью чего будет учтена особенность малого числа взаимодействующих процессоров. Так для задачи размерностью 165,636,900 запущенной на 256 процессорах, каждому из них требуется получить данные не более чем с 30 других процессоров. При этом, для минимизации числа коммуникаций перед началом перемножения матрицы на вектор, происходит сборка необходимых частей вектора в единый массив на каждом процессоре.

На рисунке 2 приведён пример распределённого формата CRS для матрицы размерностью 6 х 6 на трёх процессорах. На данном рисунке матрица Н вначале разбивается равномерно на три процессора (по две строки на каждый), далее каждая подматрица преобразуется в формат CRS, в рамках которого все ненулевые значения матрицы записываются в массив Нvalue, а для определения индексов элемента используются вспомогательные массивы row_ind и col_ind. При этом для каждого процессора данные массивы формируются лишь для своей части матрицы гамильтониана. Далее, учитывал структуру матрицы, проводится сдвиг в массивах индексов. Для примера на рисунке 2 приведены вектора (i/i, vi, ^з), которые будут использованы каждым из процессоров во время выполнения процедуры перемножения матрицы

f Лоо ^oi О 0 /*04 0 \

О hn ООО /its

tj v _____ | Л20 О Л22 О О О

п X V — I о Л31 0 Лзз о О

о О о 0 ku о

О 0 /¿52 0 /»54 /155 /

CPU 1: col_idx\ = (о 1 4 1 5) — (о 1 2 1 з)

= (/>00 Л01 ^04 Ли bis) : rowjndi = (о 3); vf = (ч> 01 v4 ч5) ;

CPU 2: ccl_idx2 = (о 2 I з) — (о 2 1 з)

Ilmturt = [hw Л22 Л31 Л33) ; raw_ind2 = (о 2) ; fj’ = (»to u, t>2 из) ;

CPU 3: col _idx$ = (4245)—»(2023)

¡lvalue! = (/*44 *52 Л54 Л55) ; row Jnd3 = ^0 l) ; vj = (i? t>3 1)4 1'5) ;

Рис. 2. Пример распределённого СБИ формата хранения при использовании 3 СР11.

на вектор. Видно, что размерность данных векторов меньше, чем размерность исходного, а так же, что каждому из процессоров необходимо взаимодействовать лишь с частью обшего числа процессоров.

Результаты данной главы опубликованы в работах [2-5).

В третьей главе описывается разработанный программный комплекс для решения уравнений теории динамического среднего поля. Рассмотрены основные алгоритмы работы комплекса и приведены результаты анализа их производительности при решении задач, связанных с диагонализацией сверхбольших матриц. Также представлен результат разработки on-line сервиса, предоставляющего пользователю возможности проводить расчёт электронной структуры методом точной диагонализации.

В первом подразделе представлена модернизированная схема DMFT-pac-чёта. Основным блоком данной вычислительной схемы является решение примесной задачи, в рамках которой необходимо провести диагонализацию матрицы гамильтониана. При этом, как было сказано ранее, в силу независимости блоков гамильтониана, его можно представить в виде совокупности матриц, которые необходимо диагонализовать. Поскольку размерность матриц различна, то возникает вопрос об эффективности применения многопроцессорной системы, как для матриц малой размерности, так и для матриц существенно большей размерности.

На основании данных, полученных в ходе вычислительного эксперимента, предложена новая схема расчёта основного состояния системы, позволяющая наряду с эффективностью расчётов при большой размерности проводить

эффективный расчёт электронной структуры на малых размерностях. В вычислительной схеме можно выделить следующие основные блоки:

• процедура распределения массивов между процессорами;

• диагонализация матриц малой размерности;

• распределение полученных результатов между процессорами;

• диагонализация матриц большой размерности.

На первом этапе вычисляется массив, содержащий значения размерностей матрицы гамильтониана для каждой пары состояний с щ частицами со спином вверх и П| частицами со спином вниз. Далее производится сортировка полученного массива по возрастанию значения размерности матрицы гамильтониана. Исходя из результата вычислительного эксперимента, выбирается минимальная размерность гамильтониана для которой оправдано, с

точки зрения производительности, использование распределённого хранения. Все остальные состояния, для которых На < Н.втт, равномерно распределяются между узлами многопроцессорной системы, после чего каждый из узлов кластера проводит диагонализацию независимо от других. Затем происходит распределение данных между процессорами.

Следующим этапом является проведение расчёта для состояний большой размерности, при которых Не > Явтш, в данном случае каждый сектор гамильтониана диагонализуется одновременно на всех доступных процессорах, при этом текущая матрица хранится распределённо. Нахождение собственных значений и собственных векторов гамильтониана в рамках данного цикла проводится параллельным методом Арнольди. Для хранения матрицы гамильтониана в приведенном цикле используется разработанный в данном диссертационном исследовании формат распределённого хранения матрицы гамильтониана модели Андерсона.

Во втором подразделе рассматривается эффективность и производительность разработанного программного комплекса. Основное внимание при оценке эффективности было уделено масштабируемости схемы диагонализации сверхбольших матриц, основанном на методе Арнольди и формате распределённого СБЯ. В таблице 1 приведены результаты расчёта наибольших матриц для систем с числом орбиталей ЛГЯ = 14, Ы, = 16 и М, = 17 при использовании различного числа процессоров. Как видно из таблицы, ускорение от ис-

Таблица 1. Производительность метода диагонализации матрицы гамильтониана. Ní - число орбиталей в гамильтониане, Н:,Чт - размерность матрицы гамильтониана, ппгтах - наибольшее число ненулевых элементов в строке, Ыр - число процессоров, Ме1сл- - средний тбъем передаваемых данных для каждого процессора, М^а1а - необходимый объем памяти Д1Я каждого процессора, Т,с1ир - время необходимое для заполнения матрицы гамильтони-Тсотт - время, расходуемое на межпроцессорные коммуникации, - полной время расчета, Гыа1 - общее время диагонализации матрицы.

V. Н (Цт 7l7lZr,íax МехсЛ М(1Ма Т'.чс{ир Т А соттп о Е-1

14 11,778,624 13 32 23 300 17 66 188

14 11,778,624 13 64 22 150 10 71 149

14 11,778,624 13 128 15 75 3.2 47 74

14 11,778,624 13 256 7 40 1.7 35 50

14 11,778,624 13 512 4 20 1.0 22 34

16 165,636,900 15 256 120 500 52 330 602

16 165,636,900 15 512 54 270 25 200 382

17 590,976,100 16 512 100 1000 92 620 1300

пользования многопроцессорной системы для И, = 16, полученное из соотношения Т256/Т512 = 1.58, довольно близко к идеальному и выше, чем подобное отношение для Д;5 = 14 (Тэг/Тм —1-26). Неидеальность параллелизации объясняется тем, что для вычислений требуется производить обмен большими блоками данных, однако, при увеличении числа используемых процессоров, уменьшается как объём передаваемых данных, так и число процессоров, с которыми необходимо провести обмен конкретному процессору.

На рисунке 3 представлена зависимость времени выполнения процедуры диагонализации матрицы гамильтониана от числа процессоров (слева), а также ускорение работы комплекса для матрицы размерностью 11,778,624 (справа). Видно, что при увеличении числа процессоров время рас:чёта существенно сокращается, однако при дальнейшем их увеличении наступает насыщение, и ускорение практически не изменяется. Основываясь на полученных данных, можно сделать примерную оценку возможности применения разработанного комплекса для систем с большим числом орбиталей. Так, например, для = 18 наибольший сектор содержит около 82 миллиардов ненулевых элементов, что требует около 1.5 Терабайт памяти. При помощи разработанного комплекса данная задача может быть решена при использовании много-

100 200 300 <00 500 3 2 64 I2S 25« 512

чнсло процессоров число процессоров

Риг.. 3. плева - время выполнення процедуры дпагоналичации: справа - ускорение работы комплекса в зависимости от числа процессоров идеальное(пуиктирная линия) и реальное (сплошная линия)

процессорной системы с числом ядер примерно равным 2000. Исследование систем с числом орбиталей Ns = 20 требует хранить около 1200 миллиардов ненулевых элементов, что в рамках разработанного программного комплекса возможно лишь на передовых суперкомпьютерных системах.

В третьем подразделе данной главы рассматривается разработанный online сервис, предоставляющий возможность проведения расчётов электронной структуры методом точной диагонализации широкому кругу исследователей. Для организации взаимодействия между клиентским приложением и диспетчером запросов используется механизм web-сервисов. Запрос пользователя после отправки становится в очередь задача, где определяется доступность ресурсов для запуска расчёта. В случае, когда их достаточно для выполнения вычислений, запрос пользователя передаётся на выполнение многопроцессорной системе. Затем диспетчер отслеживает статус задачи и после её завершения возвращает пользователю результат расчёта.

На рисунке 4 изображен пользовательский интерфейс разработанного online сервиса, при помощи которого пользователь может задавать параметры исследуемой системы и анализировать полученный результат. Данный on-line сервис в сочетании с разработанным программным комплексом для расчёта электронной структуры методом точной диагонализации представляют собой удобный инструмент по изучению сильнокоррелированных систем для широкого круга исследователей.

Результаты данной главы опубликованы в работах [5-7].

В четвертой главе представлены результаты исследования современных материалов при помощи разработанного программного комплекса. При-

г,

Унибеэсит*тсхий цгнтп птпиммд аычислсций

-1 »•I7J<i:5J5W»70r,5il

иил*»7е»э7«ня

с ¿¿¿ш'мзыта*»7* е ><н1И1ии*.ч**’"

Рис. 4. Пользовательский интерфейс on-line сервиса. Форма ввода параметров модели (слева), отображение результирующей функции Грина (справа).

ведены результаты численных расчётов и их сравнение как с предыдущими теоретическими исследованиями, так и с экспериментальными данными.

В первом подразделе данной главы описывается исследование электронной структуры соединения SrzRuOn. Данная система вызывает интерес благодаря своим необычным физическим свойствам. Например, фотоэмисси-онные и оптические эксперименты демонстрируют значительные корреляционные эффекты. В предыдущих теоретических работах электронная структура Sr2Ru04 была исследована при помощи метода LDA- DMFT, используя в качестве примесного решателя алгоритм Хирша-Фая в рамках квантового метода Монте-Карло (HF-QMC).7,8

Из-за особенностей метода HF-QMC, в расчетах в матрице кулоновско-го взаимодействия могут быть учтены только вклады плотность-плотность. В данной диссертационной работе было показано, что учет недиагональных элементов матрицы играет важную роль при описании электронной структуры и позволяет достичь лучшего согласия с экспериментальными данными. Для этого был использован следующий примесный гамильтониан:

7 Liebsch A., Lichtenstein A. Photoemission Quasiparticle Spectra of Sr2RuOA // Phys. Rev. Lett. 2000. — Feb. Vol. 84, no. 7. Pp. 1591-1594.

8 Pchelkina Z. V., Nekrasov I. A., Pmschke Th. et al. Evidence for strong electronic correlations in the spectra of Sr2RuOA // Phys. Rev. B. 2007.—Лаи. Vol. 75, no. 3. P. 035122

•4 -Э -г '1 О 1 2

Энергия, эВ

-4-3-2-10 1 2

Энергм*. эВ

Рис. 5. Плотность состояний, полученная из DMFT расчёта для Т = 200 К с учётом (сплошные линии) и без учёта (пунктирные линии) J'-взаимодействия.

Н ~ S)7w(em — ß)nmcr + Хд-ст + Smb ^тк[^т^ска + Н.С.\

+ 52т ^пт]Птп[ + ^CmCmW^ dSarJt)nm(TnTn'rTt (3)

— Ит/т' J ,

где dm} - операторы уничтожения (рождения) электрона на примесной орбитали m со спином а, с]^ - операторы уничтожения (рождения) электрона на /с-орбитали резервуара со спином а. Данный гамильтониан содержит не только кулоновское взаимодействие вида плотность-плотность (U, U', J), но и более сложные типы взаимодействий J', которые соответствуют процессам переворота спина и одновременному двойному переносу электронов по двум спиновым каналам между орбиталями примеси. Основываясь на предыдущих работах7 для проведения расчётов параметры модели были выбраны следующим образом: U = U' = 1.2 эВ, J = 0.2 эВ. Что касается параметра J', его значение было выбрано равным J' = 0.1 эВ с целью получения наилучшего согласия теоретических и экспериментальных оценок эффективной массы носителей заряда.

В электронном гамильтониане было учтено 3 уровня примеси, при этом на каждую примесную орбиталь приходилось по Nk = 4 уровней в резервуаре, что, согласно предыдущим работам9, является достаточным для реалистичного описания физических свойств современных материалов. Наибольшая размерность матрицы гамильтониана для данной системы была равна N = 41409225. При этом число ненулевых элементов в каждой строке матрицы гамильтониана для данной системы было равно в среднем nnzTOW ~ 70. На каждую DMFT-итерацию требовалось приблизительно г ~ 3 часа при

9 Koch Erik, Sangiovanni Giorgio, Gunnarsson Olle. Sum. rules and bath parametrization for quantum cluster theories // Phys. Rev. B. 2008.—Sep. Vol. 78, no. 11. P. 115102.

использовании 128 процессорных ядер. Рост времени расчёта для данной системы вызван тем, что скорость сходимости собственного значения в рамках алгоритма Арнольди существенно больше, чем для системы, содержащей одину примесную орбиталь. Для моделирования была выбрана температура из экспериментального диапазона, равная Т = 200 К.6 Для расчёта функции Грина в рамках процедуры Ланцоша10 было использовано 20 возбуждённых состояний, что позволяет достигнуть достаточной точности для данного значения температуры.11

Вычисленные спектральные функции для А^=15 представлены на рисунке 5. Плотность состояний для случая, не учитывающего ./'-взаимодействие находится в хорошем согласии с результатами, полученными при помощи метода НР-(ЗМС в работе Либша и Лихтенштейна.7 В случае учёта ./'-взаимодействия, видно, что происходит дополнительная перенормировка спектральной плотности вблизи уровня Ферми.

Для количественной оценки подобных эффектов перенормировки была вычислена эффективная масса носителей заряда по следующей формуле12:

тп =1--------— |ц=о, (4)

где £(а|) ~ собственно-энергетическая часть. Для параметров кулоновского и обменного взаимодействия С/ = 1.2 эВ, 3 = 0.2 эВ было получено, что ш* = 2.1, которое меньше, чем в эксперименте.13 В случае учёта ./'-взаимодействия в гамильтониане системы параметр эффективной массы носителей заряда равен ш‘=2.48, что хорошо согласуется с экспериментально наблюдаемым значением, равным 2.5.13

Во втором подразделе приводятся результаты исследования при помощи разработанного программного комплекса поверхностной наносистемы, представляющей собой атом кобальта на платиновой подложке. Среди интересных свойств данной системы выделяются следующие особенности спектра проводимости вблизи уровня Ферми:

10 Lin If. Q., Gubematis J.E. Exact Diagonalization Methods for Quantum Systems // Computers in Physics. 1993. Vol. 7. P. 400.

11 Capone Massimo, de’ Medici Luca, Georges Antoine. Solving the dynamical mean-field theory at very low temperatures using the Lanczos exact diagonalization // Phys. Rev. B. 2007. Vol. 76, no. 24. P. 245116.

12 Georges Antoine, Kotliar Gabriel, Krauth Werner, Rozenberg Marcelo J. Dynamical mean-field theory of strongly correlated fermion systems and the limit of infinite dimensions // Rev. Mod. Phys. 1996 —.Ian. Vol. G8, no. 1. P. 13.

13 Puchkov A. V., Shen Z.-X., Kimura T., Tokura Y. ARPES results on S^RuO^ : Fermi surface revisited // Phys. Rev. B. 1998.— Nov. Vol. 58, no. 20- Pp. R13322-R13325.

• пик ниже уровня Ферми, ширина которого составляет 0.15 эВ, что значительно больше, чем пик, обусловленный Кондо-эффектом';14

• асимметрия спектра относительно нулевого напряжения;

• сильная зависимость спектра проводимости от значения внешнего магнитного поля;

• дополнительные возбуждения выше уровня Ферми.

Современные теоретические исследования данной наносистемы проводились в основном методами теории функционала плотности, которые не позволяют учесть многочастичные особенности реальной физической системы. В ряде работ авторы смогли воспроизвести пик ниже уровня Ферми.15,16 Однако его ширина в разы превышает экспериментальные значения. Это является результатом того, что в этих исследованиях не были учтены многочастичные кулоновские корреляции для 3(¿-состояний кобальта.

Для преодоления этой проблемы исследуемая система моделируется в рамках следующей примесной модели Андерсона:

Н ~ Х/т/т(ет ~ t*)nm<7 + ^кпка + Х/тЬг ^mkl^nurCkir + Cfc^mcr] +

UrnTn'm"m"‘d'^urdmiiiad^n,l7,dm"a‘, (5)

где tm(tk) - энергия эффективных орбиталей примеси (подложки), d+nrT(cla)

- оператор рождения частиц на примеси (подложке). Исходя из результатов LDA-расчётов, электронная конфигурация атома кобальта на платиновой подложке близка к d8 (nj = 7.6). При проведении вычислительного эксперимента химический потенциал /л выбирался исходя из данного условия. Также для определения полной матрицы кулоновскою взаимодействия были использованы значения U — 6.6 и 7# = 0-9, полученные из расчёта в приближении локальной электронной плотности.

На рисунке 6 приведены результаты вычисления электронной структуры, полученной в рамках многочастичной модели Андерсона(сплошная ли-

14 Madhavan V., Chen W., Jamneala T. et al. Tun::cii;:g into a Single Magnetic Atom: Spectroscopic Evidence of the Kondo Resonance // Science. 1УУ8. Vol. 280. no. 5363. Pp. 567-569.

15 Lazarovits B., Szunyogh L., Weinberger P. Magnetic properties of finite Co chains on Pt(111) // Phys. Rev. B. 2003.-Jan. Vol. 67, no. 2. P. 024415.

16 Growth and properties of small Co islands on a strained Pt surface // Journal of Magnetism and Magnetic Materials. *2003. Vol. 258-250. Pp. 305 - 3G8- Second Moscow International Symposium on Magnetism.

Рис. б. Плотность состояний, полученная из ЬЭА-расчёта (точечная линия) и из расчёта многочастичной модели Андерсона (сплошная линия) в сравнении с экспериментальным спектром проводимости (пунктирная линия).

ния), в сравнении с экспериментальным спектром проводимости17 (пунктирная линия). Как видно из рисунка, плотность состояний примеси многочастичной модели с учётом всех недиагональных элементов матрицы кулонов-ского взаимодействия находится в хорошем согласии с экспериментальным спектром проводимости. Пик в районе —0.05 эВ обусловлен вкладом от следующих орбиталей: ху, уг, хг и х2 - у2, которые сильно гибридизуются с 5с/-состояниями платины. Состояния выше уровня Ферми имеют Зг2 — г2 симметрию.

Другим важным источником информации о свойствах примесной системы является спиновая восприимчивость, которая может быть вычислена по следующей формуле:

-*-*"]■ да

пп'

где 3*1П, - матричный элемент оператора спина, Еп - собственное значение матрицы гамильтониана, /5 - обратная температура. На рисунке 7 (слева) представлена результирующая спиновая восприимчивость. Видно, что основной вклад обусловлен орбиталями с симметрией ху(х2 — у2) и Зг2 — г2, что означает наличие для них локального момента, а орбитали с симметрией уг(хг) из-за сильной гибридизацией с электронами подложки демонстрируют коллективизированный тип магнетизма. Также была вычислена полная спиновая восприимчивость с использованием следующей комбинации 5,~П,5Г^П +

5 (5^п,5“,п + 5'пп,5^п), спектральное представление которой представлено на рисунке 7 (справа). Видно, что полная спиновая восприимчивость обладает возбуждениями высокой энергии, которые обусловлены орбиталью с симмет-

17 Meier Focko, Zhou Lihui, Wiebe Jens, Wiesendanger Roland. Revealing Magnetic Interactions from Single-Atom Magnetization Curves //Science. 2008. Vol. 320. no. 5872. Pp. 82-86.

Рис. 7. Результаты расчёта спиновых корреляционных функций для (5г5г) (слева) и для полной восприимчивости (справа)

рией Зг2 — г2. Эти спектры могут быть использованы для моделирования экспериментов по сканирующей туннельной микроскопии.

Таким образом, проведённое исследование позволило сделать вывод об орбитальной поляризации спектра проводимости Co/Pt( 111). Особенности спектра, обусловленные разными 3¿/-состояниями кобальта, проявляются на разных энергетических диапазонах. Расчёт многочастичных корреляционных функций даёт важную информацию о степени локализации магнитных моментов Зй-орбиталей кобальта.

Результаты данной главы опубликованы в работах [1, 5].

В Заключении сформулированы основные выводы, перечислены полученные в данной работе результаты.

ОСНОВНЫЕ ВЫВОДЫ И РЕЗУЛЬТАТЫ

На основе проведённых исследований в данной диссертационной работе сформулированы следующие результаты и выводы:

• была разработана библиотека процедур и функций для организации эффективной работы с разреженными матрицами большой размерности. Данная библиотека может использоваться для решения современных задач науки и техники и содержит в своем составе:

— формат хранения больших разреженных матриц на многопроцессорных распределённых вычислительных системах. Формат позволяет эффективно обрабатывать матрицы размерностью больше,

чем 5 х 108 за счёт использования алгоритмов распределенного хранения данных, что более чем в 3 раза превосходит возможности существующих численных схем;

— процедуру эффективного заполнения матрицы гамильтониана. В рамках разработанного формата хранения, производится заполнение матрицы гамильтониана в параллельном режиме без необходимости проводить межпроцессорные коммуникации. Таким образом, время выполнения алгоритма уменьшается пропорционально числу задействованных процессоров вычислительной системы, что обеспечивает производительность, близкую к идеальной;

— процедуру перемножения матрицы гамильтониана на вектор. Использование ряда разработанных в диссертационном исследовании методик для осуществления межпроцессорных коммуникаций приводит к ускорению работы алгоритма на р-процессорной системе, равному 5^ ~ 0.7 • р при диагонализации матриц размерностью более 1 х 108. Это является существенным достижением в области параллельных алгоритмов для распределенных вычислительных систем;

• на базе разработанной библиотеки был создан программный комплекс для расчёта электронной структуры и магнитных свойств современных сильнокоррелированных материалов в рамках теории динамического среднего поля методом точной диагонализации. Комплекс впервые позволил проводить исследования в области низких температур с учётом полной четырёхындексной матрицы кулоновского взаимодействия;

• впервые в рамках теории динамического среднего поля методом точной диагонализации был проведено исследование модели Хаббарда на квадратной решетке для числа эффективных орбиталей Лг5 — 17. На этом примере была выполнена оценка производительности и масштабируемости разработанной численной схемы в зависимости от размерности задачи, показавшая результаты, не уступающие современным алгоритмам по решению уравнений теории динамического поля для систем с общей памятью;

• в рамках созданного программного комплекса разработан модуль, позволяющий исследователю выделять и анализировать вклад конкретно-

го квантово-механического состояния в энергию системы. Это дает возможность получить больше информации об элементарных возбуждениях, происходящих в исследуемой системе. Тем самым достигается более глубокое понимание электронных и магнитных свойств сильнокоррелированных систем;

• проведена апробация разработанного программного комплекса на модельных и реальных системах. Исследована электронная структура сильнокоррелированного соединения Sr^RuO^. Сравнение значений эффективной массы носителей заряда, вычисленных для различных видов взаимодействия, позволило сделать вывод о важности учёта недиагональных элементов матрицы кулоновского взаимодействия;

• проведено моделирование физических свойств наносистемы, состоящей из атома кобальта на платиновой поверхности, Co/Pt(lll). В рамках исследования впервые было учтено влияние всех элементов матрицы кулоновского взаимодействия. Полученная в результате расчётов спектральная функция системы позволила объяснить особенности экспериментального спектра проводимости вблизи уровня Ферми. Для микроскопического анализа процесса формирования магнитного момента были вычислены многочастичные спиновые корреляционные функции. Проведенное исследование позволяет проследить процесс возникновения магнетизма в сильнокоррелированных системах и может быть использовано для изучения других магнитных систем, характеризующихся сильными электрон-электронными корреляциями;

• разработан on-line сервис, предоставляющий широкому кругу исследователей возможность решать уравнения теории динамического среднего поля методом точной диагонализации как в учебных, так и научных целях. On-line сервис предоставляет возможность интерактивного определения параметров гамильтониана и визуализировать результаты модел ирования.

Список публикаций

1. Mazurenko V. V., Iskakov S. N., Rudenko A. N. et al. Renormalized spectral function for Co adatom on the Pt(lll) surface // Physcal Review B. 2010.—

2. Искаков С. H., Мазуренко В. В. Эффективное решение уравнений теории динамического среднего поля на многопроцессорных системах // Вычислительные методы и программирование. 2009. Т. 9, № 2. С. 281-285.

3. Искаков С. Н. Эффективное решение уравнений теории динамического среднего поля на многопроцессорных системах // Распределенные и высокопроизводительные вычисления. Тезисы докладов. Новосибирск: 2008. С. 17.

4. Искаков С. Н. Использование возможностей односторонних коммуникаций MPI при решении уравнений задачи динамического среднего поля // Материалы конференции и тезисы докладов XV Всероссийской научной конференции студентов-физиков и молодых ученых ВНКСФ. Т. 15. 2009. С. 658.

5. Iskakov S. N., Mazurenko V. V. Parallel exact diagonalization solver for quantum-electrón models // ArXiv e-prints. 2010. —1004.3354.

6. Искаков С. H. Применение системы контроля жизненного цикла задачдля организации эффективного использования многопроцессорных систем // Вычислительные технологии - Вестник КАЗНУ (Казахстан). Совместный выпуск. 2008. Т. 13, № 3(58). С. 177-182.

7. Искаков С. Н., Мазуренко В. В. Система распределения ресурсов многопроцессорного комплекса // Вторая Международная Конференция "Су-перкомпьютерные системы и их применение". 2008. —10.

Подписано в печать плоская печать Формат 60x84 1/16

Бумага писчая Тираж 100 экз. Заказ

Ризография НИЧ УрФУ 620002, Екатеринбург, ул. Мира, 19

Список используемых обозначений.

Введение

Глава 1. Моделирование электронной структуры в рамках теории динамического среднего поля.

1.1. Уравнения теории динамического среднего поля.

1.2. Практическая реализация метода точной диагонализации матрицы гамильтониана

1.3. Параллелизация метода точной диагонализации.

1.4. Выводы к главе.

Глава 2. Разработка библиотеки процедур для эффективной реализации метода точной диагонализации.

2.1. Методика кодировки квантово-механических состояний

2.2. Разработка алгоритма заполнения матрицы гамильтониана

2.3. Формат распределённого хранения данных.

2.4. Выводы к главе.

Глава 3. Разработка программного комплекса для расчёта электронной структуры методом точной диагонализации

3.1. Решение примесной задачи в рамках теории динамического среднего поля.

3.2. Оценка вклада в собственное состояние системы.

3.3. Оценка эффективности программного комплекса.

3.4. Разработка интернет сервиса для проведения расчётов методом точной диагонализации.

3.5. Выводы к главе.

Глава 4. Применение разработанного комплекса для исследования реальных физических систем

4.1. Учёт корреляционных эффектов в рамках метода теории динамического среднего поля для соединения З^ЯиО^

4.2. Расчёт электронной структуры Со/Р^Ш).

4.3. Выводы к главе.

Исторически человечество всегда стремилось к созданию и развитию новых материалов. Например, "информационная эра", в которой мы живем, зародилась на основе полупроводниковых процессоров и технологий магнитной записи, которые успешно развиваются вот уже на протяжении 40 лет [1]. Экспоненциальный рост, как мощности процессоров, так и плотности записи информации стал возможен благодаря способности контролировать свойства материалов даже в атомных масштабах. Наши стандарты и стиль жизни в настоящее время во многом определяются последними открытиями новых материалов и их продолжающимися усовершенствованиями. Наше процветание и благосостояние в будущем будут зависеть от успехов современных исследований материалов следующего поколения и направления инновационной деятельности. Например, прогресс в миниатюризации устройств стал движущей силой для проведения интенсивных исследований наноматериалов, в которых характеристики наномасштаба определяют соответствующие свойства материалов.

Несмотря на то, что развитие квантовой механики открыло дверь в понимании фундаментальных взаимодействий в веществе около 80-ти лет назад, возможность использовать наше знание для создания материалов и контроля их свойств только сейчас становится реальностью. До настоящего времени решение квантово-механических уравнений было практически невозможно за исключением некоторых простейших случаев. Благодаря значительному увеличению мощности компьютеров, материаловедение сейчас находится на грани новой эры, когда компьютерное моделирование дополняет, а иногда и заменяет традиционный экспериментальный метод "проб и ошибок". Компьютерное моделирование является инструментом, при помощи которого ученые могут управлять исследованиями передовых материалов и развитием новых высокотехнологичных устройств через фундаментальное понимание свойств материалов, процессов их формирования, взаимодействия в новых комбинациях и оптимизации для лучшего использования.

Одним из важнейших достижений современной компьютерной физики является разработка и развитие метода «Теории динамического среднего поля» (БМГТ) [2] для решения модели Хаббарда [3, 4], который позволяет описывать системы с сильным электрон-электронным взаимодействием. Эти эффекты возникают, когда ширина зоны проводимости сравнима или меньше силы кулоновского взаимодействия между электронами, находящимися на одном атоме (ионе). К таким системам относятся сложные многокомпонентные материалы на основе соединений переходных, редкоземельных и актиноидных элементов. Эти материалы активно исследуются в последние годы вследствие открытия в них явлений высокотемпературной сверхпроводимости, колоссального магнетосо-противления и других интересных свойств, имеющих большие перспективы для практических применений. Основные вычислительные и временные затраты в методе БМГТ приходятся на решение эффективной примесной задачи для модели Андерсона. Наиболее широко используемыми методами ее решения являются методы квантового Монте-Карло и точной диагонализации.

Цель диссертационной работы заключается в разработке вычислительного комплекса для исследования электронной структуры и магнитных свойств реальных физических систем в рамках теории динамического среднего поля методом точной диагонализации. Данный комплекс позволяет эффективно использовать ресурсы современных вычислительных систем и вести расчеты физических свойств сложных соединений на нескольких сотнях и тысячах процессоров.

В соответствии с поставленной целью в диссертационной работе решаются следующие задачи:

• создание программного комплекса, позволяющего проводить расчёт электронных и магнитных свойств методом точной диагонализации. Разработанный комплекс состоит из следующих модулей: модуль распределенного хранения массивов большого объёма в оперативной памяти (размером больше 20 Гбайт); модуль перемножения сверхбольших разреженных матриц (размерностью более 108 х 108) на вектор; модуль межпроцессных коммуникаций, позволяющий минимизировать обмен данными, хранимыми распределенно;

• тестирование предложенной численной схемы с использованием модели Хаббарда на квадратной решётке для демонстрации эффективности и определения границ применения;

• создание on-line сервиса, который позволяет широкому кругу исследователей проводить расчёты электронной структуры сильнокоррелированных систем через сеть Internet;

• применение разработанного программного комплекса для расчёта электронной и магнитной структуры реальных физических систем: исследование электронной структуры соединения Б^ЯиОд, которое демонстрирует значительные корреляционные эффекты; моделирование электронных и магнитных свойств системы, состоящей из отдельных атомов кобальта, размещенных на платиновой подложке, с целью микроскопического описания экспериментального спектра проводимости вблизи уровня Ферми.

Актуальность работы

В существующих пакетах программ, решающих задачу БМРТ, уже предусмотрена возможность применения параллельных вычислений, однако, стремительное развитие современных супер-ЭВМ ставит проблему полного использования их мощностей для решения задач предсказательного моделирования. Задача оптимизации распределения потоков команд и данных на вычислительных системах, состоящих из тысяч процессоров, радикально отличается от параллельных вычислений на кластерах с несколькими десятками ядер. Эта задача не имеет единого универсального решения, пригодного для любых пакетов программ и типов вычислительных комплексов. Для каждой супер-ЭВМ необходимо учесть особенности ее архитектуры и соответственно перестроить вычислительный алгоритм для достижения наилучшей эффективности. Разработка подобного вычислительного комплекса и обеспечивает актуальность работы.

Научная новизна работы заключается в следующем:

1. При помощи разработанного вычислительного комплекса на основе метода точной диагонализации впервые было проведено исследование сильнокоррелированных систем в области низких температур с числом эффективных орбиталей в гамильтониане модели Андерсона равным А^ = 17;

2. Проблема экспоненциальной зависимости размерности задачи от числа эффективных орбиталей была частично сведена к росту количества требуемых процессоров при помощи организации распределённого хранения разреженных матриц большой размерности;

3. Разработан новый формат хранения матрицы гамильтониана и метод её перемножения на вектор, что позволило проводить реалистичное моделирование современных материалов;

4. В рамках метода точной диагонализации впервые была использована четырёхоператорная форма матрицы кулоновского взаимодействия;

5. Впервые в рамках теории динамического среднего поля было . учтено влияние недиагональных элементов матрицы кулоновского взаимодействия на спектр электронных возбуждений соединения Б^ИиО^

6. Впервые проведено исследование электронных свойств поверхностной наносистемы Со/Р1;(111) в рамках модели Андерсона методом точной диагонализации, которое позволило обнаружить орбитальную поляризацию спектра проводимости.

Автором на защиту выносятся следующие положения:

1. Предложенный формат распределенного хранения 'матрицы гамильтониана позволяет эффективно обрабатывать матрицы сверхбольшой размерности на многопроцессорных вычислительных системах;

2. Разработанная вычислительная схема метода точной диагонализа-ции для расчёта электронной структуры на распределённых вычислительных системах позволила впервые проводить исследование сильнокоррелированных систем с числом эффективных орбиталей в гамильтониане модели Андерсона равным А^ = 17;

3. В рамках исследования электронной структуры соединения Б^ЯиО^ была показана важность учёта недиагональных элементом матрицы кулоновского взаимодействия;

4. При помощи разработанного комплекса решена многочастичная модель, описывающая электронные и магнитные свойства поверхностной наносистемы Со/Р^111). Это позволило дать микроскопическое объяснение особенностей экспериментального спектра проводимости вблизи уровня Ферми, и проследить механизмы формирования магнитного момента атома кобальта.

Практическая значимость работы. Разработанная библиотека процедур и функций предназначенная для работы с большими разреженными матрицами на распределённых многопроцессорных системах позволяет проводить диагонализацию матриц размерностью более 5 х 108. Данная библиотека содержит в себе формат распределённого хранения разреженных матриц, процедуру заполнения матрицы гамильтониана, процедуру перемножения разреженной матрицы на вектор. На основе созданной библиотеки автором работы был разработан вычислительный комплекс метода точной диагонализации, позволяющий проводить исследование сильнокоррелированных систем в области низких температур. Библиотека может быть использована для решения широкого круга задач науки и техники.

Апробация работы была выполнена на кафедре теоретической физики и прикладной математики УрФУ и в Университетском центре параллельных вычислений УрФУ. Основные положения диссертации докладывались на:

1. Заседаниях кафедры теоретической физики и прикладной математики;

2. Семинаре «Распределённые и высокопроизводительные вычисления» (Новосибирск 2008);

3. Международной конференции «Вычислительные и информационные технологии в науке, технике и образовании — 2008» (Алматы .2008);

4. Второй международной научной конференции «Суперкомпьютерные системы и их применение» (Минск 2008).

Публикации. Материалы диссертации опубликованы в б печатных работах, из них 2 статьи в рецензируемых журналах, 3 статьи в сборниках трудов конференций и 1 тезис доклада.

Публикации в журналах, входящих в перечень рецензируемых научных журналов, в которых должны быть опубликованы основные научные результаты диссертаций на соискание ученых степеней доктора и кандидата наук:

• Искаков С. Н., Мазуренко В. В. Эффективное решение уравнений теории динамического среднего поля на многопроцессорных системах // Вычислительные методы и программирование. 2009. Т. 9, № 2. С. 281-285.

• Mazurenko V. V., Iskakov S. N., Rudenko A. N. et al. Renormalized spectral function for Co adatom on the Pt(lll) surface //Physical Review В. 2010. —Nov. Vol. 82, no. 19. P. 193403.

Структура и объем диссертации Диссертация состоит из введения, четырёх глав, заключения и списка литературы, содержит 112 страниц, 30 рисунков, 4 таблицы, список цитируемой литературы представлен из 81 наименования.

4.3. Выводы к главе

В данной главе были приведены результаты апробации разработанного программного комплекса, на основании которых можно сделать следующие выводы:

• проведён анализ электронной структуры соединения Б^ЯиС)4, на основе которого было выявлено, что недиагональные элементы матрицы кулоновского взаимодействия играют важную роль в правильном описании экспериментально наблюдаемого спектра;

• исследована система атом кобальта на платиновой подложке (Со/Р1(111)), представленная при помощи модели Андерсона, в результате проведённого исследования были получены следующие результаты: учёт кулоновских корреляций принципиально важен при описании систем данного типа; проанализировано влияние полной четырёхоператорной матрицы кулоновского взаимодействия на плотность состояний вблизи уровня Ферми; установлен вклад каждой из ¿/-орбиталей кобальта в спектр проводимости.

Из приведённых результатов можно сделать вывод, что разработанный в рамках данного диссертационного исследования программный комплекс предоставляет исследователям широкие возможности для изучения сильнокоррелированных систем.

Заключение

На основе проведённых исследований в данной диссертационной работе сформулированы следующие результаты и выводы:

• Была разработана библиотека процедур и функций для организации эффективной работы с разреженными матрицами большой размерности. Данная библиотека может использоваться для решения современных задач науки и техники и содержит в своём составе: формат хранения больших разреженных матриц на многопроцессорных распределённых вычислительных системах. Формат позволяет эффективно обрабатывать матрицы размерностью больше, чем 5 х 108 за счёт использования алгоритмов распределённого хранения данных, что более чем в 3 раза превосходит возможности существующих численных схем; процедуру эффективного заполнения матрицы гамильтониана. В рамках разработанного формата хранения производится заполнение матрицы гамильтониана в параллельном режиме без необходимости проводить межпроцессорные коммуникации. Таким образом, время выполнения алгоритма уменьшается пропорционально числу задействованных процессоров вычислительной системы, что обеспечивает производительность, близкую к идеальной; процедуру перемножения матрицы гамильтониана на вектор. Использование ряда разработанных в диссертационном исследовании методик для осуществления межпроцессорных коммуникаций приводит к ускорению работы алгоритма на р-процессорной системе равному вр ~ 0.7 -р при диагонализа-ции матриц размерностью более 1 х 108. Это является существенным достижением в области параллельных алгоритмов для распределённых вычислительных систем.

На базе разработанной библиотеки был создан программный комплекс для расчёта электронной структуры и магнитных свойств современных сильнокоррелированных материалов в рамках теории динамического среднего поля методом точной диагонализа-ции. Комплекс впервые позволил проводить исследования в области низких температур с учётом полной четырёхиндексной матрицы кулоновского взаимодействия.

Впервые в рамках теории динамического среднего поля методом точной диагонализации был проведено исследование модели Хаб-барда на квадратной решётке для числа электронных уровней N3 — 17. На этом примере была выполнена оценка производительности и масштабируемости разработанной численной схемы в зависимости от размерности задачи, показавшая результаты, не уступающие современным алгоритмам по решению уравнений теории динамического поля для систем с общей памятью.

В рамках созданного программного комплекса разработан модуль, позволяющий исследователю выделять и анализировать вклад конкретного квантово-механического состояния в энергию системы. Это дает возможность получить больше информации об элементарных возбуждениях, происходящих в исследуемой системе. Тем самым достигается более глубокое понимание электронных и магнитных свойств сильнокоррелированных систем.

Разработанный программный комплекс был применён для исследование электронной структуры реальных физических системах. Исследована электронная структура сильнокоррелированного соединения S^RuO4, Сравнение значений эффективной массы носителей заряда, вычисленных для различных видов кулоновского взаимодействия, позволило сделать вывод о важности учёта недиагональных элементов матрицы кулоновского взаимодействия для правильного теоретического описания экспериментально наблюдаемых спектров фотоэмиссии.

Проведено моделирование физических свойств наносистемы, состоящей из атома кобальта на платиновой поверхности, Co/Pt(lll). В рамках исследования впервые было учтено влияние всех элементов матрицы кулоновского взаимодействия. Полученная в результате расчётов спектральная функция системы позволила объяснить особенности экспериментального спектра проводимости вблизи уровня Ферми. Для микроскопического анализа процесса формирования магнитного момента были вычислены многочастичные спиновые корреляционные функции. Проведённое исследование позволяет проследить процесс возникновения магнетизма в сильнокоррелированных системах и может быть использовано для изучения других магнитных систем, характеризующихся сильными электрон-электронными корреляциями.

Разработан on-line сервис, позволяющий широкому кругу исследователей решать уравнения теории динамического среднего поля методом точной диагонализации, как в учебных, так и научных целях. On-line сервис предоставляет возможность интерактивного определения параметров гамильтониана и визуализировать результаты моделирования.

Автором проведены все расчёты, представленные в работе; алгоритмы, представленные в данной работе, разработаны автором самостоятельно. Постановка задач и обсуждение полученных результатов были проведены совместно с научным руководителем. В обсуждении результатов, полученных при исследовании поверхностной наносистемы Co/Pt(111), также участвовали Александр Иосифович Лихтенштейн, Владимир Ильич Анисимов и Александр Николаевич Руденко.

В заключении мне бы хотелось выразить глубокую признательность своему научному руководителю кандидату физико-математических наук Мазуренко Владимиру Владимировичу за проявленное внимание; также хочу выразить огромную благодарность сотрудникам университетского центра параллельных вычислений; а так же сотрудникам, аспирантам и студентам кафедры теоретической физики. Особая благодарность -друзьям и семье.

1. Computational materials science, Ed. by R. Catlow, E. Kotomin. 1.S Press, 2001.

2. Anderson P. W. Localized Magnetic States in Metals // Phys. Rev. 1961.-Oct. Vol. 124, no. 1. Pp. 41-53.

3. Hubbard J. Electron Correlations in Narrow Energy Bands // Proceedings of the Royal Society of London. Series A. Mathematical and Physical Sciences. 1963. Vol. 276, no. 1365. Pp. 238-257.

4. Mazurenko V. V., Skornyakov S. L., Kozhevnikov A. V. et al. Wannier functions and exchange integrals: The example of LiCu202 // Phys. Rev. B. 2007. -Jun. Vol. 75, no. 22. P. 224408.

5. Изюмов Ю.А., Анисимов В.И. Электронная структура соединений с сильными корреляциями. НИЦ "Регулярная и хаотическая динамика", 2008.

6. Bednorz J. G., Miiller К. A. Possible high Tc superconductivity in the Ba-La-Cu-0 system // Zeitschrift fur Physik В Condensed Matter. 1986.-Jun. Vol. 64, no. 2. P. 189.

7. Lee P., Rice Т., Serene J., anf J. Wilkins L. Sham. Theories of heavy-electron systems // Com. on Condensed Material Physics. 1986. —Jun. Vol. 99, no. 12.

8. Imada Masatoshi, Fujimori Atsushi, Tokura Yoshinori. Metal-insulator transitions // Rev. Mod. Phys. . 1998, —Oct. Vol. 70, no. 4. Pp. 1039-1263.

9. Kusters R. M., Singleton J, Keen D. A. et al. Magnetoresistance measurements on magnetic semiconductor // Physica B. 1989. Vol. 155B. P. 362.

10. Hohenberg P., Kohn W. Inhomogeneous Electron Gas // Phys. Rev. 1964.-Nov. Vol. 136, no. 3B. Pp. B864-B871.

11. Kohn W., Sham L. J. Self-Consistent Equations Including Exchange and Correlation Effects // Phys. Rev. 1965, —Nov. Vol. 140, no. 4A. Pp. A1133-A1138.

12. Вонсовский, Кацнельсон, Трефилов. Локализованное и делокализо-ванное проведение электронов в металлах // ФММ. 1993. Т. 76, № 3. С. 3-89.

13. Вонсовский, Кацнельсон, Трефилов. Локализованное и делокализо-ванное проведение электронов в металлах // ФММ. 1993. Т. 76, № 4. С. 3-83.

14. Metzner Walter, Vollhardt Dieter. Correlated Lattice Fermions in d = oo Dimensions // Phys. Rev. Lett. 1989. — Jan. Vol. 62, no. 3. Pp. 324-327.

15. Georges Antoine, Kotliar Gabriel, Krauth Werner, Rozenberg Marcelo J. Dynamical mean-field theory of strongly correlated fermion systems and the limit of infinite dimensions // Rev. Mod. Phys. 1996. — Jan. Vol. 68, no. 1. P. 13.

16. De Raedt H., vonder Linden W. The Monte Carlo Method in Condensed Matter Physics. Berlin,New York: Heidelberg, Springer, 1992.

17. Lin H. Q., Gubernatis J.E. Exact Diagonalization Methods for Quantum Systems // Computers in Physics. 1993. Vol. 7. P. 400.

18. Freericks J. K., Jarrell Mark. Iterated perturbation theory for the attractive Holstein and Hubbard models // Phys. Rev. B. 1994.— Sep. Vol. 50, no. 10. Pp. 6939-6953.

19. CEPERLEY DAVID, ALDER BERNI. Quantum Monte Carlo // Science. 1986. Vol. 231, no. 4738. Pp. 555-560.

20. Hirsch J. E., Fye R. M. Monte Carlo Method for Magnetic Impurities in Metals // Phys. Rev. Lett. 1986, —Jun. Vol. 56, no. 23. Pp. 2521-2524.

21. Stratonovich R. L. On a Method of Calculating Quantum Distribution Functions // Soviet physics, Doklady. 1956. P. 37 v. 2.

22. Hubbard J. Calculation of Partition Functions // Phys. Rev. Lett. 1959.-Jul. Vol. 3, no. 2. Pp. 77-78.

23. Fye R. M., Hirsch J. E. Monte Carlo study of the symmetric Anderson-impurity model // Phys. Rev. B. 1988. —Jul. Vol. 38, no. 1. Pp. 433-441.

24. Frick M., Raedt H. Projector Quantum Monte Carlo without minus-sign problem // Zeitschrift fur Physik B Condensed Matter. 1992.—jun. Vol. 88. Pp. 173-179.

25. Valäsek Peter, Hetzel Ralf. A Thorough Investigation of the Projector Quantum Monte Carlo Method Using MPP Technologies // PARA '95: Proceedings of the Second International Workshop on Applied Parallel

26. Computing, Computations in Physics, Chemistry and Engineering Science. London, UK: Springer-Verlag, 1996. Pp. 524-533.

27. Beard B. B., Wiese U.-J. Simulations of Discrete Quantum Systems in Continuous Euclidean Time // Phys. Rev. Lett. 1996. —Dec. Vol. 77, no. 25. Pp. 5130-5133.

28. Wilson Kenneth G. The renormalization group: Critical phenomena and the Kondo problem // Rev. Mod. Phys. 1975. —Oct. Vol. 47, no. 4. Pp. 773-840.

29. Demmel James W. Applied numerical linear algebra. Philadelphia, PA: SIAM, Society for Industrial and Applied Mathematics, xi, 419 p. $ 45.00, 1997.

30. Golub Gene, Van Loan Charles F. Matrix computations. 3rd ed. Baltimore, MD: The Johns Hopkins Univ. Press, xxvii, 694 p. $ 36.00/pbk; $ 78.00/hbk, 1996.

31. Grimes Roger G., Lewis John G., Simon Horst D. A shifted block Lanczos algorithm for solving sparse symmetric generalized eigenproblems. // SIAM J. Matrix Anal. Appl. 1994. Vol. 15, no. 1. Pp. 228-272.

32. Capone Massimo, de' Medici Luca, Georges Antoine. Solving the dynamical mean-field theory at very low temperatures using the Lanczos exact diagonalization // Phys. Rev. B. 2007. Vol. 76, no. 24. P. 245116.

33. Perroni C. A., Ishida H., Liebsch A. Exact diagonalization dynamical mean-field theory for multiband materials: Effect of Coulomb correlations on the Fermi surface of Na0.3CoO2 // Phys. Rev. B. 2007. Vol. 75, no. 4. P. 045125.

34. Templates for the Solution of Algebraic Eigenvalue Problems: a Practical Guide, Ed. by Z. Bai, J. Demmel, J. Dongarra et al. SIAM, Philadelphia, 2000.

35. Barrett R., Berry M., Chan T. F. et al. Templates for the Solution of Linear Systems: Building Blocks for Iterative Methods, 2nd Edition. Philadelphia,' PA: SIAM, 1994.

36. Vassiliadis Stamatis, Cotofana Sorin, Stathis Pyrrhos. Block Based Compression Storage Expected Performance //In Proceedings of HPCS2000, Victoria. 2000. Pp. 389-406.

37. Melhem Rami, Gannon Dennis. Toward Efficient Implementation of Preconditioned Conjugate Gradient Methods On Vector Supercomputers // International Journal of High Performance Computing Applications. 1987. Vol. 1, no. 1. Pp. 70-98.

38. Parlett Beresford N. The symmetric eigenvalue problem / Beresford N.

39. Parlett. Prentice-Hall, Englewood Cliffs, N.J. :, 1980. Pp. xix, 348 p. :. ISBN 0138800472.

40. Ritz Walter. Uber eine neue Methode zur Lösung gewisser Variationsprobleme der mathematischen Physik // Journal für die reine und angewandte Mathematik (Crelles Journal). 1909, —01. Vol. 135. Pp. 1-61.

41. Manteuffel T. A. Adaptive procedure for estimating parameters for the nonsymmetric Tchebychev iteration // Numerische Mathematik. 1978. Vol. 31. Pp. 183-208.

42. Saad Y. Chebyshev acceleration techniques for solving nonsymmetric eigenvalue problems // Mathematics of Computation. 1984. Vol. 42. Pp. 567-588.

43. Maschhoff K., Sorensen D. A portable implementation of ARPACK for distributed memory parallel architectures. 1996. URL: citeseer. ist. psu.edu/maschhoff96portable.html.

44. Chandra Robit, Dagum Leonardo, Kohr Dave et al. Parallel programming in OpenMP. San Francisco, CA, USA: Morgan Kaufmann Publishers Inc., 2001. ISBN 1-55860-671-8.

45. Forum Message Passing Interface. MPI: A Message-Passing Interface Standard, version 2.1. 1994.

46. Ishida Hiroshi, Liebsch Ansgar. Fermi-liquid, non-Fermi-liquid, and Mott phases in iron pnictides and cuprates // Phys. Rev. B. 2010. —Feb. Vol. 81, no. 5. P. 054513.

47. Koch Erik, Sangiovanni Giorgio, Gunnarsson Olle. Sum rules and bath parametrization for quantum cluster theories // Phys. Rev. B. 2008.— Sep. Vol. 78, no. 11. P. 115102.

48. Schnack Jiirgen, Hage Peter, Schmidt Heinz-Jiirgen. Efficient implementation of the Lanczos method for magnetic systems //J. Comput. Phys. 2008. Vol. 227, no. 9. Pp. 4512-4517.

49. Jafari S. A. Introduction to Hubbard Model and Exact Diagonaliza-tion // IRANIAN J.PHYS.RES. 2008. Vol. 8. P. 113.

50. Липский В. Комбинаторика для программистов. Мир, 1988.

51. Im Eun-Jin. Optimizing the Performance of Sparse Matrix-Vector Multiplication: Ph.D. thesis / EECS Department, University of California, Berkeley. 2000. — Jun. URL: http://www.eecs.berkeley.edu/Pubs/ TechRpts/2000/5556.html.

52. Fraguela В. В., Doallo Ramon, Zapata E.L. et al. Cache Misses Prediction for High Performance Sparse Algorithms //In Proceedings of the 4th Intl. Euro-Par Conference, LNCS. 1998. Pp. 224-233.

53. Yu Zeng-Qiang, Yin Lan. Collinear antiferromagnetic state in a two-dimensional Hubbard model at half filling // Phys. Rev. B. 2010.— May. Vol. 81, no. 19. P. 195122.

54. Schulz H. J. Incommensurate antiferromagnetism in the two-dimensional Hubbard model // Phys. Rev. Lett. 1990. —Mar. Vol. 64, no. 12. Pp. 1445-1448.

55. Cini Michele, Stefanucci Gianluca. Antiferromagnetism of the two-dimensional Hubbard model at half-filling: the analytic ground state for weak coupling // Journal of Physics: Condensed Matter. 2001. Vol. 13, no. 6. P. 1279.

56. Liebsch A. Novel Mott Transitions in a Nonisotropic Two-Band Hubbard Model // Phys. Rev. Lett. 2005.-Sep. Vol. 95, no. 11. P. 116402.

57. Knecht C., Bllimer N., van Dongen P. G. J. Orbital-selective Mott transitions in the anisotropic two-band Hubbard model at finite temperatures // Phys. Rev. B. 2005. —Aug. Vol. 72, no. 8. P. 081103.

58. Hockney Roger W. The communication challenge for MPP: Intel Paragon and Meiko CS-2 // Parallel Computing. 1994. Vol. 20, no. 3. Pp. 389-398.

59. Alet F., Dayal P., Grzesik A. et al. The ALPS Project: Open Source Software for Strongly Correlated Systems // Journal of the Physical Society of Japan. 2005. Vol. 74S, no. Supplement. Pp. 30-35. URL: http://jpsj.ipap.jp/link?JPSJS/74S/30/.

60. W3C Working Group Note. Web Services Architecture, 2004. — February.

61. Maeno Y., Hashimoto H., Yoshida K. et al. Superconductivity in a layered perovskite without copper // Nature. 1994. — Dec. Vol. 372. Pp. 532 534.

62. Nelson K. D., Mao Z. Q., Maeno Y., Liu Y. Odd-Parity Superconductivity in Sr2Ru04 // Science. 2004. Vol. 306, no. 5699. Pp. 1151-1154.

63. Liebsch A., Lichtenstein A. Photoemission Quasiparticle Spectra of Sr2Ru04// Phys. Rev. Lett. 2000. Feb. Vol. 84, no. 7. Pp. 1591-1594.

64. Singh David J. Relationship of SrzRuO^ to the superconducting layered cuprates // Phys. Rev. B. 1995.-Jul. Vol. 52, no. 2. Pp. 1358-1361.

65. Pérez-Navarro A., Costa-Quintana J., López-Aguilar F. Electronic structure of Sr2RuOA by means of local-density approximation plus strong correlation effects // Phys. Rev. B. 2000. —Apr. Vol. 61, no. 15. Pp. 10125-10132.

66. Pchelkina Z. V., Nekrasov I. A., Pruschke Th. et al. Evidence for strong electronic correlations in the spectra of Sr2Ru04 // Phys. Rev. B. 2007.-Jan. Vol. 75, no. 3. P. 035122.

67. Puchkov A. V., Shen Z.-X., Kimura T., Tokura Y. ARPES results on 5r2^04 : Fermi surface revisited // Phys. Rev. B. 1998. — Nov. Vol. 58, no. 20. Pp. R13322-R13325.

68. Gorelov E., Wehling T. O., Rubtsov A. N. et al. Relevance of the complete Coulomb interaction matrix for the Kondo problem: Co impurities in Cu hosts // Phys. Rev. B. 2009.-Oct. Vol. 80, no. 15. P. 155132.

69. Meier Focko, Zhou Lihui, Wiebe Jens, Wiesendanger Roland. Revealing Magnetic Interactions from Single-Atom Magnetization Curves // Science. 2008. Vol. 320, no. 5872. Pp. 82-86. •

70. Rabe A., Memmel N., Steltenpohl A., Fauster Th. Room-Temperature Instability of Co/Cu(lll) // Phys. Rev. Lett. 1994.-Nov. Vol. 73, no. 20. Pp. 2728-2731.

71. Hu Juanmei, Teng Botao, Wu Fengmin, Fang Yunzhang. Fe nanostruc-tures stabilized by long-range interactions on Cu(lll): kinetic Monte Carlo simulations // New Journal of Physics. 2008. Vol. 10, no. 2. P. 023033.

72. Eve J. K., McCash E. M. Low-temperature adsorption of CO on Cu(lll) studied by reflection absorption infrared spectroscopy // Chemical Physics Letters. 1999. Vol. 313, no. 3-4. Pp. 575 581.

73. Shick Alexander B, Lichtenstein Alexander I. Orbital moment of a single Co atom on a Pt(lll) surface—a view from correlated band theory // Journal of Physics: Condensed Matter. 2008. Vol. 20, no. 1. P. 015002.

74. Gambardella P., Rusponi S., Veronese M. et al. Giant Magnetic Anisotropy of Single Cobalt Atoms and Nanoparticles // Science. 2003. Vol. 300, no. 5622. Pp. 1130-1133.

75. Madhavan V., Chen W., Jamneala T. et al. Tunneling into a Single Magnetic Atom: Spectroscopic Evidence of the Kondo Resonance // Science. 1998. Vol. 280, no. 5363. Pp. 567-569.

76. Lazarovits B., Szunyogh L., Weinberger P. Magnetic properties of finite Co chains on Pt(lll) // Phys. Rev. B. 2003. —Jan. Vol. 67, no. 2. P. 024415.

77. Growth and properties of small Co islands on a strained Pt surface // Journal of Magnetism and Magnetic Materials. 2003. Vol. 258-259. Pp. 365 368. Second Moscow International Symposium on Magnetism.

78. Fernández-Rossier J. Theory of Single-Spin Inelastic Tunneling Spectroscopy // Phys. Rev. Lett. 2009,- Jun. Vol. 102, no. 25. P. 256802.

79. Rudenko A. N., Mazurenko V. V., Anisimov V. I., Lichtenstein A. I. Weak ferromagnetism in Mn nanochains on the CuN surface // Phys. Rev. B. 2009.-Apr. Vol. 79, no. 14. P. 144418.