WWW.UK.X-PDF.RU

БЕЗКОШТОВНА ЕЛЕКТРОННА БІБЛІОТЕКА - Книги, видання, автореферати

 
<< HOME
CONTACTS




Продажа зелёных и сухих саженцев столовых сортов Винограда (по Украине)
Тел.: (050)697-98-00, (067)176-69-25, (063)846-28-10
Розовые сорта
Белые сорта
Чёрные сорта
Вегетирующие зелёные саженцы

Продажа зелёных и сухих саженцев столовых сортов Винограда (по Украине)
Тел.: (050)697-98-00, (067)176-69-25, (063)846-28-10
Розовые сорта
Белые сорта
Чёрные сорта
Вегетирующие зелёные саженцы
Pages:   || 2 | 3 |

«ОДНОРІДНОЇ ОБРОБКИ ДАНИХ НА КЛАСТЕРНИХ КОМПЛЕКСАХ ...»

-- [ Страница 1 ] --

Національна академія наук України

Інститут кібернетики імені В.М. Глушкова

ЮЩЕНКО Руслан Андрійович

УДК 681.3.06

МЕТОДИКА ОЦІНЮВАННЯ ЕФЕКТИВНОСТІ

ОДНОРІДНОЇ ОБРОБКИ ДАНИХ

НА КЛАСТЕРНИХ КОМПЛЕКСАХ

01.05.03 – математичне та програмне забезпечення

обчислювальних машин та систем

Автореферат

дисертації на здобуття наукового ступеня

кандидата фізико-математичних наук

Київ – 2009 Дисертацією є рукопис.

Робота виконана в Інституті кібернетики імені В.М. Глушкова НАН України.

Науковий керівник: доктор фізико-математичних наук, професор, член-кореспондент НАН України ПЕРЕВОЗЧИКОВА Ольга Леонідівна Інститут кібернетики імені В.М. Глушкова НАН України.

Офіційні опоненти: доктор фізико-математичних наук, професор, член-кореспондент НАН України ЛЕТИЧЕВСЬКИЙ Олександр Адольфович, Інститут кібернетики імені В.М. Глушкова НАН України, кандидат фізико-математичних наук, доцент ГОРОХОВСЬКИЙ Семен Самуїлович, Національний університет «Києво-Могилянська академія», директор Інформаційно-комп’ютерного центру.

Захист відбудеться «____» __________ 2009 р. о(об) _____ годині на засіданні спеціалізованої вченої ради Д 26.194.02 Д 01.39.02 при Інституті кібернетики імені В.М. Глушкова НАН України за адресою:

03680, МСП, Київ 187, проспект Академіка Глушкова, 40.

З дисертацією можна ознайомитися в науково-технічному архіві інституту.

Автореферат розісланий “_____“ лютого 2009 р.

Учений секретар спеціалізованої вченої ради В.Ф. СИНЯВСЬКИЙ

ЗАГАЛЬНА ХАРАКТЕРИСТИКА РОБОТИ

Актуальність проблеми. Із високопродуктивних обчислювачів назвемо мультипроцесорні комплекси із загальною пам'яттю, процесори з масовим паралелізмом, кластери. Нині найбільшу швидкість (у рейтингу Top-500) отримано на комп’ютерах кластерної архітектури. Кластер складається із множини незалежних комп'ютерів-вузлів (одноядерних і багатоядерних), з'єднаних мережею під управлінням механізму обміну повідомленнями.

Зазвичай ресурси кластера, виділені паралельній програмі під час запуску, зберігаються в її розпорядженні протягом усього часу виконання. Крім того, концепція обчислювального кластера припускає пакетний режим виконання програм без втручання користувачів й очікування зовнішніх подій. Така архітектура робить кластер привабливим об'єктом для моделювання й застосування математичних методів. Практичного значення набули такі питання:

– оптимізація розподілу ресурсів кластерного комплексу,

– оцінювання очікуваного ефекту від розпаралелювання послідовної програми,

– оптимізація апаратно-програмного рішення під певний клас задач.

Значна частина практичних задач, розв’язуваних на кластерах, пов'язана з однорідною обробкою великих масивів даних. Зазвичай такі задачі легко розпаралелюються. У дисертації розглянуто застосування, які мають природний паралелізм за даними і допускають синхронність корисних операцій на всіх вузлах. Такі застосування зустрічаються в геології (обробка результатів сейсмічних досліджень земної кори), в обробці природно-мовних текстів, зображень, у задачах статистичної обробки великих баз даних.

Для оцінювання ефективності паралельної програми використовують підходи на основі законів Амдала, Густафсона, оцінок ефективності макроконвеєрної обробки Глушкова, метрик Карпа Флатта (МКФ) тощо. Але ці оцінки не враховують важливі динамічні властивості паралельних алгоритмів, через що інколи маємо неточні прогнози. У дисертації досліджено вплив стратегій організації даних і патернів (шаблонів) паралельних алгоритмів на час виконання паралельної програми, наведено методику оцінювання очікуваного ефекту від розпаралелювання послідовного алгоритму.

Зв'язок роботи з науковими програмами, планами, темами. Дисертаційну роботу виконано за планом наукових досліджень у рамках бюджетних науково-дослідних проектів Інституту кібернетики імені В.М. Глушкова НАН України «Паралельна система баз даних “МегаПошук” у складі системного програмного забезпечення родини кластерів» (номер держреєстрації 0105U001465, 2005 – 2006 рр.), «Створення вітчизняних суперЕОМ» (номер держреєстрації 0106U007829, 2006 р.); «Розробити методи інтелектуалізації інформаційних технологій для оптимізації паралельних обчислень і верифікації дедуктивними методами паралельних програм, що масштабуються» (номер держреєстрації 0105U001465, 2007 – 2011 рр.).

Мета й задачі дисертаційної роботи. Мета дисертаційної роботи – дослідження ефективності однорідної обробки даних великого об'єму на паралельних комп'ютерах кластерної архітектури для отримання рекомендацій із проектування кластерів, а також для оптимізації системного програмного забезпечення під конкретні класи задач.

Для досягнення поставленої мети виконані такі роботи:

– розроблено методику оцінювання ефективності виконання паралельної програми на кластері та отримано оцінки ефективності кластерних комплексів з урахуванням стратегій організації даних і патернів паралельних алгоритмів;

– проведено числові експерименти з використанням імітаційного моделювання мовою GPSS;

– результати досліджень випробувано на застосуваннях, розроблених у рамках наукової тематики Інституту кібернетики ім. В.М. Глушкова НАН України;

– розроблено бібліотеку класів для вимірів параметрів ресурсів у послідовній і паралельній програмах;

– розроблено систему керування кластером, що дало змогу, використовуючи оцінки ефективності паралельних програм, урахувати їх для виконання обчислень.

Об’єкт дослідження – паралельні обчислення на кластерних комплексах.

Предмет дослідження – час, прискорення та ефективність однорідної обробки даних великого об’єму.

Методи дослідження. Для розв’язання поставлених задач у роботі використано методи математичного аналізу, теорії стаціонарних потоків однорідних подій, теорії масового обслуговування, метод моделювання МонтеКарло.

Наукова новизна отриманих результатів. Отримані результати є новими. Зокрема:

– запропоновано нові математичні моделі обчислювального процесу на основі систем масового обслуговування;

– розроблено методику оцінювання та отримано оцінки ефективності систем паралельних обчислень для різних шаблонів паралельного програмування з урахуванням стратегій організації даних, отримано оцінки для патернів «майстер – робітник», «одна програма – багато даних», «розподіляй і володарюй» і стратегій організації даних: «централізація», «дублювання» та «розчленування»;

– експериментально досліджено вплив шаблонів паралельних алгоритмів на ефективність виконання паралельних програм обробки однорідних даних для кластерних комплексів різної архітектури;

– запропоновано гібридний генетичний алгоритм кластеризації даних для задач Data Mining, розпізнавання образів і стискання даних, проведено порівняння швидкості збіжності класичного й гібридного генетичного алгоритму за результатами експериментів.

Практичне значення наукових результатів. Запропоновані в дисертації математичні моделі та методика оцінювання ефективності однорідної обробки даних на кластерних комплексах можуть бути використані для таких задач:

– вибір архітектури кластерного комплексу під конкретний клас задач;

– оцінювання потенційних можливостей розпаралелення послідовного алгоритму;

– вибір найприйнятнішої схеми паралелізму для конкретного кластерного комплексу.

Результати теоретичних досліджень враховано у побудові та вдосконаленні кластерних комплексів Українського державного геологорозвідувального інституту, кластерів Інпарком; а також при розробці системи керування кластером ACMS для кластерних комплексів Інпарком -32, -64, -128.

Особистий внесок здобувача. Всі наукові результати, подані в дисертації, одержані автором особисто або у співавторстві. У роботі [2] здобувачу належить розробка алгоритму та паралельної програми автоматичної морфологічної розмітки українських текстів; [3] –розробка методики оцінювання паралельних обчислювальних систем та оцінок для різних стратегій організації даних;

[4] – розробка системи керування завданнями; [7] – опис системного програмного забезпечення та оптимізація компілювання; [8] – розробка функцій вимірювання завантаженості ресурсів та відлагодження MPI-програм.


Купить саженцы и черенки винограда

Более 140 сортов столового винограда.


Апробація роботи. Результати роботи доповідалися на III Міжнародній науковій конференції «Теоретичні та прикладні аспекти побудови програмних систем» (TAAPSD-2006), IV Міжнародній науковій конференції «Теоретичні та прикладні аспекти побудови програмних систем» (TAAPSD-2008) у Києві;

Міжнародній науково-практичній конференції «Штучний Інтелект» (Ш І -2007);

та на наукових семінарах Інституту кібернетики ім. В.М. Глушкова НАН Украни та Національного університету «Києво-Могилянска академія».

Публікації. За результатами дослідження опубліковано вісім наукових робіт, із них одне свідотство авторського права на твір, одна монографія, чотири публікації в українських фахових наукових журналах, дві – як матеріали конференцій.

Структура та обсяг роботи. Дисертаційна робота складається з вступу, чотирьох основних розділів, висновків, списку використаних джерел зі 151 найменувань та містить 77 рисунків. Загальний обсяг роботи складає 115 сторінок.

ЗМІСТ РОБОТИ У вступі обґрунтовано актуальність теми досліджень, сформульовано мету роботи, наукову новизну отриманих результатів та їх практичну цінність.

Наведено стислий зміст розділів дисертації.

Перший розділ присвячено постановці задачі дисертаційного дослідження. Оглянуто основні напрямки паралельних обчислень. Зокрема розглянуто підходи до вивчення ефективності як паралельних програм, так і паралельних обчислювальних систем. Основну увагу приділено кластерним обчислювальних систем. Основну увагу приділено кластерним комплексам, найбільш популярним сьогодні завдяки високій масштабованості, мобільності й інтероперабельності програмного забезпечення однорідної обробки даних.

Вузьким місцем кластерів ранніх поколінь є комунікаційне середовище (мережа). Але, за останні роки розроблено нові надшвидкі мережні технології:

Myrinet, InfiniBand, SCI тощо. Крім того, поява багатоядерних процесорів обумовила можливість дуже щільно компонувати обчислювальні пристрої. У результаті для багатьох задач однорідної обробки даних вузьким місцем став доступ до даних, які лежать на дискових носіях, швидкість доступу до яких на кілька порядків нижче за швидкість доступу до пам'яті й швидкості передачі даних по мережі.

Для побудови моделі обчислювального процесу на кластерах розглянуто різні стратегії організації даних: централізація (за наявності центрального файл-сервера), дублювання вихідних даних для обчислень на кожному вузлі та розчленування даних із розподілом їх між вузлами. Проте оцінки, побудовані тільки з урахуванням стратегії організації даних, недостатньо точні, оскільки не враховують динамічні властивості паралельного алгоритму, які впливають на інтенсивність використання дискової пам'яті. Тому для різних паралельних програм найбільш ефективною може бути різна стратегія організації даних.

Розглянуто механізм паралелізму за принципом макроконвеєрної обробки В.М. Глушкова, за якої кожний процес виконує свою задачу, а дані передаються між ними по спеціальних «каналах», які описує граф макроконвеєра. Згідно цього принципу паралельна програма представлена сукупністю процесів, кожний з яких складено з кількох блоків, що задають структуру процесу, топологію, динаміку й взаємодію процесів, розбиття даних і розподіл їх по процесах. Але проведене в університеті Базеля дослідження (BACS) свідчить, що на практиці існує всього кілька універсальних шаблонів паралельних алгоритмів, які досить точно визначають характер паралельних програм, використовуваних у системах із високою масштабованістю. Паралельні програми рідко використовують складну схему паралелізму, оскільки важко налагоджувати й масштабувати програму, яка працює на сотні обчислювальних пристроїв і має неоднорідності виконання процесів. Тому для оцінки ефективності доцільні моделі паралельної програми в рамках зазначених шаблонів.

Запропонована Метсоном мова патернів паралельного програмування допускає проектувати паралельну програму на основі невеликої кількості готових шаблонів (далі патернів). Патерни паралельного програмування враховують різні стадії проектування програм, включаючи: декомпозицію задачі (пошук паралельності), шаблони алгоритмів, підтримувані структури даних і реалізацію. Виходячи з припущення про великий об'єм оброблюваних даних, у дисертації розглянуто лише ті патерни, в основі яких лежить декомпозиція за даними.

Зокрема в роботі Метсона описано такі патерни:

– «майстер – робітник» (МР), коли один процес розподіляє завдання й призначає їх іншим вузлам, зазвичай збираючи результати від підлеглих процесів і з'єднуючи їх;

– «одна програма – багато даних» (ОПБД), розподіл даних по процесах визначає номер процесу, а розбиття залежить від кількості процесів;

– «розділяй і володарюй» (РВ), задачі рекурсивно ділять на підзадачі, які можна виконувати паралельно;

– теоретичний паралелізм, який допускає будь-який механізм розпаралелювання.

Побудова моделі обчислювального процесу стосується низки об'єктів дослідження, взаємозв'язки між якими показано на рис. 1.

Параллельна про- Модель паралельного Паралельний грама обчислення комп’ютер

–  –  –

Рис. 1. Взаємозв’язок об’єктів дисертаційного дослідження Отже, центральна задача проведеного дослідження – розробка та дослідження моделі паралельного обчислення для задач однорідної обробки даних для вдосконалення методики оцінювання програмно-апаратного рішення для конкретних класів задач.

Другий розділ дисертації присвячено розробці й дослідженню оцінок ефективності паралельних програм однорідної обробки даних великого об’єму на кластерних комплексах. Оцінки враховують стратегію організації даних і властивості паралельного алгоритму.

Нехай кластер складено з N обчислювальних пристроїв (ОП). Залежно від архітектури кластера такими пристроями можуть бути вузли, процесори, ядра процесора. Крім того, на кластері є S серверів, які постачають дані: дискове сховище, сервер баз даних, паралельна файлова система тощо (далі будемо на

–  –  –



Pages:   || 2 | 3 |
Похожие работы:

«Частина ІІІ. Інноваційні підходи до реалізації змістової та організаційно-управлінської функцій в сучасних підручниках. УДК 371.3:53 Л. С. Недбаєвська Миколаївський державний університет імені В.О. Сухомлинського МЕТОДИКА ВИКОРИСТАННЯ СТРУКТУРНО-ЛОГІЧНИХ СХЕМ ДЛЯ УЗАГАЛЬНЕННЯ І СИСТЕМАТИЗАЦІЇ ЗНАНЬ У статті розглядається методика використання абстрактної наочності у вигляді графічних схем навчального матеріалу при проведенні узагальнення і систематизації знань. Ця методика розкрита на прикладі...»

«АВТОМОБІЛІ Міністерство освіти і науки, молоді та спорту України Вінницький національний технічний університет АВТОМОБІЛІ. Лабораторний практикум Вінниця ВНТУ УДК 621.11 ББК О6 Автори: Біліченко В.В., Добровольський О.Л., Ребедайло В.М. Рекомендовано до видання Вченою радою Вінницького національного технічного університету Міністерства освіти і науки, молоді та спорту України Рецензенти: В. П. Сахно, доктор технічних наук, професор НТУ П. П. Москвін, доктор фізико-математичних наук, професор...»

«Національна академія наук України Інститут теоретичної фізики ім. М. М. Боголюбова Кравчук Ксенія Григоріївна УДК 53.047, 577.38, 519.216 Статистичні властивості активності імпульсних нейронів за наявності зворотніх зв’язків 01.04.02 – теоретична фізика Автореферат дисертації на здобуття наукового ступеня кандидата фізико-математичних наук Київ – 2014 Дисертацією є рукопис Робота виконана в Інституті теоретичної фізики ім. М.М. Боголюбова НАН України.Науковий керівник: доктор...»

«МІНІСТЕРСТВО ОСВІТИ І НАУКИ УКРАЇНИ КІРОВОГРАДСЬКИЙ ДЕРЖАВНИЙ ПЕДАГОГІЧНИЙ УНІВЕРСИТЕТ ІМЕНІ ВОЛОДИМИРА ВИННИЧЕНКА О.В. Авраменко, Л.І. Лутченко, В.В. Ретунська, Р.Я. Ріжняк, С.О. Шлянчак Інноваційні та сучасні педагогічні технології навчання математики Кіровоград – 2009 УДК 51(07) ББК ISBN О.В. Авраменко, Л.І. Лутченко, В.В. Ретунська, Р.Я. Ріжняк, С.О. Шлянчак Інноваційні та сучасні педагогічні технології навчання математики: Посібник для спецкурсу. – Кіровоград: КДПУ, 2009. – 200 с. Робота...»

«Друковані праці Львівської політехніки за 2010 рік. Додаток Тимченко Олександр Володимирович Інтернет-технології передавання мовних сигналів : навч. посіб. [для студ. магістер. підготов.] : до 80-річчя Укр. акад. друкарства / Б. В. Дурняк, О. В. Тимченко, Р. С. Колодій, В. І. Сабат. – Л. : [Вид-во УАД], 2010. – 255 с. – Бібліогр.: с. 249–254 (77 назв). Тиханський Михайло Васильович The effect of the duration of operational current impulses on the speed and stability of Josephson cryotrons / M....»

«МІНІСТЕРСТВО ОСВІТИ І НАУКИ УКРАЇНИ CУМСЬКИЙ ДЕРЖАВНИЙ УНІВЕРСИТЕТ На правах рукопису Дехтярук Леонід Васильович УДК 539.292 ЕЛЕКТРОННІ ТРАНСПОРТНІ ЕФЕКТИ У БАГАТОШАРОВИХ ПЛІВКОВИХ СИСТЕМАХ 01.04.07 – фізика твердого тіла Дисертація на здобуття наукового ступеня доктора фізико-математичних наук Науковий консультант: Проценко Іван Юхимович Заслужений діяч науки і техніки України, доктор фізико математичних наук, професор Суми – 2008 ЗМІСТ СТР СПИСОК ВИКОРИСТАНИХ СКОРОЧЕНЬ ВСТУП РОЗДІЛ 1...»

«МІНІСТЕРСТВО ОСВІТИ І НАУКИ, МОЛОДІ ТА СПОРТУ УКРАЇНИ НАЦІОНАЛЬНИЙ УНІВЕРСИТЕТ ХАРЧОВИХ ТЕХНОЛОГІЙ ЗАТВЕРДЖУЮ Ректор_С.В. Іванов _2012р. ОСНОВИ ФІЗИКО-ХІМІЧНОГО КОНТРОЛЮ СИРОВИНИ І ПРОДУКТІВ ГАЛУЗІ МЕТОДИЧНІ РЕКОМЕНДАЦІЇ до вивчення дисципліни і виконання контрольних робіт напряму 6.051701 „Харчові технології та інженерія” денної, заочної та заочної скороченої форм навчання Реєстраційний номер СХВАЛЕНО Електронних методичних на засіданні кафедри технології рекомендацій у НМВ хлібопекарських та...»

«МІНІСТЕРСТВО ОСВІТИ І НАУКИ, МОЛОДІ ТА СПОРТУ УКРАЇНИ НАЦІОНАЛЬНИЙ УНІВЕРСИТЕТ ХАРЧОВИХ ТЕХНОЛОГІЙ ФІЗИЧНА ТА КОЛОЇДНА ХІМІЯ МЕТОДИЧНІ РЕКОМЕНДАЦІЇ до виконання лабораторних робіт для студентів напряму 6.051701 Харчові технології та інженерія та 6.051401 Біотехнологія денної та заочної форм навчання Всі цитати, цифровий та фактичний матеріал, бібліографічні відомості перевірені. Написання одиниць відповідає стандартам Підписи авторів_ 2012 р. СХВАЛЕНО на засіданні кафедри фізичної і колоїдної...»

«МЕТОДИЧНІ ВКАЗІВКИ із застосування засобу Біо-ДС з метою передстерилізаційного очищення, дезінфекції та стерилізації 1. ЗАГАЛЬНІ ПОЛОЖЕННЯ Повна назва засобу – дезінфекційний засіб Біо-ДС. 1.1. Фірма виробник ТОВ АЛЬЯНС ГРУПП (Україна). 1.2. Склад засобу, вміст діючих та допоміжних речовин, мас. %: пероксид водню 60,0 % 1.3.– 21,8; полігексаметиленгуанідин гідрохлорид – 2,0 (діючі речовини); допоміжні речовини; вода до 100,0. Форма випуску і фізико-хімічні властивості засобу. Засіб Біо-ДС...»

«Методична комісія природничо-математичних дисциплін Методична розробка уроку Предмет: Фізика Викладач: Присяжнюк А.І. спеціаліст Тема: Експериментальне вивчення будови атома.Мета уроку: з'ясувати будову атома; розглянути шляхи та методи експериментального вивчення будови атома; розвивати логічне мислення; виховувати навички роботи в команді, вміння відстоювати свою думку. Тип уроку: урок засвоєння нових знань. Методи та прийоми уроку: словесний, наочний. Обладнання: демонстрування моделей...»




Продажа зелёных и сухих саженцев столовых сортов Винограда (по Украине)
Тел.: (050)697-98-00, (067)176-69-25, (063)846-28-10
Розовые сорта
Белые сорта
Чёрные сорта
Вегетирующие зелёные саженцы


 
2013 www.uk.x-pdf.ru - «Безкоштовна електронна бібліотека»