Грид-вычисления

Грид-вычисления - это форма распределенных вычислений, в которой виртуальный суперкомпьютер создается из кластера слабосвязанных компьютеров. Он предназначен для решения ресурсоемких задач. Сегодня грид-вычисления используются во многих областях, в некоторых случаях также в коммерческих целях, например, в фармацевтических исследованиях и экономике , в электронной торговле и в веб-сервисах . Он также используется для управления рисками при построении динамики и финансового менеджмента.

Грид-вычисления отличаются от типичных компьютерных кластеров значительно более слабой связью, неоднородностью и географическим разбросом компьютеров. Кроме того, сетка в основном предназначена для специального приложения и часто использует стандартные программные библиотеки и промежуточное ПО . В частности, в области баз данных grid-вычисления могут сочетаться с технологиями в памяти .

Основы грид-вычислений исходят от Яна Фостера , Карла Кессельмана и Стивена Тьюке (2001).

Основы

определение

Первая попытка дать определение исходит от Иэна Фостера и Карла Кессельмана в книге «Грид: проект новой вычислительной инфраструктуры»:

«Вычислительная сетка - это аппаратная и программная инфраструктура, которая обеспечивает надежный, согласованный, всеобъемлющий и недорогой доступ к высокопроизводительным вычислительным возможностям».

«Вычислительная сетка - это аппаратная и программная инфраструктура, обеспечивающая надежный, согласованный и недорогой доступ к мощностям высокопроизводительных компьютеров, доступный из любого места».

Поскольку это определение было написано до фактического создания сеток, оно было явно уточнено Яном Фостером во втором издании книги:

«Совместное использование, которым мы занимаемся, - это в первую очередь не обмен файлами, а, скорее, прямой доступ к компьютерам, программному обеспечению, данным и другим ресурсам, как того требуют различные стратегии совместного решения проблем и посредничества ресурсов, появляющиеся в промышленности, науке, и инженерия. Такое совместное использование обязательно строго контролируется, при этом поставщики ресурсов и потребители четко и тщательно определяют, что передается, кому разрешено делиться и условия, при которых происходит совместное использование. Набор лиц и / или организаций, определенных такими правилами совместного использования, образуют то, что мы называем виртуальной организацией ».

«Совместное использование ресурсов, с которым мы имеем дело, в первую очередь не связано с обменом файлами, а скорее с предоставлением прямого доступа к компьютерам, программному обеспечению, данным и другим ресурсам, которые используются в ряде стратегий сотрудничества, решения проблем и распределения ресурсов. которые в настоящее время появляются в промышленности, науке и технике. Это совместное использование ресурсов, по необходимости, контролируется в максимально возможной степени, при этом поставщики и потребители ресурсов четко определяют, какие ресурсы используются совместно, кому разрешено делиться ими и при каких условиях происходит совместное использование. Многие люди и / или организации, ставшие результатом таких принципов совместного использования ресурсов, образуют то, что мы называем Виртуальной организацией ».

Основное отличие от исходного определения состоит в том, что совместное использование ресурсов определяется виртуальными организациями. Они также играют центральную роль в сегодняшних реализациях сети. Кроме того, не только высокопроизводительные компьютеры теперь называются ресурсами, но и общие ресурсы, такие как физические эксперименты.

В литературе есть и другие попытки дать единообразное определение (см.).

Такие системы, как кластерные вычисления , одноранговые вычисления или мета-вычисления, неправильно называются грид-системами. Хотя они имеют аспекты вычислений сетки, отсутствуют важные моменты, чтобы описать их как сетку. Ян Фостер решил эту проблему с помощью контрольного списка из трех пунктов. Свойства сеточной системы кратко определяются следующим образом:

Сетка ...
... координирует ресурсы , которые не подчиняются центральной власти ...
Сетка координирует и объединяет ресурсы и пользователей из разных административных областей внутри одной компании или в разных странах. В этом контексте u. а. учтены безопасность, биллинг и членство (см.). Ресурсы могут включать кластеры, запоминающие устройства, базы данных, приложения или измерительные устройства.
... и использует открытые стандартизованные протоколы и интерфейсы, ...
Сетка использует открытые и общие протоколы и интерфейсы, которые гарантируют основные функции для аутентификации, авторизации, определения ресурсов и доступа к ресурсам.
... для обеспечения нетривиального качества обслуживания .
Грид использует существующие ресурсы скоординированным образом для обеспечения различного качества обслуживания в зависимости, например, от времени отклика, пропускной способности, доступности или безопасности. Или, чтобы оправдать сложные ожидания пользователей, несколько типов ресурсов перераспределяются, так что выгода от объединенной системы значительно превышает сумму ее частей.

Проекты волонтерских вычислений (например, SETI @ home ) обычно не входят в число систем грид-вычислений, поскольку вычислительная мощность там, в отличие от грид-вычислений, предоставляется не организациями, а анонимными и, возможно, не проверенные клиенты.

происхождение

Концепции распределения вычислительно интенсивных задач существовали уже в 1960-х годах. Однако большая часть сегодняшних исследований грид-систем берет свое начало в ранних экспериментах с высокоскоростными сетями. В этом контексте следует особо отметить проекты FAFNER и I-WAY.

Термин « сеть » возник при сравнении этой технологии с электросетью (англ. Power Grid ). Соответственно, сетка должна так же легко предоставлять пользователю такие ресурсы, как Б. Предоставить вычислительную мощность или место для хранения через Интернет, как можно получить электричество из розетки. Пользователь отправляет свой заказ через стандартизированные интерфейсы в сетку, после чего распределение ресурсов происходит автоматически.

I-WAY

Проект I-WAY (Information Wide Area Year) был реализован в 1995 году в гигабитной тестовой среде в Университете штата Иллинойс, в которой 17 объектов в США и Канаде были подключены к высокоскоростной сети. В его задачу входило соединение разных суперкомпьютеров с помощью существующих сетей. I-WAY в значительной степени поддержал развитие проекта «Глобус».

Постановка целей

Мотивирующей целью, которая привела к развитию грид-технологии, было совместное, скоординированное использование ресурсов и совместное решение проблем в динамичных, межинституциональных, виртуальных организациях (см.). Это означает, что после определения учетных данных и прав должен быть возможен прямой доступ, например, к вычислительным службам, приложениям, данным или инструментам. В этом контексте виртуальная организация (VO) - это динамическое объединение людей и / или организаций, которые преследуют общие цели при использовании сетки. Хотя большая часть работы сосредоточена на распределенных вычислениях, основной целью, аналогично развитию Интернета, является разработка единой глобальной сети.

классификация

Грубо говоря, сеточные вычисления можно разделить на классы, такие как

  • Вычислительные сети (Computing Grids) : доступ к распределенным вычислительным ресурсам
  • Сетка данных (DataGrid) : доступ к распределенным базам данных
  • Ресурсные сетки
  • Сервисные сети
  • Сети знаний

Класс вычислительной сети сравним с электросетью , то есть электросетью : для этой цели потребитель вычислительной мощности устанавливает соединение с вычислительной сетью, аналогично потребителю электроэнергии к электросети. Все, что происходит за сокетом, там скрыто от потребителя; он просто пользуется предлагаемой услугой.

В классе сетки данных не только (высокопроизводительные) компьютерные системы участников взаимодействуют друг с другом, чтобы обеспечить вычислительную мощность, но и базы данных также связаны. Сетевой портал обычно предоставляет доступ к таким сеткам .

Кроме того, предоставление сетевых ресурсов является «сетевым», т.е. ЧАС. автоматический выбор из пула ресурсов на основе определенных параметров QoS . В идеале выбор ресурсов должен определяться приложением, то есть зависеть от приложения в вычислительной сетке или сетке данных.

Архитектура и реализации

генеральный

Есть несколько концепций архитектуры сетки . Для каждой известной концепции характерно то, что в дополнение к запрашивающему органу и предъявляемым к нему фактическим требованиям к производительности должен существовать координирующий орган для объединения вычислительных мощностей и слияния частичных услуг. Кроме того, требуется строгая иерархия, которая позволяет или исключает агломерацию вычислительных мощностей в соответствии с объективными критериями. Каждый компьютер в « сетке » изначально представляет собой единицу, которая иерархически равна другим компьютерам (одноранговый-2-одноранговый).

Типичные задачи, в которых грид-вычисления выступают в качестве стратегии, - это те, которые подавляют производительность отдельных компьютеров. Это включает, например, интеграцию , оценку и представление очень больших объемов данных научных и медицинских исследований. В повседневной практике эти методы также используются в метеорологии и вычислительно-ресурсном моделировании в промышленности. Физика элементарных частиц, в частности с крупномасштабными экспериментами (например, Большой адронный коллайдер ) в качестве научного приложения, является пионером в дальнейшем развитии и создании сеточных технологий.

Типичные проблемы, с которыми связаны грид-вычисления, - это возрастающие усилия в рамках имеющейся мощности для координации. Из-за усилий по координации вычислительная мощность никогда не увеличивается линейно с количеством задействованных компьютеров. Этот аспект отходит на второй план в сложных численных задачах.

OGSA

Одной из возможных программных архитектур для гридов является Open Grid Services Architecture (OGSA), совместно разработанная Яном Фостером . Это уже описывалось в его предшественнице, Open Grid Services Infrastructure (OGSI). Их основная идея - представление задействованных компонентов (компьютеров, хранилища, микроскопов и т. Д.) В виде сетевых сервисов в открытой компонентной архитектуре.

С конвергенцией веб-сервисов W3C и стандартов OGSA Open Grid Forum (OGF) грид-сервисы на техническом уровне, реализованные, например, в Globus Toolkit 4, стали веб-сервисами, техническими функциями которых являются Включить промежуточное ПО для сетки. В этом контексте OGSA предлагает использовать WSRF (платформу ресурсов веб-сервисов ) в качестве базового строительного блока для сервисных сетей. Таким образом, веб-сервисы, использование которых обеспечивает единообразные процедуры доступа к отдельным сервисам сети, также получают статус: им предоставляются ресурсы с отслеживанием состояния (такие как файлы, объекты Java или POJO , записи данных в базе данных ) связанный. Это то, что позволяет выполнять функции, охватывающие несколько транзакций. Комбинация веб-службы с таким статусным ресурсом образует так называемый WS-ресурс .

Виртуальные организации

Центральная и независимая от оборудования концепция, лежащая в основе философии grid, - это концепция виртуальных организаций (VO, см. Там). Ресурсы (или услуги ) динамически назначаются виртуальным организациям.

Реализации / промежуточное ПО grid

оборудование

С практической точки зрения, все, что требуется, это компьютер с сетевым подключением. На этих компьютерах сетки программное обеспечение берет на себя задачу решения подзадачи, которая была сгенерирована, например, с помощью программного обеспечения, которое может разбить большую задачу на ряд подзадач для всех узлов сетки и снова суммировать частичные результаты.

Научные проекты

EGEE / EGI

Проект EGEE (« Обеспечение сетей для электронной науки», ранее называвшийся «Обеспечение сетей для электронной науки в Европе»), завершившийся в марте 2006 г., является крупнейшим сетевым проектом в Европейском союзе и в настоящее время используется во всем мире. Он был продолжен под названием EGEE2 с апреля 2006 года. Проект был профинансирован ЕС на 32 миллиона евро на первом этапе и представляет собой крупнейшую в мире сетевую инфраструктуру.В 2010 году EGEE был заменен на Европейскую сетевую инфраструктуру (EGI).

Среди участников - ЦЕРН (Швейцария), Технологический институт Карлсруэ (KIT, Германия), Лаборатория Резерфорда Эпплтона (RAL, Великобритания), Национальный институт ядерной физики (INFN, Италия) и Academia Sinica (ASCC, Тайвань).

Северный Угрид

Открытая сеть Nordugrid, основанная на промежуточном программном обеспечении ARC, возникла в результате слияния пяти скандинавских институтов.

XtreemOS

Создание и продвижение операционной системы на базе Linux для поддержки виртуальных организаций для сетей нового поколения - это проект, финансируемый Европейским союзом в рамках 6-й рамочной программы . Помимо 17 европейских партнеров по проекту, в XtreemOS также вовлечены двое из Китая . Он стартовал в июле 2006 года и продлится четыре года.

Neugrid

Neugrid - это проект, финансируемый Европейским Союзом в рамках 7-й рамочной программы. Его инфраструктура позволяет науке исследовать нейродегенеративные заболевания.

Инициативы национальной сетевой инфраструктуры

Как и в других странах (например, США: Cyberinfrastructure, UK: UK e-Science / OMII, NL: BIG-Grid), в Германии и Австрии также есть инициативы по созданию национальной сетевой инфраструктуры.

Смотри тоже

литература

веб ссылки

Индивидуальные доказательства

  1. ^ I. Фостер, К. Кессельман: Грид: план для новой вычислительной инфраструктуры. Морган Кауфманн, Tech. Респ., 1998.
  2. ^ I. Фостер, К. Кессельман: Грид: план для новой вычислительной инфраструктуры. 2-е издание, Morgan Kaufmann, Tech. Rep., 2003. ISBN 978-1-55860-933-4
  3. ^ A b I. Фостер, К. Кессельман, С. Туеке: Анатомия грида: обеспечение масштабируемости виртуальных организаций. В: Международный журнал приложений высокопроизводительных вычислений. Vol. 15, No. 3, 2001, pp. 200-222.
  4. ^ I. Фостер, К. Кессельман, Дж. М. Ник, С. Туеке: физиология сетки. Корпорация IBM, Покипи, Нью-Йорк 12601, Тех. Респ., Июнь 2002 г.
  5. ^ И. Фостер: Что такое сетка? Контрольный список из трех пунктов. Июль 2002 г.
  6. ^ И. Фостер, К. Кессельман, Г. Цудик, С. Туеке: Архитектура безопасности для вычислительных сетей. В: Конференция ACM по компьютерной и коммуникационной безопасности. 1998, с. 83-92.
  7. ↑ М. Хамфри, М. Р. Томпсон: Последствия для безопасности типичных сценариев использования грид-вычислений . В: Материалы 10-го Международного симпозиума IEEE по высокопроизводительным распределенным вычислениям . 2001, стр. 95-103 , DOI : 10,1109 / HPDC.2001.945180 .
  8. ↑ Дэвид П. Андерсон : Почему добровольные вычисления не являются грид-вычислениями. ( DOC ; 84 kB) Boinc , по состоянию на 22 декабря 2015 г. (английский).
  9. ↑ Т. ДеФанти, И. Фостер, М. Папка, Р. Стивенс и Т. Кухфус: Обзор i-way: визуальные суперкомпьютеры Widearea. В: Международный журнал суперкомпьютерных приложений. т. 10, 1996, стр. 123-130.
  10. ^ К. Катлетт: В поисках гигабитных приложений. В: Журнал коммуникаций, IEEE. Vol. 30, No. 4, 1992, pp. 42-51.