Русская Википедия:Ganglia

График системы Ganglia, отображающий количество правок статей в Википедии. Отчётливо виден интервал, когда сервер Викимедиа перестал отвечать.

Ganglia (Шаблон:Transcription) — масштабируемая распределённая система мониторинга кластеров^[1] параллельных и распределённых вычислений и облачных систем с иерархической структурой. Позволяет отслеживать статистику и историю (загруженность процессоров, сети) вычислений в реальном времени для каждого из наблюдаемых узлов^[2]^[3].

Проект создан в 1998 году в Калифорнийском университете в Беркли как продолжение проекта Millennium, который был инициирован Национальным научным фондом США^[2]^[4].

Назначение и применение

Система построена по иерархическому принципу для интеграции кластеров. Для мониторинга состояния кластеров и их объединения используется древовидная система основанная на P2P-соединениях и широковещательных протоколах. Использует такие технологии, как XML для представления данных, XDR для сжатия данных, RRDtool для хранения и визуализации данных. Для отображения страниц статистики используется шаблонизатор TemplatePower^[5].

Система портирована на широкий спектр операционных систем и процессорных архитектур, известно об её использовании более чем 500 кластерах по всему миру. Существуют сборки для следующих операционных систем: Linux (i386, x86-64, SPARC, DEC Alpha, powerpc, m68k, MIPS, ARM, PA-RISC, S390), FreeBSD, NetBSD, OpenBSD, DragonflyBSD, Mac OS X, Solaris (SPARC), AIX, IRIX, Tru64, HP-UX и Windows NT/XP/2000/2003/2008^[6]. Используется для связи кластеров в университетских кампусах по всему миру и может масштабироваться для обработки кластеров имеющих до 2000 узлов в своем составе.

Необходимые пакеты для установки Ganglia присутствуют в большинстве репозиториев современных дистрибутивов Linux.

Демоны

Файл:WMF apaches load October 2010.png

Загрузка серверов Викимедиа, октябрь 2010 года

Файл:WMF servers down in Europe 2010-08-02.png

Отказ европейских серверов Викимедиа, второе сентября 2010 года

Демон gmetad («Ganglia метадемон») используется для сбора информации и её отображения на стороне пользователя^[7]. По умолчанию для получения данных от других клиентов используется TCP-порт 8651.

Демон gmond («Ganglia monitoring daemon») запускается на всех узлах для которых необходимо собирать статистику.

Модули

Модуль gstat (Шаблон:Lang-en) — утилита командной строки, позволяющая импортировать информацию из Ganglia в другие приложения^[8].

Для ввода данных из сторонних источников используется модуль gmetric^[9]

gexec (gexecd) — масштабируемая система удалённого выполнения задач (программ) в кластерах, которая может работать совместно с системой Ganglia. Для удалённого выполнения параллельных (распределённых) заданий используется RSA-аутентификация (демон authd)^[10]. Система прозрачно перенаправляет программные потоки (stdin, stdout, stderr) и события между распределёнными процессами, что позволяет создавать распределённую среду переменных окружения и масштабировать систему до более чем 1000 узлов в составе без потери надёжности. Механизм работы основывается на создании древовидного массива всех TCP-сокетов между узлами и распространении управляющей информации по всему дереву. С помощью иерархической системы управления gexec распределяет как и вычислительные задания, так и ресурсы. Это позволяет устранить проблемы, связанные с ограничениями каждого из узлов, например, ограничение на количество открытых дескрипторов файлов^[11]. В gexec интегрирована возможность распределения нагрузки в кластере. Информация о загруженности узлов запрашивается у gmond.

Для хранения и визуализации данных в системе используется инструмент RRDtool.

Примечания

Шаблон:Примечания

Литература

Ссылки

Ganglia на sourceforge.net
Уязвимости в Ganglia securitylab.ru Шаблон:Недоступная ссылка, xakep.ru
Ganglia на IBM developerworks
Вычислительный кластер под FreeBSD

Шаблон:ПО для распределенных вычислений

[1] Шаблон:Книга

[ofsite-2] 2,0 ^2,1 Шаблон:Cite web

[3] Ganglia:: Wikimedia Wikimedia Cloud Report Шаблон:Webarchive Шаблон:Ref-en

[4] Шаблон:Wayback start [UC Berkeley Clustered Computing]

[5] Шаблон:Cite web

[GInstall-6] Ganglia 3.1.x Installation and Configuration — ganglia Шаблон:Webarchive

[7] Шаблон:Cite web

[readme-8] _readme — ganglia Шаблон:Webarchive

[ibm-9] Шаблон:Cite web

[10] Шаблон:Cite web

[gexec-11] Шаблон:Cite web

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

Партнерские ресурсы
Криптовалюты	Обмен криптовалют - www.bestchange.ru Криптовалютная биржа CoinEx Криптовалютная биржа Binance HIVE OS - операционная система для майнинга e4pool - Мультивалютный пул для майнинга.
Магазины	AliExpress — глобальная виртуальная (в Интернете) торговая площадка, предоставляющая возможность покупать товары производителей из КНР; computeruniverse.net - Интернет-магазин компьютеров(Промо код 5 Евро на первую покупку:FWWC3ZKQ);
Хостинг	DigitalOcean - американский провайдер облачных инфраструктур, с главным офисом в Нью-Йорке и с центрами обработки данных по всему миру;
Разное	Викиум - Онлайн-тренажер для мозга Like Центр - Центр поддержки и развития предпринимательства. Gamersbay - лучший магазин по бустингу для World of Warcraft. Ноотропы OmniMind N°1 - Усиливает мозговую активность. Повышает мотивацию. Улучшает память. Санкт-Петербургская школа телевидения - это федеральная сеть образовательных центров, которая имеет филиалы в 37 городах России. Lingualeo.com — интерактивный онлайн-сервис для изучения и практики английского языка в увлекательной игровой форме. Junyschool (Джунискул) – международная школа программирования и дизайна для детей и подростков от 5 до 17 лет, где ученики осваивают компьютерную грамотность, развивают алгоритмическое и креативное мышление, изучают основы программирования и компьютерной графики, создают собственные проекты: игры, сайты, программы, приложения, анимации, 3D-модели, монтируют видео. Умназия - Интерактивные онлайн-курсы и тренажеры для развития мышления детей 6-13 лет SkillBox - это один из лидеров российского рынка онлайн-образования. Среди партнеров Skillbox ведущий разработчик сервисного дизайна AIC, медиа-компания Yoola, первое и самое крупное русскоязычное аналитическое агентство Tagline, онлайн-школа дизайна и иллюстрации Bang! Bang! Education, оператор PR-рынка PACO, студия рисования Draw&Go, агентство performance-маркетинга Ingate, scrum-студия Sibirix, имидж-лаборатория Персона. «Нетология» — это университет по подготовке и дополнительному обучению специалистов в области интернет-маркетинга, управления проектами и продуктами, дизайна, Data Science и разработки. В рамках Нетологии студенты получают ценные теоретические знания от лучших экспертов Рунета, выполняют практические задания на отработку полученных навыков, общаются с экспертами и единомышленниками. Познакомиться со всеми продуктами подробнее можно на сайте https://netology.ru, линейка курсов и профессий постоянно обновляется. StudyBay Brazil – это онлайн биржа для португалоговорящих студентов и авторов! Студент получает уникальную работу любого уровня сложности и больше свободного времени, в то время как у автора появляется дополнительный заработок и бесценный опыт. Автор24 — самая большая в России площадка по написанию учебных работ: контрольные и курсовые работы, дипломы, рефераты, решение задач, отчеты по практике, а так же любой другой вид работы. Сервис сотрудничает с более 70 000 авторов. Более 1 000 000 работ уже выполнено. StudyBay – это онлайн биржа для англоязычных студентов и авторов! Студент получает уникальную работу любого уровня сложности и больше свободного времени, в то время как у автора появляется дополнительный заработок и бесценный опыт.

Русская Википедия:Ganglia

Содержание

Назначение и применение

Демоны

Модули

Примечания

Литература

Ссылки

Навигация

Действия на странице

Действия на странице

Персональные инструменты

Навигация

Поиск

Инструменты