Вопрос
Может ли кто-нибудь сообщить мне, каков рекомендуемый способ обеспечения высокой доступности для приложения пряжи?
Например, допустим, у меня есть 3 физических узла. Java-приложению пряжи требуется 3 контейнера, и каждый физический узел имеет достаточно ресурсов для хранения 3 контейнеров пряжи. Каков рекомендуемый способ гарантировать, что все контейнеры не попадут на один и тот же физический узел и не станут "единой точкой отказа"?
Ответ на этот вопрос дан в список рассылки hadoop. Повторная публикация ответов здесь, чтобы предотвратить гниение ссылок
Вы можете использовать ограничения мест размещения(https://hadoop.apache.org/docs/r3.1.0/hadoop-yarn/hadoop-yarn-site/PlacementConstraints.html) или установить yarn.scheduler.capacity.per-node-heartbeat.maximum-container- назначения на 1, если вы конфигурируете RM с помощью powerscheduler.
Другой подход -
Я думаю, вы можете использовать систему резервирования и в Hadoop 2.8.x: https://hadoop.apache.org/docs/r2.8.5/hadoop-yarn/hadoop-yarn-site/ReservationSystem.html
Перевод вопроса и ответов сообщества Stack Overflow, лицензия CC BY-SA. Оригинал на Stack Overflow.
