Bezdepbonusu7Программирование: статьи и ответы

Вопрос

Hadoop: инструменты для визуализации ключевых данных и файлов для разработки.

Автор вопроса: jayunit100Ответов: 1

Существуют ли какие-либо простые, легко запускаемые Java-инструменты для визуализации данных типа "ключ-значение" из каталогов заданий с уменьшением карты?

В частности, я хочу просмотреть карту с 20 заданиями, сократить рабочий процесс, щелкнуть отдельные файлы и просмотреть данные и, возможно, даже увидеть гистограмму размеров файлов.

  • Здесь есть некоторые оговорки, например -

    • Some files have serialized data (not just text)
    • Очевидно, что эту систему, вероятно, было бы глупо использовать в "облачном масштабе", скорее это инструмент разработчика.

Тем не менее, такой инструмент был бы полезен при разработке и локальной отладке больших подключенных конвейеров m/r.

Это для целей разработки (я не пытаюсь визуализировать данные распределенного ключа/значения в реальном кластере).

javahadoopkey-valuefile-browser

Ответы

Ответ 1 · рейтинг 1 · Praveen Sripati

Ознакомьтесь с KarmaSphere Studio.

Отслеживание выполнения задания шаг за шагом
 - Рабочий процесс с результатами. Показывает результирующие выходные данные на каждом этапе задания MapReduce.
 - Журналы Hadoop с рабочего стола: удобный доступ к журналам Hadoop с рабочего стола.
 - Параметры сбоя задания: позволяет указать параметры сбоя задания, такие как автоматический вызов указанного сценария при сбое задания для EMR.

Перевод вопроса и ответов сообщества Stack Overflow, лицензия CC BY-SA. Оригинал на Stack Overflow.

Похожие материалы