Решения и продукты

Управление экосистемами Big Data для облачных приложений и сервисов

Превращаем большие объемы ресурсов в управляемое хранилище аналитических данных.

Обеспечиваем масштабируемость экосистем больших данных.

Оптимизируем структуру хранения и управления данными.

Организуем миграцию данных в новую масштабируемую инфраструктуру.

Обеспечиваем круглосуточную поддержку, резервирование и восстановление.

 

 

Кому и зачем:

 

  • Крупным компаниям, у которых объем данных для хранения превысил все имеющиеся технические возможности.

Современные системы управления базами данных не всегда могут вместить в себя весь объем информации, который производится ежедневно. Обычно на предприятиях жертвуют архивными данными, удаляя их через какое-либо время. Однако, не всегда такое компромиссное решение применимо.

 

  • Для компаний и сервисов, реализующих Интернет Вещей

Интерактивные карты и сервисы, собирающие и анализирующие данные от множества пользователей в реальном времени. В таких системах объем данных увеличивается лавинообразно, при этом важно обеспечивать высокую производительность. Кроме того, нередко нужно восстанавливать состояние системы на определенную дату или получать срезы данных на какой-либо конкретный момент времени.

 

  • Для научно-исследовательских предприятий

Анализ постоянно обновляемых статистических данных требует доступа к снимкам о состоянии системы в любой момент времени. Понятие архива здесь неприменимо.

Для геоинформационных и медицинских сервисов, в которых объем информации постоянно увеличивается и важно обеспечивать доступ ко всем файловым хранилищам.

 

  • Для технологичных стартапов.

В стартапах возможен непрогнозируемый рост объема данных, изменения структуры и обслуживающей инфраструктуры. Для таких случаев важно давать оперативный ответ и реагировать на изменения рынка. Использование архитектуры Big Data и децентрализованных баз данных позволяет опережать структурные изменения.

 

 

Архитектура Big Data

Экосистемы больших данных имеют свойство линейной масштабируемости, с ними сложно упереться в потолок мощности и производительности, а за счет децентрализации баз данных — они обладают высокой отказоустойчивостью.

Поэтому для технологичных стартапов использование архитектуры Big Data позволяет опережать структурные изменения и быстро отвечать на реакцию рынка.

 

 

Hadoop или Cassandra?

 

Эти две системы имеют разное назначение.

Hadoop — это система для аналитики, хранения и доступа к данным большого объема. Cassandra же представляет собой базу данных NoSQL высокой производительности и отказоустойчивости, которая идеально подходит для быстрого доступа и операций с большим объемом данных онлайн. Она отлично работает с множеством датацентров и облачными серверами.

Hadoop представляет собой огромный фреймворк для работы с данными, особенность которого заключается в возможности хранения данных в срезах по времени. Таким образом, Hadoop хорошо использовать для работы и анализа данных в историческом и временном аспекте, собирая данные с меткой по времени и в любой момент получая срезы данных по необходимым параметрам.

Основные компоненты Hadoop — это отказоустойчивая распределенная файловая система HDFS и MapReduce — инструмент для высокоскоростной обработки больших объемов данных на параллельных кластерах вычислительных узлов.

Hadoop способен работать с объемами данных, исчисляемыми в петабайтах!

 

Cassandra дополняет Hadoop в тех случаях, когда нужна оперативная работа с «горячими данными», с которыми Hadoop работает достаточно медленно. Однако, досконально неизвестно, как Cassandra работает с большими объемами данных, достигающих 100Тб, с которым Hadoop легко справляется.

Hadoop больше похож на склад и подходит для работы с холодными данными. Cassandra идеально подходит для онлайн-приложений, крупных веб-сервисов и мобильных приложений, где требуется быстрая обработка операций и гибкая настройка приложений.

Как насчет HBase, входящую в экосистему Hadoop?

Эта база данных больше подходит для работы с системами хранения данных, для работы со «складом», а не для быстрых онлайн-операций, которые происходят с популярными веб-сервисами. Иногда HBase используют для онлайн-проектов просто потому что Hadoop уже внедрен, но Cassandra для таких целей представляется более подходящим решением.

 

Что мы предлагаем:

  • Проектирование хранилищ и систем для работы с большим данными

Разработаем оптимальную архитектуру проекта.

Рассчитаем и предложим максимально эффективную схему хранения данных и доступа к ним, в том числе с финансовой точки зрения.

  • Безопасная миграция данных в экосистему Hadoop или в БД Cassandra

Перенос данных в новое хранилище без потерь.

  • Оптимизация хранения данных:

— настройка хранения данных на собственных серверах или в облачных хранилищах (Amazon Glacier или другие)

— оптимизация доступа к данным, использование быстрых и медленных хранилищ

  • Удешевление эксплуатации инфраструктуры

Поиск решений по снижению стоимости хранилища, оптимизации вычислительных мощностей и серверов. Повышение отказоустойчивости и производительности => эффективности работы системы.

  • Комплексная поддержка инфраструктуры Big Data

Обеспечение производительности, отказоустойчивости, безопасности.

Оперативная реакция на инциденты.

 

 

Результат:

 

  • Повышение отказоустойчивости и надежности хранения данных

Распределенные базы данных децентрализованы, хранилище само заботится о распределении данных между несколькими узлами и отсутствии единой точки отказа.

  • Ускорение работы сервисов и служб

Приложения и сервисы быстрее обрабатывают запросы пользователей.

Для доступа к архивным данным потребуется существенно меньше времени.

  • Линейная масштабируемость систем

Если текущая система не справляется с нагрузкой — достаточно добавить новые узлы, не перестраивая архитектуру всей системы.

 

 

Онлайн заявка







Отправляя данные этой формы, вы соглашаетесь с правилами обработки персональных данных