Что такое большие данные? Основы — значение и использование

Термин Большие данные все чаще используется практически повсеместно на планете — в Интернете и в автономном режиме. И это касается не только компьютеров. Он подпадает под общий термин «Информационные технологии», который в настоящее время является частью практически всех других технологий и областей исследований и бизнеса. Большие данные не имеют большого значения. Ажиотаж вокруг него, безусловно, довольно сложно запутать вас. В этой статье рассматривается, что такое большие данные. Он также содержит пример того, как NetFlix использовала свои данные, или, скорее, большие данные, чтобы лучше обслуживать потребности своих клиентов.

Что такое большие данные

Данные, лежащие на серверах вашей компании, до вчерашнего дня были просто данными — отсортированы и сохранены. Внезапно сленг Big Data стал популярным, и теперь данные в вашей компании — Big Data. Этот термин охватывает все данные, которые ваша организация хранила до сих пор. Он включает в себя данные, хранящиеся в облаках, и даже URL-адреса, которые вы добавили в закладки. Ваша компания могла не оцифровать все данные. Возможно, вы уже не структурировали все данные. Но тогда все цифровые, бумажные, структурированные и неструктурированные данные вашей компании теперь являются большими данными.

Короче говоря, все данные — независимо от того, классифицированы ли они — присутствуют на ваших серверах, в совокупности называются БОЛЬШИМИ ДАННЫМИ. Все эти данные могут быть использованы для получения разных результатов с использованием различных видов анализа. Не обязательно, чтобы весь анализ использовал все данные. Различный анализ использует разные части БОЛЬШИХ ДАННЫХ для получения необходимых результатов и прогнозов.

Большие данные — это данные, которые вы анализируете для получения результатов, которые вы можете использовать для прогнозов и других целей. При использовании термина «большие данные» внезапно ваша компания или организация работают с информационными технологиями верхнего уровня, чтобы выводить различные типы результатов, используя те же данные, которые вы намеренно или непреднамеренно хранили в течение многих лет.

Насколько велики большие данные

По сути, все объединенные данные — это большие данные, но многие исследователи сходятся во мнении, что большими данными, как таковыми, нельзя манипулировать, используя обычные электронные таблицы и обычные инструменты управления базами данных. Им нужны специальные инструменты анализа, такие как Hadoop (мы изучим это в отдельном посте), чтобы все данные можно было проанализировать за один раз (может включать в себя итерации анализа).

Вопреки вышеизложенному, хотя я не являюсь экспертом в этой области, я бы сказал, что данные в любой организации — большой или маленькой, организованной или неорганизованной — являются большими данными для этой организации и что организация может выбирать свои собственные инструменты. проанализировать данные.

Обычно для анализа данных люди использовали для создания различных наборов данных на основе одного или нескольких общих полей, чтобы анализ стал проще. В случае больших данных нет необходимости создавать подмножества для их анализа. Теперь у нас есть инструменты, которые могут анализировать данные независимо от их размера. Вероятно, эти инструменты сами классифицируют данные, даже когда они их анализируют.

Мне кажется важным упомянуть два предложения из книги Джимми Гутермана «Большие данные»:

« Большие данные: , когда требования к размеру и производительности для управления данными становятся важными факторами проектирования и принятия решений для внедрения системы управления и анализа данных».

-А также-

«Для некоторых организаций, сталкивающихся с сотнями гигабайт данных в первый раз, может возникнуть необходимость пересмотреть варианты управления данными. Для других может потребоваться десятки или сотни терабайт, прежде чем размер данных станет важным фактором ».

Итак, вы видите, что объем и анализ являются важной частью больших данных.

Читать . Что такое интеллектуальный анализ данных?

Концепции больших данных

Это еще один момент, когда большинство людей не согласны. Некоторые эксперты говорят, что концепции больших данных — это три V:

  1. объем
  2. Скорость
  3. разнообразие

Некоторые другие добавляют еще несколько V к этой концепции:

  1. Визуализация
  2. Правдивость (Надежность)
  3. Изменчивость и
  4. Значение

Я расскажу о концепции больших данных в отдельной статье, так как этот пост уже становится большим. На мой взгляд, первых трех V достаточно, чтобы объяснить концепцию больших данных.

Пример больших данных — как NetFlix использовал его для решения своих проблем

К 2008 году в NetFlix произошел сбой, из-за которого многие клиенты остались в неведении. Хотя некоторые все еще могут получить доступ к потоковым службам, большинство из них не могут. Некоторым клиентам удалось получить взятые напрокат DVD, в то время как другим это не удалось. В блоге на Wall Street Journal говорится, что Netflix только начал потоковую трансляцию по требованию.

Отключение заставило руководство задуматься о возможных будущих проблемах и, следовательно,; это превратилось в большие данные.Он проанализировал области с высоким трафиком, уязвимые точки, пропускную способность сети и т. Д., Используя эти данные, и работал над этим, чтобы уменьшить время простоя, если в будущем возникнет проблема, когда она станет глобальной. Вот ссылка на блог Wall Street Journal, если вы хотите проверить примеры больших данных.

Вышесказанное суммирует, что такое большие данные на языке непрофессионала. Вы можете назвать это очень простым введением. Я планирую написать еще несколько статей о связанных факторах, таких как — концепции, анализ, инструменты и использование больших данных, больших данных 3 V и т. Д. Между тем, если вы хотите добавить что-либо к вышеперечисленному, просьба прокомментировать и поделиться с нами.

Читать дальше . Что такое веб-скребинг?

Оцените статью
TechArks.Ru
Добавить комментарий