Скорость проникновения человека во всемирную сеть растет в геометрической прогрессии и каждое действие в ней оставляет след, выраженный двоичным кодом: google ежесекундно получает более 60 000 поисковых запросов, более миллиарда пользователей социальной сети Facebook ежеминутно отправляют 30 миллионов сообщений и просматривает порядка трёх миллионов видео.

Добавим ко всему этому миллионы банковских транзакций, проскроленных интернет страниц, купленных в online -магазинах товаров, даже просто опубликованных фото и высказанных в сети мнений.  

Уже к 2020 году онлайн досье на каждого жителя земли будет сравнимо с электронной библиотекой в 5000 книг. И если всего несколько лет назад , исчисляемые террабайтами и зеттабайами данные хаотично накапливались, не находя практического применения, то сегодня в арсенале аналитиков появились такие программные решения, как Spark и Hadoop . Эра накопления big data завершилась, уступив место эре обработки и анализа результатов.

Возможности big data более емко раскрываются в трендовой сегодня концепции интернета вещей ( IoT ). К примеру, вы (и еще несколько миллионов таких, как вы) носите на запястье фитнес-браслет, фиксирующий жизненные показатели организма. Подключаясь к интернету, данные гаджета становятся достоянием всемирной сети. В медицинской сфере анализ таких данных дает возможность оценить показатели здоровья целых социальных групп, определить проблемные точки, улучшить качество терапии и предложить экономически эффективные методы лечения. Уже сегодня Google Flu Trends позволяет анализировать данные распространения простудных заболеваний , а в обозримом будущем с п омощью big data медицина сможет локализировать и гасить очаги мировых эпидемий и совершенствовать эффективность лекарственных препаратов по результатам потоковой аналитики от пациентов. И это лишь одна точка приложения усилий. По прогнозам аналитиков, к 2025 году более тридцати миллиардов привычных нам бытовых устройств будут подключены к интернету. И если сегодня, по различным аналитическим подсчетам, рынок IoT оценивается в 600 - 900 миллиардов долларов, то к 2025 объемы рынка имеют потенциал роста до пяти-шести триллионов долларов.

Но у каждой медали две стороны. Темная сторона big data – открытость личной информации пользователя. В обозримом будущем система будет знать о нас все: рост, вес, состояние банковской карты, депрессивное настроение, политические взгляды и сексуальные предпочтения… Анализ таких данных в глобальном масштабе позволит отслеживать перемещения и контакты, получать рычаги давления, средства для шантажа и даже манипулировать социальными настроениями общества в целом.

Ярким примером может служить недавняя история английской компании Cambridge Analytica, которой мировые СМИ приписывали манипуляции в политическом маркетинге. Используя метод психологического таргетирования профилей пользователей соцсетей, Cambridge Analytica получила возможность формировать общественное мнение, повлияв тем самым на результаты Brexit и обеспечив победу Трампа на президентских выборах в Америке. Вопрос корректности выводов относительно действий Cambridge Analytica остается открытым, но потенциальные возможности в манипулировании сознанием больших социальных групп через анализ их личных данных – лакомый кусочек для многих. На уровне бизнеса использование такой информации дает возможности расширения клиентской базы и увеличения продаж, на более высоком уровне big data позволяет мониторить социальные настроения, прогнозировать теракты, вспышки насилия и даже этнические конфликты… Согласитесь, маловероятно, что, имея на руках такой мощный ресурс, лидеры мнений и власть имущие откажут себе в удовольствии им воспользоваться.

Наши смартфоны, планшеты, электронные книги – это огромный опросник, который мы вольно или невольно постоянно заполняем. Анализ поисковых запросов в привязке к аккаунту позволяет правоохранителям вычислить потенциально опасных членов общества и предвосхитить преступления. Агентство Национальной Безопасности США ежедневно отслеживает около двух миллиардов телефонных звонков, электронных писем и личных сообщений. С помощью анализа больших данных можно отследить траектории перемещений человека, определить кто с кем встречается и насколько стабильны эти связи. В 2014 году группой ученых Сингапура было опубликовано любопытное исследование. На основании данных о месторасположении более шестисот тысяч мобильных устройств, ученые прогнозировали траектории перемещений и выстраивали социальные контакты исследуемых. В результате, уникальными оказались более 60% результатов. Исследование носило красноречивое название: «Not So Unique in the Crowd: a Simple and Effective Algorithm for Anonymizing Location Data».

По прогнозам консалтинговой компании Ganter , уже к 2018 году около 50% всех правовых нарушений будут связаны с вторжением в личное пространство и некорректным использованием личных данных. Алгоритмы защиты и анализа личной информации сегодня далеки от совершенства и вопрос цифровой этики целиком и полностью лежит на человеке. Польский студент Кембриджа и один из авторов того самого метода психологического таргетирования Михаил Козинский в ответ на массовое недовольство, обрушившееся на него после президентских выборов в Америке, сказал: «Тут нет моей вины. Это не я соорудил бомбу, я лишь показал, что они существуют».