[2019-08-10] Big Data Saturday

Links

• Meetup.com Event
• Ссылка на презентацию

Программа

• 11:00 приветственный кофе.
• 11:30 Основная программа - доклад Дениса Цветкова - "Большие данные ВКонтакте: обзор технологий".

Описание

Денис Цветков работает в Санкт-Петербурге в команде ВКонтакте. Он занимается поддержкой инфраструктуры больших данных. В своем докладе он расскажет об основных технологиях из мира бигдаты, которые используются в ВК. Это в большей степени образовательная лекция, она будет наиболее интересна тем, кто ещё не знаком, но очень хочет узнать побольше о технологиях из этой сферы. Речь пойдёт не столько об инфраструктуре ВКонтакте, сколько о самих технологиях, о том как они устроены и зачем нужны.

В частности, мы поговорим о распределённой файловой системе HDFS, как достигается её надёжность и что происходит с файлом, когда вы загружаете его в хранилище. Рассмотрим планировщик ресурсов YARN и разберёмся, в чём суть модели вычислений MapReduce.

Кроме этого мы познакомимся с популярным фреймворком Apache Spark и узнаем, почему он стал таким популярным и как же устроены его RDD. Также мы заглянем под капот Apache Kafka, чтобы выяснить, что делает её такой производительной, масштабируемой и устойчивой к сбоям.

Место проведения - офис компании Accenture.

Feedback

Question: "Предложения, как я бы улучшил события tver.io"