WWWRating - интерактивный рейтинг сайтов на основе BIG DATA. Рейтинг строиться полностью автоматически на основе собранных данных о сайте и компании из открытых источников в сети интернет (цифровой след компании). Индекс значимости сайта выводится в таблице рейтинга около доменного имени и меняется автоматически после обхода сайта роботом.
В качестве определяющих характеристик для больших данных мы считаем: объём (1,3 млн. сайтов и 10 млн. компаний), скорость (1000+ сайтов в сутки), многообразие типов структурированных и полуструктурированных данных (200+ параметров).
В сутки обрабатываем 200000 параметров сайтов. Всего за месяц обрабатываем 260млн. параметров