Хотите добавить свое задание на разработку сайта, дизайна, интернет-магазина или прочей работы?
Интересный проект, направленный на анализ и обработку большого массива данных. Исполнитель должен обладать высоким уровнем понимания математической обработки данных.
Блок 1: Сбор данных Стоит задача сканирования сайта (парсинг) на предмет появления новых предложений; Парсинг должен быть организован на постоянной основе, в режиме онлайн (важно чтобы данные собирались каждую минуту); Запись новых предложений в базу данных. Архитектура проекта подразумевает работу с базой данных в 300 000 – 500 000 объектов. Сайтов для парсинга несколько.
Блок 2: Обработка данных (более подробно об обработке данных при личном разговоре) 1) Проверка на наличие предложения уже в базе данных по 4-5 параметрам 2) Построение кривой распределения, функция распределения по ряду критериев. 3) Обеспечение быстроты действия системы (настройка сервера или возможно рекомендации по настройке, параметры кеширвоания и т.д.)
Блок 3: Вывод данных Минимальный интерфейс на bootstrap или что-то типо того. Некоторый функционал можно завернуть в простые команды
Обязательно указывайте 1.Ваш опыт обработки данных big data (аналогичные проекты) 2.Цену написания (хотя бы приблизительно). 3.Сроки написания
Чтобы оставить свое предложение необходимо войти в систему!
