Цель: Существенно повысить скорость парсинга и минимизировать задержки (low latency) путем создания кастомных плагинов и оптимизации инфраструктуры для достижения максимально быстрого сбора данных.
Основные задачи:
Модификация A-parser: Оптимизировать конфигурацию и при необходимости внутреннюю логику A-parser для работы с минимальными задержками.
Разработка плагинов (JS/TS): Создать необходимые плагины для A-parser, которые будут способствовать ускорению парсинга.
Оптимизация инфраструктуры:
Помочь определить стратегию выбора ближайшего сервера к целевым эндпоинтам.
Подобрать и настроить прокси-решения для эффективной многопоточности (рассмотреть варианты с поддержкой UDP).
Адаптация логики: Использовать предоставленную Python-базу кода как референс для реализации аналогичной логики на JS/TS в рамках плагинов/модификаций A-parser.
Требования к кандидату:
Глубокие знания JavaScript (JS) / TypeScript (TS).
Подтвержденный опыт работы с A-parser (или очень похожими инструментами для веб-скрейпинга/парсинга).
Опыт разработки плагинов/расширений для парсеров или подобных систем.
Понимание принципов сетевых задержек (latency), оптимизации скорости парсинга.
Опыт настройки прокси для многопоточных задач (включая понимание HTTPS/SOCKS и желательно прокси с поддержкой UDP).
Опыт работы с асинхронным программированием.
Идеально (будет решающим плюсом):
Наличие конкретного, успешного опыта модификации именно A-parser для достижения low-latency парсинга.
Мы предоставляем:
Доступ к текущей настройке A-parser.
Готовую базу на Python как пример необходимой логики.
В вашей заявке:
Пожалуйста, подробно опишите ваш соответствующий опыт, особенно в отношении:
Модификации A-parser или его аналогов.
Проектов, связанных с низкой задержкой (low latency).
Настройке сложных прокси-конфигураций (особенно UDP).
Разработки плагинов для парсеров.
Переведено с помощью DeepL.com (бесплатная версия)
Необходимо настроить Telegram бота на платформе SendPulse для проведения бесплатного вебинара. Ожидается подготовка бота с функционалом, соответствующим требованиям вебинара. Укажите стоимость работы.
Необходимо выполнить парсинг из определенных групп ВКонтакте и организовать рассылку приглашений на вебинар. Ищем исполнителя с хорошим опытом в подобных задачах для качественного и оперативного выполнения.
Необходимо отредактировать сайт, убрав дублирующиеся страницы. Ожидается качественная работа по улучшению структуры сайта и устранению проблем с дубликатами.
Требуется разработать систему промокодов для самописной CMS. Необходимо реализовать функционал для создания, удаления и обновления промокодов. Ожидается качественное исполнение и соблюдение требований к функционалу.
Разработать чат-бота для Telegram-канала, который будет проверять подписку пользователей и отправлять документы по их запросу. Бот должен эффективно взаимодействовать с подписчиками и обеспечивать автоматизацию процессов.
Требуется фронтэнд разработчик для создания копии сайта с использованием HTML, CSS и JavaScript. Проект включает 10 страниц и функционал на 20 объектов. Бэкенд уже разработан, предоставлен мануал для работы с ним.
Требуется Junior разработчик для разработки модулей и скриптов с использованием JS, JQuery, PHP и MySQL. Работа в команде под руководством старшего программиста с обязательным онлайн-режимом с 10:00 до 18:00 UTC +3. Оплата производится частями в криптовалюте. Опыт работы с DataLife Engine приветствуется, но не обязателен.
Требуется специалист для рассылки оффера по базе из 7k номеров в таких странах, как Китай, Турция и Корея. Важно, чтобы можно было отвечать на отклики. В настоящее время используется вапико, но возникают проблемы с банами. Необходимо найти решение для успешной рассылки.
Ищется специалист по веб-программированию для работы с движком Shop-script. Необходимо перевести сайт на украинский язык, сделать перелинковку, подключить Новой Почты и настроить отображение изображений на категориях. Также требуется вывести всплывающее окно выбора языка, подключить страницы Акции и Новинки, а также переименовать страницу блога в Новости.