Нужно создать CLI приложение на Python для скачивания данных из произвольного REST-API endpoint. Данные API endpoint передаются в качестве параметра – название конфигурационного файла.

Скаченные данные нужно переконвертировать в формат AVRO (https://avro.apache.org/), сохранить на Amazon S3 Bucket и скачать в таблицу Apache Hudi (https://hudi.apache.org/).

Все это должно быть упаковано в образ докера для тестирования.

REST-API для примера

https://developers.virustotal.com/reference/overview

В качестве примера для AVRO и HUDI можете просто сделать inferred schema based on the dataset

2 года назад
loyanich
Павел 
46 лет
18 лет в сервисе
Был
15 дней назад

Заявки фрилансеров

Николай
 
28 лет
2 года в сервисе
Был
2 года назад
2 года назад
Антон
 
48 лет
5 лет в сервисе
Был
2 года назад
2 года назад
  • Похожие заказы

  • Требуется разработать CLI приложение на Java для скачивания данных из REST-API endpoint, указанных в конфигурационном файле. Данные должны конвертироваться в формат AVRO и сохраняться на Amazon S3 Bucket, а также загружаться в таблицу Apache Hudi. Все компоненты должны быть упакованы в Docker образ для тестирования. Пример API для использования: VirusTotal.

    Закрыт
    2 года назад
  • $100

    Необходимо разработать API для раздела статистики в мобильном приложении с использованием FastAPI. Требуется создание необходимых эндпоинтов для обеспечения функционала статистики.

    Закрыт
    2 года назад
  • Требуется помочь в настройке стрима user_data для Binance Futures с использованием библиотеки python-binance и asyncio. Стримы по klines работают, но стримы user_data не передают данные. Необходимо исправить код для успешной подписки и получения обновлений ордеров. Работы будут проводиться на тестовом сервере Binance. Ожидаются предложения по решению данной задачи.

    Закрыт
    2 года назад
  • Требуется разработка бота для Telegram, который будет автоматизировать процесс накрутки подписчиков. Бот должен работать с базой аккаунтов, обеспечивая подписку на указанные каналы, включая закрытые ссылки. Необходимо реализовать возможность настройки времени, за которое базы будут вступать в канал.

    Закрыт
    2 года назад
  • Требуется разработать Backconnect Proxy, который будет использовать список IPv4 прокси. При запросах к серверу (IP:20000) необходимо выдавать рандомную прокси из списка. Поддержка двух типов прокси: HTTP и SOCKS5. Пример реализации предоставлен в изображении.

    Закрыт
    2 года назад
  • $35

    Необходимо создать Telegram-бота, который подбирает нужные значения из массива на основе данных, представленных в Excel. Задача разбита на подробные этапы для учета всех нюансов. Подробности и таблица будут предоставлены после согласования.

    Завершен
    2 года назад
  • Необходимо отредактировать советник для платформы MT4, внести изменения в его функционал и исправить возможные ошибки. Ожидается высокий уровень профессионализма в системном программировании и опыт работы с алгоритмической торговлей.

    Закрыт
    2 года назад
  • Требуется создать программу для сравнения списков из txt файлов на Windows и Mac OS. Программа должна оптимизированно обрабатывать более 100к строк, отображать прогресс бар и иметь удобный интерфейс. Также необходимо выводить информацию о количестве строк в каждом списке и количестве уникальных записей во втором списке.

    Закрыт
    2 года назад
  • $15

    Требуется разработать скрипт для автоматической рассылки сообщений участникам группы в пирограм. Необходимо умение работать с 20-40 аккаунтами. Оплата составляет 1000 рублей, срок выполнения - 2 дня.

    Закрыт
    2 года назад