Требуется разработать CLI приложение на Java для скачивания данных из REST-API endpoint, указанных в конфигурационном файле. Данные должны конвертироваться в формат AVRO и сохраняться на Amazon S3 Bucket, а также загружаться в таблицу Apache Hudi. Все компоненты должны быть упакованы в Docker образ для тестирования. Пример API для использования: VirusTotal.
CLI приложение на Python
Нужно создать CLI приложение на Python для скачивания данных из произвольного REST-API endpoint. Данные API endpoint передаются в качестве параметра – название конфигурационного файла.
Скаченные данные нужно переконвертировать в формат AVRO (https://avro.apache.org/), сохранить на Amazon S3 Bucket и скачать в таблицу Apache Hudi (https://hudi.apache.org/).
Все это должно быть упаковано в образ докера для тестирования.
REST-API для примера
https://developers.virustotal.com/reference/overview
В качестве примера для AVRO и HUDI можете просто сделать inferred schema based on the dataset
Заявки фрилансеров
Похожие заказы
- Системное программирование1 заявкаЗакрыт2 года назад
- $100
Необходимо разработать API для раздела статистики в мобильном приложении с использованием FastAPI. Требуется создание необходимых эндпоинтов для обеспечения функционала статистики.
Системное программирование4 заявкиЗакрыт2 года назад Требуется помочь в настройке стрима user_data для Binance Futures с использованием библиотеки python-binance и asyncio. Стримы по klines работают, но стримы user_data не передают данные. Необходимо исправить код для успешной подписки и получения обновлений ордеров. Работы будут проводиться на тестовом сервере Binance. Ожидаются предложения по решению данной задачи.
Системное программированиенет заявокЗакрыт2 года назадТребуется подобрать пароль к запароленному ZIP архиву размером около 800мб. Внутри архива находится исполняемый файл (exe). Необходимы любые методы для извлечения содержимого архива.
Системное программирование13 заявокЗакрыт2 года назадТребуется разработка бота для Telegram, который будет автоматизировать процесс накрутки подписчиков. Бот должен работать с базой аккаунтов, обеспечивая подписку на указанные каналы, включая закрытые ссылки. Необходимо реализовать возможность настройки времени, за которое базы будут вступать в канал.
Системное программирование5 заявокЗакрыт2 года назадТребуется разработать Backconnect Proxy, который будет использовать список IPv4 прокси. При запросах к серверу (IP:20000) необходимо выдавать рандомную прокси из списка. Поддержка двух типов прокси: HTTP и SOCKS5. Пример реализации предоставлен в изображении.
Системное программирование2 заявкиЗакрыт2 года назад- $35
Необходимо создать Telegram-бота, который подбирает нужные значения из массива на основе данных, представленных в Excel. Задача разбита на подробные этапы для учета всех нюансов. Подробности и таблица будут предоставлены после согласования.
Системное программирование1 исполнительЗавершен2 года назад Необходимо отредактировать советник для платформы MT4, внести изменения в его функционал и исправить возможные ошибки. Ожидается высокий уровень профессионализма в системном программировании и опыт работы с алгоритмической торговлей.
Системное программирование2 заявкиЗакрыт2 года назадТребуется создать программу для сравнения списков из txt файлов на Windows и Mac OS. Программа должна оптимизированно обрабатывать более 100к строк, отображать прогресс бар и иметь удобный интерфейс. Также необходимо выводить информацию о количестве строк в каждом списке и количестве уникальных записей во втором списке.
Системное программирование3 заявкиЗакрыт2 года назад- $15
Требуется разработать скрипт для автоматической рассылки сообщений участникам группы в пирограм. Необходимо умение работать с 20-40 аккаунтами. Оплата составляет 1000 рублей, срок выполнения - 2 дня.
Системное программирование3 заявкиЗакрыт2 года назад