...

среда, 5 декабря 2018 г.

Еще одна реализация Обработки Данных

Представьте себе инструмент, с помощью которого вы можете трансформировать любые данные в… любые данные.

Самый доступный пример — Изображения. Что если я хочу получить картинку определенного размера и поставить где-нибудь водяную марку (тоже определенного размера).

И вот один из примеров как это может выглядеть:

image

P.S.: Это обзорная статья, если будет интересно, дальше опишу подходы детальнее.

Мотивация


Недавно, в ноябре 2018, мне нужно было изменить размер фотографии…

Онлайн сервисы из-за своих «особенностей» ( реклама, странный интерфейс и тд ) сделали этот процесс максимально мучительным.

Стандартные средства Windows 10 мне показались не очевидными. Пришлось скачать GIMP и оттуда сделать все что было надо — изменить размер фотографии.

В свое оправдание:

  1. Время возникновения проблемы ~1AM ( час ночи )
  2. Рабочего ноута под рукой не было
  3. Windows дома только для игр. Сейчас иногда пишу код с apple клавиатурой

И тут очередной программист решил создать еще один кост… Инструмент.

Требования


Этот Инструмент должен быть всем костылям костыль:
  1. Простой UI
  2. Простой API
  3. Удобная организация сущностей проекта
  4. Минимум кнопок и настроек
  5. Возможность имплементировать свои… «стандарты»
  6. Open Source: Backend и Frontend

И главное — пользоваться этим должны иметь возможность все, кто понимают чего они хотят.

Несколько возможных последовательностей:

  1. Картинка, Картинка поменьше, Фильтр
  2. Скачать содержимое URL, оставить только полезный Контент, Оставить только текст
  3. Скачать картинку, определить что на ней есть какой-нибудь предмет ( template matching )

Имплементация


Недавно на Хабре читал До микросервисов нужно дорасти... и решил последовать этому. Уже были пару попыток сделать такую штуку через «красивые» ( в моем воображении ) структуры: каждая функция ( вроде template_match, md5 ) как микросервис, оптимизированный для решения своей задачи. В итоге к этому все и придет, но не сегодня :)

Итого имеются:

  1. Frontend без красивых обоев
  2. Backend API
  3. Celery ( в локальной разработке использую Redis, а в тесте и проде RabbitMQ )
  4. Backend Workers

Скажу сразу: я очень посредственно знаком с Frontend, однако, спасибо Stackoverflow и Google поиску.

Больше примеров


Все примеры можно найти здесь, они объединены в «проекты».

Один из них: извлечение текста из HTML страницы

Внимание: сайт работает в режиме read-only, но результат вам вернет. Он не сможет сохранить ваши изменения на Project и Pipeline.

Небольшие пояснения


Список того, что может трансформировать данные: здесь

Чем этот Проект не является:

  1. Хранилищем данных
  2. Майнером биткоинов

Проект очень похож на:
  1. Zapier
  2. Яндекс Нирвана
  3. Parse.com (пару лет как выкуплен Facebook )

Let's block ads! (Why?)

Комментариев нет:

Отправить комментарий