Парсер Хабра: Универсальный способ создания пакетов, для различных дистрибутивов GNU Linux

понедельник, 4 ноября 2013 г.

Универсальный способ создания пакетов, для различных дистрибутивов GNU Linux

Различные дистрибутивы предоставляют свои утилиты, для сборки и установки программ.

Например в Debian/GNU Linux — это debuild и dpkg. В Red Hat Linux — rpmbuild и rpm.

Не редко нам приходится собирать пакеты самостоятельно.

Устанавливать программы через make, в обход системы управления пакетами в дистрибутивах — является дурным тоном.

В случаях, когда мы имеем исходный код, и автор программы позаботился о создании Makefile, можно использовать checkinstall.

Но бывает и так, что автор java приложения, не выкладывает ничего кроме jar файла. Или мы хотим на коленке создать какой-то пакет, и положить в репозиторий, что бы в дальнейшем устанавливать/обновлять его на множестве серверов с различными дистрибутивами. В этом нам поможет утилита под названием fpm.

В чем же ее достоинство? Она из коробки позволяет нам собирать пакеты под различные дистрибутивы и даже операционные системы.

Сейчас поддерживаются:

solaris

directories

Mac OS X .pkg files (osxpkg)

Установка необходимых пакетов для работы с fpm в Debian GNU/Linux:


# apt-get install ruby rubygems rpm dpkg-dev
# gem install fpm

Для примера соберем пакет logstash, для Debian/GNU Linux и Red Hat Linux.

Создадим файл сборки, в котором опишем зависимости, файлы конфигурации и мета-информацию о пакете:


$ mkdir logstash && cd logstash && touch build.sh && chmod +x build.sh && vim build.sh

Вставляем:


#!/bin/bash

JAR_URL="https://download.elasticsearch.org/logstash/logstash/logstash-1.2.2-flatjar.jar"
JAR_FILE="usr/share/logstash/logstash.jar"

DESCRIPTION="Logstash Open Source Log Management" 
DIR_NAME="`dirname $JAR_FILE`"
EMAIL="admin@logstash.net"
URL='http://www.logstash.net/'
VERSION="1.2.2"
NAME="logstash"

# создаем структуру директорий
if [ ! -d "usr" ]; then
        mkdir -p {etc,usr/share/logstash,var/logstash}
fi

# скачиваем и ложим в необходимый каталог logstash
if [ ! -f "$JAR_FILE" ]; then
        wget "$JAR_URL" -O "$JAR_FILE"
fi

cd ..

function build() {
    fpm -n $NAME -v $VERSION -a all -C logstash -m "<$EMAIL>" \
        --pre-install logstash/preinstall \
        --description "$DESCRIPTION" \
        --url "$URL" -t "$1" -d "$2" \
        --config-files etc/logstash/syslog.conf \
        -s dir etc usr var
}

# задаем тип пакета и зависимости
build "deb" "default-jre"
build "rpm" "java-1.6.0-openjdk-devel"

Создадим файл конфигурации logstash:


$ mkdir -p etc/logstash && vim etc/logstash/syslog.conf

вставляем:

etc/logstash/syslog.conf


input {
  file {
    type => "syslog_file"
    exclude => [ "logstash.log*" ]
    path => [ "/var/log/messages", "/var/log/syslog", "/var/log/*.log" ]
  }
}

filter {
  grok {
    type => "syslog_relay"
    pattern => [ "^<[1-9]\d{0,2}>%{SPACE}%{GREEDYDATA:message_remainder}" ]
    add_tag => "got_syslog_pri"
    add_field => [ "syslog_raw_message", "%{@message}" ]
  }
  syslog_pri {
    type => "syslog_relay"
    tags => [ "got_syslog_pri" ]
  }
  mutate {
    type => "syslog_relay"
    tags => [ "got_syslog_pri" ]
    replace => [ "@message", "%{message_remainder}" ]
    remove => [ "message_remainder" ]
    remove_tag => "got_syslog_pri"
  }

  grok {
    type => "syslog_relay"
    pattern => [ "^%{SYSLOGTIMESTAMP:syslog_timestamp}%{SPACE}%{GREEDYDATA:message_remainder}" ]
    add_tag => "got_syslog_timestamp"
    add_field => [ "received_at", "%{@timestamp}" ]
  }
  date {
    type => "syslog_relay"
    tags => [ "got_syslog_timestamp" ]
    # season to taste for your own syslog format(s)
    match => [ "syslog_timestamp", "MMM  d HH:mm:ss", "MMM dd HH:mm:ss", "ISO8601" ]
  }
  mutate {
    type => "syslog_relay"
    tags => [ "got_syslog_timestamp" ]
    replace => [ "@message", "%{message_remainder}" ]
    remove => [ "message_remainder" ]
    remove_tag => "got_syslog_timestamp"
  }

  grok {
    type => "syslog_relay"
    pattern => [ "^%{SYSLOGHOST:syslog_hostname}%{SPACE}%{GREEDYDATA:message_remainder}" ]
    add_tag => "got_syslog_host"
    add_field => [ "logstash_source", "%{@source_host}" ]
  }
  mutate {
    type => "syslog_relay"
    tags => [ "got_syslog_host" ]
    replace => [ "@source_host", "%{syslog_hostname}" ]
    replace => [ "@message", "%{message_remainder}" ]
    remove => [ "message_remainder" ]
    remove_tag => "got_syslog_host"
  }

  grok {
    type => "syslog_relay"
    pattern => [ "^%{SYSLOGPROG:syslog_prog}:%{SPACE}%{GREEDYDATA:message_remainder}" ]
    add_tag => "got_syslog_prog"
  }
  mutate {
    type => "syslog_relay"
    tags => [ "got_syslog_prog" ]
    replace => [ "@message", "%{message_remainder}" ]
    remove => [ "message_remainder" ]
    remove_tag => "got_syslog_prog"
  }

  dns {
    type => 'syslog_relay'
    reverse => [ "@source_host", "@source_host" ]
    action => "replace"
  }

  mutate {
    type => "syslog_relay"
    tags => [ "syslog" ]
    remove => [ "syslog_hostname", "syslog_timestamp" ]
  }
}

Далее создадим скрипт, который должен выполнится перед установкой пакета:


$ cat > preinstall  << END
#!/bin/bash
useradd -g adm -r -m -d /usr/share/logstash -s /bin/false logstash || exit 0
END

Теперь достаточно запустить сборку пакетов:


# ./build.sh

На выходе мы получим rpm и deb пакеты, которые без проблем устанавливаются как в Debian, так и в Red Hat.

Устанавливаем пакет на текущей машине и проверяем:


# dpkg -i ../logstash*.deb && apt-get install -f
# java -jar /usr/share/logstash/logstash.jar agent -f /etc/logstash --log /var/log/logstash.log

Заключение

Буквально несколькими командами можно собрать пакет под различные дистрибутивы и ОС за пару минут.

Спасибо автору за столь прекрасную утилиту. Надеюсь, что кто-то ее найдет такой же полезной как и я.

This entry passed through the Full-Text RSS service — if this is your content and you're reading it on someone else's site, please read the FAQ at fivefilters.org/content-only/faq.php#publishers. Five Filters recommends: