Парсер Хабра: PostgreSQL 9.3 Что нового?

понедельник, 30 сентября 2013 г.

PostgreSQL 9.3 Что нового?

Здравствуйте, хабрачеловеки! Не так уж давно вышел релиз PostgreSQL 9.3 и я хотел бы ознакомить Вас с наиболее важными новшествами, касающимися клиентской части, которые, возможно, пригодятся Вам. В этой статье рассмотрено следующее:

материализированные представления

обновляемые представления

триггеры к событиям

рекурсивные представления

латеральное присоединение

изменяемые внешние таблицы

функции и операторы для работы с типом JSON

Материализированные представления

Материализированное представление — физический объект базы данных, содержащий в себе результаты некоторого запроса. Бесспорно, одно из самых ожидаемых новшеств. Посмотрим, каким образом работать с ним в PostgreSQL.

Создадим справочник авторов и справочник книг, имеющий ссылку на автора:


CREATE TABLE author
(
        id serial NOT NULL,
        first_name text NOT NULL,
        last_name text NOT NULL,

        CONSTRAINT pk_author_id PRIMARY KEY ( id ),
        CONSTRAINT uk_author_name UNIQUE ( first_name, last_name )
);

CREATE TABLE book
(
        id serial NOT NULL,
        author_id integer NOT NULL,
        name text NOT NULL,

        CONSTRAINT pk_book_id PRIMARY KEY ( id ),
        CONSTRAINT fk_book_author_id FOREIGN KEY ( author_id ) REFERENCES author ( id ),
        CONSTRAINT uk_book_name UNIQUE ( author_id, name )
);

Наполним эти таблицы данными — добавим пару авторов и сгенерируем много-много книг:


INSERT INTO author ( first_name, last_name ) VALUES ( 'Иван',  'Иванов' ); -- сгенерирован id = 1
INSERT INTO author ( first_name, last_name ) VALUES ( 'Пётр', 'Петров' ); -- сгенерирован id = 2

INSERT INTO book ( author_id, name ) VALUES
( 1, 'Трактат о пустоте (часть ' || generate_series ( 1, 100000 ) || ')' );

INSERT INTO book ( author_id, name ) VALUES
( 2, 'Невыносимость бытия' ),
( 2, 'Счастливый финал' );

Для сравнения, создадим обычное и материализированное представление (обратите внимание, что для создания последнего требуется немного больше времени, для выборки и записи результата):


CREATE VIEW vw_book AS
SELECT book.id, author.first_name || ' ' || author.last_name AS author_name, book.name
FROM book
INNER JOIN author ON author.id = book.author_id;

CREATE MATERIALIZED VIEW mvw_book AS
SELECT book.id, author.first_name || ' ' || author.last_name AS author_name, book.name
FROM book
INNER JOIN author ON author.id = book.author_id;

Теперь, давайте взглянем на план запроса с условием для обычного и материализированного представления:


EXPLAIN ANALYZE SELECT * FROM vw_book WHERE author_name = 'Пётр Петров';
--
Hash Join  (cost=24.58..2543.83 rows=482 width=119) (actual time=19.389..19.390 rows=2 loops=1)
  Hash Cond: (book.author_id = author.id)
  ->  Seq Scan on book  (cost=0.00..2137.02 rows=100002 width=59) (actual time=0.017..9.231 rows=100002 loops=1)
  ->  Hash  (cost=24.53..24.53 rows=4 width=68) (actual time=0.026..0.026 rows=1 loops=1)
        Buckets: 1024  Batches: 1  Memory Usage: 1kB
        ->  Seq Scan on author  (cost=0.00..24.53 rows=4 width=68) (actual time=0.019..0.020 rows=1 loops=1)
              Filter: (((first_name || ' '::text) || last_name) = 'Пётр Петров'::text)
              Rows Removed by Filter: 1
Total runtime: 19.452 ms

EXPLAIN ANALYZE SELECT * FROM mvw_book WHERE author_name = 'Пётр Петров';
--
Seq Scan on mvw_book  (cost=0.00..2584.03 rows=7 width=77) (actual time=15.869..15.870 rows=2 loops=1)
  Filter: (author_name = 'Пётр Петров'::text)
  Rows Removed by Filter: 100000
Total runtime: 15.905 ms

Данные для материализированного представления лежат кучно и их не приходится собирать с разных таблиц. Но это еще не всё, так как для них есть возможность создавать индексы. Улучшаем результат:


CREATE INDEX idx_book_name ON mvw_book ( author_name );

EXPLAIN ANALYZE SELECT * FROM mvw_book WHERE author_name = 'Пётр Петров';
--
Index Scan using idx_book_name on mvw_book  (cost=0.42..8.54 rows=7 width=77) (actual time=0.051..0.055 rows=2 loops=1)
  Index Cond: (author_name = 'Пётр Петров'::text)
Total runtime: 0.099 ms

Неплохо, поиск ведётся по индексу и время поиска существенно сократилось.

Но есть и ньюанс при использовании материализированных представлений — после DML операций над таблицами, из которых состоит представление, представление приходится обновлять:


INSERT INTO book ( author_id, name ) VALUES
( 2, 'Потерянный во мгле' );

REFRESH MATERIALIZED VIEW mvw_book;

Это можно автоматизировать триггером:


CREATE OR REPLACE FUNCTION mvw_book_refresh ( )
RETURNS trigger AS
$BODY$
BEGIN
        REFRESH MATERIALIZED VIEW mvw_book;
        RETURN NULL;
END
$BODY$
LANGUAGE plpgsql VOLATILE;

CREATE TRIGGER tr_book_refresh AFTER INSERT OR UPDATE OR DELETE
ON book FOR EACH ROW EXECUTE PROCEDURE mvw_book_refresh ( );

CREATE TRIGGER tr_author_refresh AFTER INSERT OR UPDATE OR DELETE
ON author FOR EACH ROW EXECUTE PROCEDURE mvw_book_refresh ( );

Хотя функционал, симулирующий материализированные представления, можно было сделать и в PostgreSQL 9.2 (создав таблицу, индексы к ней и триггера, которые бы выполняли хитрый запрос), но в целом это удобное нововведение.

Обновляемые представления

К обновляемым представлениями можно применять DML-операции. Правда вот требования к таким представлениям высокие: только одна сущность (таблица, представление) в списке FROM, без операторов WITH, DISTINCT, GROUP BY, HAVING, LIMIT и OFFSET, без операций над множествами (UNION, INTERSECT и EXCEPT) и к полям не должны применятся никакие функции или операции.

Обновляемые представления в действии:


CREATE TABLE employee
(
        id serial NOT NULL,
        fullname text NOT NULL,
        birthday date,
        salary numeric NOT NULL DEFAULT 0.0,

        CONSTRAINT pk_employee_id PRIMARY KEY ( id ),
        CONSTRAINT uk_employee_fullname UNIQUE ( fullname ),
        CONSTRAINT ch_employee_salary CHECK ( salary >= 0.0 )
);

INSERT INTO employee ( fullname, salary ) VALUES ( 'Иван Иванов', 800.0 );
INSERT INTO employee ( fullname, salary ) VALUES ( 'Пётр Петров', 2000.0 );
INSERT INTO employee ( fullname, salary ) VALUES ( 'Неизвестный', 1500.0 );

CREATE VIEW vw_employee_top_salary AS
SELECT employee.fullname AS name, employee.salary
FROM employee
WHERE employee.salary >= 1000.0;

-- работаем с представлением
INSERT INTO vw_employee_top_salary ( name, salary ) VALUES ( 'Сёмён Сидоров', 2500.0 );
UPDATE vw_employee_top_salary SET salary = 2200.0 WHERE name = 'Пётр Петров';
DELETE FROM vw_employee_top_salary WHERE name = 'Неизвестный';

-- вывод результатов
SELECT * FROM vw_employee_top_salary;

Обратите внимание, что INSERT в представление можно сделать в любом случае, а UPDATE и DELETE — только, когда набор из базовой таблицы попадает попадает под условие в представлении:


INSERT INTO vw_employee_top_salary ( name, salary ) VALUES ( 'Анонимус', 0.0 ); -- добавится строка
UPDATE vw_employee_top_salary SET salary = 3000.0 WHERE name = 'Анонимус'; -- ничего не изменится, так как salary равно 0.0
DELETE FROM vw_employee_top_salary WHERE name = 'Анонимус'; -- ничего не изменится, так как salary равно 0.0

Более продвинутые вещи можно делать, используя правила к представлениям.

Триггеры к событиям

Тоже, довольно ожидаемое нововведение. Позволяют перехватывать DDL команды в БД. Отличаются от обычных триггеров в первую очередь тем, что они глобальные, без привязки к конкретной таблице, но можно указать, на какие команды реагировать.

Создаются так:


CREATE OR REPLACE FUNCTION event_trigger_begin ( )
RETURNS event_trigger AS
$BODY$
BEGIN
        RAISE NOTICE '(begin) tg_event = %, tg_tag = %', TG_EVENT, TG_TAG;
END;
$BODY$
LANGUAGE plpgsql;

CREATE OR REPLACE FUNCTION event_trigger_end ( )
RETURNS event_trigger AS
$BODY$
BEGIN
        RAISE NOTICE '(end) tg_event = %, tg_tag = %', TG_EVENT, TG_TAG;
END;
$BODY$
LANGUAGE plpgsql;

CREATE EVENT TRIGGER tr_event_begin ON ddl_command_start EXECUTE PROCEDURE event_trigger_begin ( );
CREATE EVENT TRIGGER tr_event_end ON ddl_command_end EXECUTE PROCEDURE event_trigger_end ( );

Проводим разные DDL-манипуляции с таблицей:


CREATE TABLE article
(
        id SERIAL NOT NULL,
        name text NOT NULL,

        CONSTRAINT pk_article_id PRIMARY KEY ( id ),
        CONSTRAINT uk_article_name UNIQUE ( name )
);

ALTER TABLE article ADD COLUMN misc numeric;
ALTER TABLE article ALTER COLUMN misc TYPE text;
ALTER TABLE article DROP COLUMN misc;

DROP TABLE article;

Вывод должен быть таким:


tg_event = ddl_command_start, tg_tag = CREATE TABLE
tg_event = ddl_command_end, tg_tag = CREATE TABLE
tg_event = ddl_command_start, tg_tag = ALTER TABLE
tg_event = ddl_command_end, tg_tag = ALTER TABLE
tg_event = ddl_command_start, tg_tag = ALTER TABLE
tg_event = ddl_command_end, tg_tag = ALTER TABLE
tg_event = ddl_command_start, tg_tag = ALTER TABLE
tg_event = ddl_command_end, tg_tag = ALTER TABLE
tg_event = ddl_command_start, tg_tag = DROP TABLE
tg_event = ddl_command_end, tg_tag = DROP TABLE

Через plpgsql доступна только информация о событии (TG_EVENT) и, собственно, о команде (TG_TAG), но, надеюсь, в будущем будет лучше.

Рекурсивные представления

Позволяют упростить конструкцию WITH RECURSIVE, если необходимо построить по ней представление.

Создадим таблицу и наполним ее тестовыми данными:


CREATE TABLE directory
(
        id serial NOT NULL,
        parent_id integer,
        name text NOT NULL,

        CONSTRAINT pk_directory_id PRIMARY KEY ( id ),
        CONSTRAINT fk_directory_parent_id FOREIGN KEY ( parent_id ) REFERENCES directory ( id ),
        CONSTRAINT uk_directory_name UNIQUE ( parent_id, name )
);

INSERT INTO directory ( parent_id, name ) VALUES ( NULL, 'usr' ); -- сгенерирован id = 1
INSERT INTO directory ( parent_id, name ) VALUES ( 1, 'lib' );
INSERT INTO directory ( parent_id, name ) VALUES ( 1, 'include' );
INSERT INTO directory ( parent_id, name ) VALUES ( NULL, 'var' ); -- сгенерирован id = 4
INSERT INTO directory ( parent_id, name ) VALUES ( 4, 'opt' ); -- сгенерирован id = 5
INSERT INTO directory ( parent_id, name ) VALUES ( 5, 'tmp' );
INSERT INTO directory ( parent_id, name ) VALUES ( 4, 'log' ); -- сгенерирован id = 7
INSERT INTO directory ( parent_id, name ) VALUES ( 7, 'samba' ); 
INSERT INTO directory ( parent_id, name ) VALUES ( 7, 'news' );

Запрос через WITH RECURSIVE и аналогичный ему, через рекурсивное представление:


WITH RECURSIVE vw_directory ( id, parent_id, name, path ) AS
(
        SELECT id, parent_id, name, '/' || name
        FROM directory
        WHERE parent_id IS NULL AND name = 'var'
        UNION ALL
        SELECT d.id, d.parent_id, d.name, t.path || '/' || d.name
        FROM directory d
        INNER JOIN vw_directory t ON d.parent_id = t.id
)
SELECT * FROM vw_directory ORDER BY path;

CREATE RECURSIVE VIEW vw_directory ( id, parent_id, name, path ) AS
SELECT id, parent_id, name, '/' || name
FROM directory
WHERE parent_id IS NULL AND name = 'var'
UNION ALL
SELECT d.id, d.parent_id, d.name, t.path || '/' || d.name
FROM directory d
INNER JOIN vw_directory t ON d.parent_id = t.id;

SELECT * FROM vw_directory ORDER BY path;

На самом деле, рекурсивное представление — это обёртка над WITH RECURSIVE, в чем можно убедится, просмотрев текст сфорированного представления:


CREATE OR REPLACE VIEW vw_directory AS
 WITH RECURSIVE vw_directory(id, parent_id, name, path) AS (
                 SELECT directory.id,
                    directory.parent_id,
                    directory.name,
                    '/'::text || directory.name
                   FROM directory
                  WHERE directory.parent_id IS NULL AND directory.name = 'var'::text
        UNION ALL
                 SELECT d.id,
                    d.parent_id,
                    d.name,
                    (t.path || '/'::text) || d.name
                   FROM directory d
              JOIN vw_directory t ON d.parent_id = t.id
        )
 SELECT vw_directory.id,
    vw_directory.parent_id,
    vw_directory.name,
    vw_directory.path
   FROM vw_directory;

Латеральное присоединение

Позволяет обращатся из подзапроса к сущностями из внешнего запроса. Пример использования (подсчет количества полей только для сущностей из схемы public):


SELECT t.table_schema || '.' || t.table_name,
           q.columns_count
FROM information_schema.tables t,
LATERAL (
                        SELECT sum ( 1 ) AS columns_count
                        FROM information_schema.columns c
                        WHERE t.table_schema IN ( 'public' ) AND
                                  t.table_schema || '.' || t.table_name = c.table_schema || '.' || c.table_name
                ) q
ORDER BY 1;

Изменяемые внешние таблицы

Новый модуль postgres_fdw, позволяющий получить read/write доступ к данным, расположенным в другой БД. Ранее такая функциональность была в dblink, но в postgres_fdw всё прозрачнее, стандартизированный синтаксис и можно получить лучшую производительность. Посмотрим каким способом можно использовать postgres_fdw.

Создадим новую БД fdb и в ней тестовую таблицу (она будет внешней по отношению к текущей БД):


CREATE TABLE city
(
        country text NOT NULL,
        name text NOT NULL,

        CONSTRAINT uk_city_name UNIQUE ( country, name )
);

Вернемся в текущую БД и настроим внешний источник данных:


-- создание расширения
CREATE EXTENSION postgres_fdw;

-- добавление внешнего сервера
CREATE SERVER fdb_server FOREIGN DATA WRAPPER postgres_fdw OPTIONS ( host 'localhost', dbname 'fdb' );

-- отображения пользователя
CREATE USER MAPPING FOR PUBLIC SERVER fdb_server OPTIONS ( password 'pwd' );

-- создание внешней таблицы
CREATE FOREIGN TABLE fdb_city ( country text, name text ) SERVER fdb_server OPTIONS ( table_name 'city' );

Теперь мы можем работать с внешней таблицей:


-- добавляем запись
INSERT INTO fdb_city ( country, name ) VALUES ( 'USA', 'Las Vegas' );

-- изменяем ее
UPDATE fdb_city SET name = 'New Vegas' WHERE name = 'New Vegas';

-- смотрим, что получилось
SELECT * FROM fdb_city;

Чтобы удостоверится, что данные действительно попали туда, куда надо, переключаемся в БД fdb и проверяем:


SELECT * FROM city;

Функции и операторы для работы с типом JSON

Тип JSON появился в PostgreSQL 9.2, но функций было лишь две — array_to_json (конвертация массива в JSON) и row_to_json (конвертация записи в JSON). Теперь функций стало больше и можно вполне работать с этим типом:


CREATE TYPE t_link AS
(
        "from" text,
        "to" text
);

CREATE TABLE param
(
        id serial NOT NULL,
        name text NOT NULL,
        value json NOT NULL,

        CONSTRAINT pk_param_id PRIMARY KEY ( id ),
        CONSTRAINT uk_param_name UNIQUE ( name )
);

INSERT INTO param ( name, value ) VALUES
( 'connection', '{ "username" : "Administrator", "login" : "root", "databases" : [ "db0", "db1" ], "enable" : { "day" : 0, "night" : 1 } }'::json ),
( 'link', '{ "from" : "db0", "to" : "db1" }'::json );

-- значение поля (запрос)
SELECT value ->> 'username' FROM param WHERE name = 'connection'; 

-- результат
Administrator

-- значение поля (по заданному пути) (запрос)
SELECT value #>> '{databases,0}' FROM param WHERE name = 'connection';

-- результат
db0

-- преобразование в SETOF ( key, value ) с типом text (запрос)
SELECT json_each_text ( value ) FROM param;

-- результат
(username,Administrator)
(login,root)
(databases,"[ ""db0"", ""db1"" ]")
(enable,"{ ""day"" : 0, ""night"" : 1 }")
(from,db0)
(to,db1)

-- значения ключей (запрос)
SELECT json_object_keys ( value ) FROM param;

-- результат
username
login
databases
enable
from
to

-- значение в виде записи (запрос)
SELECT * FROM json_populate_record ( null::t_link, ( SELECT value FROM param WHERE name = 'link' ) );

-- результат
db0;db1

-- значения массива (запрос)
SELECT json_array_elements ( value -> 'databases' ) FROM param;

-- результат
"db0"
"db1"

Подводя итог, хочу сказать, что рад развитию PostgreSQL, проект развивается, хоть и есть еще сырые вещи.

P.S. Спасибо, если дочитали до конца.

Ссылки:

This entry passed through the Full-Text RSS service — if this is your content and you're reading it on someone else's site, please read the FAQ at fivefilters.org/content-only/faq.php#publishers. Five Filters recommends:

Massacres That Matter - Part 1 - 'Responsibility To Protect' In Egypt, Libya And Syria

Massacres That Matter - Part 2 - The Media Response On Egypt, Libya And Syria

National demonstration: No attack on Syria - Saturday 31 August, 12 noon, Temple Place, London, UK

Парсер Хабра

...

понедельник, 30 сентября 2013 г.

PostgreSQL 9.3 Что нового?

Материализированные представления

Обновляемые представления

Триггеры к событиям

Рекурсивные представления

Латеральное присоединение

Изменяемые внешние таблицы

Функции и операторы для работы с типом JSON

Комментариев нет:

Отправить комментарий

...

понедельник, 30 сентября 2013 г.

PostgreSQL 9.3 Что нового?

Материализированные представления

Обновляемые представления

Триггеры к событиям

Рекурсивные представления

Латеральное присоединение

Изменяемые внешние таблицы

Функции и операторы для работы с типом JSON

Комментариев нет:

Отправить комментарий

понедельник, 30 сентября 2013 г.