Cách PostgreSQL xử lý phân tích dữ liệu thời gian thực với Timescale

Summary

Bài viết này khám phá cách mà TimescaleDB hỗ trợ phân tích dữ liệu thời gian thực một cách hiệu quả， đồng thời nhấn mạnh những giá trị nổi bật mà nó mang lại cho người dùng． Key Points:

• TimescaleDB mang đến khả năng mở rộng và hiệu suất vượt trội, cho phép xử lý hàng tỷ điểm dữ liệu thời gian thực với độ trễ cực thấp.
• Hypertables và Continuous Aggregates trong TimescaleDB giúp tối ưu hóa truy vấn thời gian thực, giảm thiểu thời gian phản hồi và tài nguyên cần thiết cho các phân tích phức tạp.
• TimescaleDB hoàn toàn tích hợp với PostgreSQL, cung cấp sự linh hoạt cao và khả năng áp dụng rộng rãi trong nhiều lĩnh vực như tài chính, viễn thông và y tế.

Phân tích dữ liệu thời gian thực trong PostgreSQL là gì

Tại sao PostgreSQL gặp khó khăn với phân tích thời gian thực

Giải pháp Timescale cho phân tích dữ liệu thời gian thực

Hypercore: Lưu trữ lai trong PostgreSQL cho phân tích thời gian thực

Free Images

Hypertables: Phân vùng thông minh cho việc ghi và truy vấn nhanh

Hạn chế của Materialized Views trong PostgreSQL đối với dữ liệu thời gian thực

Continuous Aggregates: Giải pháp thay thế cho Materialized Views

CREATE MATERIALIZED VIEW customer_orders AS 

SELECT customer_id, COUNT(*) as total_orders 

FROM orders 

GROUP BY customer_id;

SELECT * FROM customer_orders;

REFRESH MATERIALIZED VIEW customer_orders;

Ví dụ sử dụng Timescale để phân tích dữ liệu thời gian thực

Lợi ích của việc chọn Timescale cho phân tích dữ liệu thời gian thực

Kết luận về khả năng của Timescale trong việc xử lý phân tích và giao dịch cùng một lúc

-- 1. HYPERTABLES: Các bảng tự động phân vùng để nạp dữ liệu nhanh chóng

CREATE TABLE equipment_metrics (

    time            TIMESTAMPTZ     NOT NULL,

    equipment_id    INTEGER         NOT NULL,

    sensor_type     TEXT           NOT NULL,

    reading         DOUBLE PRECISION NOT NULL,

    status          TEXT           NOT NULL,

    location        TEXT           NOT NULL,

    PRIMARY KEY (time, equipment_id));

-- Chuyển đổi thành hypertable

SELECT create_hypertable('equipment_metrics', 'time');

-- Chèn dữ liệu mẫu

INSERT INTO equipment_metrics VALUES 

    (NOW(), 1, 'temperature', 85.5, 'active', 'zone_a'),

    (NOW(), 2, 'pressure', 102.3, 'warning', 'zone_b'),

    (NOW(), 3, 'vibration', 0.15, 'active', 'zone_a');

-- 2. HYPERCORE: Kích hoạt nén cột để cải thiện hiệu suất lưu trữ và truy vấn

-- Nén các khối dữ liệu cũ hơn 7 ngày

ALTER TABLE equipment_metrics SET (

    timescaledb.compress,

    timescaledb.compress_segmentby = 'equipment_id,sensor_type,status,location',

    timescaledb.compress_orderby = 'time DESC');

-- Kích hoạt chính sách nén

SELECT add_compression_policy('equipment_metrics', INTERVAL '7 days');

-- Các truy vấn tự động sử dụng lưu trữ cột cho dữ liệu lịch sử 

SELECT 

    equipment_id,

    time_bucket('1 hour', time) AS hour,

    avg(reading) as avg_reading 

FROM equipment_metrics 

WHERE time > NOW() - INTERVAL '30 days' 

GROUP BY equipment_id, hour 

ORDER BY hour DESC;

-- 3. CONTINUOUS AGGREGATES: Tiền tính toán các tổng hợp phổ biến để truy cập nhanh hơn

-- Tạo tóm tắt số liệu theo giờ

CREATE MATERIALIZED VIEW hourly_equipment_stats WITH (timescaledb.continuous) AS SELECT 

   time_bucket('1 hour', time) AS bucket,

   equipment_id,

   sensor_type,

   avg(reading) as avg_reading,

   min(reading) as min_reading,

   max(reading) as max_reading,

   count(*) as reading_count 

FROM equipment_metrics GROUP BY bucket, equipment_id, sensor_type;

-- Thêm chính sách làm mới để cập nhật mỗi giờ  

SELECT add_continuous_aggregate_policy(

   'hourly_equipment_stats',

   start_offset => INTERVAL '2 hours',

   end_offset => INTERVAL '1 hour',

   schedule_interval => INTERVAL '1 hour'

);

-- Truy vấn tổng hợp liên tục thay vì dữ liệu thô  

SELECT 

   bucket,  

   equipment_id,  

   avg_reading,  

   reading_count  

FROM hourly_equipment_stats  

WHERE bucket > NOW() - INTERVAL '24 hours' AND sensor_type = 'temperature'   

ORDER BY bucket DESC;  

-- Truy vấn thời gian thực kết hợp giữa dữ liệu thô gần đây với các tổng hợp đã được tính toán trước đó    

SELECT     

      equipment_id,    

      sensor_type,    

      avg_reading,    

      reading_count    

FROM hourly_equipment_stats    

WHERE bucket > NOW() - INTERVAL '7 days' AND avg_reading > 100 -- Tìm kiếm các chỉ số cao     

ORDER BY bucket DESC;   

Reference Articles

Từ chế độ xem cụ thể hóa đến tổng hợp liên tục: Nâng cao ...

Khám phá cách các chế độ xem cụ thể hóa của PostgreSQL đã phát triển thành các công cụ phân tích động, thời gian thực được gọi là tổng hợp ...

Source: HackerNoon

Hướng dẫn cách cài đặt và sử dụng TimescaleDB trên ...

TimescaleDB là một extension của PostgreSQL được tối ưu hóa để lưu trữ dữ liệu dạng chuỗi thời gian. Đây là một giải pháp hiệu quả hơn cho ...

Source: Vietnix

Mở rộng quy mô PostgreSQL: Cách chúng tôi thuần hóa 10 ...

Họ sử dụng TimescaleDB làm cốt lõi, đây là một phần mở rộng của PostgreSQL để xử lý dữ liệu khổng lồ. Công cụ quan sát cơ sở dữ liệu, Thông tin ...

Source: HackerNoon

Tao nên dùng TimescaleDB hay partition thôi là đủ rồi?

Nói chung, TimescaleDB cung cấp một lớp trừu tượng tự động cho việc phân vùng mà các tùy chọn khác trong Postgres không cung cấp, ngay cả với ...

Source: Reddit · r/PostgreSQL

#171 - TimescaleDB cải thiện hiệu suất của PostgreSQL bằng ...

Cho dữ liệu static thì bạn có thể pre-compress trong quá trình build để tối ưu hóa dữ liệu. Trong khi các dữ liệu dynamic thì bạn nên cẩn thận ở ...

Source: Grokking Newsletter

Cơ sở dữ liệu lớn nhất của bạn trong PostgreSQL là gì ...

TimescaleDB được đóng gói như một extension của PostgreSQL và tối ưu hiệu năng cho dữ liệu chuỗi thời gian: nhập liệu, tốc độ truy vấn và lưu ...

Source: Reddit · r/devops

Quản lý vận hành | Cộng đồng PostgreSQL Việt Nam's blog

Pg_hint_plan là một công cụ dùng để quản lý , điều khiển các kế hoạch thực thi câu lệnh SQL bằng cách sử dụng định dạng '/*+' và '*/' này đặt trước câu lệnh SQL ...

Source: postgresql.vn

Cách cài đặt và sử dụng TimescaleDB trên CentOS 7

Mô-đun TimescaleDB hoạt động tốt với cài đặt cấu hình PostgreSQL mặc định, nhưng để cải thiện hiệu suất và sử dụng tốt hơn tài nguyên bộ xử lý, bộ nhớ và ổ đĩa, ...

Source: galaxyz.net