Postgresql + pgpool-II

抓一張官方的示意圖：

特色

• Connection Pooling: 減少建立connection的overhead
• Load Balance: 依照負載去dispatch
• Replication: 所有的修改都會replication到底下所有database
• Parallel Query

不外乎就是要來增加throughput啦。

設定

可以參考官方網站，在這邊以下列的架構為例

pgpool 192.168.0.2
DB1 192.168.0.3
DB2 192.168.0.4

Postgresql：建立master-slave database

架構圖

主要參考資料

• Postgres 9.1: Setup a synchronous stand-by server in 5 minutes | Michael Paquier

假定我們的兩台DB分別在不同機器

• Master 10.0.0.2
• Slave 10.0.0.3

Postgresql建立索引

有沒有建索引的查詢速度真的差很多，預設是使用binary-tree來實作index，時間複雜度是O(logN)。從N變成logN，是有指數級的差距！

建index的方法可以參考

• PostgreSQL: Documentation: Manuals: PostgreSQL 9.0: CREATE INDEX

以下舉幾個例子，假如我們的table叫account，email這個欄位很常用來當查詢條件，那我們會為email建立index:

postgres=> CREATE INDEX account_email_idx ON account (email);
postgres=> \d account;
Indexes:
    "account_pkey" PRIMARY KEY, btree (id)   # Primary key預設就會建立index了
    "account_email_idx" btree (email)

Composite index?

Composite indexes are used when two or more columns are best searched as a unit or if many queries reference only the columns specified in the index.
All the columns in a composite index must be in the same table.

我自己把它解釋成當一個query同時帶多個條件時，composite index可以加快查詢的速度。

postgres=> CREATE INDEX account_composite_idx ON account (name, email);
postgres=> \d account;
Indexes:
    "account_pkey" PRIMARY KEY, btree (id)
    "account_composite_idx" btree (name, email)

除了建索引，定期清理(VACUUM) database 也可以加快存取速度

postgres=> VACUUM VERBOSE ANALYZE;

Implement tornado session in memcached

示範將tornado的session實作在memcached裡面，我是參考這個blog：
玩蛇记-给tornado加上session支持 - 亚历山大同志 - 博客园

Requirement

• Tornado 2.0
• python-libmemcached 0.4
• Pyrex 0.9.4+
• libmemcached 0.52

邏輯

流程

Postgresql 小記

常用指令

# Start
su postgres -c "/usr/local/pgsql/bin/pg_ctl start -D /usr/local/pgsql/data"

# Stop
su postgres -c "/usr/local/pgsql/bin/pg_ctl stop -D /usr/local/pgsql/data"

# restart
su postgres -c "/usr/local/pgsql/bin/pg_ctl restart -D /usr/local/pgsql/data"

# Init postgres
sudo mkdir /usr/local/pgsql/data
chown postgres:postgres /usr/local/pgsql/data
su postgres -c "/usr/local/pgsql/bin/initdb -D /usr/local/pgsql/data"

# Create user
/usr/local/pgsql/bin/createuser -U postgres -P userA

# Drop user
/usr/local/pgsql/bin/dropuser -U postgres userA

# Create db
/usr/local/pgsql/bin/createdb -O userA -U postgres testdb

# Drop db
/usr/local/pgsql/bin/dropdb -U postgres testdb

# Dump db
/usr/local/pgsql/bin/pg_dump -U postgres testdb > dump.sql

# Restore db
/usr/local/pgsql/bin/psql -U postgres -d testdb < dump.sql

# Grant all privileges
/usr/local/pgsql/bin/psql -U postgres -c "GRANT ALL PRIVILEGES ON DATABASE testdb TO userA;"

# Enter postgresql command line
/usr/local/pgsql/bin/psql -U postgres -d poesgres -h localhost -p 5432

基本設定

• /usr/local/pgsql/data/postgres.conf

listen_addresses = '192.168.0.3'   # 設定listen IP

• /usr/local/pgsql/data/pg_hba.conf

host    all             all             127.0.0.1/32              trust
host    all             all             192.168.0.0/16            trust
host    all             all             10.10.1.5/32              password

Log分析
推薦使用pgFouine - a PostgreSQL log analyzer，它可以分析出某段時間內，做了幾次query，處理時間最久的，次數最多的...可以看一下Sample reports長怎樣。


效能測試:
pgbench
使用 pgbench 进行数据库压力测试

pgbench -U postgres -i -s 50 postgres 
pgbench -U postgres -c 100 -t 100 -S postgres

Performance Tuning PostgreSQL

Python Decorator (裝飾)

參考資料

• Design Pattern: Decorator 模式 - From Gossip@caterpillar
• [Python学习]decorator的使用 - 在文中有提到幾個應用時機：
• 針對某function執行前做一些工作。如：在Web開發中，很多頁面都需要user登入後才可access，可以使用decorator來檢查user session
• 針對某function執行後做一些工作。如：針對function的return code來寫log
• Understanding Python decorators - 這個是我看過眾多範例中最簡單的一個，我也是從這邊學會的。

Example 1
在原始function的return值做裝飾

def D1(fn):
    def newFn():
        return "" + fn() + ""
    return newFn

@D1
def f1():
    return "a sentence"

print f1()

Video Codec, Container

常聽到一些影音格式與專有名詞：avi、rmvb、mpg4、h.264...
有些是指播放格式，有些是編碼格式，什麼是codec，什麼是container，下列兩篇介紹得很清楚！

• 影音封裝格式: (上)概說
• 影音封裝格式: (下)常見格式簡介

大綱：
Codec(編碼)：是原始影音的一種資料表示法，它決定影音檔案之畫質、音質好壞、壓縮率。
Container(容器)：則是將上述編碼資料打包，方便傳遞、播放。

並非所有的container都可以搭配所有的codec，必須依照特性來存放，請參考Comparison of container formats。
Codec也可以單獨使用，不一定要放在container內。