AWS Auto Scaling 自動擴展(二)

延續上篇：AWS Auto Scaling 自動擴展(一)，auto scaling 除了可以根據 EC2 instance 狀態，或是 ELB 的健康狀況做擴展，還可以搭配 CloudWatch 使用，CloudWatch 可以 monitor 的狀態有更多了，CPU、disk I/O、network I/O。

Scale up

Create auto scaling policy

$ aws autoscaling put-scaling-policy \
--policy-name as-policy-scale-up \
--auto-scaling-group-name as-group \
--adjustment-type ChangeInCapacity \
--scaling-adjustment 1 \
--cooldown 300

{
    "ResponseMetadata": {
        "RequestId": "4411e437-9b6a-11e2-933c-010eb2f029e6"
    },
    "PolicyARN": "arn:aws:autoscaling:us-east-1:332100208493:scalingPolicy:c534dcbe-91c1-4714-907a-b4974bac7c57:autoScalingGroupName/as-group:policyName/as-policy-scale-up"
}

把 PolicyARN 記下來，下一步會用到

Create cloud watch to monitor the CPU utilization
When the average CPU usage more than 60% and keep 600 seconds, then scale up

$ aws cloudwatch put-metric-alarm \
--evaluation-periods 1 \
--namespace "AWS/EC2" \
--comparison-operator GreaterThanThreshold \
--alarm-name alarm-high-cpu \
--statistic Average \
--threshold 60 \
--period 600 \
--metric-name CPUUtilization \
--alarm-actions arn:aws:autoscaling:us-east-1:332100208493:scalingPolicy:c34f62a8-bb82-4430-9390-67468a7a65f9:autoScalingGroupName/as-group:policyName/as-policy-scale-up

可以做個實驗，用 shell script 寫個 while loop 把 CPU 拉高，果然 10 分鐘後 alarm 就發生了，也會順便執行 scale-up 的 action

Scale down

Create auto scaling policy

$ aws autoscaling put-scaling-policy \
--policy-name as-policy-scale-down \
--auto-scaling-group-name as-group \
--adjustment-type ChangeInCapacity \
--scaling-adjustment -1 \
--cooldown 300
{
    "ResponseMetadata": {
        "RequestId": "c58093f7-9b6b-11e2-82fc-2bb2a883e37c"
    },
    "PolicyARN": "arn:aws:autoscaling:us-east-1:332100238493:scalingPolicy:141d692b-9ae8-4ef8-8d98-7de605c3fe04:autoScalingGroupName/as-group:policyName/as-policy-scale-down"
}

Create cloud watch to monitor the CPU utilization
When the average CPU usage less than 40% and keep 600 seconds, then scale down

$ aws cloudwatch put-metric-alarm \
--evaluation-periods 1 \
--namespace "AWS/EC2" \
--comparison-operator LessThanThreshold \
--alarm-name alarm-low-cpu \
--statistic Average \
--threshold 40 \
--period 600 \
--metric-name CPUUtilization \
--alarm-actions arn:aws:autoscaling:us-east-1:332100238493:scalingPolicy:141d692b-9ae8-4ef8-8d98-7de605c3fe04:autoScalingGroupName/as-group:policyName/as-policy-scale-down

有一些疑問
Scale-up 會增加到多少台？Scale-down 會減至多少台？
CloudWatch 不會重複 trigger，除非狀態從 alarm 回到 normal。


參考資料
Llovizna: Auto Scaling With Amazon EC2

AWS Auto Scaling 自動擴展(一)

AWS Auto Scaling 是用來處理 application 擴充性問題，根據當下的忙碌狀況來增減 instance。需要搭配 ELB 或是 CloudWatch 使用。

ELB (Elastic Load Balance) 的原理類似 DNS round-robin，在同一個 domain name 上綁定多組 instance IP，讓外部的 request 可以分散到各 instance 去處理。ELB 也會定期對底下的 instance 做 healthy check，若發現 instance 有問題，則 dispatch 時就會掠過這台，而 Auto Scaling 也會根據這個結果去 launch 新的 instance 並掛載 ELB 底下。ELB 下的 instance 是沒有上限值的。

Setup Auto Scaling

Auto Scaling 目前尚未提供 web 界面，只能用 command line 的方式去設定，在開始之前，請確定已經透過 web 設定好：

• Create Image for a instance (ImageID: ami-7061fb19) 
• Create ELB (with/without instance) (Load Balance Name: webserver)

Create auto scaling configuration

$ aws autoscaling create-launch-configuration \
--launch-configuration-name as-config \
--image-id ami-7061fb19 --instance-type t1.micro

Show the auto scaling configuration

$ aws autoscaling describe-launch-configurations

Create auto scaling group

$ aws autoscaling create-auto-scaling-group \
--auto-scaling-group-name as-group \
--launch-configuration-name as-config \
--availability-zones us-east-1a \
--load-balancer-names webserver \
--max-size 3 --min-size 2 \
--default-cooldown 300

這個指令一執行，auto scaling 就被啟動了。

為了避免 instance 重複被 launch，有個時間參數設定很重要：

• --default-cooldown (integer)
  The amount of time, in seconds, after a scaling activity completes before any further trigger-related scaling activities can start.

這個時間至少要大於服務啓動的時間
服務啓動時間 = EC2 開機時間 + Web Service 啓動時間 (+ ELB check health 的時間)

Show the auto scaling group

$ aws autoscaling describe-auto-scaling-groups

照上面的設定最少會有 2 台 instance 在 list 上

            "Instances": [
                {
                    "InstanceId": "i-e0a77c8c",
                    "AvailabilityZone": "us-east-1a",
                    "HealthStatus": "Healthy",
                    "LifecycleState": "Pending",
                    "LaunchConfigurationName": "as-config"
                },
                {
                    "InstanceId": "i-e2a77c8e",
                    "AvailabilityZone": "us-east-1a",
                    "HealthStatus": "Healthy",
                    "LifecycleState": "Pending",
                    "LaunchConfigurationName": "as-config"
                }
            ],

Verify
可以試著把任一台 instance stop，auto scaling 機制偵測到後又會 launch 一台新的，並且掛到 ELB 底下。

Monitor ELB healthy

Create auto scaling group 時，預設是對每個 instance 做 healthy check，若要改為 check ELB，則要加上兩個參數：

• --health-check-type ELB
• --health-check-grace-period 60

$ aws autoscaling create-auto-scaling-group \
--auto-scaling-group-name as-group \
--launch-configuration-name as-config \
--availability-zones us-east-1a \
--load-balancer-names webserver \
--max-size 3 --min-size 2 \
--health-check-type ELB --health-check-grace-period 300

Verify
可以試著讓 ELB 的狀態變成 unhealthy，在此我的 ELB 狀態是去 check 各 instance 的 web service，所以我把全部的 instance web service都停止，果真會掛 instance 上來。

但我對於這邊的行為還沒完全掌握，當沒有一台 instance 能夠服務時，那些不能服務的 instance 從 ELB list 中移除並 terminate，auto scaling 會 detect 到，並且循序 launch 一台新的 instance，直到 ELB 正常為止，但如果 service 是因為太忙碌不是掛掉，應該要加更多的 instance 上去而不是移除。

Stop Auto Scaling

Update group setting

$ aws autoscaling update-auto-scaling-group \
--auto-scaling-group-name as-group \
--min-size 0 --max-size 0

如果不更新就直接刪除，會有 error message: You cannot delete an AutoScalingGroup while there are instances or pending Spot instance request(s) still in the group.

Detete auto scaling group

$ aws autoscaling delete-auto-scaling-group --auto-scaling-group-name as-group

要注意一點，刪除 auto scaling group 後，所有的 instance 都會被 terminate！



參考資料

• Get Started with Auto Scaling - Auto Scaling - 官方文件
• Auto Scaling with Alarms and Load Balancing - Auto Scaling - 官方文件
• Llovizna: Auto Scaling With Amazon EC2 - 進階，搭配 CouldWatch
• [AWS] 自動佈署、擴展與高可用性實作筆記 - HINA::工程幼稚園 - Without AWS AutoScaling
• [AWS] Auto Scaling with custom metrics - HINA::工程幼稚園

使用 Command Line Tool 建立 AWS EC2 Instance

AWS 以已經有提供 web 界面可以操作了，為何還要使用 command line 呢？答案是為了自動化的過程。Auto scaling 就是一個很好的例子。

Install AWS Command Line Interface

It run in Python environment, and installed by pip.

$ pip install awscli

Setup credential and region

Method 1

$ vim ~/.aws.conf

aws_access_key_id=AKIAIJQ7YGMRQTBIH7HJ
aws_secret_access_key=ngbsB02udwOmDztTesTJuuZ8ZdkA2ZRq0VHvunX
region=us-east-1

$ export AWS_CONFIG_FILE=~/.aws.conf

Method 2

$ export AWS_ACCESS_KEY_ID=AKIAIJQ7YGMRQTBIH7HJ
$ export AWS_SECRET_ACCESS_KEY=ngbsB02udwOmDztTesTJuuZ8ZdkA2ZRq0VHvunX
$ export AWS_DEFAULT_REGION=us-east-1

若沒有設定好，則會出現下面的 error
Unable to locate credentials
You must specify a region or set the AWS_DEFAULT_REGION environment variable.

Create Instance

$ aws ec2 run-instances --image-id ami-002bf169 --min-count 1 --max-count 1 \
--instance-type m1.small --placement '{"availability_zone":"us-east-1a"}'

{
    "OwnerId": "132130202433",
    "ReservationId": "r-ec8f2587",
    "requestId": "05125c46-dfbd-4ef4-89a8-0efe6f59ba87",
    "Groups": [
        {
            "GroupName": "default",
            "GroupId": "sg-2337df4f"
        }
    ],
    "Instances": [
        {
            "Monitoring": {
                "State": "disabled"
            },
            "PublicDnsName": "",
            "KernelId": "aki-825ea7eb",
            "State": {
                "Code": 0,
                "Name": "pending"
            },
            "EbsOptimized": false,
            "LaunchTime": "2013-03-30T02:58:42.000Z",
            "ProductCodes": [],
            "StateTransitionReason": "",
            "InstanceId": "i-ff16069f",
            "ImageId": "ami-002bf169",
            "PrivateDnsName": "",
            "SecurityGroups": [
                {
                    "GroupName": "default",
                    "GroupId": "sg-2437df4f"
                }
            ],
            "ClientToken": "",
            "InstanceType": "m1.small",
            "NetworkInterfaces": [],
            "Placement": {
                "Tenancy": "default",
                "GroupName": "",
                "AvailabilityZone": "us-east-1a"
            },
            "Hypervisor": "xen",
            "BlockDeviceMappings": [],
            "Architecture": "x86_64",
            "StateReason": {
                "Message": "pending",
                "Code": "pending"
            },
            "VirtualizationType": "paravirtual",
            "RootDeviceType": "instance-store",
            "AmiLaunchIndex": 0
        }
    ]
}

image-id 就是 AMI 的 id，它可以是 My AMI 也可以是 Community AMI


列出目前所有的 instance

$ aws ec2 describe-instances

關於 ec2 的操作，更詳細的可以看

$ aws ec2 help
$ aws ec2 run-instances help

Reference

• HowTo: Install AWS CLI - Security Credentials | Dowd and Associates
• Launching an Instance from an AMI - Amazon Elastic Compute Cloud