블로그 이미지
LifeisSimple

calendar

    1 2 3 4 5
6 7 8 9 10 11 12
13 14 15 16 17 18 19
20 21 22 23 24 25 26
27 28 29 30      

Notice

2016. 11. 4. 11:22 Brain Trainning/Cloud
AWS (AWSome Day 2016)

AWS (AWSome Day 2016)

Amazon Web Service

  • DB 서비스 : MySQL, Oracle, SQL Server, PostgreSQL, Amazon Aurora, MariaDB, Multi-AZ Synchronous replication
  • 도입 업체 : 삼성, 미래에셋, 주요 게임사 등등

Amazon RDS (Relational Database Service)

  • Amazon RDS는 Amazon Aurora, Oracle, Microsoft SQL Server, PostgreSQL, MySQL 및 MariaDB 중에서 선택할 수 있도록 6개의 익숙한 데이터베이스 엔진을 제공합니다.
  • Read replicas are available in Amazon RDS for MySQL, PostgreSQL, and Amazon Aurora

1교시 : AWS 소개 및 역사

  • 아마존이 잘 만들어서 열심히 서비스 하고 있다.
  • Management Console 제공하니까 잘 써라.

2교시 : AWS 스토리지 및 콘텐츠 전송

1. Simple Storage Service (S3)
  • http://johnsmith.s3.amazonaws.com/photos/puppy.jpg
  • 버킷에 저장할 수 있는 객체 수에는 제한이 없음. 객체 크기 최대 5TB.
  • REST 및 SOAP 인터페이스 제공
2. Amazon Glacier
  • 매우 저렴한 데이터 보관을 위한 Storage 서비스
3. Amazon Elastic Block Store (EBS)
  • Block Level Storage (볼륨 서비스) 최대 16TB까지 생성
  • EC2에 직접 연결하여 볼륨으로 사용.
  • 필요한 경우 스냅샷을 Amazon S3에 저장 해줌.
  • 수명주기 : 생성 -> EC2에 붙임 -> (백업)S3에 스냅샷 저장 -> 분리 -> 삭제
  • GB당 3 IOPS 제공. (용량이 증가하면 IOPS도 증가)
  • 프로비전된 IOPS (PIOPS) : DB등에서 고성능의 IOPS를 요구할때 선택
4. AWS Storage Gateway
  • 아마존에서 다운 받은 하나의 VM(소프트웨어 패키지) 이미지를 iSCSI 연결을 통해 로컬 볼륨처럼 사용할 수 있고 여기에 저장되는 데이터는 아마존의 S3로 자동 저장되는 구조. 서버용 Dropbox 드라이브? (Bandwidth 에 영향을 좀 받을 수 있는)
5. AWS Import/Export
  • Amazon S3 또는 Amazon EBS에서 대량 데이터 송수신 속도를 가속화.
  • 택배(DHL, Fedex 등)로 디스크를 보내면 아마존에서 서버에 붙여서 대량의 데이터를 빠르게 전송할 수 있도록 하는 서비스 - 반대도 가능
  • Export 는 S3에서만 가능
6. Amazon CloudFront (CDN 서비스)
  • 최종 사용자에게 쉽고 비용 효율적으로 콘텐츠를 배포할 수 있는 방법
  • 엣지 로케이션의 글로벌 네트워크를 통해 동적, 정적, 스트리밍 및 대화형 콘텐츠를 포함하는 전체 웹 사이트 전송
7. Amazon Elastic File System (NAS 서비스 - Beta임)
  • 공유 Storage 서비스를 위해 S3 API 를 활용해야 하는 불편함을 EFS 를 통해 NAS 처럼 액세스

3교시 : AWS 컴퓨팅 제품

1. Amazon Elastic Compute Cloud (EC2)
  • 컴퓨팅 요구 사항의 변화에 따라 컴퓨팅 파워를 조정
  • Linux(배포판 선택 가능) 와 Windows 를 선택
  • 사용방법 : AWS 리전(AZ) 선택 -> AMI(AWS Marketplace 에서 선택 가능)에서 EC2 인스턴스 선택 -> CPU, Memory, 네트워크 를 고려하여 인스턴스 유형 선택 -> IP주소, 보안 그룹 등 선택
  • 백업을 위한 스냅샷 (API를 통해 S3의 어느 위치에 저장되었는지 확인가능)
  • AWS 를 가입하면 기본적으로 무료로 사용할 수 있는 프리터어 제공
2. Auto Scaling
  • Amazon EC2 용량을 자동으로 조정 (Scale Out 과 Scale In 자동)
  • 사용자가 지정한 조건(정책)에 의해 자원 사용량에 따라 Instance를 늘림.
  • ELB (Elastic Load Balancing) + CloudWatch (리소스 사용률 모니터링을 통해 사이즈 조절)를 통해서 Auto Scaling 을 제공
3. Amazon Virtual Private Cloud (VPC)
  • 고객이 정의한 가상 네트워크에서 AWS리소스를 시작할 수 있도록 AWS 클라우드상에 프라이빗하고 격리된 공간을 프로비저닝
  • 가상 네트워크 환경을 완벽하게 제어함.
  • Amazon Elastic IP : 고정 IP 서비스
  • Amazon VPC를 암호화된 VPN 연결을 통해 자체 IT 인프라에 연계가능.
4. AWS Direct Connect (전용선 서비스)
  • 고객의 온프레미스 환경(자체 서버 운영 환경)과 AWS간의 전용 네트워크 연결 구축 (물리적인 구축)
  • 1G, 10G만 가능하지만 파트너를 통해 조절 가능
5. Amazon Route 53 (DNS 서비스)
  • 최종 사용자를 인터넷 애플리케이션으로 라우팅 (도메인 이름 등록 제공)
  • 특정 지역에서 들어온 트래픽을 특정 엔드포인트로 전달해주는 기능도 제공
6. Elastic Load Balancing
  • 여러 인스턴스에 걸쳐 트래픽 분산
  • Amazon EC2 인스턴스에 대한 HTTP, HTTPS 및 TCP 트래픽의 라우팅과 밸런싱 지원
  • 제약 조건 : L4 서비스만 할 수 있음. (Port 기반), L7 역할은 하지 않음. EC2 에 대해서만 가능.

4교시 : AWS 관리형 서비스 및 데이터베이스

1. Amazon Relational Database Service (RDS)
  • MySQL, PostgreSQL, Oracle, SQL Sever, Amazon Aurora 지원
  • 이중에서 Replication 은 MySQL, PostgreSQL, Aurora 가 제공
  • 자동으로 데이터베이스 소프트웨어 패치 및 데이터베이스 백업 (Standby 부터 패치 진행함)
  • 한번의 API 호출을 통해 관계형 데이터베이스 인스턴스와 관련된 컴퓨팅 리소스 또는 스토리지 용량을 확장)
  • Amazon RDS의 기본 기능은 VPC 에서 실행되는지와 관계없이 동일. 백업, 소프트웨어 패치 자동 장애 탐지 및 복구를 관리 (Version 패치는 어떻게?)
2. Amazon DynamoDB (NoSQL)
  • 용량의 제한이 없으며, SSD를 사용해 빠르고 예측 가능한 성능을 제공
  • 테이블 별로 필요한 요청 용량을 쉽게 프로비저닝하고 변경 가능. (테이블을 생성하고 용량을 지정)
  • Sharding 은 어떻게? (특정 요구 성능 및 크기에 따라 자동 파티셔닝하여 Sharding 을 함)
3. Amazon ElastiCache (인메모리 서비스)
  • 필요한 용량의 EC2를 선택 -> Cache 엔진 선택 (Memcached, Redis) -> (A-S 구조로 구축 - 알아서)
  • Memcached 호환 및 Redis 호환 온디맨드형 캐시 클러스터
  • 용도 : DB티어 앞에서 캐시(읽기가 많으며 변화가 거의 없는 데이터), 타 AWS Service 와 함께 사용.
  • 읽기 중심의 여러 애플리케이션 워크로드에서 지연 시간을 단축하고 처리량을 높여줌.
4. Amazon Redshift (DW 전용 서비스)
  • 데이터 웨어하우스 클러스터를 설정하고, 운영하며, 확장하는 데 필요한 모든 작업을 관리하는 페타바이트 규모의 서비스
  • 클러스터를 확장해 성능을 높일 수 있는 간단한 방법
  • PostgreSQL 엔진을 활용하여 만든 DW 서비스

5교시 : AWS 배포 및 관리

1. AWS Identity and Access Management (IAM)
  • AWS 사용자 및 그룹을 생성 및 관리
  • 사내 디렉터리와 AWS 서비스 간 자격 증명 연동을 가능하게 함. (LDAP에서 사요한는 그룹과 사용자를 그대로 인증없이 AWS를 사용할 수 있도록 지원)
  • AWS의 리소스에 대한 권한관리도 모두 가능
2. Amazon CloudWatch
  • 리소스 사용률, 운영 성능 및 전체 수요 패턴에 대한 모니터링 (가상화 된 서비스에 대한 모니터링)
  • AWS Management Console, API, SDK 또는 CLI를 통해 엑세스 가능
  • 필요한 지표(아파치의 세션 정보, 특정 프로세스의 메모리, Access Log, Error Log 등)를 CloudWatch로 인터페이스하여 모니터링하고 이벤트 발생 가능.
3. AWS Elastic Beanstalk
  • Web Application 의 배포 및 규모 조정에 특화된 서비스
  • 서비스 플랫폼 선택(Java, Python, Docker, Ruby 등) -> 단일 or Auto Scaling 선택 -> 세부옵션 선택 -> 완료. -> Source Upload
  • Docker 와 유사한 플랫폼?
4. AWS CloudFormation
  • 템플릿 및 연관된 리소스 모음을 배포 및 업데이트하기 위한 매우 유연한 서비스. 리소스 모음을 ‘스택’ 이라고 하고 AWS Management Console, AWS CloudFormation 명령줄 도구 또는 API 사용
  • Elastic Beanstalk 와는 다르게 세부 설정을 해야 하는 서비스 (JSON 형식의 텍스트 파일을 이용)
  • AWS 서비스 대부분을 사용자가 Setting 파일을 통해 생성 배포 가능.
  • CloudFormer를 통해 기존 서비스에서 Formation용 JSON을 뽑아낼 수 있음.
5. AWS OpsWorks
  • Beanstalk 와 CloudFormation 의 중간즈음 되는 서비스. Chef의 관리형 서비스와 유사한. Ruby를 알아야 함.
  • Chef 레시피 및 Bash 스크립트를 를 그대로 활용해 여러 EC2들의 설정을 변경할 수 있음.
  • Python, Java 등으로 만든 서비스 구성 전체를 스택 이라 하고, 이를 다시 DB, WAS 등의 관련 리소스로 계층화 하고, 마지막으로 인스턴스 위에 앱을 서비스 할 수 있도록 함. (스택이란 함께 관리하고자 하는 컴퓨터 인프라와 애플리케이션을 나타냄)

기타

Amazon 소수 오프라인 교육 참가 : 확인 필요 (학습링크 : https://aws.qwiklab.com)

posted by LifeisSimple

댓글을 달아 주세요

2011. 7. 27. 15:00 Brain Trainning/Cloud

Amazon EC2 Disk Performance 


Getting Good IO from Amazon's EBS



Disk IO and throughput benchmarks on Amazon’s EC2



위의 링크 참조
posted by LifeisSimple

댓글을 달아 주세요

2011. 7. 26. 12:11 Brain Trainning/Cloud

아마존 세미나가 끝나고 한참뒤인 오늘 드디어 25$ 쿠폰이 왔습니다. ㅎㅎ


생각보다 쿠폰발급도 그렇고 이메일도 좀 허름합니다. 

글로벌 서비스답게 좀더 괜찮게 해줬으면 좋았을텐데요 아쉽네요.

그래도, 유용할것 같습니다. ^^
posted by LifeisSimple

댓글을 달아 주세요

2011. 6. 27. 21:37 Brain Trainning/Cloud
오늘 아마존 클라우드 세마나를 다녀왔습니다. 

코액스에서 진행된 세미나에는 생각보다 많은 업체들이 많은 관심을 가지고 세미나를 듣고 있었습니다.
내용 자체는 간단한 상품설명 정도였지만, 이후에 진행된 QA 에서는 다양한 기술적 질문이 오가 기술적인 부분을 어느정도 해소해 주었습니다.

아래 사진들은 제가 들으면서 정리한 내용입니다. 악필..... ㅎㅎㅎ 책상이 없어 대충 끄적이다 보니 글이 영.... 아니군요

이런 사진 순서가 엉망이군요

Apple | iPhone 4 | Normal program | Spot | 1/20sec | F/2.8 | 3.9mm | ISO-100 | Flash did not fire, auto mode | 2011:06:27 21:06:01


이건 클라우드에서 중요한 요소중의 하나가 될 수 있는 업로드 속도 (컨텐츠 딜리버리 서비스 에서는 중요할) 와  CPU 속도 (분석 등의 CPU파워를 중시하는 작업)에 대한 질문에 대한 답이었습니다. 
업로드는 아마존이 한국에 IDC를 만들기 전까지는 해결되기 어려운 부분인것 같고 프로세서의 성능 및 그래픽 속도는 시간에 지남에 따라 점점 고성능화 되어갈 것이라고 합니다.

Apple | iPhone 4 | Normal program | Spot | 1/20sec | F/2.8 | 3.9mm | ISO-80 | Flash did not fire, auto mode | 2011:06:27 21:05:47


Vpc 관련 질문이 아닌 커스터마이징된 AMI 를 Auto Scale 에 어떻게 활용할 수 있는가에 대한 질문이었습니다. 답은 이미 구현되어 있습니다.
VMWare VPC에서 생성된 파일도 올려서 사용할 수 있다고 합니다. 자체적으로 관련 SW를 지원하는 듯 합니다.

두번째 생성가능한 DB의 용량관련 질문입니다. 위와같이 50T 까지 가능하며 기본적으로  EC2에서 생성가능한 용량은 10-15G 정도의 공간을 활용할 수 있어 그정도 용량이라고 합니다. 추가하기 위해서는 EBS를 추가하여 용량을 늘리면 되며 여러개의 EBS를 통해서 샤딩이 가능하다고 합니다.

하드웨어적인 네트웍 가속기능 지원에 대한 이야기가 있었는데 이 부분은 써드파티 SW 솔루션을 활용해서 하라고 합니다. (하드웨어는 지원 안합니다.)

Apple | iPhone 4 | Normal program | Spot | 1/17sec | F/2.8 | 3.9mm | ISO-80 | Flash did not fire, auto mode | 2011:06:27 21:05:34


 RDS를 통해서 보다 안정적인 DB 구축이 가능하다고 합니다. 물론 현재 RDS로 지원 가능한 DB는 MySQL, Oracle 밖에 없습니다. 지속적으로 다른 DB또한 지원 할 예정이라고 합니다. DB의 고가용성 구축이 보다 편리해질 것 같습니다.

아래는 국내의 현행법상 개인자료는 국내서버에 있어야 한다는 내용입니다. (이것도 우리 서비스에 적용되는지 확인이 필요합니다.)

Apple | iPhone 4 | Normal program | Spot | 1/24sec | F/2.8 | 3.9mm | ISO-100 | Flash did not fire, auto mode | 2011:06:27 21:05:23


이것은 CloudFront 서비스로 CDN 서비스입니다.
파일서버, 이미지 서버 등을 대체할 용도입니다. 구성또한 매우 간단합니다.

Apple | iPhone 4 | Normal program | Spot | 1/17sec | F/2.8 | 3.9mm | ISO-80 | Flash did not fire, auto mode | 2011:06:27 21:05:14


서비스에 대한 간략한 설명입니다.
EC2를 자신에 맞도록 선택해서 서비스 받고 Security Group 을 통해 인바운드 트래픽에 대한 방화벽 정책을 올립니다.
그리고, 필요에 따라서 CloudFront, ELB 서비스를 신청해서 사용합니다. ELB의 중요한 포인트는 그 자체보다도 Auto Scale 인 듯 합니다. 

Apple | iPhone 4 | Normal program | Spot | 1/24sec | F/2.8 | 3.9mm | ISO-80 | Flash did not fire, auto mode | 2011:06:27 21:05:01


요건 전체적인 서비스의 그림입니다.

Apple | iPhone 4 | Normal program | Spot | 1/15sec | F/2.8 | 3.9mm | ISO-160 | Flash did not fire, auto mode | 2011:06:27 20:59:46


이것은 CloudWatch 서비스로 모니터링 및 Auto Scale까지 지원할 수 있도록 하는 서비스인듯 합니다. 정해진 Load 의 양에 의해 자동적으로 선택된 Instance를 추가하는 서비스인것 같습니다. 

오늘 전반적인 아마존 서비스에 대해서 들을 수 있어 좋은 자리였습니다.
그렇지만 전체적인 행사에 대한 준비 미흡이 좀 보이는 듯 했습니다. 실시간 통역을 가장한 전체진행 흐름의 방해 + 청중 레밸과 맞지 않는 내용..
QA 시간이 더 알찼습니다.

다음에는 아마존 서비스의 실 적용방법을 한번 올려볼까 합니다. (기약은 없네요 ㅎㅎ)
 
posted by LifeisSimple

댓글을 달아 주세요

  1. 2011.06.29 09:53  Addr Edit/Del Reply

    비밀댓글입니다

  2. 안녕하세요.
    블로그 돌아댕기던중 반가운 글이 있네요 ㅎㅎ

    Auto Scaling 관련 질문을 했던 당사자입니다.

    음.. 질문의 확실한 답은 "No" 였네요 ^^

    조금 뭉퉁그려 질문을 했었죠.

    "RDS에서 제공하지 않는 DB, postgreSQL 을 사용중에 있다. 이를 사용하기 위해선 EC2에서 서버 구축을 하고 Auto Scaling을 하기 위해 사전에 미리 Image작업을 해줘야한다.
    여기서 문제가 하나 발생하는데, DB 구축후 10기가가 넘어가버리면 Image는 10기가로 한정되어있어서 만들수가 없다.
    즉, 이문제로 Auto Scaling은 안되는것이지요.

    그래서 해결방법이 무엇이냐 물었더니 EBS 추가해서 사용하면 용량의 한계를 넘을 수 있다. 라는 답변을 얻었는데, EBS 추가하게 되면 EC2와 EBS는 1:1 mapping 되므로 Auto Scaling 하게되면 해당 EBS도 같이 증가되어야 한다는 논리입니다.
    하지만 그리 되진 않죠 ^^;; 결국 시간상 문제로 마이크는 넘어갔고, 세미나 끝나고 다른분과 대화중, 결론은.. 안된다 였네요 ^^; 어서 개선되던가 RDS에서 해당 DBMS를 제공해주길 기다리는수박에요 ㅎㅎ "

    그나저나 그날 준다는 $25 상품권은 언제 주는지 알아보고 있는데..ㅠㅠ 안주네요 ㅎㅎ

    • LifeisSimple 2011.07.11 23:59 신고  Addr Edit/Del

      하하 반갑습니다. ^^ 이렇게 글로 뵙네요 ^^
      저도 그렇지만 답변하신분도 질문을 정확히 파악못하신듯 합니다. 저흰 MS 사용중인데 이것도 auto scaling 할때 이미지를 만들어야 하는데 이때문에 라이선스 문제 걸리고 + 10G 는 기본 넘어가는 DB 사이즈때문에 걱정이 되더군요 ㅎㅎ // 저희도 아직 25$ 못받았습니다. ㅋㅋ

  3. 그날질문한 내용이 블로그에 있습니다.

    http://www.cyworld.com/dragon_fly2500/3709811

    함께 고민해보아요 ㅠㅠ

  4. 성범공원 2011.08.24 20:04  Addr Edit/Del Reply

    아마존 클라우드 서비스가 무엇인가 궁금하던 차에 이 블로그를 읽어 보았는데. 일목요연하게 정리가 잘되어 있네요.
    많은 도움 되었습니다. 감사합니다.

prev 1 next