2015년 4월 21일, 서울특별시 강남구 삼성동 코엑스에서 열린 "AWS Summit Seoul 2015"가 열렸습니다. 

참석은 안했지만, 어떤 내용인가 확인하고 구글링 하다보니 흥미로운 주제로 된 발표가 많더군요.


현재, AWS에 관심이 많고, AWS기술 문서 및 AWS도입 사례 및 문제 해결 방안에 대한 내용을 습득하다보니 이번 4월 21일에 열린 AWS Summit Seoul 2015의 발표세션중 2015년 6월 6일까지 공개된 슬라이드들을 모으고 정리하였습니다.



트랙1 AWS 신규 서비스 및 솔루션 

AWS 최신 서비스 살펴보기 - Aurora, Lambda, EFS, Machine Learning, ECS


국내 사례로 본 클라우드 운영 최적화 - 모니터링, 자동화, 빌링


AWS 클라우드를 활용한 빅데이터 및 실시간 스트리밍 분석


국민내비 김기사, AWS 하이브리드 환경 구축사례


모바일 및 IoT 환경을 위한 AWS 클라우드 플랫폼의 진화


AWS와 컴볼트가 함께하는 데이터 보안 및 관리 자동화


AWS와 연계하는 레드햇 오픈 하이브리드 아키텍처


EBS성능 향상 및 EC2 비용 최적화 기법


트랙 2 AWS 소개 및 활용 사례 

AWS 소개 - 컴퓨팅(EC2), 데이터베이스(RDS, Redshift), 스토리지(S3, EBS)


CloudFront와 Route53기반 콘텐츠 배포 전략


엔터프라이즈에서의 하이브리드 환경 전략


엔터프라이즈 클라우드 도입 및 고려사항 - 메가마트 사례


AWS를 통한 클라우드 보안 이해하기


보안을 통한 AWS에서의 신뢰성 강화


데이터 중심 클라우드 전략과 하이브리드 솔루션


AWS이용사례 - SM엔터테인먼트 및 셰이커미디어 사례를 중심으로



이 장소를 Daum지도에서 확인해보세요.
서울특별시 강남구 삼성1동 | 코엑스
도움말 Daum 지도
Buy me a coffeeBuy me a coffee

금융 데이터 이해와 분석 PyCon 2014


Buy me a coffeeBuy me a coffee

어떻게 하면 데이터 사이언티스트가 될 수 있나요?

B2C회사에서 일을 하다보니, 고객들이 어떤 것이 호기심을 갖는지, 어떻게 관심가지는지, 어느 사이트들을 참조하여 가는지 등등 고객이 어떤 행동하는지 데이터를 분석을 할수 있을까 이런 생각을 해봄.


이 슬라이즈 작성자께서는 데이터 사이언티스트가 되기 위하여 데이터를 다루기 위한 스킬과 보면 유용한 책들을 간단히 소개를 하였음.


Buy me a coffeeBuy me a coffee

자료(資料,데이터,Data) 가시화(可視化)/시각화(視覺化), 데이터 비쥬얼라이제이션(Data Visualization)의 역사, 개념, 방법에 대한 발표자료.

Introduction to Data Visualization: History, Concept, Methods (HCI Korea 2014)


Buy me a coffeeBuy me a coffee

2011년 9월 30일 오후 5시경


회사에서 네이트온을 켜면 안되는데도, 몰래 네이트온을 켰더니 후배에게서 연락이 왔다.


후배: "교수님께서 뭐좀 여쭤보라고 하시는데요학과 홈페이지가 날라가서;"



이게 뭔 말이란 말인가??


나: "헉 학과 홈페이지가 날라가다니 뭔 소리인가요?"

후배: "학과홈페이지가 크레쉬되서 지금 접속이 안되고 있어요 백업본도 좀 옛날꺼라 복구하기가 쉽지 않은거 같더라구요;"

나: 하드디스크가 망가진건가요?

후배: "정확히 어떤 문제인지는 저도 잘 모르겠어요; 그래서 학과홈페이지 관련했던사람 연락처를 다 찾고 계신거 같더라구요"



이게 뭔 상황? 정말 황당한 상황이 발생하였습니다. 대학 3학년때 근로 장학금 받는 조건으로 신촌 H대 컴퓨터공학과 홈페이지 유지보수를 맡아서 2008년 3월까지 진행하고, 이후로 후배에게 인수인계받고 끝났기 때문에 학과 홈페이지 유지보수쪽은 전혀 모르고, 거기에 서버관리권한도 없었기 때문에 전혀 알길이 없었음.

(참고로, 내 기억으로 신촌 H대 컴퓨터공학과 홈페이지는 2001~2년도쯤에 제작되었고, DB설계도 2001~2년도 학부생들이 한걸로 알고 있음.)


나: "난 홈페이지 관리만 하고 서버 관리는 안해서 학과 서버쪽은 전혀 모르는데;;"

후배: "아 그런신가요? 홈페이지 관리하신분의 백업본이 좀 옛날꺼라 홈페이지 예전에 제작한사람 찾는다고 교수님께서 그러시더라구요

오늘 서버 관리자 분도 만나신거 같고요"

나: "최신 DB백업도 없단 소리인가요?

후배: "음 네 그런거 같아요"

나: "그거 2008년도 백업일듯한 예상이 든데;; (2007년도일듯? 2007년도에 서버관리자님이 서버 바꾸며 백업했고, 내가 php소스 일괄 변경하고는 잘 모르겠음"

후배: "아 흠.. 네 알겠습니다"

나: "2008년~2011년간 누군가 백업안했는듯;;"



으아 2007년도 여름방학때 서버 바꾸면서 PHP3로 된 홈페이지 소스들 PHP5에 맞춰서 일괄 변경한다고 2주씩 걸린 기억도 나고(밤샘도 했고) 그리고 여러가지 설문조사 프로그램도 하고 등등 저의 손길이 미치지 않은 곳이 없던 홈페이지 소스들이 전부 날라갔습니다.

2008년~2011년간 아무도 백업을 하지 않아서 이런 사태가 일어난듯 하군요. -_-;; 서로 책임을 지지 않다 보니 제가 작업했던 소스들이 전부 날라가는 불쌍사가 나왔군요.


그리고 그 많은 데이터 복구하려면 어쩔? 그리고 어떤식으로 사라졌는지 모르겠다만, 혹시 해커가 SQL Injection으로 공격해서 데이터를 빼돌렸다면? 

온갖 문제점들이 머릿속으로 맴돌군요.


그리고 구닥다리 인터페이스의 홈페이지는 이제 빠이군요.


내가 작업했던 것들이 전부 물거품으로 되었다니 생각만해도 끔찍하군요. 포트폴리오로 쓸만한것도 꽤 있었는데  ㅠㅠ 


백업의 소중함을 제대로 느끼게 된 하루였습니다.

백업, 그게 가장 큰 핵심 포인트입니다!




Buy me a coffeeBuy me a coffee
  1. Favicon of http://camuigackt.egloos.com BlogIcon Shirou君 2011.10.01 14:11

    새삼 백업의 중요성은 여러번 강조해도 부족함이 없지요.
    ...문제는 이런 사태가 일어나야 다시 상기된다는 문제가...OTL

    • Favicon of https://blog.studioego.info BlogIcon StudioEgo 2011.10.05 21:04 신고

      한번 데어봐야 백업의 중요성을 안다지만, 규모가 있는 시스템에서 백업을 안하고 데이면 ㅠㅠ

    • Favicon of https://blog.studioego.info BlogIcon StudioEgo 2011.10.05 21:04 신고

      한번 데어봐야 백업의 중요성을 안다지만, 규모가 있는 시스템에서 백업을 안하고 데이면 ㅠㅠ

  2. Favicon of http://daybreaker.info BlogIcon daybreaker 2011.10.02 04:09

    ...혹시 버전관리하는 거라도 없었나요?;; ㅠㅠ
    사용자 데이터가 들어있는 DB는 어쩔 수 없다손 치더라도, 프로그램 코드와 이미지/스크립트 파일들만이라도 저장소에 남아있다면 기능은 살릴 수 있을 텐데요.
    2007년 정도만 해도 거의 쓰이지 않긴 했지만, 지금은 분산형 버전관리가 일종의 백업 역할도 해주기 때문에 이런 점에서 좋은 것 같긴 합니다.

    • Favicon of https://blog.studioego.info BlogIcon StudioEgo 2011.10.05 21:03 신고

      그동안 버전관리툴로 관리를 안했나봐요... ㅠㅠ
      2007년도에 받은 코드와 이미지 스크립트 파일만 남아 있는듯 하군요.
      이제 졸업해서 어찌어찌하라고는 못하겠구요 @.@
      요즘 버전관리의 중요성을 심히 느끼고 있답니다. ㅎㅎ




웹개발자를위한대규모서비스를지탱하는기술
카테고리 컴퓨터/IT > 프로그래밍/언어 > 웹프로그래밍 > 웹프로그래밍일반
지은이 이토 나오야 (제이펍, 2011년)
상세보기


일본에서 매우 유명한 웹 서비스 업체(쉽게 말해서 다음, 네이버와 같은 대형 포털)인 하테나(Hatena,はてな)의 CTO와 엔지니어가 쓴 "웹 개발자를 위한 대규모 서비스를 지탱하는 기술"이 한국에 번역되어 출간된다군요.

저는 커피닉스에서  [공동구매] 웹 개발자를 위한 대규모 서비스를 지탱하는 기술 링크를 보고 책을 구입하게 되었습니다.


이 책은 하테나(Hatena)사의 인턴들에게 인턴십과정중에서 수행되는 실제 기술 강의를 기반으로 구성되어 있습니다.

대규모 서비스 개발과 운영을 다룬 책인데 한국에서 이런 책을 찾기가 가뭄에 콩나물 보듯 어렵다 보니 관심이 갑니다.

(참고로 2009년 5월 12일자로 커피닉스 공동구매로 구입한 "서버/인프라를 지탱하는 기술"이란 책도 일본의 유명인터넷 업체인 하테나(Hatena,はてな)와 KLab의 서버 운영 노하우를 기술한 책으로 지금 소개할 책과 비슷합니다.)


서버인프라를지탱하는기술24시간365일
카테고리 컴퓨터/IT > 데이터베이스 > SQL서버 > SQL서버일반
지은이 이토 나오야 (제이펍, 2009년)
상세보기


아직 2011년 3월 2일 발매라 아직 책을 얻지 못했지만, 도서 설명 내용을 보니 네이버나 다음, 구글, 페이스북과 같은 대규모 웹서비스를 운영하는 회사의 노하우가 들어갔다는 생각을 합니다.

아래는 책의 목차입니다.


1 대규모 서비스 개발 오리엔테이션 -전체 그림 파악하기

강의 0 책의 근본 - 책에서 설명하는 것과 설명하지 않는

강의 1 대규모 서비스와 소규모 서비스

강의 2 계속 성장하는 서비스와 대규모화의

강의 3 서비스 개발의 현장


2 대규모 데이터 처리 입문 - 메모리와 디스크, 애플리케이션과 부하

강의 4 하테나 북마크의 데이터 규모 - 데이터가 많을수록 처리에 시간이 걸린다

강의 5 대규모 데이터 처리의 어려운 메모리와 디스크

강의 6 규모조정의 요소

강의 7 대규모 데이터를 다루기 위한 기초지식


3 OS 캐시와 분산 - 대규모 데이터를 효율적으로 처리하는 원리

강의 8 OS 캐시 구조

강의 9 I/O 부하를 줄이는 방법

강의 10 국소성을 살리는 분산


4 DB 스케일아웃 전략 - 분산을 고려한 MySQL 운용

강의 11 인덱스를 올바르게 운용하기 분산을 고려한 MySQL 운용의 대전제

강의 12 MySQL 분산 확장을 전제로 시스템 설계

강의 13 MySQL 스케일아웃과 파티셔닝


5 대규모 데이터 처리 실전 입문 - 애플리케이션 개발의 급소

강의 14 용도특화형 인덱싱 대규모 데이터를 능수능란하게 다루기

강의 15 이론과 실전 양쪽과의 싸움


6 [과제] 압축 프로그래밍 - 데이터 크기, I/O 고속화와의 관계 인식하기

강의 16 [과제] 정수 데이터를 컴팩트하게 가져가기

강의 17 VB Code 속도감각

강의 18 과제에 대한 상세설명과 응답 사례


7 알고리즘 실용화 - 가까운 예로 보는 이론ㆍ연구의 실전 투입

강의 19 알고리즘과 평가

강의 20 하테나 다이어리의 키워드 링크

강의 21 하테나 북마크의 기사 분류


8 [과제] 하테나 키워드링크 구현 - 응용으로 가는 깨닫기

강의 22 [과제] 하테나 키워드 링크 만들기

강의 23 응답 사례와 사고방식


9 전문 검색기술 도전 - 대규모 데이터 처리의 노하우

강의 24 전문 검색기술의 응용범위

강의 25 검색 시스템의 아키텍처

강의 26 검색엔진의 내부구조


10 [과제] 전문 검색엔진 작성 - 기초, 상세부분 작성, 속도와 정확성 추구

강의 27 [과제] 하테나 북마크 전문 검색 만들기

강의 28 응답 사례와 사고방식


11 대규모 데이터 처리를 지탱하는 서버/인프라 입문 - 서비스의 백엔드

강의 29 엔터프라이즈 vs. 서비스

강의 30 클라우드 vs. 자체구축 인프라


12 확장성 확보에 필요한 사고방식 - 규모 증대와 시스템 확장

강의 31 계층과 확장성

강의 32 부하 파악, 튜닝


13 다중성 확보, 시스템 안정화 - 100% 근접한 가동률을 실현하는 원리

강의 33 다중성 확보

강의 34 시스템 안정화

강의 35 시스템 안정화 대책


14 효율향상전략 - 하드웨어의 리소스 사용률 높이기

강의 36 가상화 기술

강의 37 하드웨어와 효율향상 저비용을 실현하는 요소기술


15 서비스와 네트워크 - 서비스의 성장

강의 38 네트워크 분기점

강의 39 한층 높은 단계로


특별편 현대 서비스 구축에 필요한 실전 기술 - 대규모 서비스에 대응하기 위해서

Special 강의 1 작업큐(Job-Queue) 시스템 TheSchwartz, Gearman

Special 강의 2 스토리지 선택 RDBMS key-value 스토어

Special 강의 3 캐시 시스템 Squid, Varnish

Special 강의 4 계산 클러스터 Hadoop



일단은 책을 받아 읽고보고 나서야 소감을 쓸수 있을것 같다.


ps1. 책의 목차를 보니 체계적으로 정리된듯 하다. 인터넷에서 수박 겉핥기로 알고 있는 내용들이 정리된다는 느낌? 

ps2. 한국의 웹서비스 회사에서 이런 노하우를 책으로 공개할 수 있을까?


Buy me a coffeeBuy me a coffee



구글에서 컴퓨터 Geek, Nerd에게 명령어로 구글 서비스에 명령 주는 것을 시작하였습니다.

이름은 GoogleCL입니다.

Google CL은 Command line(명령어)를 통해서 Google Data API을 이용한 Python 애플리케이션입니다.

웹에 접속하기 보다 Command Line(명령어)로 쉽게 작성할수 있는 점에서 Geek, Nerd한 사람들이 많이 사용할듯 합니다.

Google CL은 Google 서비스 중에 Blogger, Calendar, Google Contacts, Google Docs, Google Picasa, Youtube서비스를 지원합니다.

Google CL은 Python을 사용한 애플리케이션이라 Python이 이미 설치되어야 합니다.

그래서 Ubuntu, Debian같은 Linux또는 Mac에선 쉽게 설치 가능합니다만, Windows에선 Python을 설치해야하고 설정하는 것이 복잡합니다.

System Requirements 에서 Linux, Mac의 설치 방법이 나옵니다.

Windows에서 설치하는 방법은 아래 링크를 클릭하시기 바랍니다.

Setup GoogleCL on WinXP

사용법은 아래와 같습니다.

  • Blogger
  • $ google blogger post --title "foo" "command line posting"

  • Calendar
  • $ google calendar add "Lunch with Jim at noon tomorrow"
  • Contacts
  • $ google contacts list name,email > contacts.csv
  • Docs
  • $ google docs edit --title "Shopping list"
  • Picasa
  • $ google picasa create --album "Cat Photos" ~/photos/cats/*.jpg
  • Youtube
  • $ google youtube post --category Education killer_robots.avi

'컴퓨터 > Web' 카테고리의 다른 글

Firefox 3.6.4 출시  (0) 2010.06.23
오픈마루 스튜디오의 사라짐  (0) 2010.06.21
GoogleCL - 명령어로 구글 서비스를 이용하기  (0) 2010.06.19
Google Voice 초대장 도착.  (0) 2010.06.12
Daum의 새로운 Favicon?  (0) 2010.06.02
Twitter 시계봇과 동급인건가?  (0) 2010.05.30
Buy me a coffeeBuy me a coffee

+ Recent posts