관계형 데이터베이스와 비관계형 데이터베이스

수십 년간 애플리케이션 개발에 주로 사용되어 온 데이터 모델은 관계형 데이터 모델입니다. 이 모델은 Oracle, IBM DB2, SQL Server, MySQL, PostgreSQL 등의 관계형 데이터베이스에 사용되고 있습니다. 2000년대 중반 말에 이르러 다른 데이터 모델들이 채택되고 사용되는 형상이 눈에 띄기 시작했습니다.

이러한 새로운 데이터베이스와 데이터 모델 클래스를 차별화하고 분류하기 위해 NoSQL이라는 용어가 만들어졌습니다. 흔히 NoSQL이란 용어는 비관계형 데이터베이스와 같은 의미로 사용됩니다.

관계형 데이터베이스는 서로 간에 사전 정의된 관계가 있는 데이터 항목의 모음입니다. 이들 항목은 열과 행으로 이루어진 테이블 집합으로 굿어됩니다. 테이블의 각 열은 특정 종류의 데이터를 수록하며 필드는 속성의 실제 값을 저장합니다. 테이블의 행은 한 객체 또는 엔터티와 관계된 값의 모음을 나타냅니다. 이 데이터는 데이터베이스 테이블 자체를 재구성하지 않고도 여러 가지 방법으로 액세스 할 수 있습니다.

NoSQL은 가용성과 확장성이 뛰어나며 높은 성능을 유지하도록 최적화된 비 관계형 데이터베이스 시스템을 설명하는 데 사용되는 용어입니다. NoSQL 데이터베이스는 키 값 페어 또는 문서 스토리지 같은 데이터 관리에 관계형 모델 대신 대처 모델을 사용합니다.

관계형 DB / NoSQL

기능이 각기 다른 여러 유형의 데이터베이스가 있지만, 다음 표에서는 SQL DB와 NoSQL DB의 몇 가지 차이점에 대해 보여줍니다.

관리형 서비스와 비관리형 서비스

클라우드에서 리소스를 구축할 때는 클라우드를 제어해야 하는 수준, 그리고 해당 리소스를 관리하는 데 사용할 수 있는 보유 중인 리소스를 고려해야합니다.

예를 들어 클라우드에서 데이터베이스를 실행할 때는 Amazon EC2(Amazon Elastic Compute Cloud) 인스턴스에 설치할 수도 있고, Amazon RDS 등의 관계형 데이터베이스 옵션을 선택할 수도 있습니다.

• EC2 인스턴스에 데이터베이스를 설치하면 하드웨어를 제외한 데이터베이스의 모든 측면을 완벽하게 제어할 수 있습니다. 하지만 이처럼 제어 가능 수준이 높아지므로 관리를 위한 전문 지식과 리소스가 더 많이 필요합니다.
• 관리형 데이터베이스 서비스를 사용 시에는 획일적인 데이터베이스 관리 업무를 수행할 필요가 없습니다.

AWS가 관리하는 데이터베이스는 고가용성, 확장성 및 백업을 위한 시스템을 제공합니다. 스케일링, 고가용성, 데이터베이스 백업, 데이터베이스 소프트웨어 패치, 데이터베이스 소프트웨어 설치, OS 패치를 사용하도록 선택할 수 있습니다. 일반적으로 사용자는 데이터베이스 계층이 애플리케이션과 최대한 잘 연동하도록 애플리케이션 최적화만 책임집니다.

수료 후기

어느새 정신차려보니 발표가 끝나 있습니다. 정말 이번 2~3주는 말 그대로 "눈 깜작할 새" 지나갔습니다. 발표 직전에 문제를 발견하기도 하고, 발표 날 피드백을 통해 수정을 요청받아 정말 정신없이 수정하고 발표를 진행하였습니다. 발표가 20분도 남지 않은 시점에 문제가 발생하고, 이를 해결하느라 진땀 빼고, 괜히 안하던 긴장을 해 발표에서 실수를 엄청나게 해버렸습니다...

그래도 자신감 있어보인다는 피드백과 조금 머뭇거리는 부분을 제외하면 굉장히 잘 하였다고 해주시고, 다른 팀원들도 매우 안정적으로 끝마쳐 아주 만족스러운 발표가 된 것 같습니다.

이 글을 작성하는 지금도 심장이 두근거리고 제정신이 아닌거 같은 느낌이네요...

이렇게 6개월간 진행된 과정을 마지고, 엔지니어에 한발짝 앞으로 나가게 되었습니다. 앞으로 더욱 성장하는 엔지니어가 되기 위해 노력하겠습니다. 감사합니다.

CKA 특강 후기

이번 에티버스에서 최종 발표가 있기 전 주에 CKA 특강을 진행해줬습니다. 최종 발표로 정신없지만 K8s를 다루는 시험인 만큼 언젠가는 취득할 자격증이었는데 마침 좋은기회가 된 것 같습니다. 뿐만 아니라 프로젝트를 진행할 때 팁들도 전달해주셔서 조금 더 괜찮은 결과물이 나올 것 같습니다.

시험 준비하랴 최종 프로젝트 결과물 만들랴 정신 없지만 어느덧 이 과정을 시작한지 6개월이 지나 다음날이면 마지막이라는게 당황스러우면서도 실감이 안나네요. 얼른 마무리하고 마저 공부하러 가보겠습니다. 감사합니다

https://www.eteverslearning.com/Default.asp 

최종프로젝트 후기

RECA 2기 최종프로젝트가 종료되었습니다. 이제 CKA 특강과 다음주 최종 발표를 남겨두고 있는데, 발표 준비하랴 특강 들으랴 정말 정신이 하나도 없습니다. 반년이라는 짧지 않은 시간을 학원에서 보냈는데, 어느덧 종착지에 다가와 있으니 실감 또한 나지 않습니다.

이제 최종 마무리를 잘 끝마치기 위해서 팀원들과 최종 정리 및 발표 준비를 하고 있는데, 이럴 때 만감이 교차한다는 말을 쓰는 것 같습니다. 신입 시스템 엔지니어 준비생으로써 많이 부족하지만 그럼에도 최선을 다해서 마무리하고 엔지니어로의 시작을 준비하겠습니다.

IP가 뭔지, OSI 7 Layer가 뭔지도 모르던 제가 이제 최종 프로젝트에 팀장을 맡고 있으니 정말 짧은 기간동안 생각보다 더 성장했음을 느낍니다. 또한 점차 많은 분들이 정보를 얻기 위해 방문해주시고 계신데, 처음 5명 10명 보던 때에 비해 많이 성장하는 것이 보입니다. 오늘은 이렇게 마치고 이번주 CKA 특강 후기와 최종 발표 후기로 돌아오겠습니다.

AWS 데이터 마이그레이션 도구

사용할 도구를 선택하기 전에 다음 정보를 파악해야 합니다.

• 데이터를 이동하려는 위치
• 데이터 이동 관련 사용 사례
• 이동하려는 데이터의 유형
• 사용 가능한 네트워크 리소스

AWS는 데이터 집합(파일, 데이터베이스, 머신 이미지, 블록 볼륨 또는 테이프 백업)을 마이그레이션하는 데 사용할 수 있는 다양한 서비스와 AWS Pratner 도구를 제공합니다. 이 모듈에서는 다음 도구에 대해 알아봅시다.

1. AWS Storage Gateway
   AWS 스토리지를 온프레미스에 간단하게 도입할 수 있도록 해줍니다. Storage Gateway를 사용하면 온프레미스 애플리케이션을 AWS 스토리지에 원활하게 연결하여 확장할 수 있습니다. Storage Gateway는 SMB(Server Message Block), NFS(Network File Sharing), iSCSI(Internet Small Computer Interface) 등의 여러 파일 전송 프로토콜을 지원합니다.
   
   
2. AWS DataSync
   온프레미스 스토리지와 S3, EFS, 또는 FSx for Windows File Server 간에 데이터를 원활하게 이동할 수 있는 데이터 전송 서비스입니다.
   
   
3. AWS Transfer Family
   보안 쉘 파일 전송 프로토콜(SFTP)을 사용하여 S3에서 파일을 전송 및 수신할 수 있습니다.
   
   
4. AWS Snow Family
   물리적 보안 전송용으로 설계된 엣지 컴퓨팅, 데이터 마이그레이션 또는 엣지 스토리지 디바이스 그룹입니다.
   
   

자세한 내용

AWS Storage Gateway

온프레미스 소프트웨어 어플라이언스를 클라우드 기반 스토리지와 연결해 주는 AWS Storage Gateway에서는 온프레미스IT 환경과 AWS 스토리지 인프라 간에 데이터 보안 기능을 원활하게 통합할 수 있습니다. 지연 시간이 짧은 Storage Gateway 어플라이언스를 통해 클라우드 데이터에 액세스할 수 있습니다.

이 서비스를 사용하여 AWS 클라우드에 데이터를 저장하면 비용 효율적인 확장 가능 스토리지에서 데이터 보안을 유지할 수 있습니다. Storage Gateway는 IAM, AWS KMS, AWS CloudTrail 및 Amazon CloudWatch와 동합되는 파일 기반, 볼륨 기반 및 테이프 기반 스토리지 솔루션을 제공합니다.

Storage Gateway 유형

사용자의 워크로드에 가장 적합한 Storage Gateway 유형을 선택하야 합니다. 유형의 종류는 다음과 같습니다.

1. S3 File Gateway는 S3에 파일을 객체로 저장하는 데 사용할 수 있는 파일 인터페이스를 제공합니다. 업계 표준 NFS 및 SMB 파일 프로토콜을 사용할 수 있습니다. 그러면 데이터 센터나 EC2에서 NFS 및 SMB를 통해 파일에 액세스할 수도 있고, S3에서 NFS 및 SMB를 통해 파일에 액세스할 수도 있고, S3에서 해당 파일(객체)에 직접 액세스할 수도 있습니다.
   
   
2. FSx File Gateway에서는 신뢰성이 우수한 확장 가능 완전관리형 파일 공유에 온프레미스에서 빠르게(지연 시간이 짧음) 액세스할 수 있습니다. 이 Gateway는 업계 표준 SMB 프로토콜을 사용합니다. 전체 NTFS 지원, 섀도우 복사본, ACL 등의 Microsoft Windows 기능을 활용하여 FSx에서 파일 데이터를 저장 및 액세스할 수 있습니다.
   
   
3. Tape Gateway는 온프레미스 백업 애플리케이션용으로 가상 테이프 드라이브의 iSCSI 기반 가상 테이프 라이브러리(VTL) 및 가상 미디어 체인저를 제공합니다. Tape Gateway는 S3에 가상 테이프를 저장하고 새 테이프를 자동으로 생성하므로 테이프 관리와 AWS로의 전환을 간편하게 진행할 수 있습니다.
   
   
4. Volume Gateway는 iSCSI 프로토콜을 사용하여 애플리케이션의 블록 스토리지 볼륨을 제공합니다. 이러한 볼륨에 기록된 데이터를 볼륨의 특정 시점 스냅샷으로 비동기 백업한 다음 EBS 스냅샷으로 클라우드에 저장할 수 있습니다. 이 Gateway는 서비스의 스냅샷 스케줄러나 AWS Backup 서비스를 사용하여 온프레미스 Volume Gateway 볼륨을 백업할 수 있습니다.

Storage Gateway 아키텍처

Storage Gateway 어플라이언스에서는 다음 프로토콜을 사용하여 로컬 데이터에 연결할 수 있습니다.

• NFS 또는 SMB(파일)
• iSCSI(볼륨)
• iSCSI VTL(테이프)

Storage Gateway 어플라이언스는 S3 File Gateway, FSx File Gateway, Tape Gateway, Volume Gateway의 4개 모드 중 하나로 실행됩니다. Storage Gateway를 사용해 AWS로 이동한 데이터는 Storage Gateway 관리형 서비스를 통해 다음 대상 위치로 전송할 수 있습니다.

• S3(S3 File Gateway, Tape Gateway)
• S3 Glacier(S3 File Gateway, Tape Gateway)
• FSx for Windows File Server(FSx File Gateway)
• EBS(Volume Gateway)

AWS Backup을 사용하여 Volume Gateway에 볼륨 스냅샷을 예약할 수 있습니다.

AWS DataSync

데이터 전송 관련 수동 테스크를 수행하면 마이그레이션 속도가 느려지고 IT 운영 부담이 증가할 수 있습니다. DataSync를 사용하면 온프레미스 스토리지와 S3, EFS 또는 FSx for Windows File Server 간에 대량의 데이터를 원활하게 이동할 수 있습니다. 전송되는 데이터는 기본적으로 TSL 1.2를 사용하여 암호화됩니다. DataSync는 스크립팅 복사 작업, 전송 일정 수립 및 모니터링, 데이터 유효성 검사, 네트워크 활용도 최적화를 자동으로 처리합니다.

SMB 기반 데이터 저장소 및 콘텐츠 리포지토리를 파일 서버 및 NAS 어레이에서 분석을 위해 S3 및 EFS로 이동함에 따라 온프레미스 스토리지 인프라를 줄입니다.

DataSync는 여러 공유 파일 시스템에 연결해 여러 태스크를 실행할 수 있는 단일 소프트웨어 에이전트로 배포됩니다. 이 소프트웨어 에이전트는 일반적으로 가상 인스턴스를 통해 온프레미스에 배포되어 광역 네트워크(WAN)를 통한 AWS로의 데이터 전송을 처리합니다. 그리고 AWS 측에서는 에이전트가 DataSync 서비스 인프라에 연결됩니다. DataSync는 서비스이므로 고객이 클라우드에서 인프라를 설정하거나 유지 관리할 필요가 없습니다. 콘솔에서 직접 DataSync 구성을 관리하면 됩니다.

AWS Snow 패밀리 서비스 모델

1. AWS Snowcone은 견고하고 안전하며, 전통적인 데이터 센터의 외부에서 사용할 수 있도록 특별히 설계되었습니다. 크기가 작은 덕분에 좁은 공간이나 휴대성이 요구되고 네트워크 연결을 신뢰할 수 없는 상황에서 효과적으로 사용할 수 있습니다.
   
   
2.  Snowball Edge는 데이터 전송을 위해 코드를 작성하거나 하드웨어를 구매할 필요가 없는 페타바이트 규모의 데이터 전송 옵션입니다. 콘솔에서 작업을 생성하기만 하면 Snowball 어플라이언스가 고객에게 배송됩니다. 어플라이언스를 로컬네트워크에 연결하고 파일을 어플라이언스로 직접 전송합니다. 디바이스를 반환할 준비가 되면 E lnk 배송 레이블이 반환 주소로 자동으로 업데이트 됩니다. 그러므로 디바이스가 올바른 AWS 시설로 배송됩니다.
   
   
3. Snowball Edge Optimized는 원격의 외진 환경 또는 네트워크 연결이 끊기거나 열악한 환경에서 추가 컴퓨팅, 메모리 및 스토리지 기능이 필요한 엣지 처리 사용 사례에 적합합니다.

22주차 후기

VSphere에 OpenShift를 올려 클러스터를 생성해보려고 노력중입니다. 하지만 무엇이 문제인지 생성이 쉽지가 않네요.. ㅠㅠ

이 과정을 성공해야 최종 프로젝트에서 RedHat 제품을 사용하며 진행할텐데, 이것마저 안된다면 쿠버네티스로 나마 비슷하게 만들어봐야겠습니다. 클러스터를 생성하는 과정중에 20분 과정 1개, 30분 과정 1개가 있는데, 기다리기도 너무 힘들고 결과가 실패일 때 너무 마음이 아픕니다.

RedHat 과정인데 최종 결과물에 RedHat이 없다면 조금 안타까울 것 같습니다. 일단은 조금 더 힘내봐야 겠습니다.