인프라 구축기인프라 구축기 (8)에서 lambda의 IAM role을 설정할 때, 아래와 같이 AmazonEC2FullAcess와 AmazonRDSFullAccess를 적용하였다. 인프라 구축기 (10)에서 instance와 storage의 IAM role을 Terraform으로 적용할 때는 AmazonS3FullAccess를 사용하였다. 그런데 instance와 storage에서 같은 정책인 AmazonS3FullAccess를 사용하고, 하나를 apply 하면 다른 하나의 역할에서 정책이 사라져 버리는 이슈가 생겼다. "aws_iam_policy_attachment"를 적용할 때, roles나 users가 추가되는 것이 아니라 갱신되는 형태인 것 같았다. 종류 (lambda, storage, insta..
인프라 구축기이전에 인프라 구축기 (3)에서 Terraform 코드를 작성할 때, 인스턴스에 사용되는 IAM 역할과 사용자는 AWS 웹에서 생성한 뒤 apply 하는 방식으로 진행했었다. Terraform으로 관리되는 리소스에게 필요한 IAM도 Terraform으로 관리하기 위해 각 디렉터리 (instance, storage)에 iam.tf를 생성하고, 리소스에 필요한 IAM을 생성하는 코드를 작성하였다. lambda에서 필요한 IAM의 경우 인프라 구축기 (8) 작성하였으니 참고하면 좋을 것 같다. 인프라 구축기 (3) - Terraform을 활용한 Instance, Storage 구성인프라 구축기인프라 구축기 (2)에서 Terraform을 활용하여 VPC를 구성하는 코드를 작성하였다. 이어서 Inst..
이전에 FC Online API를 활용해 스크래핑하고 S3 버킷에 저장하는 Python 코드를 작성하였다. 이번에는 S3-Snowflake-Preset 인프라를 구성할 것이다. [개인 프로젝트] FC Online 공식 경기 분석 (2) - S3 버킷 생성 및 스크래핑 코드 작성이번에는 FC Online API를 requests 모듈을 사용해 스크래핑하여 S3 버킷에 저장하는 Python 코드를 작성할 것이다. 데이터 저장은 csv 파일에 진행되고, S3에서 파일을 가져와 아래에 덧붙이는 방식이다.sanseo.tistory.comS3 - Snowflake - Preset 연결S3 버킷은 이전에 구성하였고, Snowflake는 이전에 강의에서 사용했던 것을 그대로 사용하려고 한다. Snowflake는 일정 ..
이번에는 FC Online API를 requests 모듈을 사용해 스크래핑하여 S3 버킷에 저장하는 Python 코드를 작성할 것이다. 데이터 저장은 csv 파일에 진행되고, S3에서 파일을 가져와 아래에 덧붙이는 방식이다. [개인 프로젝트] FC Online 공식 경기 분석 (1) - 계획서프로젝트 계획'서울시 상권 대시보드' 프로젝트를 진행하면서 아쉬웠던 점이 자동화를 구현하지 못했던 것이다. 또한 지금까지 API를 사용해서 프로젝트를 진행해 본 적이 없었다. 그래서 이번sanseo.tistory.comS3 버킷 & IAM 사용자 생성스크래핑을 진행하여 만들어진 csv 파일을 저장할 S3 버킷을 생성하고, Python에서 연결할 수 있도록 IAM 사용자를 생성할 것이다. S3에 대해 간단히 알고 싶다..
