전체보기 4

[AWS] Lambda + CloudWatch를 이용하여 크롤링 작업하기

안녕하세요. 현재 샵토 솔루션 경우 30분 주기로 도매처 데이터를 자동으로 긁어오는 로직이 있습니다. 해당 로직이 어떤식으로 돌아가는지 포스팅을 시작하겠습니다. AWS 서비스의 Lambda, CloudWatch를 이용하여 진행이 되는데요. 프로세스를 설명해보면 아래와 같습니다. 1. CloudWatch 이벤트 실행 - 이벤트 내용 : Lambda 특정함수 호출 2. Lambda 함수 코드 실행 - 코드 내용 : Back-End Server Http Request 3. Back-End Server 실행 . . . 10. 작업완료 그럼 이제 셋팅을 어떻게하는지 보겠습니다. 먼저 서버리스 서비스인 Lambda를 접속하여 우측 상단 [함수 생성] 을 해줍니다. (샵토의 경우 런타임 환경은 Node.js 14.x..

프로젝트/샵토 2021.04.09

서버 마이그레이션

현재 샵토의 인프라 80%는 AWS를 이용하고 있습니다. 나머지 20%는 호스팅사인 iwinv라는 업체를 이용하고 있는데요. 국내, 해외 가상 서버를 대여해주는 여러 호스팅사들이 존재했는데요. (카페24, iwinv, 닷홈등) iwinv를 채택하게 된 이유는 아래 2가지 이유가 있었습니다. 1. 저렴함 (제일 중요..) 2. 서버 이미지화 지연 여부 1. 저렴함 제가 필요했던 서버는 프록시용 서버라 고사양을 요구하질 않았습니다. 그러다보니 iwinv 서버에서도 제일 라이트한 vCorce-V1-Lite 버전을 채택하게 되었고, 현재 만족스럽게 쓰고 있습니다. (월 2400원) aws light버전도 있는데, iwinv가 좀 더 저렴했습니다. 2. 서버 이미지화 여부 aws ec2를 사용하였을때 서버에 서비..

프로젝트/샵토 2021.04.09

브라우저의 한계.. 데이터테이블 개선하기

현재 프론트 UI Framework 는 Antd를 사용하고 있어, 데이터테이블 또한 antd꺼를 사용하였는데, 리스팅 갯수가 500개가 넘어가면 테이블이 버벅거리면서 브라우저가 느려지는 증상이 발생하습니다. 현재 페이지 리스팅 갯수는 최대 5000개까지 지원중인데.. 알고보니 antd에서는 가상 테이블을 지원하지 않고있었고, 방법을 모색하던중 antd-table-infinity라는 모듈을 찾게되었습니다. www.npmjs.com/package/antd-table-infinity antd-table-infinity An infinite scroll component based on antd table that supports virtual scrolling & high-performance form htt..

프로젝트/샵토 2021.04.09

서비스 소개

서비스명 : 샵토(shopto) 대상 : B2B 내용 : [쇼핑몰 도매처] 를 연동하여 도매처 상품을 자동으로 쇼핑몰에 등록을 해줌과 동시에 자동으로 재고관리까지 해주는 솔루션 주소 : https://shopto.zmeta.io 샵토 shopto.zmeta.io 기술스택 Front-End : Typescript + React (+Recoil) Back-End : Typescript + NestJS API Server(Worker) : Typescript + Express (+ApiDoc) 인프라 aws : S3 + CloudFront + ECS + ECK + ALB + Route53 + Lambda + CloudWatch + RDS iwinv : Proxy Server

프로젝트/샵토 2021.04.09