이번 프로젝트에서는 PWA(Progressive Web App) 스토어 플랫폼을 개발하며,자동화된 크롤링 시스템을 통해 수많은 웹사이트에서 manifest.json 및 PWA 관련 정보를 수집하고 있습니다.PWA 크롤링 로직을 구성하면서 언어와 라이브러리를 선택과정에서 겪은 시행착오를 공유합니다. 1. 크롤링 기능의 필요성PWAndora의 핵심 기능 중 하나는 PWA 앱의 자동 수집입니다.이를 위해 크롤링 시스템은 다음과 같은 역할을 수행합니다.수집 대상 사이트를 순차적으로 탐색합니다.각 사이트에서 manifest.json 파일을 찾고 파싱합니다.앱 이름, 아이콘, 시작 URL, 설명 등을 추출하여 저장합니다.단순한 정보 수집을 넘어, 추출된 정보를 기반으로 앱을 자동 분류하고 소개하는 기능까지 고려..
