서론Q. 올리브영 글로벌 사이트에서, 일본어로 설정 후 크롤링하면 일본 상품 그대로 긁어올 수 있을거같은데, 어디까지 크롤링이 가능할까요 ?A. 올리브영 글로벌 사이트에서 개발자 도구로 네트워크 탭(JS 기반)도 한번 보고, 올리브영 robot.txt 사이트에서 Allow 로 허용된 범위 확인해볼게용실제로 내가 프로젝트를 진행하면서 들었던 질문과 답변이였다. 데이터 크롤링은 저작권이라는 법적인 문제와 직결되어있는 예민한 사항이였기때문에, 그만큼 세세하게 리서치를 해보면서 고민했던 내용을 공유하고자 포스팅을 작성하게 되었다본문먼저 서론에서 답변으로 나왔었던 robot.txt 란 무엇일까 ??robots.txt란 ?robots.txt 파일은 웹사이트에서 검색 엔진 크롤러(봇)에게 접근 가능한 영역과 접근 불..