건유1019

저번에는 ".find"를 통하여 성공적으로 크롤링을 마쳤습니다. 이번 시간에는 ".select"문을 활용하여 크롤링이 아닌 파싱을 해보도록 하겠습니다. 사실 이번 강좌가 크롤링의 마지막 강좌입니다. 지금까지 읽어주시는 모든 독자분들께 감사의 말씀드리겠습니다. # 업로드전 수정, ".select"으로 하는것은 크롤링이 아닌 파싱이라고 합니다. 강의중에선 ".select"도 크롤링하는거라고 하지만 파싱이라고 하니 오해하지 마시기 바랍니다. .select 문에 대해 알아보자. 우선 시작 전에 기존 시간처럼 ".select"문에 대해 알아보아야 합니다. 사실 ".select"는 ".find"는 여러 요소를 지정하여 찾을 수 있는 반면에 ".select"는 하나만 딱 지정한 CSS 스타일로 값을 찾을 수 있다고 ..

이번 강좌에서는 기존 3편에 이어서 ".find"문을 활용하여 크롤링을 해볼 것입니다. 이번 강좌는 기존 2편, 3편을 이어서 진행하는 것이기 때문에 기존 강좌를 보고 오시는 것을 추천드립니다. .find 문에 대해 알아보자. 우선 시작전에 ".find" 문에 대해 알아보아야 합니다. 기존 시간에는 ".select"를 통해 파싱을 할 수 있었고, ".find" 를 통해 크롤링을 할 수 있다고 했었습니다. 우선 ".find" 방식과 ".select" 방식의 차이점으로 보자면 ".find"는 하나하나 직접 찾아 작성하기 때문에 대부분 오차율이 적은 편입니다. (사이트가 형식이 바뀌게 될 경우 ".select", ".find" 방식 둘 다 다시 짜줘야 한다는 점 참고하시기 바랍니다.) 대신, 코드가 상당히 길..

이번 강좌에서는 크롤링을 시작하기 전 기초에 대해 알아보도록 하겠습니다. 우선 크롤링을 하기 전에 알아야 할 기초지식과 기본적인 HTML 속성 그리고 크롤링 데이터를 만들어보는 방법에 대해 알아보도록 합시다. 우리가 가져와야할 HTML에 대해 먼저 알아보자. 우선 우리가 가져올 웹사이트들은 대부분 HTML로 구성되어 있습니다. API가 아닌 이상 99%가 HTML과 CSS로 구성되어있을 겁니다. CSS는 웹사이트의 디자인 요소이기 때문에 필요 없고 HTML안에 데이터 값이 존재하기 때문에 우리는 HTML을 가져와야 합니다. 그러나, 가져오기 전 HTML의 기본적인 것을 알고 지나가야 합니다. 따라서 크롤링에만 필요한 HTML을 좀 알아보도록 합시다. 우선 HTML의 구성 요소에 대해 알아보고자 합니다. ..

이번 강좌에서는 파이썬을 통하여 html를 불러오는 다양한 방법을 알아보고자 합니다. 우선 시작하기전에 알아두어야 할 것이 있습니다. http에는 두 가지 프로트콜이 존재합니다. GET과 POST 방식으로, 각각 "GET=가져오다." "POST=부치다." 라는 뜻이 있습니다. 대부분의 웹사이트에서는 GET 방식을 사용하여, 사이트를 불러오며 GET은 어떠한 정보를 가져와서 조회하기 위해서 사용되는 방식입니다. 반대로 POST는 데이터를 서버로 제출하여 추가 또는 수정하기 위해서 사용하는 방식입니다. 이것을 알아두시고 이제부터 시작해보도록 하겠습니다. 1. Requests 를 사용하여 html을 가져오자! requests를 대부분 크롤링할 때 사용합니다. requests가 제일 사용하기 간단하기 때문입니다..

안녕하세요. YBOT과 PUBG BOT을 제작하고 디스코드 봇 개발자라고 합니다. 이번에 커뮤니티에서도 나오고, DM으로도 크롤링이란 게 어렵다는 분들이 많아서 크롤링에 대한 강의를 작성해보고자 합니다. 크롤링이란 건 사실 이해하면 매우 쉬운 것 중 하나로 저도 처음에는 이해하는 과정에서 어려움을 많이 느꼈습니다. 이번 시간에는 크롤링에 대해 알아보고, 크롤링을 하는 방법에 대해 서술하고자 합니다. 언어는 처음에는 파이썬을 기반으로 작성하려고 합니다. 크롤링이란? 우선 크롤링이란것에 대해 알아야 할 것 같습니다. 크롤링이란 웹페이지에서 특정한 데이터를 사용자에게 보여주는 것입니다. 크롤링을 하는 프로그램은 "크롤러"라고 부르기도 합니다. 위 사진과 같이 크롤링을 통하여 다양한 정보값을 구할 수 있습니다...