study

주2회 4주 과정으로 진행되며, 소수 멤버로 스터디 리더에 의해 진행됩니다.

스터디 소개

스터디 리더의 모든 노하우를 담은 맞춤형 설명과 함께 진행되며, 스스로 할 수 있는 간단한 과제들을 통해 크롤링에 익숙해집니다.

아무것도 모르는 초보라고 하더라도 코딩크루와 함께하면
크롤링을 더 쉽고 빠르게 데이터 수집을 할 수 있습니다.

스터디 참여 대상

• 학생
• 기획자
• 마케터
• 신입 직장인

프로그래밍을 아무것도 모르는 왕초보부터 출근하면 뉴스 스크랩부터 시작하는 신입 직장인들까지 크롤링을 이용해 업무 자동화 및 데이터 수집을 편하게 진행하세요.

스터디 방법

리더의 커리큘럼에 맞춰 진행되며 각 개인마다 밀착지도를 합니다.
매주 리더의 삼엄한 감시하에 잘못된 부분을 지적받습니다.
궁금한점을 리더에게 바로바로 물어볼 수 있으며, 혼자서도 실력향상을 할 수 있도록 지도합니다.

카카오톡으로 문의하기

스터디 커리큘럼

현재 데이터 수집, 분석 및 머신러닝 등 다양한 분야에서 사용되고 있는 파이썬을 사용합니다.
언어의 필수적인 문법들을 우선적으로 배우며, 아무것도 모르는 왕초보도 가능합니다.
데이터 수집에 꼭 필요한 부분만 쏙쏙 뽑아 압축하여 고퀄리티의 스터디를 경험하세요.

크롤링을 위한 초급 기초 과정

크롤링에 필요한 기초적인 지식을 다듬는 과정입니다.

압축된 내용으로 빠르게 크롤링을 진행해봅니다.

크롤링을 위한 기초 지식 뽀개기

웹에 있는 방대한 데이터들을 수집하기 위해선 구조를 잘 알아야 하는데,
그 구조를 파헤쳐봅니다 !

• 웹 페이지는 어떻게 만들어졌을까? (HTML 이해)
• 웹 통신 과정
• Http GET 메서드 이해
• 크롤링 주의사항
• 개발자 도구 활용법

실습

HTML 구조 분석 및 CSS 파악
셀렉터 실습

파이썬 정복!

프로그램을 만들기 위한 파이썬의 기본적인 문법을 배웁니다.
커리큘럼의 문법 외에도 다양한 문법이나 트릭이 존재하지만,
데이터 수집에 초점을 맞춰 필수적인 부분들만 꼭꼭 압축하여 전달합니다 !

• 개발 환경세팅 (버전대 별 특장점 및 대처방법?)
• 파이썬 변수, 변수타입
• 리스트, 튜플
• 조건문
• 반복문
• 함수

실습

데이터 구조의 접근, 수정 실습
리스트, 튜플 자료구조 숙달
딕셔너리 활용 고도화

크롤링 첫걸음 !

앞서 배운 내용을 토대로 실제 웹 사이트에서 데이터 수집을 하는 프로그램을 만들어봅니다.
내가 보고 있는 웹페이지의 데이터를 전부 수집하는걸 만들어 봅시다 !

• 파이썬으로 HTML 내용 가져오기 (Requests)
• HTML에서 원하는 데이터 추출하기 (BeautifulSoup)

실습

네이버, 다음 실시간 검색어 추출하기
웹툰 목록과, 각 회차 수집하기
원하는 형태로 데이터 정제하기

수집한 데이터는 어떻게 저장할까?

내가 만든 프로그램으로 수집한 데이터를 엑셀이나 다른 프로그램에서 재사용 할 수 있도록 저장하고 다시 불러와서 사용해보도록 합니다.

• 파이썬 Dictionary 활용
• 데이터 저장, 재사용 방법
• json 포맷의 이해

실습

txt 파일로 간단 저장
json 저장
엑셀 파일로 저장
파이썬 피클링
저장한 데이터 재사용하기

크롤링 중고급 테크닉 과정

크롤링 할 때 당연하게 만나는 문제들을 접해보며 각 문제를 해결 할 수 있는 방법을 제시합니다.
꼭꼭 압축된 리더의 경험과 노하우를 공유합니다 !

니 내 누군지 아니?

• 로그인 해서 데이터 가져오기 (쿠키, 세션 유지)
• 봇 차단 우회 기법
• Ajax, XHR 의 이해

실습

네이버 블로그, 카페 크롤링을 위한 코드 작성

일해라, 핫산

크롤링을 하다보면 브라우저가 필요한 경우가 발생합니다.
내맘대로 움직이는 브라우저를 이용하여 실제 브라우저를 컨트롤하여 보다 쉽게 크롤링하거나,
자동화를 구성해봅니다 !

• 로봇 브라우저를 이용한 웹 페이지 수집 방법
• 크롬 브라우저 자동화
• Headless 브라우저

실습

로봇 브라우저 활용

백지장도 맞들면 낫다

혼자 일하는것보다 여러명이서 나눠 일을 하는게 훨씬 빠르겠죠 ?
여러 프로세스를 만들어 병렬 프로그래밍을 하는법을 알아봅니다 !

• 멀티프로세싱 이해

실습

멀티프로세싱 Request Task 분할

어… 누가 다 만들어놨네..?

반복적으로 크롤링을 하다보면 비슷한 형태의 프로그램이 나오는걸 확인할 수 있습니다.
이런 자주 쓰이는 형태를 만들어 여러곳에서 재사용이 용이하도록 만들어진 프레임워크에 대해 알아봅니다 !

• 프레임워크의 이해

실습

scrapy 프레임워크를 활용한 크롤링 코드 작성

스터디 문의 방법

여기를 눌러 카카오톡으로 문의 주시면 자세한 답변 드리겠습니다.

문의하기

개강일 및 수강료

개인용 랩탑(노트북)은 개인별 필수 지참입니다.

일정은 월,수 오후 7시 강남에서 진행할 예정입니다.
개강은 2/25 예정이며, 모집에 따라 약간의 변동이 있을 수 있습니다.
스터디 비용은 8회 과정으로 총 39만원이며, 이 비용은 장소 대여비가 포함 되어있습니다.
커리큘럼은 스터디 진행 중 진도에 맞춰 변경이 일어날 수 있습니다.

더 자세한 문의는 카카오톡 오픈톡으로 문의 바랍니다.