멜론차트 1~50위 크롤링

1. import requests
2. from bs4 import BeautifulSoup
3.  
4.  
5.  
6.  
7. f = open("crawl_data.txt", 'w', -1, "utf-8")        # utf-8 속성이 있어야 파일 쓸 때 인코딩 에러 x
8. header = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.3; Trident/7.0; rv:11.0) like Gecko'}    # 멜론 사이트는 헤더 값이 있어야 함
9. url = 'https://www.melon.com/chart/index.htm'
10.  
11. code = requests.get(url, headers = header).text     # 크롤링할 페이지의 모든 태그를 가져옴
12. soup = BeautifulSoup(code,'html.parser')            # html 파일을 가져옴
13. title = soup.find_all("div", {"class":"ellipsis rank01"})       # 노래 제목의 정보는 div 태그의 ellipsis rank01클래스 안에 있음
14.                                                                 # find_all함수는 해당 조건에 맞는 모든 태그를 가져옴
15. singer = soup.find_all("div", {"class":"ellipsis rank02"})      # 가수의 정보는 div 태그의 ellipsis rank02클래스 안에 있음
16.  
17. real_title = []
18. real_singer = []
19.  
20. for i in title:
21.     real_title.append(i.find('a').text)         # html 태그에서 노래 제목만(a 태그의 텍스트 값)
22.                                                 # find함수는 해당 조건에 맞는 하나의 태그만 가져옴. 중복이면 가장 첫 번째 태그
23.  
24. for j in singer:
25.     real_singer.append(j.find('a').text)        # html 태그에서 가수만(a 태그의 텍스트 값)
26.  
27. for k in range(1,51):   # 차트 순위가 1위~50위
28.     f.write("{}.{} -{}\n".format(k,real_title[k],real_singer[k]))   # '1(순위).노래제목 -가수'의 형태로 데이터를 저장
29.  
30. f.close()

 

결과 값 :