phyton 파이썬을 이용해서 뮤직차트 데이터 수집 방법
1
2
3
import requests as req
from bs4 import BeautifulSoup as bs
import pandas as pd
우선, 필요한 라이브러리들을 가져옵니다. requests는 웹페이지를 가져오고, BeautifulSoup은 HTML을 파싱하는데 사용되며, pandas는 데이터를 다루고 데이터프레임을 생성하는데 사용됩니다.
1
2
3
4
res = req.get("https://music.bugs.co.kr/chart")
print(res.text)
print(res.status_code) # 200
먼저 ‘https://music.bugs.co.kr/chart’에서 음악 차트 페이지를 가져옵니다. 그리고 res.text는 해당 페이지의 HTML 코드를 문자열 형태로 출력하고, res.status_code는 요청의 상태 코드를 출력합니다. 200은 요청이 성공했음을 나타냅니다.
1
2
soup = bs(res.text, "lxml")
print(soup)
BeautifulSoup으로 HTML 코드를 파싱하여 구조화된 형태로 만든 후 이를 출력하여 확인합니다.
1
2
3
4
ranking = soup.select(".ranking > strong")
title = soup.select(".title > a")
artist = soup.select(".artist > a:nth-child(1)")
CSS 선택자를 사용하여 HTML에서 원하는 요소를 선택합니다. .select() 메서드는 선택자에 해당하는 모든 요소를 반환합니다. .ranking > strong은 각 음악의 순위를 나타내는 strong 태그를 선택합니다. .title > a는 각 음악의 제목을 나타내는 a 태그를 선택합니다. .artist > a:nth-child(1)은 각 음악의 아티스트를 나타내는 a 태그 중 첫 번째 자식을 선택합니다. 이 부분은 사이트마다 네임명이 다를 수 있습니다.
1
2
3
rankingList = [r.text.strip() for r in ranking]
titleList = [t.text.strip() for t in title]
artistList = [a.text.strip() for a in artist]
선택한 요소들에서 텍스트를 추출하여 리스트에 저장합니다. .text는 선택한 요소의 텍스트를 가져오고, .strip()은 문자열 양 끝의 공백을 제거합니다.
1
2
3
4
5
6
chart_df = pd.DataFrame({
'Ranking': rankingList,
'Title': titleList,
'Artist': artistList
})
이제 pandas를 사용하여 데이터프레임을 생성합니다. 여기서는 각 음악의 순위, 제목, 아티스트를 열로 하는 데이터프레임을 만듭니다.
1
2
chart_df.to_json("bugsChart100.json", force_ascii=False, orient="records")
마지막으로, 생성한 데이터프레임을 JSON 파일로 저장합니다. to_json() 메서드를 사용하여 데이터프레임을 JSON 형식으로 변환하고, force_ascii=False는 아스키 문자 이외의 문자도 유니코드로 유지하도록 하는 옵션입니다. orient=”records”는 JSON 파일에 데이터를 어떻게 저장할지를 지정하는 옵션으로, 여기서는 레코드 단위로 저장하도록 설정했습니다.
