[빅데이터분석] Python_33. 파이썬 웹 스크롤링 5 (국민일보)

예제1. 한겨례 웹스크롤링 함수를 2개 가져와서 국민일보로 함수명을 변경하시오.
    1. 상세기사 url 가져오기.
    2. 상세기사 url 에서 본문을 수집하는 함수.

※ 한겨례 웹스크롤링 코드

# 한겨례 신문사 

import   urllib.request
from bs4  import BeautifulSoup
import  time
from  datetime  import  datetime 

# 상세 기사 url 수집함수

def han_detail_url(keyword, num):
    
    text1 = urllib.parse.quote(keyword)
    
    params = [ ]   #  상세기사 url 을 저장하기 위한 리스트 입니다.  
    params2 = [ ]  # 날짜를 저장하기 위한 리스트 입니다. 
    
    today = datetime.today()   
    date = str(today)[0:10].replace("-", "." )  
    
    for  i  in  range(1,num+1):
        list_url = "https://search.hani.co.kr/search/newslist?searchword=" + text1 + "&startdate=1988.01.01&enddate=" + date + "&page=" + str(i) + "&sort=desc"
        url = urllib.request.Request( list_url )
        f = urllib.request.urlopen(url).read().decode("utf-8")
    
        soup = BeautifulSoup(  f ,  "html.parser")
        #content > section > div > div.flex-inner > div.left > div.search-result-section > ul > li:nth-child(1) > article > a
        # 상세 기사 url 가져오기 
        for  i   in  soup.select( "article > a" ):
            params.append( i.get("href")  )

        # 상세 기사의 날짜 가져오기
        for  i   in  soup.select( "span.article-date" ):
            params2.append( i.text  )
            
        time.sleep(1)
    
    return  params, params2

# 기사 본문 수집 함수

def han(keyword, num):
    f_han = open("c:\\data\\han.txt", "w", encoding="utf8" )
    
    result1, result2 =  han_detail_url(keyword, num)
    
    for i, d  in  zip(result1, result2):
        url = urllib.request.Request( i )
        f = urllib.request.urlopen(url).read().decode("utf-8")
        
        soup = BeautifulSoup( f , "html.parser") 

        # 날짜 가져오기
        f_han.write( d + '\n')
        print(d)

        # 본문 가져오기 
        for  i  in  soup.select("div > p"):  
            article_text = i.text.strip()   # 본문 기사 양쪽에 공백을 잘라냄
            f_han.write( article_text + '\n') # 본문기사 저장
            print(article_text) 

        f_han.write("/n" + "="*50 + "\n\n") # 기사 구분

    f_han.close()

han('비건&채식', 1)​

답)

1. 상세기사 url 가져오기.

설명:
- 인코딩: 사람이 알아볼 수 있는 언어 -> 기계가 알아 볼 수 있는 언어 -> "utf-8"
- 디코딩: 기계가  알아볼 수 있는 언어 -> 사람이 알아 볼 수 있는 언어  -> "cp949"

2. 상세기사 url 에서 본문을 수집하는 함수.

# 기사 본문 수집 함수
def km(keyword, num):
    f_km = open("c:\\data\\kukmin.txt", "w", encoding="utf8")
    
    result = km_detail_url(keyword, num)
   
    for i in result:
        url = urllib.request.Request(i)
        f = urllib.request.urlopen(url).read().decode("cp949")
        soup = BeautifulSoup(f, "html.parser")
    
            # 날짜 가져오기
        date_text = ""
        for  d  in  soup.select("div.sub_header > div > div.nwsti > div > div.date"):
            date_text = d.text.strip()
            f_km.write( date_text + '\n') # 날짜 저장
            print( date_text ) 
        
            # 본문 가져오기 
        for i in soup.select("div.sub_content > div.NwsCon > div > div.tx "): 
            article_text = i.text.strip()   # 본문 기사 양쪽에 공백을 잘라냄
            f_km.write(article_text + '\n') # 본문기사 저장
            print(article_text)
    
        f_km.write("\n" + "="*50 + "\n\n")  # 기사 구분

        
    f_km.close()

# 함수 실행 예시

km('인공지능', 1)

★ 총 코드

#국민일보 상세 기사 url 수집함수

import   urllib.request
from bs4  import BeautifulSoup
import  time

# 상세 기사 url 수집함수

def km_detail_url(keyword, num):
    
    text1 = urllib.parse.quote(keyword, encoding="cp949")
#키워드도 cp949로 인코딩하지 않으면 url 삽입 시 한글키워드가 깨져서 검색이 안 됨
    
    params = [ ]   # 비어있는 리스트를 생성합니다. 
    
    for  i  in  range(1,num+1):
        list_url = "https://www.kmib.co.kr/search/searchResult.asp?searchWord=" + text1 + "&pageNo=" + str(i) +"&period="
        url = urllib.request.Request( list_url )
        f = urllib.request.urlopen(url).read().decode("cp949") 
        soup = BeautifulSoup(  f ,  "html.parser")
        for  i   in  soup.select( "div > dl > dt > a" ):
            params.append( i.get("href")  )

        time.sleep(1)
    
    return  params

import urllib.request
from bs4 import BeautifulSoup

# 기사 본문 수집 함수
def km(keyword, num):
    f_km = open("c:\\data\\kukmin.txt", "w", encoding="utf8")
    
    result = km_detail_url(keyword, num)
   
    for i in result:
        url = urllib.request.Request(i)
        f = urllib.request.urlopen(url).read().decode("cp949")
        soup = BeautifulSoup(f, "html.parser")
    
            # 날짜 가져오기
        date_text = ""
        for  d  in  soup.select("div.sub_header > div > div.nwsti > div > div.date"):
            date_text = d.text.strip()
            f_km.write( date_text + '\n') # 날짜 저장
            print( date_text ) 
        
            # 본문 가져오기 
        for i in soup.select("div.sub_content > div.NwsCon > div > div.tx "): 
            article_text = i.text.strip()   # 본문 기사 양쪽에 공백을 잘라냄
            f_km.write(article_text + '\n') # 본문기사 저장
            print(article_text)
    
        f_km.write("\n" + "="*50 + "\n\n")  # 기사 구분

        
    f_km.close()

# 함수 실행 예시

km('인공지능', 1)