Update app.py

app.py

@@ -5,6 +5,98 @@ import re
 from huggingface_hub import InferenceClient
 from fpdf import FPDF
 from datetime import datetime
+import requests
+from bs4 import BeautifulSoup
+from requests.adapters import HTTPAdapter
+from requests.packages.urllib3.util.retry import Retry
+import time
+
+def setup_session():
+    try:
+        session = requests.Session()
+        retries = Retry(total=5, backoff_factor=1, status_forcelist=[502, 503, 504])
+        session.mount('https://', HTTPAdapter(max_retries=retries))
+        return session
+    except Exception as e:
+        return None
+
+def generate_naver_search_url(query):
+    base_url = "https://search.naver.com/search.naver?"
+    params = {"ssc": "tab.blog.all", "sm": "tab_jum", "query": query}
+    url = base_url + "&".join(f"{key}={value}" for key, value in params.items())
+    return url
+
+def crawl_blog_content(url, session):
+    try:
+        headers = {
+            "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3",
+            "Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8",
+            "Accept-Language": "ko-KR,ko;q=0.9,en-US;q=0.8,en;q=0.7",
+            "Accept-Encoding": "gzip, deflate, br",
+            "Connection": "keep-alive",
+            "Referer": "https://search.naver.com/search.naver",
+        }
+        
+        delay = random.uniform(1, 2)
+        time.sleep(delay)
+
+        response = session.get(url, headers=headers)
+        if response.status_code != 200:
+            return ""
+        
+        soup = BeautifulSoup(response.content, "html.parser")
+        content = soup.find("div", attrs={'class': 'se-main-container'})
+        
+        if content:
+            return clean_text(content.get_text())
+        else:
+            return ""
+    except Exception as e:
+        return ""
+
+def crawl_naver_search_results(url, session):
+    try:
+        headers = {
+            "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3",
+            "Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8",
+            "Accept-Language": "ko-KR,ko;q=0.9,en-US;q=0.8,en;q=0.7",
+            "Accept-Encoding": "gzip, deflate, br",
+            "Connection": "keep-alive",
+            "Referer": "https://search.naver.com/search.naver",
+        }
+        response = session.get(url, headers=headers)
+        if response.status_code != 200:
+            return []
+
+        soup = BeautifulSoup(response.content, "html.parser")
+        results = []
+        count = 0
+        for li in soup.find_all("li", class_=re.compile("bx.*")):
+            if count >= 10:
+                break
+            for div in li.find_all("div", class_="detail_box"):
+                for div2 in div.find_all("div", class_="title_area"):
+                    title = div2.text.strip()
+                    for a in div2.find_all("a", href=True):
+                        link = a["href"]
+                        if "blog.naver" in link:
+                            link = link.replace("https://", "https://m.")
+                            results.append({"제목": title, "링크": link})
+                            count += 1
+                            if count >= 10:
+                                break
+                if count >= 10:
+                    break
+            if count >= 10:
+                break
+        
+        return results
+    except Exception as e:
+        return []
+
+def clean_text(text):
+    text = re.sub(r'\s+', ' ', text).strip()
+    return text
 
 def create_client(model_name):
     return InferenceClient(model_name, token=os.getenv("HF_TOKEN"))
@@ -41,6 +133,22 @@ def generate_blog_post(category, style, topic, references1, references2, referen
     formatted_text = modified_text.replace('\n', '\n\n')
     return formatted_text
 
+def fetch_references(topic):
+    search_url = generate_naver_search_url(topic)
+    session = setup_session()
+    if session is None:
+        return "Failed to set up session.", "", "", ""
+    results = crawl_naver_search_results(search_url, session)
+    if not results:
+        return "No results found.", "", "", ""
+    
+    selected_results = random.sample(results, 3)
+    references1_content = f"제목: {selected_results[0]['제목']}\n내용: {crawl_blog_content(selected_results[0]['링크'], session)}"
+    references2_content = f"제목: {selected_results[1]['제목']}\n내용: {crawl_blog_content(selected_results[1]['링크'], session)}"
+    references3_content = f"제목: {selected_results[2]['제목']}\n내용: {crawl_blog_content(selected_results[2]['링크'], session)}"
+    
+    return "참고글 생성 완료", references1_content, references2_content, references3_content
+
 def get_title_prompt(category):
     if (category == "고객반응형"):
         return """
@@ -143,8 +251,7 @@ def get_style_prompt(style):
    - 친근하고 격려하는 톤으로 마무리
    - 다음 포스팅에 대한 기대감 유발
 주의사항: 너무 가벼운 톤은 지양하고, 주제의 중요성을 해치지 않는 선에서 친근함 유지
-예시:
-"여러분, 오늘 하루는 어떠셨나요? 😊 저는 오늘 재미있는 경험을 했어요. 바로 '미니멀 라이프'에 도전해본 건데요. 처음에는 좀 막막했지만, 생각보다 즐거운 경험이었어요! 여러분도 한번 따라해보시겠어요? 제가 알게 된 꿀팁들을 하나하나 알려드릴게요. 
+예시: "여러분, 오늘 하루는 어떠셨나요? 😊 저는 오늘 재미있는 경험을 했어요. 바로 '미니멀 라이프'에 도전해본 건데요. 처음에는 좀 막막했지만, 생각보다 즐거운 경험이었어요! 여러분도 한번 따라해보시겠어요? 제가 알게 된 꿀팁들을 하나하나 알려드릴게요. 
 """,
         "일반": """
 #일반적인 블로그 포스팅 스타일 가이드
@@ -174,16 +281,15 @@ def get_style_prompt(style):
 6. 마무리
    - 주요 내용 간단히 요약
    - 추가 정보에 대한 안내 제공
-
-예시:
-"최근 환경 문제가 대두되면서 '제로 웨이스트' 라이프스타일에 대한 관심이 높아지고 있습니다. 제로 웨이스트란 일상생활에서 발생하는 쓰레기를 최소화하는 생활 방식을 말합니다. 이 글에서는 제로 웨이스트의 개념, 실천 방법, 그리고 그 효과에 대해 알아보겠습니다. 먼저 제로 웨이스트의 정의부터 살펴보면...
+주의사항: 너무 딱딱하거나 지루하지 않도록 균형 유지
+예시: "최근 환경 문제가 대두되면서 '제로 웨이스트' 라이프스타일에 대한 관심이 높아지고 있습니다. 제로 웨이스트란 일상생활에서 발생하는 쓰레기를 최소화하는 생활 방식을 말합니다. 이 글에서는 제로 웨이스트의 개념, 실천 방법, 그리고 그 효과에 대해 알아보겠습니다. 먼저 제로 웨이스트의 정의부터 살펴보면...
 """,
         "전문적인": """
 #전문적인 블로그 포스팅 스타일 가이드
 
 1. 톤과 구조
    - 공식적이고 학술적인 톤 사용
-- 객관적이고 분석적인 접근 유지
+   - 객관적이고 분석적인 접근 유지
    - 명확한 서론, 본론, 결론 구조
    - 체계적인 논점 전개
    - 세부 섹션을 위한 명확한 소제목 사용
@@ -208,9 +314,8 @@ def get_style_prompt(style):
 5. 마무리
    - 핵심 논점 재강조
    - 향후 연구 방향이나 실무적 함의 제시
-
-예시:
-"본 연구에서는 인공지능(AI)의 윤리적 함의에 대해 고찰한다. 특히, 자율주행 자동차의 의사결정 알고리즘에서 발생할 수 있는 윤리적 딜레마에 초점을 맞춘다. Bonnefon et al. (2016)의 연구에 따르면, 자율주행 차량의 알고리즘이 직면할 수 있는 윤리적 선택의 복잡성이 지적된 바 있다. 본고에서는 이러한 윤리적 딜레마를 세 가지 주요 관점에서 분석한다: 1) 공리주의적 접근, 2) 의무론적 접근, 3) 덕 윤리적 접근. 각 접근법의 장단점을 비교 분석하고, 이를 바탕으로 자율주행 차량의 윤리적 의사결정 프레임워크를 제안하고자 한다...
+주의사항: 전문성을 유지하되, 완전히 이해하기 어려운 수준은 지양
+예시: "본 연구에서는 인공지능(AI)의 윤리적 함의에 대해 고찰한다. 특히, 자율주행 자동차의 의사결정 알고리즘에서 발생할 수 있는 윤리적 딜레마에 초점을 맞춘다. Bonnefon et al. (2016)의 연구에 따르면, 자율주행 차량의 알고리즘이 직면할 수 있는 윤리적 선택의 복잡성이 지적된 바 있다. 본고에서는 이러한 윤리적 딜레마를 세 가지 주요 관점에서 분석한다: 1) 공리주의적 접근, 2) 의무론적 접근, 3) 덕 윤리적 접근. 각 접근법의 장단점을 비교 분석하고, 이를 바탕으로 자율주행 차량의 윤리적 의사결정 프레임워크를 제안하고자 한다...
 """
     }
     return prompts.get(style, "포스팅 스타일 프롬프트")
@@ -307,6 +412,17 @@ with gr.Blocks() as demo:
     references2 = gr.Textbox(label="참고 글 2", placeholder="참고할 글을 복사하여 붙여넣으세요", lines=10, visible=True)
     references3 = gr.Textbox(label="참고 글 3", placeholder="참고할 글을 복사하여 붙여넣으세요", lines=10, visible=True)
 
+    # 진행 상황 표시를 위한 출력 텍스트박스
+    progress_output = gr.Textbox(label="진행 상황", lines=2, visible=True)
+    
+    # 참고글 가져오기 버튼
+    fetch_references_btn = gr.Button("참고글 생성하기")
+    fetch_references_btn.click(fn=fetch_references, inputs=[topic], outputs=[progress_output, references1, references2, references3])
+    
+    # 참고글 다시 넣기 버튼
+    refill_btn = gr.Button("참고글 다시 넣기")
+    refill_btn.click(fn=fetch_references, inputs=[topic], outputs=[progress_output, references1, references2, references3])
+
     gr.Markdown("---\n\n")
 
     gr.Markdown("### 5단계: 블로그 제목을 입력하세요", elem_id="step-title")