Update app.py

app.py

@@ -51,145 +51,112 @@ class LLMCollaborativeSystem:
     
     def create_supervisor_initial_prompt(self, user_query: str) -> str:
         """감독자 AI 초기 프롬프트 생성"""
-        return f"""당신은 거시적 관점에서 분석하고 지도하는 감독자 AI입니다.
-
-사용자 질문: {user_query}
-
-이 질문에 대해:
-1. 전체적인 접근 방향과 프레임워크를 제시하세요
-2. 핵심 요소와 고려사항을 구조화하여 설명하세요
-3. 이 주제에 대해 조사가 필요한 5-7개의 구체적인 키워드나 검색어를 제시하세요
-
-키워드는 다음 형식으로 제시하세요:
-[검색 키워드]: 키워드1, 키워드2, 키워드3, 키워드4, 키워드5"""
+        prompt = f"당신은 거시적 관점에서 분석하고 지도하는 감독자 AI입니다.\n\n"
+        prompt += f"사용자 질문: {user_query}\n\n"
+        prompt += "이 질문에 대해:\n"
+        prompt += "1. 전체적인 접근 방향과 프레임워크를 제시하세요\n"
+        prompt += "2. 핵심 요소와 고려사항을 구조화하여 설명하세요\n"
+        prompt += "3. 이 주제에 대해 조사가 필요한 5-7개의 구체적인 키워드나 검색어를 제시하세요\n\n"
+        prompt += "키워드는 다음 형식으로 제시하세요:\n"
+        prompt += "[검색 키워드]: 키워드1, 키워드2, 키워드3, 키워드4, 키워드5"
+        return prompt
     
     def create_supervisor_research_review_prompt(self, user_query: str, research_summary: str) -> str:
         """감독자 AI의 조사 내용 검토 및 추가 지시 프롬프트"""
-        return f"""당신은 거시적 관점에서 분석하고 지도하는 감독자 AI입니다.
-
-사용자 질문: {user_query}
-
-조사자 AI의 1차 조사 결과:
-{research_summary}
-
-위 조사 결과를 검토하고:
-1. 조사된 내용의 품질과 완전성을 평가하세요
-2. 부족하거나 누락된 중요한 정보를 식별하세요
-3. 추가로 조사가 필요한 3-5개의 구체적인 키워드나 주제를 제시하세요
-4. 조사자에게 특별히 주의해야 할 사항이나 중점적으로 찾아야 할 정보를 지시하세요
-
-추가 키워드는 다음 형식으로 제시하세요:
-[추가 검색 키워드]: 키워드1, 키워드2, 키워드3"""
+        prompt = f"당신은 거시적 관점에서 분석하고 지도하는 감독자 AI입니다.\n\n"
+        prompt += f"사용자 질문: {user_query}\n\n"
+        prompt += f"조사자 AI의 1차 조사 결과:\n{research_summary}\n\n"
+        prompt += "위 조사 결과를 검토하고:\n"
+        prompt += "1. 조사된 내용의 품질과 완전성을 평가하세요\n"
+        prompt += "2. 부족하거나 누락된 중요한 정보를 식별하세요\n"
+        prompt += "3. 추가로 조사가 필요한 3-5개의 구체적인 키워드나 주제를 제시하세요\n"
+        prompt += "4. 조사자에게 특별히 주의해야 할 사항이나 중점적으로 찾아야 할 정보를 지시하세요\n\n"
+        prompt += "추가 키워드는 다음 형식으로 제시하세요:\n"
+        prompt += "[추가 검색 키워드]: 키워드1, 키워드2, 키워드3"
+        return prompt
     
     def create_researcher_prompt(self, user_query: str, supervisor_guidance: str, search_results: Dict[str, List[Dict]]) -> str:
         """조사자 AI 프롬프트 생성"""
-        search_summary = ""
+        prompt = f"당신은 정보를 조사하고 정리하는 조사자 AI입니다.\n\n"
+        prompt += f"사용자 질문: {user_query}\n\n"
+        prompt += f"감독자 AI의 지침:\n{supervisor_guidance}\n\n"
+        prompt += "브레이브 검색 결과:\n"
+        
         for keyword, results in search_results.items():
-            search_summary += f"\n\n**{keyword}에 대한 검색 결과:**\n"
+            prompt += f"\n**{keyword}에 대한 검색 결과:**\n"
             for i, result in enumerate(results[:3], 1):
-                search_summary += f"{i}. {result.get('title', 'N/A')}\n"
-                search_summary += f"   - {result.get('description', 'N/A')}\n"
-                search_summary += f"   - 출처: {result.get('url', 'N/A')}\n"
-        
-        return f"""당신은 정보를 조사하고 정리하는 조사자 AI입니다.
-
-사용자 질문: {user_query}
-
-감독자 AI의 지침:
-{supervisor_guidance}
-
-브레이브 검색 결과:
-{search_summary}
-
-위 검색 결과를 바탕으로:
-1. 각 키워드별로 중요한 정보를 정리하세요
-2. 신뢰할 수 있는 출처를 명시하세요
-3. 실행자 AI가 활용할 수 있는 구체적인 데이터와 사실을 추출하세요
-4. 최신 트렌드나 중요한 통계가 있다면 강조하세요"""
+                prompt += f"{i}. {result.get('title', 'N/A')}\n"
+                prompt += f"   - {result.get('description', 'N/A')}\n"
+                prompt += f"   - 출처: {result.get('url', 'N/A')}\n"
+        
+        prompt += "\n위 검색 결과를 바탕으로:\n"
+        prompt += "1. 각 키워드별로 중요한 정보를 정리하세요\n"
+        prompt += "2. 신뢰할 수 있는 출처를 명시하세요\n"
+        prompt += "3. 실행자 AI가 활용할 수 있는 구체적인 데이터와 사실을 추출하세요\n"
+        prompt += "4. 최신 트렌드나 중요한 통계가 있다면 강조하세요"
+        return prompt
     
     def create_researcher_additional_prompt(self, user_query: str, previous_research: str, supervisor_feedback: str, search_results: Dict[str, List[Dict]]) -> str:
         """조사자 AI 추가 조사 프롬프트"""
-        search_summary = ""
+        prompt = f"당신은 정보를 조사하고 정리하는 조사자 AI입니다.\n\n"
+        prompt += f"사용자 질문: {user_query}\n\n"
+        prompt += f"이전 조사 내용:\n{previous_research}\n\n"
+        prompt += f"감독자 AI의 피드백 및 추가 조사 지시:\n{supervisor_feedback}\n\n"
+        prompt += "추가 검색 결과:\n"
+        
         for keyword, results in search_results.items():
-            search_summary += f"\n\n**{keyword}에 대한 추가 검색 결과:**\n"
+            prompt += f"\n**{keyword}에 대한 추가 검색 결과:**\n"
             for i, result in enumerate(results[:3], 1):
-                search_summary += f"{i}. {result.get('title', 'N/A')}\n"
-                search_summary += f"   - {result.get('description', 'N/A')}\n"
-                search_summary += f"   - 출처: {result.get('url', 'N/A')}\n"
-        
-        return f"""당신은 정보를 조사하고 정리하는 조사자 AI입니다.
-
-사용자 질문: {user_query}
-
-이전 조사 내용:
-{previous_research}
-
-감독자 AI의 피드백 및 추가 조사 지시:
-{supervisor_feedback}
-
-추가 검색 결과:
-{search_summary}
-
-위 정보를 바탕으로:
-1. 감독자가 요청한 추가 정보를 중점적으로 조사하세요
-2. 이전 조사와 중복되지 않는 새로운 정보를 제공하세요
-3. 특히 감독자가 지적한 부족한 부분을 보완하세요
-4. 최종적으로 종합된 조사 결과를 제시하세요"""
+                prompt += f"{i}. {result.get('title', 'N/A')}\n"
+                prompt += f"   - {result.get('description', 'N/A')}\n"
+                prompt += f"   - 출처: {result.get('url', 'N/A')}\n"
+        
+        prompt += "\n위 정보를 바탕으로:\n"
+        prompt += "1. 감독자가 요청한 추가 정보를 중점적으로 조사하세요\n"
+        prompt += "2. 이전 조사와 중복되지 않는 새로운 정보를 제공하세요\n"
+        prompt += "3. 특히 감독자가 지적한 부족한 부분을 보완하세요\n"
+        prompt += "4. 최종적으로 종합된 조사 결과를 제시하세요"
+        return prompt
     
     def create_supervisor_execution_prompt(self, user_query: str, research_summary: str) -> str:
         """감독자 AI의 실행 지시 프롬프트"""
-        return f"""당신은 거시적 관점에서 분석하고 지도하는 감독자 AI입니다.
-
-사용자 질문: {user_query}
-
-조사자 AI가 정리한 최종 조사 내용:
-{research_summary}
-
-위 조사 내용을 기반으로 실행자 AI에게 아주 구체적인 지시를 내려주세요:
-1. 조사된 정보를 어떻게 활용할지 명확히 지시하세요
-2. 실행 가능한 단계별 작업을 구체적으로 제시하세요
-3. 각 단계에서 참고해야 할 조사 내용을 명시하세요
-4. 예상되는 결과물의 형태를 구체적으로 설명하세요"""
+        prompt = f"당신은 거시적 관점에서 분석하고 지도하는 감독자 AI입니다.\n\n"
+        prompt += f"사용자 질문: {user_query}\n\n"
+        prompt += f"조사자 AI가 정리한 최종 조사 내용:\n{research_summary}\n\n"
+        prompt += "위 조사 내용을 기반으로 실행자 AI에게 아주 구체적인 지시를 내려주세요:\n"
+        prompt += "1. 조사된 정보를 어떻게 활용할지 명확히 지시하세요\n"
+        prompt += "2. 실행 가능한 단계별 작업을 구체적으로 제시하세요\n"
+        prompt += "3. 각 단계에서 참고해야 할 조사 내용을 명시하세요\n"
+        prompt += "4. 예상되는 결과물의 형태를 구체적으로 설명하세요"
+        return prompt
     
     def create_executor_prompt(self, user_query: str, supervisor_guidance: str, research_summary: str) -> str:
         """실행자 AI 프롬프트 생성"""
-        return f"""당신은 세부적인 내용을 구현하는 실행자 AI입니다.
-
-사용자 질문: {user_query}
-
-조사자 AI가 정리한 조사 내용:
-{research_summary}
-
-감독자 AI의 구체적인 지시:
-{supervisor_guidance}
-
-위 조사 내용과 지시사항을 바탕으로:
-1. 조사된 정보를 적극 활용하여 구체적인 실행 계획을 작성하세요
-2. 각 단계별로 참고한 조사 내용을 명시하세요
-3. 실제로 적용 가능한 구체적인 방법론을 제시하세요
-4. 예상되는 성과와 측정 방법을 포함하세요"""
+        prompt = f"당신은 세부��인 내용을 구현하는 실행자 AI입니다.\n\n"
+        prompt += f"사용자 질문: {user_query}\n\n"
+        prompt += f"조사자 AI가 정리한 조사 내용:\n{research_summary}\n\n"
+        prompt += f"감독자 AI의 구체적인 지시:\n{supervisor_guidance}\n\n"
+        prompt += "위 조사 내용과 지시사항을 바탕으로:\n"
+        prompt += "1. 조사된 정보를 적극 활용하여 구체적인 실행 계획을 작성하세요\n"
+        prompt += "2. 각 단계별로 참고한 조사 내용을 명시하세요\n"
+        prompt += "3. 실제로 적용 가능한 구체적인 방법론을 제시하세요\n"
+        prompt += "4. 예상되는 성과와 측정 방법을 포함하세요"
+        return prompt
     
     def create_executor_final_prompt(self, user_query: str, initial_response: str, supervisor_feedback: str, research_summary: str) -> str:
         """실행자 AI 최종 보고서 프롬프트"""
-        return f"""당신은 세부적인 내용을 구현하는 실행자 AI입니다.
-
-사용자 질문: {user_query}
-
-조사자 AI의 조사 내용:
-{research_summary}
-
-당신의 초기 답변:
-{initial_response}
-
-감독자 AI의 피드백 및 개선사항:
-{supervisor_feedback}
-
-위 피드백을 완전히 반영하여 최종 보고서를 작성하세요:
-1. 감독자의 모든 개선사항을 반영하세요
-2. 조사 내용을 더욱 구체적으로 활용하세요
-3. 실행 가능성을 높이는 세부 계획을 포함하세요
-4. 명확한 결론과 다음 단계를 제시하세요
-5. 전문적이고 완성도 높은 최종 보고서 형식으로 작성하세요"""
+        prompt = f"당신은 세부적인 내용을 구현하는 실행자 AI입니다.\n\n"
+        prompt += f"사용자 질문: {user_query}\n\n"
+        prompt += f"조사자 AI의 조사 내용:\n{research_summary}\n\n"
+        prompt += f"당신의 초기 답변:\n{initial_response}\n\n"
+        prompt += f"감독자 AI의 피드백 및 개선사항:\n{supervisor_feedback}\n\n"
+        prompt += "위 피드백을 완전히 반영하여 최종 보고서를 작성하세요:\n"
+        prompt += "1. 감독자의 모든 개선사항을 반영하세요\n"
+        prompt += "2. 조사 내용을 더욱 구체적으로 활용하세요\n"
+        prompt += "3. 실행 가능성을 높이는 세부 계획을 포함하세요\n"
+        prompt += "4. 명확한 결론과 다음 단계를 제시하세요\n"
+        prompt += "5. 전문적이고 완성도 높은 최종 보고서 형식으로 작성하세요"
+        return prompt
     
     def extract_keywords(self, text: str) -> List[str]:
         """텍스트에서 키워드 추출"""
@@ -365,369 +332,6 @@ class LLMCollaborativeSystem:
             logger.error(f"스트리밍 중 오류: {str(e)}")
             yield f"❌ 오류 발생: {str(e)}"
 
-# 🎯 ML 모델 최적화 프로젝트 최종 실행 보고서
-
-## 📋 Executive Summary
-8주간의 체계적인 접근을 통해 ML 모델의 크기를 95% 줄이고, 추론 속도를 15배 향상시키며, 운영 비용을 75% 절감하는 목표를 달성할 예정입니다. 최신 연구 결과와 실패 사례의 교훈을 반영하여 리스크를 최소화하고, 275%의 ROI를 6개월 내에 달성할 것으로 예상됩니다.
-
-## 🏗️ 프로젝트 구조
-
-### 1단계: 진단 및 준비 (1주차)
-
-**현황 분석 및 도구 선정**
-```yaml
-현재 상태:
-  모델_크기: 2.5GB
-  추론_시간: 45ms
-  GPU_메모리: 8GB
-  월간_비용: $50,000
-
-선택된 도구:
-  기본_프레임워크: PyTorch 2.0 + Optimization Toolkit
-  모델_최적화: Sparse MoE, Flash Attention v3
-  양자화: Quantization-Aware Training 2.0
-  배포_최적화: TensorRT (GPU), OpenVINO (CPU)
-  모니터링: Grafana + Prometheus + Custom Alerts
-```
-
-**리스크 관리 체크리스트**
-- [ ] Uber 사례: 유지보수성 검증 프로세스
-- [ ] Twitter 사례: 캐싱 전략 사전 검증
-- [ ] 데이터 파이프라인 스트레스 테스트
-- [ ] 각 단계별 롤백 계획 문서화
-- [ ] Plan B 시나리오 준비
-
-### 2단계: 데이터 최적화 (2-3주차)
-
-**고급 데이터 파이프라인**
-```python
-class EnhancedDataPipeline:
-    def __init__(self):
-        self.cache = RedisCluster(
-            startup_nodes=[
-                {"host": "10.0.0.1", "port": "7000"},
-                {"host": "10.0.0.2", "port": "7000"}
-            ],
-            decode_responses=True,
-            skip_full_coverage_check=True
-        )
-        
-        # 실시간 모니터링 통합
-        self.monitor = DataPipelineMonitor(
-            prometheus_gateway="http://prometheus:9091",
-            alert_webhook="https://slack.webhook.url"
-        )
-    
-    def optimize_with_monitoring(self, data_loader):
-        # 병목 지점 실시간 감지
-        with self.monitor.profile("data_loading"):
-            optimized_loader = self.apply_optimizations(data_loader)
-            
-        # 성능 지표 자동 수집
-        self.monitor.record_metrics({
-            "throughput": self.calculate_throughput(),
-            "latency_p99": self.get_latency_percentile(99),
-            "cache_hit_rate": self.cache.get_hit_rate()
-        })
-        
-        return optimized_loader
-```
-
-### 3단계: 모델 최적화 구현 (4-6주차)
-
-**통합 최적화 프레임워크**
-```python
-class ModelOptimizationFramework:
-    def __init__(self, model, config):
-        self.model = model
-        self.config = config
-        self.optimization_history = []
-        
-    def apply_optimizations(self):
-        # 1. Sparse MoE 적용 (95% 크기 감소)
-        self.model = self.apply_sparse_moe()
-        self.validate_performance("sparse_moe")
-        
-        # 2. Flash Attention v3 (메모리 80% 감소)
-        self.model = self.apply_flash_attention()
-        self.validate_performance("flash_attention")
-        
-        # 3. 2-bit Quantization (추가 크기 감소)
-        self.model = self.apply_quantization()
-        self.validate_performance("quantization")
-        
-        # 4. 하드웨어별 최적화
-        if self.config.target_hardware == "gpu":
-            self.model = self.optimize_tensorrt()
-        else:
-            self.model = self.optimize_openvino()
-            
-        return self.model
-    
-    def validate_performance(self, stage):
-        """각 최적화 단계 후 성능 검증"""
-        metrics = self.benchmark()
-        if not self.meets_requirements(metrics):
-            # Plan B 실행
-            self.execute_fallback_plan(stage)
-        self.optimization_history.append({
-            "stage": stage,
-            "metrics": metrics,
-            "timestamp": datetime.now()
-        })
-```
-
-### 4단계: 검증 및 배포 (7-8주차)
-
-**고급 모니터링 대시보드**
-```python
-class MLOpsMonitoringDashboard:
-    def __init__(self):
-        self.grafana = GrafanaAPI(url="http://grafana:3000")
-        self.prometheus = PrometheusAPI(url="http://prometheus:9090")
-        
-    def create_dashboards(self):
-        # 실시간 성능 대시보드
-        performance_dashboard = {
-            "title": "ML Model Performance",
-            "panels": [
-                self.create_latency_panel(),
-                self.create_throughput_panel(),
-                self.create_resource_usage_panel(),
-                self.create_cost_analysis_panel()
-            ]
-        }
-        
-        # 이상 징후 감지 대시보드
-        anomaly_dashboard = {
-            "title": "Anomaly Detection",
-            "panels": [
-                self.create_drift_detection_panel(),
-                self.create_error_rate_panel(),
-                self.create_sla_compliance_panel()
-            ]
-        }
-        
-        # 알림 규칙 설정
-        self.setup_alerts([
-            Alert("High Latency", "latency_p99 > 10ms", severity="warning"),
-            Alert("Model Drift", "accuracy_drop > 2%", severity="critical"),
-            Alert("High Error Rate", "error_rate > 0.1%", severity="critical")
-        ])
-```
-
-**단계적 배포 전략**
-```python
-class EnhancedCanaryDeployment:
-    def __init__(self):
-        self.deployment_stages = [
-            {"traffic": 0.01, "duration": "1d", "rollback_threshold": 0.1},
-            {"traffic": 0.05, "duration": "2d", "rollback_threshold": 0.5},
-            {"traffic": 0.20, "duration": "3d", "rollback_threshold": 1.0},
-            {"traffic": 0.50, "duration": "3d", "rollback_threshold": 1.5},
-            {"traffic": 1.00, "duration": None, "rollback_threshold": 2.0}
-        ]
-        
-    def deploy_with_monitoring(self, model):
-        for stage in self.deployment_stages:
-            # 트래픽 라우팅
-            self.route_traffic(model, stage["traffic"])
-            
-            # 실시간 모니터링
-            metrics = self.monitor_performance(duration=stage["duration"])
-            
-            # 자동 롤백 검사
-            if self.should_rollback(metrics, stage["rollback_threshold"]):
-                self.automatic_rollback()
-                self.notify_team("Automatic rollback triggered")
-                return False
-                
-        return True
-```
-
-## 📊 예상 성과 및 ROI
-
-### 성능 개선
-| 지표 | 현재 | 목표 | 달성 예상 |
-|------|------|------|-----------|
-| 모델 크기 | 2.5GB | 125MB | ✓ 95% 감소 |
-| 추론 시간 | 45ms | 3ms | ✓ 15배 향상 |
-| GPU 메모리 | 8GB | 1GB | ✓ 87.5% 감소 |
-| 정확도 | 94.2% | >92% | ✓ 93.8% |
-
-### 비용 절감 및 ROI
-- **월간 인프라 비용**: $50,000 → $12,500 (75% 절감)
-- **연간 절감액**: $450,000
-- **프로젝트 투자**: $60,000
-- **투자 회수 기간**: 1.6개월
-- **6개월 ROI**: 275%
-- **1년 ROI**: 650%
-
-## 👥 팀 역량 개발 계획
-
-### 교육 프로그램
-1. **주간 기술 세미나** (매주 금요일 2시간)
-   - Week 1-2: Sparse MoE 아키텍처 이해
-   - Week 3-4: Flash Attention 구현 실습
-   - Week 5-6: 양자화 기법 심화
-   - Week 7-8: MLOps 모니터링 실���
-
-2. **외부 전문가 초청 강연**
-   - Google DeepMind 엔지니어: Sparse MoE 실전 적용
-   - NVIDIA 전문가: TensorRT 최적화 팁
-   - MLOps 커뮤니티 리더: 프로덕션 모니터링
-
-3. **핸즈온 워크샵**
-   - 매월 1회 전일 실습
-   - 실제 모델로 최적화 실습
-   - 페어 프로그래밍 세션
-
-## 🔧 장기 유지보수 전략
-
-### 분기별 최적화 사이클
-```yaml
-Q1: 
-  - 새로운 데이터로 모델 재훈련
-  - 최신 최적화 기법 조사
-  - 성능 벤치마크 업데이트
-
-Q2:
-  - 프로덕션 메트릭 분석
-  - 병목 지점 재식별
-  - 추가 최적화 적용
-
-Q3:
-  - 하드웨어 업그레이드 검토
-  - 새로운 프레임워크 평가
-  - 비용-효과 재분석
-
-Q4:
-  - 연간 성과 리뷰
-  - 차년도 계획 수립
-  - 기술 부채 해결
-```
-
-### 기술 부채 관리
-- 월간 기술 부채 리뷰 미팅
-- 우선순위 매트릭스 관리
-- 20% 시간을 리팩토링에 할당
-
-## 🚀 확장 계획
-
-### 내부 플랫폼화
-1. **ML 최적화 플랫폼 구축**
-   - 웹 기반 UI로 손쉬운 최적화
-   - 자동화된 벤치마킹
-   - 템플릿 기반 적용
-
-2. **다른 팀 지원**
-   - 최적화 컨설팅 서비스
-   - 베스트 프랙티스 문서화
-   - 내부 교육 프로그램
-
-### 외부 기여
-1. **오픈소스 프로젝트**
-   - Hugging Face Optimum 기여
-   - 자체 최적화 도구 공개
-   - 커뮤니티 피드백 수렴
-
-2. **컨퍼런스 발표**
-   - MLOps Summit 2024
-   - PyTorch Conference
-   - 기업 사례 공유
-
-## 📝 결론
-본 프로젝트는 최신 ML 최적화 기술과 실무 경험을 결합하여, 대규모 비용 절감과 성능 향상을 동시에 달성합니다. 체계적인 리스크 관리와 지속적인 개선 프로세스를 통해 장기적인 경쟁력을 확보하고, 조직 전체의 ML 역량을 한 단계 끌어올릴 것으로 기대됩니다.
-
----
-*작성일: {datetime.now().strftime('%Y-%m-%d %H:%M:%S')}*
-*작성자: 협력적 AI 시스템 (감독자, 조사자, 실행자 AI)*
-*버전: 2.0 (피드백 완전 반영)*"""
-            }
-            
-            # 프롬프트 내용에 따라 적절한 응답 선택
-            if role == "supervisor" and "조사자 AI의 1차 조사 결과" in messages[0]["content"]:
-                response = test_responses["supervisor_research_review"]
-            elif role == "supervisor" and "조사자 AI가 정리한 최종 조사 내용" in messages[0]["content"]:
-                response = test_responses["supervisor_execution"]
-            elif role == "supervisor" and messages[0]["content"].find("실행자 AI의 답변") > -1:
-                response = test_responses["supervisor_review"]
-            elif role == "supervisor":
-                response = test_responses["supervisor_initial"]
-            elif role == "researcher" and "추가 조사" in messages[0]["content"]:
-                response = test_responses["researcher_additional"]
-            elif role == "researcher":
-                response = test_responses["researcher_initial"]
-            elif role == "executor" and "최종 보고서" in messages[0]["content"]:
-                response = test_responses["executor_final"]
-            else:
-                response = test_responses["executor"]
-            
-            yield from self.simulate_streaming(response, role)
-            return
-        
-        # 실제 API 호출 (기존 코드와 동일)
-        try:
-            system_prompts = {
-                "supervisor": "당신은 거시적 관점에서 분석하고 지도하는 감독자 AI입니다.",
-                "researcher": "당신은 정보를 조사하고 체계적으로 정리하는 조사자 AI입니다.",
-                "executor": "당신은 세부적인 내용을 구현하는 실행자 AI입니다."
-            }
-            
-            full_messages = [
-                {"role": "system", "content": system_prompts.get(role, "")},
-                *messages
-            ]
-            
-            payload = {
-                "model": self.model_id,
-                "messages": full_messages,
-                "max_tokens": 2048,
-                "temperature": 0.7,
-                "top_p": 0.8,
-                "stream": True,
-                "stream_options": {"include_usage": True}
-            }
-            
-            logger.info(f"API 스트리밍 호출 시작 - Role: {role}")
-            
-            response = requests.post(
-                self.api_url,
-                headers=self.create_headers(),
-                json=payload,
-                stream=True,
-                timeout=10
-            )
-            
-            if response.status_code != 200:
-                logger.error(f"API 오류: {response.status_code}")
-                yield f"❌ API 오류 ({response.status_code}): {response.text[:200]}"
-                return
-            
-            for line in response.iter_lines():
-                if line:
-                    line = line.decode('utf-8')
-                    if line.startswith("data: "):
-                        data = line[6:]
-                        if data == "[DONE]":
-                            break
-                        try:
-                            chunk = json.loads(data)
-                            if "choices" in chunk and chunk["choices"]:
-                                content = chunk["choices"][0].get("delta", {}).get("content", "")
-                                if content:
-                                    yield content
-                        except json.JSONDecodeError:
-                            continue
-                            
-        except requests.exceptions.Timeout:
-            yield "⏱️ API 호출 시간이 초과되었습니다. 다시 시도해주세요."
-        except requests.exceptions.ConnectionError:
-            yield "🔌 API 서버에 연결할 수 없습니다. 인터넷 연결을 확인해주세요."
-        except Exception as e:
-            logger.error(f"스트리밍 중 오류: {str(e)}")
-            yield f"❌ 오류 발생: {str(e)}"
-
 # 시스템 인스턴스 생성
 llm_system = LLMCollaborativeSystem()
 
@@ -863,14 +467,7 @@ def process_query_streaming(user_query: str):
         all_responses["executor"].append(executor_response)
         
         # 9단계: 감독자 AI 검토 및 피드백
-        review_prompt = f"""당신은 거시적 관점에서 분석하고 지도하는 감독자 AI입니다.
-
-사용자 질문: {user_query}
-
-실행자 AI의 답변:
-{executor_response}
-
-이 답변을 검토하고 개선점과 추가 고려사항을 제시해주세요. 구체적이고 실행 가능한 개선 방안을 제시하세요."""
+        review_prompt = f"당신은 거시적 관점에서 분석하고 지도하는 감독자 AI입니다.\n\n사용자 질문: {user_query}\n\n실행자 AI의 답변:\n{executor_response}\n\n이 답변을 검토하고 개선점과 추가 고려사항을 제시해주세요. 구체적이고 실행 가능한 개선 방안을 제시하세요."
         
         review_response = ""
         supervisor_text += "\n\n---\n\n[9. 검토 및 피드백] 🔄 생성 중...\n"
@@ -907,44 +504,21 @@ def process_query_streaming(user_query: str):
         all_responses["executor"].append(final_executor_response)
         
         # 최종 결과 생성
-        final_summary = f"""## 🎯 최종 종합 보고서
-
-### 📌 사용자 질문
-{user_query}
-
-### 📄 최종 보고서 (실행자 AI - 피드백 완전 반영)
-{final_executor_response}
-
----
-
-<details>
-<summary>📋 전체 협력 과정 보기</summary>
-
-#### 1. 거시적 분석 (감독자 AI)
-{all_responses['supervisor'][0]}
-
-#### 2. 1차 조사 결과 (조사자 AI)
-{all_responses['researcher'][0]}
-
-#### 3. 조사 검토 및 추가 지시 (감독자 AI)
-{all_responses['supervisor'][1]}
-
-#### 4. 최종 조사 결과 (조사자 AI)
-{all_responses['researcher'][1]}
-
-#### 5. 실행 지시 (감독자 AI)
-{all_responses['supervisor'][2]}
-
-#### 6. 초기 구현 (실행자 AI)
-{all_responses['executor'][0]}
-
-#### 7. 검토 및 개선사항 (감독자 AI)
-{all_responses['supervisor'][3]}
-
-</details>
-
----
-*이 보고서는 2차 웹 검색과 AI들의 완전한 협력을 통해 작성되었습니다.*"""
+        final_summary = "## 최종 종합 보고서\n\n"
+        final_summary += f"### 사용자 질문\n{user_query}\n\n"
+        final_summary += f"### 최종 보고서 (실행자 AI - 피드백 반영)\n{final_executor_response}\n\n"
+        final_summary += "---\n\n"
+        final_summary += "<details>\n<summary>전체 협력 과정 보기</summary>\n\n"
+        final_summary += f"#### 1. 거시적 분석 (감독자 AI)\n{all_responses['supervisor'][0]}\n\n"
+        final_summary += f"#### 2. 첫 번째 조사 결과 (조사자 AI)\n{all_responses['researcher'][0]}\n\n"
+        final_summary += f"#### 3. 조사 검토 및 추가 지시 (감독자 AI)\n{all_responses['supervisor'][1]}\n\n"
+        final_summary += f"#### 4. 최종 조사 결과 (조사자 AI)\n{all_responses['researcher'][1]}\n\n"
+        final_summary += f"#### 5. 실행 지시 (감독자 AI)\n{all_responses['supervisor'][2]}\n\n"
+        final_summary += f"#### 6. 초기 구현 (실행자 AI)\n{all_responses['executor'][0]}\n\n"
+        final_summary += f"#### 7. 검토 및 개선사항 (감독자 AI)\n{all_responses['supervisor'][3]}\n\n"
+        final_summary += "</details>\n\n"
+        final_summary += "---\n"
+        final_summary += "*이 보고서는 2차 웹 검색과 AI들의 완전한 협력을 통해 작성되었습니다.*"
         
         yield supervisor_text, researcher_text, executor_text, final_summary, "✅ 최종 보고서 완성!"