Update pages/5_📍_VertXtractor.py

pages/5_📍_VertXtractor.py

@@ -2,167 +2,143 @@ import streamlit as st
 import folium
 from streamlit_folium import folium_static
 from folium.plugins import Draw
-import branca
 import requests
 import json
 import os
 import urllib.request
 import csv
-import gdal_merge as gm
-import nested_lookup
 from osgeo import gdal
-from pyproj import Transformer
+import numpy as np
 import math
 import shutil
 import sys
+import glob
 
-# Fonction pour convertir les coordonnées OSM en coordonnées décimales
+# Configuration de la page Streamlit
+st.set_page_config(page_title="SwissTopo Downloader", layout="wide")
+
+# Constantes
+PRODUCTS = {
+    'Luftbild 10cm': 'ch.swisstopo.swissimage-dop10',
+    'Landeskarte 1:10': 'ch.swisstopo.landeskarte-farbe-10',
+    'Landeskarte 1:25': 'ch.swisstopo.pixelkarte-farbe-pk25.noscale',
+    'Landeskarte 1:50': 'ch.swisstopo.pixelkarte-farbe-pk50.noscale',
+    'Landeskarte 1:100': 'ch.swisstopo.pixelkarte-farbe-pk100.noscale',
+    'Landeskarte 1:200': 'ch.swisstopo.pixelkarte-farbe-pk200.noscale',
+    'Höhenmodell': 'ch.swisstopo.swissalti3d',
+}
+
+# Fonctions utilitaires
 def osm_to_decimal(tile_x, tile_y, zoom):
+    """Convertit les coordonnées OSM en coordonnées décimales."""
     n = 2.0 ** zoom
     lon_deg = tile_x / n * 360.0 - 180.0
     lat_rad = math.atan(math.sinh(math.pi * (1 - 2 * tile_y / n)))
     lat_deg = math.degrees(lat_rad)
     return lat_deg, lon_deg
 
-# Fonction pour obtenir les éléments pour une zone d'intérêt
-def getitems(productname, LLlon, LLlat, URlon, URlat, first100):
-    itemsrequest = requests.get(f"https://data.geo.admin.ch/api/stac/v0.9/collections/{productname}/items?bbox={LLlon},{LLlat},{URlon},{URlat}")
-    itemsresult = json.loads(itemsrequest.content)
-    assets = nested_lookup.nested_lookup('assets', itemsresult)
-    
-    morethan100 = 1 if len(itemsresult['links']) >= 6 else 0
-    
-    if len(itemsresult['links']) >= 6 and first100 == 0:
-        pagination = 1
-        while pagination == 1:
-            nextpage = itemsresult['links'][5]['href']
-            itemsrequest = requests.get(nextpage)
-            itemsresult = json.loads(itemsrequest.content)
-            assets = assets + nested_lookup.nested_lookup('assets', itemsresult)
-            
-            if len(itemsresult['links']) >= 6 and itemsresult['links'][5]['rel'] == 'next':
-                pagination = 1
-            else:
-                pagination = 0
-    
-    itemsfiles = nested_lookup.nested_lookup('href', assets)
+def get_items(productname, LLlon, LLlat, URlon, URlat, first100=False):
+    """Récupère les éléments pour une zone d'intérêt donnée."""
+    url = f"https://data.geo.admin.ch/api/stac/v0.9/collections/{productname}/items?bbox={LLlon},{LLlat},{URlon},{URlat}"
+    response = requests.get(url)
+    items_result = json.loads(response.content)
+    assets = items_result.get('features', [])
+    
+    items_files = []
+    for asset in assets:
+        asset_url = asset.get('assets', {}).get('data', {}).get('href')
+        if asset_url:
+            items_files.append(asset_url)
     
     # Filtrage des fichiers selon les cas spécifiques
-    krel = [i for i in itemsfiles if "_krel_" in i]
-    if len(krel) != 0:
-        itemsfiles = krel
+    if "_krel_" in productname:
+        items_files = [i for i in items_files if "_krel_" in i]
     
-    highres = [i for i in itemsfiles if "_0.1_" in i]
-    if len(highres) != 0:
-        itemsfiles = highres
+    if "0.1" in productname:
+        items_files = [i for i in items_files if "_0.1_" in i]
     
     if productname == 'ch.swisstopo.swissalti3d':
-        tiff = [i for i in itemsfiles if ".tif" in i]
-        if len(tiff) != 0:
-            itemsfiles = tiff
-        highres = [i for i in itemsfiles if "_0.5_" in i]
-        if len(highres) != 0:
-            itemsfiles = highres
-    
-    return itemsfiles, morethan100
+        items_files = [i for i in items_files if i.endswith(".tif")]
+        items_files = [i for i in items_files if "_0.5_" in i]
+    
+    return items_files
 
-# Fonction pour créer un CSV pour l'importation
-def createCSV(productname, LLlon, LLlat, URlon, URlat):
+def create_csv(productname, LLlon, LLlat, URlon, URlat):
+    """Crée un fichier CSV contenant les URLs des données à télécharger."""
     coords = f"{LLlon}_{LLlat}_{URlon}_{URlat}"
-    CSV_filepath = os.path.join(os.getcwd(), f"{productname}{coords}.csv")
+    csv_filepath = os.path.join(os.getcwd(), f"{productname}{coords}.csv")
     
-    itemsfiles, _ = getitems(productname, LLlon, LLlat, URlon, URlat, 0)
+    items_files = get_items(productname, LLlon, LLlat, URlon, URlat)
     
-    with open(CSV_filepath, 'w') as f:
-        for item in itemsfiles:
-            f.write(f"{item}\n")
-    return CSV_filepath
-
-# Fonction pour fusionner les rasters
-def mergeRaster(iteration, merged, temp_merged, filename, name, ordername, filename_ext, homedir):
-    if iteration == 0:
-        if os.path.exists(temp_merged):
-            os.remove(temp_merged)
-        else:
-            os.rename(filename, temp_merged)
-    else:
-        st.text(f"Fusion du fichier : {name}")
-        
-        if "nonImageLayers" in name:  # Remplacez par la condition appropriée
-            gm.main(['', '-o', f"{ordername}_merged{filename_ext[1]}", f"{ordername}_temp_merged{filename_ext[1]}", name, '-co', 'COMPRESS=LZW'])
-        else:
-            gm.main(['', '-o', f"{ordername}_merged{filename_ext[1]}", f"{ordername}_temp_merged{filename_ext[1]}", name, '-co', 'COMPRESS=JPEG', '-co', 'PREDICTOR=2', '-co', 'TILED=YES', '-co', 'BLOCKXSIZE=512', '-co', 'BLOCKYSIZE=512', '-co', 'PHOTOMETRIC=YCBCR', '-ot', 'Byte'])
-        
-        os.remove(temp_merged)
-        os.remove(filename)
-        os.rename(merged, temp_merged)
-
-# Fonction pour découper le raster
-def cropRaster(inputRaster, outputRaster, bbox):
-    transformer = Transformer.from_crs("epsg:4326", "epsg:2056")
-    bbox95 = transformer.transform(bbox[3], bbox[0]) + transformer.transform(bbox[1], bbox[2])
-    gdal.Translate(outputRaster, inputRaster, projWin=bbox95)
+    with open(csv_filepath, 'w', newline='') as f:
+        writer = csv.writer(f)
+        for item in items_files:
+            writer.writerow([item])
+    
+    return csv_filepath
 
-# Fonction pour vérifier l'espace disque disponible
-def check_local_system(homedir, filename, lines):
-    file_stats = os.stat(filename)
-    required_space_gb = (file_stats.st_size / (1024 * 1024 * 1024)) * lines
-    free_space = shutil.disk_usage(homedir).free
-    free_space_gb = free_space / 1024 / 1024 / 1024
-    
-    if free_space_gb < required_space_gb:
-        return f"ATTENTION : Espace disque insuffisant. {required_space_gb:.2f} GB nécessaires, {free_space_gb:.2f} GB disponibles."
-    else:
-        return f"{required_space_gb:.2f} GB seront téléchargés. Espace libre disponible : {free_space_gb:.2f} GB"
+def merge_rasters(input_files, output_file, compress_method='JPEG'):
+    """Fusionne plusieurs rasters en un seul."""
+    gdal.UseExceptions()
+    
+    # Ouvrir le premier fichier pour obtenir les métadonnées
+    src_ds = gdal.Open(input_files[0])
+    driver = gdal.GetDriverByName("GTiff")
+    
+    # Créer le fichier de sortie
+    dst_ds = driver.CreateCopy(output_file, src_ds, 0,
+                               options=[f"COMPRESS={compress_method}",
+                                        "TILED=YES",
+                                        "BIGTIFF=YES"])
+    
+    # Fermer le premier fichier
+    src_ds = None
+    
+    # Fusionner les autres fichiers
+    for file in input_files[1:]:
+        gdal.Warp(output_file, file, format="GTiff", options=[f"COMPRESS={compress_method}"])
+    
+    # Fermer le fichier de sortie
+    dst_ds = None
 
-# Fonction pour traiter le CSV
-def processCSV(CSV_filepath, geom):
-    filecsv = os.path.split(os.path.abspath(CSV_filepath))
-    downloaddir = filecsv[0]
-    ordername = filecsv[1]
-    os.chdir(downloaddir)
-    
-    with open(os.path.normpath(CSV_filepath)) as file:
-        lines = len(file.readlines())
-    
-    for iteration, url in enumerate(open(os.path.normpath(CSV_filepath))):
-        name = str.rstrip(url.rsplit('/', 1)[-1])
-        filename = os.path.join(downloaddir, name)
-        filename_ext = os.path.splitext(name)
-        temp_merged = os.path.join(downloaddir, f'{ordername}_temp_merged{filename_ext[1]}')
-        merged = os.path.join(downloaddir, f'{ordername}_merged{filename_ext[1]}')
-        result = os.path.join(downloaddir, f'{ordername}{filename_ext[1]}')
+def process_csv(csv_filepath, no_merge=False):
+    """Traite le fichier CSV pour télécharger et fusionner les données."""
+    download_dir = os.path.dirname(csv_filepath)
+    order_name = os.path.basename(csv_filepath).split('.')[0]
+    
+    with open(csv_filepath, 'r') as file:
+        urls = file.readlines()
+    
+    downloaded_files = []
+    for i, url in enumerate(urls):
+        url = url.strip()
+        filename = os.path.join(download_dir, url.split('/')[-1])
         
         if not os.path.isfile(filename):
-            st.text(f"Téléchargement du fichier : {iteration+1} sur {lines}")
-            urllib.request.urlretrieve(url.strip(), filename)
-            
-            if iteration == 0:
-                st.text(check_local_system(os.getcwd(), filename, lines))
-            
-            if not st.session_state.noMERGE:
-                mergeRaster(iteration, merged, temp_merged, filename, name, ordername, filename_ext, os.getcwd())
-    
-    if geom is not None and len(geom) == 4 and not st.session_state.noCROP and not st.session_state.noMERGE:
-        st.text("Découpage...")
-        cropRaster(temp_merged, merged, geom)
-        os.remove(temp_merged)
-    
-    if st.session_state.noMERGE:
-        st.text(f"Résultat dans {downloaddir}")
+            st.text(f"Téléchargement du fichier : {i+1} sur {len(urls)}")
+            urllib.request.urlretrieve(url, filename)
+        
+        downloaded_files.append(filename)
+    
+    if not no_merge:
+        output_file = os.path.join(download_dir, f"{order_name}_merged.tif")
+        st.text("Fusion des fichiers téléchargés...")
+        merge_rasters(downloaded_files, output_file)
+        st.text(f"Résultat fusionné dans : {output_file}")
     else:
-        if os.path.exists(result):
-            st.text(f"Le résultat {result} existe déjà, supprimez-le si vous voulez le retraiter")
-        else:
-            if os.path.exists(temp_merged):
-                os.rename(temp_merged, result)
-            if os.path.exists(merged):
-                os.rename(merged, result)
-        st.text(f"Résultat dans {result}")
-    os.chdir(os.getcwd())
+        st.text(f"Fichiers téléchargés dans : {download_dir}")
+    
+    return output_file if not no_merge else download_dir
 
-# Fonction pour dessiner la carte
-def draw_map():
+# Interface utilisateur Streamlit
+def main():
+    st.title("SwissTopo Downloader")
+    
+    # Sélection du produit
+    selected_product = st.selectbox("Sélectionnez un produit", list(PRODUCTS.keys()))
+    
+    # Carte interactive pour dessiner la bbox
+    st.subheader("Dessinez une boîte englobante sur la carte")
     m = folium.Map(location=[46.8182, 8.2275], zoom_start=8)
     draw = Draw(
         draw_options={
@@ -176,69 +152,26 @@ def draw_map():
         edit_options={'edit': False}
     )
     draw.add_to(m)
-
-    output = folium_static(m)
-    return output
-
-# Fonction pour obtenir les coordonnées de la bbox
-def get_bbox_coordinates(draw_data):
-    if draw_data:
-        bbox = draw_data['features'][0]['geometry']['coordinates'][0]
-        lons = [coord[0] for coord in bbox]
-        lats = [coord[1] for coord in bbox]
-        return min(lons), min(lats), max(lons), max(lats)
-    return None
-
-# Fonction principale
-def main():
-    st.title("SwissTopo Downloader")
     
-    # Initialisation des variables de session
-    if 'noCROP' not in st.session_state:
-        st.session_state.noCROP = False
-    if 'noMERGE' not in st.session_state:
-        st.session_state.noMERGE = False
-    if 'draw_data' not in st.session_state:
-        st.session_state.draw_data = None
-    
-    # Sélection du produit
-    products = {
-        'Luftbild 10cm': 'ch.swisstopo.swissimage-dop10',
-        'Landeskarte 1:10': 'ch.swisstopo.landeskarte-farbe-10',
-        'Landeskarte 1:25': 'ch.swisstopo.pixelkarte-farbe-pk25.noscale',
-        'Landeskarte 1:50': 'ch.swisstopo.pixelkarte-farbe-pk50.noscale',
-        'Landeskarte 1:100': 'ch.swisstopo.pixelkarte-farbe-pk100.noscale',
-        'Landeskarte 1:200': 'ch.swisstopo.pixelkarte-farbe-pk200.noscale',
-        'Höhenmodell': 'ch.swisstopo.swissalti3d',
-    }
-    selected_product = st.selectbox("Sélectionnez un produit", list(products.keys()))
-    
-    # Carte interactive pour dessiner la bbox
-    st.subheader("Dessinez une boîte englobante sur la carte")
-    map_data = draw_map()
+    output = folium_static(m)
     
     # Récupération des coordonnées de la bbox
-    if map_data:
-        st.session_state.draw_data = map_data
-    
-    bbox_coords = get_bbox_coordinates(st.session_state.draw_data)
-    
-    if bbox_coords:
-        LLlon, LLlat, URlon, URlat = bbox_coords
-        st.write(f"Coordonnées de la bbox : {LLlon:.4f}, {LLlat:.4f}, {URlon:.4f}, {URlat:.4f}")
-    else:
-        st.write("Aucune bbox dessinée. Veuillez dessiner une boîte sur la carte.")
+    bbox_coords = None
+    if 'last_active_drawing' in st.session_state:
+        bbox = st.session_state.last_active_drawing['geometry']['coordinates'][0]
+        lons = [coord[0] for coord in bbox]
+        lats = [coord[1] for coord in bbox]
+        bbox_coords = [min(lons), min(lats), max(lons), max(lats)]
+        st.write(f"Coordonnées de la bbox : {bbox_coords}")
     
     # Options
-    st.session_state.noCROP = st.checkbox("Ne pas découper", value=st.session_state.noCROP)
-    st.session_state.noMERGE = st.checkbox("Ne pas fusionner", value=st.session_state.noMERGE)
+    no_merge = st.checkbox("Ne pas fusionner les fichiers téléchargés")
     
     if st.button("Télécharger") and bbox_coords:
-        product = products[selected_product]
-        CSV_filepath = createCSV(product, str(LLlon), str(LLlat), str(URlon), str(URlat))
-        bbox = (LLlon, LLlat, URlon, URlat)
-        processCSV(CSV_filepath, bbox)
-        st.success("Téléchargement terminé!")
+        product = PRODUCTS[selected_product]
+        csv_filepath = create_csv(product, *bbox_coords)
+        result = process_csv(csv_filepath, no_merge)
+        st.success(f"Téléchargement terminé ! Résultat : {result}")
     elif st.button("Télécharger") and not bbox_coords:
         st.error("Veuillez dessiner une boîte englobante sur la carte avant de télécharger.")