Feature/integration cuenca catalana

functions/src/functions/scraping-functions.ts

@@ -25,6 +25,8 @@ export async function scrapingsFunction(
 
     const responseCuencaCantabrico = await embalsesRepository.actualizarCuencaCantabrico();
 
+    const responseCuencaCatalana = await embalsesRepository.actualizarCuencaCatalana();
+
     if (responseCuencaMediterranea) {
       context.log(
         "scrapings-function: Se han actualizado los embalses de la cuenca Mediterránea",
@@ -42,6 +44,14 @@ export async function scrapingsFunction(
         "No se han podido actualizar los embalses de la cuenca Cantábrica"
       );
     }
+
+    if (responseCuencaCatalana) {
+      context.log(`Se han actualizado los embalses de la cuenca Catalana`);
+    } else {
+      context.log(
+        "No se han podido actualizar los embalses de la cuenca Catalana"
+      );
+    }
   } catch (error) {
     context.error("scrapings-function: ERROR", error);
     throw error;

integrations/scraping-cuenca-catalana/package.json

@@ -4,10 +4,16 @@
   "private": "true",
   "type": "module",
   "exports": {
-    ".": "./src/index.js"
+    ".": "./dist/index.js"
   },
+  "main": "./dist/index.js",
+  "types": "./dist/index.d.ts",
   "scripts": {
-    "start": "tsx --watch src/console-runner.ts"
+    "start": "tsx --watch src/console-runner.ts",
+    "build": "run-p clean type-check build:scraping-cuenca-catalana",
+    "build:scraping-cuenca-catalana": "tsc",
+    "clean": "rimraf dist",
+    "type-check": "tsc --noEmit --preserveWatchOutput"
   },
   "dependencies": {
     "db-model": "^1.0.0"

integrations/scraping-cuenca-catalana/src/api/cuenca.api.ts

@@ -1,6 +1,6 @@
 import axios from 'axios';
-import { EmbalseCatalanApi } from './cuenca.api-model';
-import { mapApiToEmbalses } from '../cuenca.mapper';
+import { EmbalseCatalanApi } from './cuenca.api-model.js';
+import { mapApiToEmbalses } from '../cuenca.mapper.js';
 import { EmbalseUpdateSAIHEntity } from 'db-model';
 
 /**

integrations/scraping-cuenca-catalana/src/api/index.ts

@@ -1 +1 @@
-export * from "./cuenca.api";
+export * from "./cuenca.api.js";

integrations/scraping-cuenca-catalana/src/console-runner.ts

@@ -1,6 +1,5 @@
-import { integracionCuencaCatalana } from "./integrations";
-import { URL } from "./integrations";
+import { integracionCuencaCatalana } from "./integrations.js";
 
 console.log("Estados de las Cuencas Catalanas:");
-const result = await integracionCuencaCatalana(URL);
+const result = await integracionCuencaCatalana();
 console.log(JSON.stringify(result, null, 2));

integrations/scraping-cuenca-catalana/src/cuenca.mapper.ts

@@ -1,6 +1,6 @@
-import { EmbalseCatalanApi } from './api/cuenca.api-model';
+import { EmbalseCatalanApi } from './api/cuenca.api-model.js';
 import { EmbalseUpdateSAIHEntity } from 'db-model';
-import { formatApiDate, formatVolumeToFixedTwo } from './business';
+import { formatApiDate, formatVolumeToFixedTwo } from './business.js';
 
 export function mapApiToEmbalses(
   apiData: Record<string, EmbalseCatalanApi>

integrations/scraping-cuenca-catalana/src/index.ts

@@ -1 +1 @@
-export * from "./integrations";
+export * from "./integrations.js";

integrations/scraping-cuenca-catalana/src/integrations.ts

@@ -1,10 +1,10 @@
 import { EmbalseUpdateSAIHEntity } from 'db-model';
-import { getCuencaCatalana } from './api';
+import { getCuencaCatalana } from './api/index.js';
 
-export const URL =
+const URL =
   'https://aplicacions.aca.gencat.cat/aetr/vishid/v2/data/public/reservoir/capacity';
 
-export async function integracionCuencaCatalana(URL: string) {
+export async function integracionCuencaCatalana() {
   const embalses: EmbalseUpdateSAIHEntity[] = await getCuencaCatalana(URL);
   return embalses;
 }

integrations/scraping-cuenca-catalana/tsconfig.json

@@ -1,17 +1,16 @@
 {
   "compilerOptions": {
     "target": "ESNext",
-    "module": "ESNext",
-    "moduleResolution": "bundler",
+    "module": "nodenext",
+    "moduleResolution": "nodenext",
+    "outDir": "dist",
     "skipLibCheck": true,
     "isolatedModules": true,
     "esModuleInterop": true,
-    "baseUrl": "./",
-    "paths": {
-      "@/*": ["src/*"],
-      "@/api/*": ["src/api/*"],
-      "@/scraper/*": ["src/scraper/*"]
-    }
+    "verbatimModuleSyntax": false,
+    "declaration": true,
+    "baseUrl": "./"
   },
-  "include": ["src"]
+  "include": ["src/**/*"],
+  "exclude": ["dist", "node_modules"]
 }

packages/db/package.json

@@ -30,6 +30,8 @@
   "devDependencies": {
     "@types/prompts": "^2.4.9",
     "prompts": "^2.4.2",
-    "scraping-cuenca-cantabrico": "*"
+    "scraping-cuenca-mediterranea": "*",
+    "scraping-cuenca-cantabrico": "*",
+    "scraping-cuenca-catalana": "*"
   }
 }

packages/db/src/dals/embalses/embalses.mappers.ts

@@ -57,3 +57,19 @@ export const mapperFromCuencasCantabricoToArcgis = new Map<
   [1108, { nombre: "Añarbe", idArcgis: 34 }],
   [1847, { nombre: "San Antón", idArcgis: 272 }],
 ]);
+
+// OJO Pasteral, Gaià, Siurana, Foix
+
+export const mapperFromCuencasCatalanaToArcgis = new Map<
+  number,
+  InfoDestinoArcgis
+>([
+  [171169001, { nombre: "Susqueda", idArcgis: 301 }],
+  [170600001, { nombre: "Boadella", idArcgis: 53 }],
+  [430537001, { nombre: "Riudecanyes", idArcgis: 259 }],
+  [83036001, { nombre: "Sau", idArcgis: 290 }],
+  [81419003, { nombre: "La Llosa del Cavall", idArcgis: 178 }],
+  [82687001, { nombre: "La Baells", idArcgis: 36 }],
+  [250753004, { nombre: "Sant Pons", idArcgis: 280 }],
+
+]);

packages/db/src/dals/embalses/embalses.repository.ts

@@ -1,8 +1,9 @@
 import { scrapeSeedEmbalses } from "arcgis";
 import { getEmbalsesContext } from "./embalses.context.js";
-import { mapperFromCuencasMediterraneaToArcgis, mapperFromCuencasCantabricoToArcgis } from "./embalses.mappers.js";
+import { mapperFromCuencasMediterraneaToArcgis, mapperFromCuencasCantabricoToArcgis, mapperFromCuencasCatalanaToArcgis } from "./embalses.mappers.js";
 import { scrapeCuencaMediterranea } from "scraping-cuenca-mediterranea";
 import { scrapeCuencaCantabrica } from 'scraping-cuenca-cantabrico';
+import { integracionCuencaCatalana } from 'scraping-cuenca-catalana';
 import { parseDate } from "./embalses.helpers.js";
 
 export const embalsesRepository = {
@@ -125,5 +126,57 @@ export const embalsesRepository = {
     );
 
     return actualizados > 0;
-  }
+  },
+  actualizarCuencaCatalana: async (): Promise<boolean> => {
+    const embalsesCatalana = await integracionCuencaCatalana();
+
+    console.log(
+      `Se han scrapeado ${embalsesCatalana.length} embalses de la Cuenca Catalana`);
+
+    let actualizados = 0;
+    let noEncontrados = 0;
+    let sinMapper = 0;
+
+    for (const embalse of embalsesCatalana) {
+      const infoDestino = mapperFromCuencasCatalanaToArcgis.get(embalse.id);
+
+      if (!infoDestino) {
+        sinMapper++;
+        console.warn(`Sin mapper para ID ${embalse.id} - ${embalse.nombre}`);
+        continue;
+      }
+
+      console.log(
+        `🔍 Mapeando: ID scraping ${embalse.id} -> _id BD ${infoDestino.idArcgis} (${infoDestino.nombre})`
+      );
+
+      const { matchedCount } = await getEmbalsesContext().updateOne(
+        { _id: infoDestino.idArcgis.toString() },
+        {
+          $set: {
+            aguaActualSAIH: embalse.aguaActualSAIH,
+            fechaMedidaAguaActualSAIH: parseDate(embalse.fechaMedidaSAIH),
+          },
+        }
+      );
+
+      if (matchedCount > 0) {
+        actualizados++;
+        console.log(
+          `Actualizado: ${infoDestino.nombre} (_id: ${infoDestino.idArcgis}) -> ${embalse.aguaActualSAIH} hm³`
+        );
+      } else {
+        noEncontrados++;
+        console.warn(
+          `No encontrado en BD: _id ${infoDestino.idArcgis} - ${infoDestino.nombre}`
+        );
+      }
+    }
+
+    console.log(
+      `Resumen Cuenca Catalana: ${actualizados} actualizados, ${noEncontrados} no encontrados, ${sinMapper} sin mapper`
+    );
+
+    return actualizados > 0;
+  },
 };