Author: chatellier Date: 2011-01-25 11:56:30 +0000 (Tue, 25 Jan 2011) New Revision: 570 Log: Fix result upload merge with separated indicators and maps results. Modified: trunk/coser-business/src/main/java/fr/ifremer/coser/services/ProjectService.java trunk/coser-business/src/main/java/fr/ifremer/coser/services/WebService.java trunk/coser-business/src/test/java/fr/ifremer/coser/services/CoserTestAbstract.java trunk/coser-business/src/test/java/fr/ifremer/coser/services/WebServiceTest.java trunk/coser-business/src/test/resources/web/upload1.zip trunk/coser-business/src/test/resources/web/upload2.zip trunk/coser-business/src/test/resources/webindicators.csv Modified: trunk/coser-business/src/main/java/fr/ifremer/coser/services/ProjectService.java =================================================================== --- trunk/coser-business/src/main/java/fr/ifremer/coser/services/ProjectService.java 2011-01-25 11:54:59 UTC (rev 569) +++ trunk/coser-business/src/main/java/fr/ifremer/coser/services/ProjectService.java 2011-01-25 11:56:30 UTC (rev 570) @@ -414,8 +414,7 @@ if (!projectDirectory.isDirectory()) { throw new CoserBusinessException(_("Project %s doesn't exists !", projectName)); } - Project project = new Project(); - project.setName(projectName); + Project project = new Project(projectName); for (Category category : Category.values()) { // load only additional files Modified: trunk/coser-business/src/main/java/fr/ifremer/coser/services/WebService.java =================================================================== --- trunk/coser-business/src/main/java/fr/ifremer/coser/services/WebService.java 2011-01-25 11:54:59 UTC (rev 569) +++ trunk/coser-business/src/main/java/fr/ifremer/coser/services/WebService.java 2011-01-25 11:56:30 UTC (rev 570) @@ -254,8 +254,7 @@ for (File existingProject : projects) { if (existingProject.isDirectory()) { String projectName = existingProject.getName(); - Project p = new Project(); - p.setName(projectName); + Project p = new Project(projectName); // loop on selections File selectionsDirectory = new File(existingProject, CoserConstants.STORAGE_SELECTION_DIRECTORY); @@ -264,8 +263,7 @@ for (File existingSelection : selections) { if (existingSelection.isDirectory()) { String selectionName = existingSelection.getName(); - Selection s = new Selection(); - s.setName(selectionName); + Selection s = new Selection(selectionName); // loop on result File rsufisDirectory = new File(existingSelection, CoserConstants.STORAGE_RESULTS_DIRECTORY); @@ -343,7 +341,7 @@ Project project = path.getProject(); project = projectService.openProject(project.getName()); - OneResultFileFilter oneRFF = new OneResultFileFilter(config, + OneResultFileFilter oneRFF = new OneResultFileFilter(config.getProjectsDirectory(), project, path.getSelection(), path.getRsufiResult(), publishDataResults.contains(path)); mFileFilters.add(oneRFF); } @@ -566,14 +564,16 @@ * les fils (et il faut qu'il les demande) */ protected class OneResultFileFilter implements FileFilter { - protected CoserBusinessConfig config; + protected File projectsDirectory; + + /** Doit etre un project chargé avec nom de fichier originaux. */ protected Project project; protected Selection selection; protected RSufiResult rsufi; protected boolean exportWithData; - public OneResultFileFilter(CoserBusinessConfig config, Project project, Selection selection, RSufiResult rsufi, boolean exportWithData) { - this.config = config; + public OneResultFileFilter(File projectsDirectory, Project project, Selection selection, RSufiResult rsufi, boolean exportWithData) { + this.projectsDirectory = projectsDirectory; this.project = project; this.selection = selection; this.rsufi = rsufi; @@ -591,7 +591,7 @@ try { String currentPathName = pathname.getCanonicalPath() + File.separator; - File projectDirectory = new File(config.getProjectsDirectory(), project.getName()); + File projectDirectory = new File(projectsDirectory, project.getName()); File selectionsDirectory = new File(projectDirectory, CoserConstants.STORAGE_SELECTION_DIRECTORY); File selectionDirectory = new File(selectionsDirectory, selection.getName()); File resultsDirectory = new File(selectionDirectory, CoserConstants.STORAGE_RESULTS_DIRECTORY); @@ -655,8 +655,12 @@ * <li>suppression des selections vides * <li>suppression des projets vides * <li>copie (avec ecrasement) des nouveaux fichiers dans l'ancien répertoire + * mais seulement pour ceux des zones concernés (partie difficile) * </ul> * + * TODO chatellier 20110125 l'algorithme n'est pour l'instant pas performant + * et contient pas mal de code dupliqué, mais pour la v1.0 ca ira. + * * @param archiveFile uploaded file * @throws CoserBusinessException */ @@ -674,20 +678,24 @@ // suppression dans l'ancien répertoire des resultat deja present // dans le nouveau (pour les conflits) cleanCurrentProjectDirectory(projectsDirectory, indicatorsResultZoneIds); + // creation du filter qui copiera juste ce qu'il faut + FileFilter indicatorsFileFilter = getCopyFileFilter(tempDirectory, false); // copie (avec ecrasement) des nouveaux fichiers dans l'ancien répertoire - FileUtils.copyDirectory(tempDirectory, projectsDirectory); + //FileUtils.copyDirectory(tempDirectory, projectsDirectory, indicatorsFileFilter); + customCopyDirectory(tempDirectory, projectsDirectory, indicatorsFileFilter); - File mapsDirectory = config.getWebMapsProjectsDirectory(); // recuperation des noms zone des nouveau fichiers List<String> mapsResultZoneIds = getZonesIds(tempDirectory, true); // suppression dans l'ancien répertoire des resultat deja present // dans le nouveau (pour les conflits) cleanCurrentProjectDirectory(mapsDirectory, mapsResultZoneIds); + // creation du filter qui copiera juste ce qu'il faut + FileFilter mapsFileFilter = getCopyFileFilter(tempDirectory, true); // copie (avec ecrasement) des nouveaux fichiers dans l'ancien répertoire - FileUtils.copyDirectory(tempDirectory, mapsDirectory); + //FileUtils.copyDirectory(tempDirectory, mapsDirectory, mapsFileFilter); + customCopyDirectory(tempDirectory, mapsDirectory, mapsFileFilter); - FileUtils.deleteDirectory(tempDirectory); if (log.isInfoEnabled()) { @@ -705,7 +713,36 @@ } /** + * N'utilise pas la methode de commons-fileutils, car lorsqu'un répertoire + * est refusé, il ne descend pas dans les sous répertoire alors que dans + * notre cas il le faut. + * + * @param directory directory + * @param projectsDirectory + * @param indicatorsFileFilter + * @throws IOException + */ + protected void customCopyDirectory(File srcDir, + File destDir, FileFilter indicatorsFileFilter) throws IOException { + List<File> files = FileUtil.getFilteredElements(srcDir, null, true); + for (File file : files) { + if (indicatorsFileFilter.accept(file)) { + String path = file.getPath().substring(srcDir.getPath().length()); + + File destFile = new File(destDir, path); + if (file.isDirectory()) { + destFile.mkdirs(); + } + else { + FileUtils.copyFile(file, destFile); + } + } + } + } + + /** * Met à jour certaines proprietes apres la mise à jour des données. + * * @throws CoserBusinessException */ protected void updateDataProperties() throws CoserBusinessException { @@ -824,6 +861,61 @@ } /** + * Retourne un file filter qui ne copiera que les dossiers resultat + * correspondant au type demandé. Pour un resultat, le filtre devra + * egalement copier les dossiers projet et selection correspondants. + * + * @param scanDirectory directory containing result to copy + * @param mapResults result type to get + * @return aggragated file filter + * @throws CoserBusinessException + */ + protected FileFilter getCopyFileFilter(File scanDirectory, boolean mapResults) throws CoserBusinessException { + + MultipleFileFilter aggregateFileFilter = new MultipleFileFilter(); + + File[] projectFiles = scanDirectory.listFiles(); + if (projectFiles != null) { + for (File projectFile : projectFiles) { + if (projectFile.isDirectory()) { + + File selectionsDirectory = new File(projectFile, CoserConstants.STORAGE_SELECTION_DIRECTORY); + File[] selectionFiles = selectionsDirectory.listFiles(); + if (selectionFiles != null) { + for (File selectionFile : selectionFiles) { + if (selectionFile.isDirectory()) { + + File resultsDirectory = new File(selectionFile, CoserConstants.STORAGE_RESULTS_DIRECTORY); + File[] resultFiles = resultsDirectory.listFiles(); + if (resultFiles != null) { + for (File resultFile : resultFiles) { + if (resultFile.isDirectory()) { + RSufiResult rsufiResult = projectService.getRSufiResult(resultFile); + + // return result depending on result type + if ( (mapResults && rsufiResult.isMapsResult()) || + (!mapResults && rsufiResult.isIndicatorsResult())) { + + Project p = new Project(projectFile.getName()); + Selection s = new Selection(selectionFile.getName()); + + OneResultFileFilter resultFileFilter = new OneResultFileFilter(scanDirectory, p, s, rsufiResult, true); + aggregateFileFilter.add(resultFileFilter); + } + } + } + } + } + } + } + } + } + } + + return aggregateFileFilter; + } + + /** * Fait le menage dans le dossier courant des projets en supprimant * tout les resulat qui ont un result id non present dans la liste * {@code newResultIds}. Modified: trunk/coser-business/src/test/java/fr/ifremer/coser/services/CoserTestAbstract.java =================================================================== --- trunk/coser-business/src/test/java/fr/ifremer/coser/services/CoserTestAbstract.java 2011-01-25 11:54:59 UTC (rev 569) +++ trunk/coser-business/src/test/java/fr/ifremer/coser/services/CoserTestAbstract.java 2011-01-25 11:56:30 UTC (rev 570) @@ -104,7 +104,7 @@ @AfterClass public static void cleanDirectory() throws IOException { - FileUtils.deleteDirectory(testDirectory); + //FileUtils.deleteDirectory(testDirectory); } /** Modified: trunk/coser-business/src/test/java/fr/ifremer/coser/services/WebServiceTest.java =================================================================== --- trunk/coser-business/src/test/java/fr/ifremer/coser/services/WebServiceTest.java 2011-01-25 11:54:59 UTC (rev 569) +++ trunk/coser-business/src/test/java/fr/ifremer/coser/services/WebServiceTest.java 2011-01-25 11:56:30 UTC (rev 570) @@ -88,7 +88,7 @@ @Test public void testGetIndicators() throws CoserBusinessException { MultiKeyMap indicators = webService.getIndicatorsMap(); - Assert.assertEquals(62, indicators.size()); + Assert.assertEquals(93, indicators.size()); } /** @@ -119,11 +119,10 @@ assertFileNotExists(config.getWebIndicatorsProjectsDirectory() + "/projet1/selections/selection11/results/result111"); assertFileExists(config.getWebIndicatorsProjectsDirectory() + "/projet1/selections/selection11/results/result112"); assertFileNotExists(config.getWebIndicatorsProjectsDirectory() + "/projet1/selections/selection12"); - assertFileNotExists(config.getWebIndicatorsProjectsDirectory() + "/projet2"); // some tests (from second) assertFileExists(config.getWebIndicatorsProjectsDirectory() + "/projet1/selections/selection11/results/result113"); assertFileExists(config.getWebIndicatorsProjectsDirectory() + "/projet1/selections/selection11/results/result114"); - assertFileExists(config.getWebIndicatorsProjectsDirectory() + "/projet3/selections/selection31/results/result311"); + assertFileExists(config.getWebMapsProjectsDirectory() + "/projet3/selections/selection31/results/result311"); } /** Modified: trunk/coser-business/src/test/resources/web/upload1.zip =================================================================== (Binary files differ) Modified: trunk/coser-business/src/test/resources/web/upload2.zip =================================================================== (Binary files differ) Modified: trunk/coser-business/src/test/resources/webindicators.csv =================================================================== --- trunk/coser-business/src/test/resources/webindicators.csv 2011-01-25 11:54:59 UTC (rev 569) +++ trunk/coser-business/src/test/resources/webindicators.csv 2011-01-25 11:56:30 UTC (rev 570) @@ -1,33 +1,33 @@ -"id";"label_fr";"label_en" -"Abundance";"Abondance totale dans la zone (valeur relative)";"Total abundance in the area (relative value)" -"Biomass";"Biomasse totale dans la zone (valeur relative)";"Total biomass in the area (relative value)" -"Dbar";"Densité relative dans la zone";"Relative density in the area" -"l0.05";"Longueur au 5ème percentile de la distribution de longueur";"Length at the fifth percentile of the length distribution" -"l0.25";"Longueur au 25ème percentile de la distribution de longueur";"Length at the twenty-fifth percentile of the length distribution" -"l0.75";"Longueur au 75ème percentile de la distribution de longueur";"Length at the seventy-fifth percentile of the length distribution" -"l0.95";"Longueur au 95ème percentile de la distribution de longueur";"Length at the ninety- fifth percentile of the length distribution" -"L50";"Taille à 50 % de maturité";"Size at 50 % maturity" -"Lbar";"Longueur moyenne dans la population";"Mean length in the population" -"lnN";"Logarithme naturel de l'abondance";"Natural Logarithm of abundance" -"lvar";"Variance de la longueur dans l'échantillon";"Sample variance of length measurements" -"PropMat";"Proportion de matures";"Proportion of mature individuals" -"sexRatio";"Sexe ratio (males/femelles)";"Sex ratio (males/females)" -"Wbar";"Poids individuel moyen dans la population";"Average individual weight in the population" -"biomBig";"Biomasse des grandes espèces (valeur relative)";"Biomass of the large species (relative value)" -"biomSmall";"Biomasse des petites espèces (valeur relative)";"Biomass of the small species (relative value)" -"Btot";"Biomasse totale dans la zone (valeur relative)";"Total biomass in the area (relative value)" -"Delta";"Indice de diversité \u0394";"Diversity index \u0394" -"Gtot";"Moyenne géométrique du nombre par espèce";"Geometric mean of species abundances" -"Lbcomm";"Taille moyenne dans communauté";"Average length in community" -"meanQuant0.95";"Moyenne des l0;95 des espèces";"Average across species of l0;95" -"meanWbar";"Moyenne des Wbar par espèce";"Average of species Wbar " -"Ntot";"Abondance totale dans la zone (valeur relative)";"Total abundance in the area (relative value)" -"propL15";"Proportion des grands individus en nombre (taille seuil 15 cm)";"Proportion of large individuals in numbers (threshold size 15 cm)" -"propL20";"Proportion des grands individus en nombre (taille seuil 20 cm)";"Proportion of large individuals in numbers (threshold size 20 cm)" -"propL25";"Proportion des grands individus en nombre (taille seuil 25 cm)";"Proportion of large individuals in numbers (threshold size 25 cm)" -"propL30";"Proportion des grands individus en nombre (taille seuil 30 cm)";"Proportion of large individuals in numbers (threshold size 30 cm)" -"propLW";"Proportion des grands individus en poids (/ taille seuil spécifique à la zone)";"Proportion of large individuals in weight (/ threshold length area specific)" -"Shannonmod";"Indice de Shannon normalisé / première année";"Shannon index normalized wrt the first year" -"Wbcomm";"Poids moyen d'un individu";"Average weight of an individual" -"Wtot";"Biomasse totale dans la zone (valeur relative)";"Total biomass in the area (relative value)" +"id";"label_fr";"label_en";"unit" +"Abundance";"Abondance totale dans la zone (valeur relative)";"Total abundance in the area (relative value)";"" +"Biomass";"Biomasse totale dans la zone (valeur relative)";"Total biomass in the area (relative value)";"" +"Dbar";"Densité relative dans la zone";"Relative density in the area";"" +"l0.05";"Longueur au 5ème percentile de la distribution de longueur";"Length at the fifth percentile of the length distribution";"cm" +"l0.25";"Longueur au 25ème percentile de la distribution de longueur";"Length at the twenty-fifth percentile of the length distribution";"cm" +"l0.75";"Longueur au 75ème percentile de la distribution de longueur";"Length at the seventy-fifth percentile of the length distribution";"cm" +"l0.95";"Longueur au 95ème percentile de la distribution de longueur";"Length at the ninety- fifth percentile of the length distribution";"cm" +"L50";"Taille à 50 % de maturité";"Size at 50 % maturity";"cm" +"Lbar";"Longueur moyenne dans la population";"Mean length in the population";"cm" +"lnN";"Logarithme naturel de l'abondance";"Natural Logarithm of abundance";"" +"lvar";"Variance de la longueur dans l'échantillon";"Sample variance of length measurements";"" +"PropMat";"Proportion de matures";"Proportion of mature individuals";"" +"sexRatio";"Sexe ratio (males/femelles)";"Sex ratio (males/females)";"" +"Wbar";"Poids individuel moyen dans la population";"Average individual weight in the population";"kg" +"biomBig";"Biomasse des grandes espèces (valeur relative)";"Biomass of the large species (relative value)";"" +"biomSmall";"Biomasse des petites espèces (valeur relative)";"Biomass of the small species (relative value)";"" +"Btot";"Biomasse totale dans la zone (valeur relative)";"Total biomass in the area (relative value)";"" +"Delta";"Indice de diversité \u0394";"Diversity index \u0394";"" +"Gtot";"Moyenne géométrique du nombre par espèce";"Geometric mean of species abundances";"" +"Lbcomm";"Taille moyenne dans communauté";"Average length in community";"cm" +"meanQuant0.95";"Moyenne des l0;95 des espèces";"Average across species of l0;95";"cm" +"meanWbar";"Moyenne des Wbar par espèce";"Average of species Wbar";"kg" +"Ntot";"Abondance totale dans la zone (valeur relative)";"Total abundance in the area (relative value)";"" +"propL15";"Proportion des grands individus en nombre (taille seuil 15 cm)";"Proportion of large individuals in numbers (threshold size 15 cm)";"" +"propL20";"Proportion des grands individus en nombre (taille seuil 20 cm)";"Proportion of large individuals in numbers (threshold size 20 cm)";"" +"propL25";"Proportion des grands individus en nombre (taille seuil 25 cm)";"Proportion of large individuals in numbers (threshold size 25 cm)";"" +"propL30";"Proportion des grands individus en nombre (taille seuil 30 cm)";"Proportion of large individuals in numbers (threshold size 30 cm)";"" +"propLW";"Proportion des grands individus en poids (/ taille seuil spécifique à la zone)";"Proportion of large individuals in weight (/ threshold length area specific)";"" +"Shannonmod";"Indice de Shannon normalisé / première année";"Shannon index normalized wrt the first year";"" +"Wbcomm";"Poids moyen d'un individu)";"Average weight of an individual";"kg" +"Wtot";"Biomasse totale dans la zone (valeur relative)";"Total biomass in the area (relative value)";""