February 2014 - Topia-devel - mailman.cloud.codelutin.com

Pourquoi les getters ne renverraient pas une collection vide ?
by Brendan Le Ny 24 Nov '14

24 Nov '14

Actuellement, une propriété avec une multiplicité renvoie une collection null si on appelle le getter, pourquoi ne pas initialiser cette collection en lazy (on le fait bien dans le add) ? Voire même, pourquoi pas interdire d'appeler le setter avec null (sauf si Hibernate l'impose) ? Il me semblait y avoir une raison mais elle ne me revient plus. -- Brendan Le Ny, Code Lutin bleny(a)codelutin.com (+33) 02 40 50 29 28

4 4

Pool C3p0 non fermé
by Eric Chatellier 25 Aug '14

25 Aug '14

Bonjoir, Actuellement, lors d'un hot redeploy dans tomcat, le pool c3p0 semble garder les connexions ouvertes. Voici les traces au redémarrage: rave: The web application [/xxx] appears to have started a thread named [C3P0PooledConnectionPoolManager[identityToken->z8kflt90l3muy4yyzl36|6c187ab5]-AdminTaskTimer] but has failed to stop it. This is very likely to create a memory leak. févr. 19, 2014 10:28:33 PM org.apache.catalina.loader.WebappClassLoader clearReferencesThreads Grave: The web application [/xxx] appears to have started a thread named [C3P0PooledConnectionPoolManager[identityToken->z8kflt90l3muy4yyzl36|6c187ab5]-HelperThread-#0] but has failed to stop it. This is very likely to create a memory leak. févr. 19, 2014 10:28:33 PM org.apache.catalina.loader.WebappClassLoader clearReferencesThreads Grave: The web application [/xxx] appears to have started a thread named [C3P0PooledConnectionPoolManager[identityToken->z8kflt90l3muy4yyzl36|6c187ab5]-HelperThread-#1] but has failed to stop it. This is very likely to create a memory leak. févr. 19, 2014 10:28:33 PM org.apache.catalina.loader.WebappClassLoader clearReferencesThreads Grave: The web application [/xxx] appears to have started a thread named [C3P0PooledConnectionPoolManager[identityToken->z8kflt90l3muy4yyzl36|6c187ab5]-HelperThread-#2] but has failed to stop it. This is very likely to create a memory leak. févr. 19, 2014 10:28:33 PM org.apache.catalina.loader.WebappClassLoader clearReferencesThreads Grave: The web application [/xxx] appears to have started a thread named [H2 File Lock Watchdog /tmp/xxx/h2data-web.lock.db] but has failed to stop it. This is very likely to create a memory leak. févr. 19, 2014 10:28:33 PM org.apache.catalina.loader.WebappClassLoader clearReferencesThreads Grave: The web application [/xxx] appears to have started a thread named [H2 Log Writer H2DATA-WEB] but has failed to stop it. This is very likely to create a memory leak. févr. 19, 2014 10:28:33 PM org.apache.catalina.loader.WebappClassLoader clearReferencesThreads Grave: The web application [/xxx] appears to have started a thread named [C3P0PooledConnectionPoolManager[identityToken->z8kflt90l3muy4yyzl36|7dfbfca7]-AdminTaskTimer] but has failed to stop it. This is very likely to create a memory leak. févr. 19, 2014 10:28:33 PM org.apache.catalina.loader.WebappClassLoader clearReferencesThreads Grave: The web application [/xxx] appears to have started a thread named [C3P0PooledConnectionPoolManager[identityToken->z8kflt90l3muy4yyzl36|7dfbfca7]-HelperThread-#0] but has failed to stop it. This is very likely to create a memory leak. févr. 19, 2014 10:28:33 PM org.apache.catalina.loader.WebappClassLoader clearReferencesThreads Grave: The web application [/xxx] appears to have started a thread named [C3P0PooledConnectionPoolManager[identityToken->z8kflt90l3muy4yyzl36|7dfbfca7]-HelperThread-#1] but has failed to stop it. This is very likely to create a memory leak. févr. 19, 2014 10:28:33 PM org.apache.catalina.loader.WebappClassLoader clearReferencesThreads Grave: The web application [/xxx] appears to have started a thread named [C3P0PooledConnectionPoolManager[identityToken->z8kflt90l3muy4yyzl36|7dfbfca7]-HelperThread-#2] but has failed to stop it. This is very likely to create a memory leak. 22:28:36 [ContainerBackgroundProcessor[StandardEngine[Catalina]]] WARN ActiveManagementCoordinator:68 - A C3P0Registry mbean is already registered. This probably means that an application using c3p0 was undeployed, but not all PooledDataSources were closed prior to undeployment. This may lead to resource leaks over time. Please take care to close all PooledDataSources. J'ai trouvé un gros gros hack qui fonctionne: http://stackoverflow.com/a/7472386 ce qui semble bien démontrer qu'il y a un problème quelque part avec Topia/Hibernate (c3p0?). To be continued... -- Éric Chatellier

3 3

Services de migration (NG2 :D)
by Arnaud Thimel 07 Apr '14

07 Apr '14

Salut, On a relancé cet aprem un vieux débat sur le service de migration. Comme on était en nombre réduit, je tente de synthétiser les différentes idées qui en sont ressorties, dîtes-nous ce que vous en pensez. J'ajoute également que j'ai pris certaines libertés dans la rédaction de ce mail sans consulter Brendan et Éric avec qui j'en ai discuté cet aprem. Proposition 1 : distinguer la version de l'application de la version de la base de données ========================================================================================== Exemple : * Version de l'application = 0.10.3 * Versions de la base = 4, 5, 6 La version de la base serait un entier tout con qu'on incrémente à chaque modification de base. Pour les versions ultérieures, on aurait : * Version de l'application = 0.10.4 * Versions de la base = 7 Puis : * Version de l'application = 0.11 * Versions de la base = 8, 9 etc... Proposition 2 : une classe de migration par version applicative =============================================================== La classe Java de migration (une seule par version applicative) serait donc un regroupement logique des migrations de version de base liées à cette version (applicative). Si je reprends l'exemple, la classe MachinCallbackV0_10_3contiendrait 3 méthodes, une pour chaque version de base (migrateToVersion4, migrateToVersion5 et migrateToVersion6). Cette classe serait responsable du choix de commit, au choix parmi : - après chaque version de base ; - après l'ensemble des versions de base qui constituent la version applicative. Au passage il serait cool de pouvoir aller lire et exécuter un fichier "migrateToVersion5.sql" en lieu et place d'un appel à la méthode Java. Proposition 3 : conserver un historique dans la table TMSVersion ================================================================ Aujourd'hui, la table TMSVersion ne contient qu'une seule et unique ligne avec une seule colonne qui contient "0.10.2": topiaId | version ----------------- xxxxx | 0.10.2 La nouvelle table contiendrait plus d'informations (exemple) : topiaId | dbVersion | appVersion | date | success | comment ---------------------------------------------------------------------------------- xxxxx | 5 | 0.10.3 | 21/11/2013 | true | suppr de la table machin xxxxx | 6 | 0.10.3 | 21/11/2013 | true | renommage colonne truc xxxxx | 7 | 0.10.4 | 25/12/2013 | false | ajout table pouette xxxxx | 7 | 0.10.4 | 26/12/2013 | true |ajout table pouette (retry) xxxxx | 8 | 0.11 | 01/01/2014 | true | - xxxxx | 9 | 0.11 | 01/01/2014 | true | - Pour connaître la version actuelle de la base, cette simple requête suffit : select max(dbVersion) from tmsversion where success is true; Ce ne sont que des propositions que j'ai présenté ici, il y aura certainement des points bloquants (migration pour les applis existantes, ...) auxquels nous nous attaquerons si ces propositions conviennent au plus grand nombre. À vous. Cordialement, Arnaud

3 2

Ajout d'une méthode addContainsText sur les dao
by Kevin Morin 28 Feb '14

28 Feb '14

Salut, j'ai besoin pour FaxToMail de faire des recherches sur des champs d'une entité. L'utilisateur peut don chercher les emails dont l'objet contient "ouaf" ou "chaussette" (exemple au hasard). J'aurais trouvé ça utile d'avoir une méthode addContainsText(String property, String value) sur le dao. Vous trouvez ça pertinent ? Kevin

4 7

addIn(property, <collection vide>) ?
by Brendan Le Ny 27 Feb '14

27 Feb '14

On a eu des soucis récemment sur l'ENC avec PostreSQL. Notamment, on a dû faire ceci (cf commit ci-dessous) : addInOrNotIn(String property, Collection<?> values) { Preconditions.checkArgument(StringUtils.isNotEmpty(property)); Preconditions.checkNotNull(values); String aliasedProperty = alias + "." + property; int valuesSize = values.size(); if (valuesSize == 0) { if (in) { whereClauses.add(" 0 = 1 "); } else { whereClauses.add(" 1 = 1 "); } } C'est à dire faire un trick pour quand la collection passé en paramètre en vide. Pour moi, il y une grouille dans Hibernate qui ne dit rien alors qu'on passe une collection vide et que ça n'a pas l'air de le gêner. En plus, le dialecte hibernate pour PG génère bien xxx in () et il est content... alors que ça pète une syntax error. Selon vous, que faut-il faire, laisser ce hack dans topia ? Interdire de passer une collection vide en paramètre ? Autre chose ? -------- Message original -------- Sujet: [Topia-commits] r3026 - trunk/topia-persistence/src/main/java/org/nuiton/topia/persistence Date : Thu, 27 Feb 2014 14:56:35 +0100 (CET) De : bleny(a)users.nuiton.org Répondre à : topia-commits(a)list.nuiton.org Pour : topia-commits(a)list.nuiton.org Author: bleny Date: 2014-02-27 14:56:34 +0100 (Thu, 27 Feb 2014) New Revision: 3026 Url: http://nuiton.org/projects/topia/repository/revisions/3026 Log: fixes #3101 redo 'x is null or x in (...)' instead of 'x in (NULL)', remove useless braces when a single where clause is present Modified: trunk/topia-persistence/src/main/java/org/nuiton/topia/persistence/HqlAndParametersBuilder.java Modified: trunk/topia-persistence/src/main/java/org/nuiton/topia/persistence/HqlAndParametersBuilder.java =================================================================== --- trunk/topia-persistence/src/main/java/org/nuiton/topia/persistence/HqlAndParametersBuilder.java 2014-02-27 12:30:37 UTC (rev 3025) +++ trunk/topia-persistence/src/main/java/org/nuiton/topia/persistence/HqlAndParametersBuilder.java 2014-02-27 13:56:34 UTC (rev 3026) @@ -25,6 +25,7 @@ */ import com.google.common.base.Preconditions; +import com.google.common.collect.Iterables; import com.google.common.collect.Maps; import com.google.common.collect.Sets; import org.apache.commons.collections4.CollectionUtils; @@ -100,31 +101,52 @@ } public void addIn(String property, Collection<?> values) { - Preconditions.checkArgument(StringUtils.isNotEmpty(property)); - Preconditions.checkNotNull(values); - // TODO brendan 02/10/13 if value is instanceof TopiaEntity, we can check type - // TODO brendan 02/10/13 do not use HQL parameters of Object are primitive - if (values.isEmpty()) { - whereClauses.add(" 1 = 0 "); - } else { - String aliasedProperty = alias + "." + property; - String hqlParameterName = putHqlParameterWithAvailableName(property, values); - String whereClause = String.format(" %s IN ( :%s ) ", aliasedProperty, hqlParameterName); - whereClauses.add(whereClause); - } + addInOrNotIn(property, values, true); } public void addNotIn(String property, Collection<?> values) { + addInOrNotIn(property, values, false); + } + + /** + * @param in true if property value must be in given collection, false if value must not be in given collection + */ + protected void addInOrNotIn(String property, Collection<?> values, boolean in) { Preconditions.checkArgument(StringUtils.isNotEmpty(property)); Preconditions.checkNotNull(values); // TODO brendan 02/10/13 if value is instanceof TopiaEntity, we can check type - // TODO brendan 02/10/13 do not use HQL parameters of Object are primitive - if (values.isEmpty()) { - whereClauses.add(" 1 = 1 "); + String aliasedProperty = alias + "." + property; + int valuesSize = values.size(); + if (valuesSize == 0) { + // XXX brendan 27/02/14 workaround to prevent generating "in ()" which in not supported by PostegreSQL (syntax error) + if (in) { + whereClauses.add(" 0 = 1 "); + } else { + whereClauses.add(" 1 = 1 "); + } + } else if (valuesSize == 1) { + // if there is only one possible value, replace "in" clause by a "=" clause + Object onlyElement = Iterables.getOnlyElement(values); + if (in) { + addEquals(property, onlyElement); + } else { + addNotEquals(property, onlyElement); + } } else { - String aliasedProperty = alias + "." + property; + boolean propertyMayBeNull = values.contains(null); String hqlParameterName = putHqlParameterWithAvailableName(property, values); - String whereClause = String.format(" %s NOT IN ( :%s ) ", aliasedProperty, hqlParameterName); + String whereClause; + if (in) { + whereClause = String.format(" %s in ( :%s ) ", aliasedProperty, hqlParameterName); + if (propertyMayBeNull) { + whereClause += " or " + aliasedProperty + " is null"; + } + } else { + whereClause = String.format(" %s not in ( :%s ) ", aliasedProperty, hqlParameterName); + if (propertyMayBeNull) { + whereClause += " and " + aliasedProperty + " is not null"; + } + } whereClauses.add(whereClause); } } @@ -198,7 +220,10 @@ public String getHql() { StringBuilder hqlStringBuilder = new StringBuilder(); hqlStringBuilder.append("from ").append(entityClass.getCanonicalName()).append(" ").append(alias); - if (!whereClauses.isEmpty()) { + if (whereClauses.size() == 1) { + String whereClause = Iterables.getOnlyElement(whereClauses); + hqlStringBuilder.append(" where ").append(whereClause); + } else if (!whereClauses.isEmpty()) { hqlStringBuilder.append(" where (").append(StringUtils.join(whereClauses, ") and (")).append(")"); } if (CollectionUtils.isNotEmpty(orderByArguments)) { _______________________________________________ Topia-commits mailing list Topia-commits(a)list.nuiton.org http://list.nuiton.org/cgi-bin/mailman/listinfo/topia-commits

1 0

[ANN] - ToPIA 3.0-alpha-12 released
by Brendan Le Ny 26 Feb '14

26 Feb '14

The ToPIA team is pleased to announce the topia-3.0-alpha-12 release! Tools for Portable and Independent Architecture : Framework de persistance et de distribution d'application. Documentation of the project can be found here: https://doc.nuiton.org/topia Changes ------- Changes in this version include: Fixed Bugs: o HqlAndParameters builder may generate HQL incompatible with PostgreSQL given an empty collection argument Issue: 3098. Thanks to Brendan Le Ny. Resolved by bleny. Changes: o updates mavenpom to 5.0 Issue: 3099. Thanks to Tony Chemit. Resolved by tchemit. Downloads --------- No release file deployed. (all files are deployed in the maven repository) Maven artifacts --------------- Artifacts are deployed in Maven Central Repository http://repo1.maven.org/maven2/ Find us at * http://search.maven.org/#artifactdetails|org.nuiton|topia|3.0-alpha-12|jar Have fun! -ToPIA team

1 0

Intégration Flyway et Liquibase
by Brendan Le Ny 14 Feb '14

14 Feb '14

Salut Pour plusieurs raisons, je pense qu'il faudrait proposer l'intégration de ces deux outils populaires de migration dans Topia, sous forme des services. Je pense que c'est une plus-value pour ToPIA si on veut donner l'envie de l'utiliser, un développeur est toujours content de pouvoir retrouver ses marques. Par ailleurs, je trouve qu'il y a un apport point de vue évolutivité de ToPIA. En effet, l'actuelle implémentation du service de migration est couplée à Hibernate et est assez difficile (il a besoin du mapping hibernate chargé, donc on fait de la migration de schéma pour faire marcher hibernate avec hibernate, y'a une histoire de serpent qui se mord la queue). Là, il on se branche niveau SQL, donc avant que Hibernate soit branché : ça me paraît moins dangereux. Si on veut dégager hibernate un jour, la partie migration pourra rester inchangée. Ensuite, y'a l'argument de réutiliser du code plutôt que de réinventer la roue (on a des bugs non-résolus sur le service de migration). Autre argument majeur (voir killer argument) c'est pour nos applis libres (Pollen, Lima...). En effet, elles stockent des données dans des bases SQL or, j'imagine que personne ne s'amuse à écrire les migrations pour TOUS les SGBD. Liquibase propose un langage (XML :-() de description de migration portable. On pourrait donc coder les migrations en Liquibase et garantir que Pollen peut tourner sur un SGBD au choix (car actuellement, malgré l'utilisation de Topia, c'est faux). Après, faut toujours être prudent, on peut avoir des soucis si on a pas la main dessus donc pour moi donc ça doit venir en complément du service de migration actuel et non en remplacement (cas des applis lourdes). Donc, êtes-vous favorable à l'intégration dans topia de services de compatibilités ? Et êtes-vous favorable à l'utilisation de ces services dans nos applis chorem/clients ? -- Brendan Le Ny, Code Lutin bleny(a)codelutin.com (+33) 02 40 50 29 28

1 2

[ANN] - ToPIA 3.0-alpha-10 released
by Arnaud Thimel 04 Feb '14

04 Feb '14

The ToPIA team is pleased to announce the topia-3.0-alpha-10 release! Tools for Portable and Independent Architecture : Framework de persistance et de distribution d'application. Documentation of the project can be found here: http://maven-site.nuiton.org/topia Changes ------- Changes in this version include: New features: o Clean API Issue: 552. Thanks to Tony Chemit. Resolved by athimel. o Add TopiaIdFactory#isTopiaId Issue: 3022. Thanks to Brendan Le Ny. Resolved by bleny. Fixed Bugs: o Error while trying to get TopiaPersistenceContext from Hibernate's session Issue: 3021. Thanks to Arnaud Thimel. Resolved by athimel. o Can't execute sql script while migration Issue: 2968. Thanks to Tony Chemit. Resolved by tchemit. Changes: o Remove dependency to commons-collections 3 Issue: 3061. Thanks to Arnaud Thimel. Resolved by athimel. o updates nuiton-utils to 3.0-rc-2 Issue: 3044. Thanks to Tony Chemit. Resolved by tchemit. o Updates Nuiton-decorator to 3.0-alpha-3 Issue: 3059. Thanks to Arnaud Thimel. Resolved by athimel. o Updates Nuiton-CSV to 3.0-alpha-3 Issue: 3058. Thanks to Arnaud Thimel. Resolved by athimel. o Updates mavenpom to 4.7 Issue: 3060. Thanks to Arnaud Thimel. Resolved by athimel. o Updates I18N to 3.0 Issue: 3043. Thanks to Tony Chemit. Resolved by tchemit. o Updates eugene to 2.7.4 Issue: 3048. Thanks to Tony Chemit. Resolved by tchemit. o updates commons-collection to 4 Issue: 3042. Thanks to Tony Chemit. Resolved by tchemit. Downloads --------- No release file deployed. (all files are deployed in the maven repository) Maven artifacts --------------- Artifacts are deployed in Maven Central Repository http://repo1.maven.org/maven2/ Find us at * http://search.maven.org/#artifactdetails|org.nuiton|topia|3.0-alpha-10|jar Have fun! -ToPIA team

1 0