Encoding difficulties while importing with an SQL request

[[email protected]]

two text fields of a MyISAM table with utf8_general_ci interclassement are imported choosing UTF-8 Universal Alphabet (Unicode UTF8).
All accented french characters are lost in the list.

Is it necessary to add this type of SQL Command, SET CHARACTER SET `utf8`, before the SELECT command.

Usually, my connection on this database include these declarations :
SET CHARACTER SET `utf8`
SET NAMES `utf8`

Thanks for any help

 

[stanbusk]

Re: Encoding difficulties while importing with an SQL reques

Not sure I understand your request. Is there something missing in MaxBulk Mailer?

 

[[email protected]]

Re: Encoding difficulties while importing with an SQL reques

Not sure I understand your request. Is there something missing in MaxBulk Mailer?

All chars like é,è,ê,À,A are lost in the list while importing with an SQL request.

 

[stanbusk]

Re: Encoding difficulties while importing with an SQL reques

MaxBulk Mailer is UTF-8 and actually expect UTF-8 data. I guess that is the problem for you, am I wrong? You talk about issuing a command to set the character set to UTF-8 reason why I asked about what do you think is missing, MaxBulk Mailer doesn't issue that command.

 

[[email protected]]

Re: Encoding difficulties while importing with an SQL reques

Nice if MaxBulk Mailer is UTF8; it is not a problem.

My SQL request give to MaxBulk Mailer, UTF8 datas and the responce list lost all accented french chars like this : Cl�mence (Clémence);
I can't find a solution.
I'am on MacOSX 10.7.2
In Library/Application Support/Maxprog/MaxBulk Mailer/Listes i find my list, a text file; if i open it with BBEdit, it says 'BBEdit could not determine the encoding. Please choose an encoding to continue loading the file.

It is now urgent I find a solution !

It seems you speak a good french language ?
Thanks.

 

[stanbusk]

Re: Encoding difficulties while importing with an SQL reques

MaxBulk Mailer is 100% UTF-8 native, that includes lists and documents. Indeed, list files and documents are also saved in UTF-8. When I open my lists here with TextWrangler (same as BBEdit), they are all identified as 'Unicode UTF-8'.

About your original problem, the SQL import window has a text encoding pull-down menu. If you set that encoding to your database encoding MaxBulk Mailer will then know the data source encoding and will convert the data into UTF-8 properly.

I speak french, I am french but I don't live in a french speaking country so I don't use french very often. I write french when necessary of course.

 

[[email protected]]

Re: Encoding difficulties while importing with an SQL reques

MaxBulk Mailer is 100% UTF-8 native, that includes lists and documents. Indeed, list files and documents are also saved in UTF-8. When I open my lists here with TextWrangler (same as BBEdit), they are all identified as 'Unicode UTF-8'.

About your original problem, the SQL import window has a text encoding pull-down menu. If you set that encoding to your database encoding MaxBulk Mailer will then know the data source encoding and will convert the data into UTF-8 properly.

I speak french, I am french but I don't live in a french speaking country so I don't use french very often. I write french when necessary of course.

J'ai une série de copies d'écrans que je pourrais vous envoyer pour que vous puissiez comprendre la situation. Où puis-je vous les envoyer ?
Car j'ai bien sûr sélectionné, dans le dialogue d'importation : codage du texte => UTF-8 Universal Alphabet (Unicode UTF8).
Je peux même vous passer le fichier texte confectionné à la suite de l'import.

Merci.
PS: de quelle région êtes vous originaire; moi je suis à Grenoble et il neige en ville en ce moment.
Où sont basées vos activités de développement.

Olivier.

 

[stanbusk]

Re: Encoding difficulties while importing with an SQL reques

Vous pouvez envoyez cela ici mais je penses que si il y a un problème c'est que l'encodage n'est pas sélectionné correctement. Peut être que votre DB an faites n'est pas exporté en UTF-8.

Je suis de La Rochelle mais cela fait 25 ans que je vis en Espagne, ici par contre pas de neige moi à grenoble j'allais skier avant, aux Alpes D'huez.

 

[vizelangues]

Re: Encoding difficulties while importing with an SQL reques

Bonjour (de Normandie :wink ,

je rencontre exactement le même souci, à savoir que les caractères accentués apparaissent bizarrement dans le corps du message :

"� une journ�e" au lieu de : "à une journée".

Existe-t'il une solution à ce problème ?

Merci !

 

[stanbusk]

Re: Encoding difficulties while importing with an SQL reques

Mettez l'encode sur UTF-8.

 

[[email protected]]

Re: Encoding difficulties while importing with an SQL reques

Après plusieurs années et quelques mises à jour de MaxBulk Mailer le problème de l'encodage dans une requête SQL n'est toujours pas résolu.
En pièces jointes les différents réglages d'une base MySQL et les résultats obtenus.

 

[stanbusk]

Re: Encoding difficulties while importing with an SQL reques

À mon avis c'est la requête ou votre serveur qui a un problème, je n'ai jamais entendu parlé de de problème, de plus est, mySQL dans MaxBulk Mailer est un plugin utilisé par des centaines de milliers d'utilisateurs dans le monde, ce n'est pas du code à nous... :-/

 

[[email protected]]

Re: Encoding difficulties while importing with an SQL reques

Votre réponse ne m'avance pas beaucoup.
J'utilise la même base de données depuis plusieurs années et je n'ai jamais eu ce genre de problème.
Lorsqu'avec la même base de données je fabrique un fichier texte avec la même requête SQL, et que j'importe la liste avec MaxBulk Mailer sous la forme d'un fichier texte, je n'ai pas de problème.

Merci de m'aider à pousser mes investigations.

Salutations.

 

[stanbusk]

Re: Encoding difficulties while importing with an SQL reques

Avez-vous essayer d'enlever de votre requête SQL les spécifications d'encodage?

 

[[email protected]]

Re: Encoding difficulties while importing with an SQL reques

Bien sûr; les spécifications d'encodage ont été rajoutées pour être sûr du bon encodage en UTF8.
A force de faire des tests, j'ai trouvé une solution qui conforte l'idée qu'il y a une anomalie dans
MaxBulk Mailer. Voir la pièce jointe.
Donc, la requête CONVERT(`nom`, USING utf8) fonctionne si le codage de texte MaxBulk Mailer est ISO-8859-1 Europe/America; c'est un comble.

 

[[email protected]]

Re: Encoding difficulties while importing with an SQL reques

La requête SANS CONVERT fonctionne AUSSI si le codage de texte MaxBulk Mailer est ISO-8859-1 Europe/America; alors que les champs sont en UTF8 dans la base de données.

 

[stanbusk]

Re: Encoding difficulties while importing with an SQL reques

C'est le classement qui est UTF-8 dans votre base de données, pas les données elles mêmes. Les codages iso-8859-1 et iso-8859-15 sont les plus utilisés dans l'Europe de l'ouest.