Python: conversion D'ISO-8859-1/latin1 à UTF-8

j'ai cette chaîne de caractères qui a été décodée de Quoted-printable à ISO-8859-1 avec le module email. Cela me donne des cordes comme " xC4pple "qui correspondrait à" Äpple " (pomme en Suédois). Cependant, je ne peux pas convertir ces chaînes en UTF-8.

>>> apple = "xC4pple"
>>> apple
'xc4pple'
>>> apple.encode("UTF-8")
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
UnicodeDecodeError: 'ascii' codec can't decode byte 0xc4 in position 0: ordinal not in     range(128)

Que dois-je faire?

69
demandé sur philshem 2011-06-30 23:12:46

5 réponses

essayez de décoder d'abord, puis d'encoder:

apple.decode('iso-8859-1').encode('utf8')
96
répondu Mat 2011-06-30 19:16:11

C'est un problème courant, donc voici une illustration relativement complète.

pour les chaînes non unicodes (c.-à-d. celles sans préfixe u comme u'\xc4pple' ), il faut décoder à partir de l'encodage natif ( iso8859-1 / latin1 , sauf si modifié avec la fonction énigmatique sys.setdefaultencoding ) pour unicode , puis encoder à un jeu de caractères qui peut afficher les caractères que vous souhaitez, dans ce cas, je recommander UTF-8 .

tout d'abord, voici une fonction d'utilité pratique qui aidera à éclairer les modèles de Python chaîne 2.7 et unicode:

>>> def tell_me_about(s): return (type(s), s)

Une chaîne simple

>>> v = "\xC4pple" # iso-8859-1 aka latin1 encoded string

>>> tell_me_about(v)
(<type 'str'>, '\xc4pple')

>>> v
'\xc4pple'        # representation in memory

>>> print v
?pple             # map the iso-8859-1 in-memory to iso-8859-1 chars
                  # note that '\xc4' has no representation in iso-8859-1, 
                  # so is printed as "?".

décodage d'une chaîne iso8859-1-convertir une chaîne simple en unicode

>>> uv = v.decode("iso-8859-1")
>>> uv
u'\xc4pple'       # decoding iso-8859-1 becomes unicode, in memory

>>> tell_me_about(uv)
(<type 'unicode'>, u'\xc4pple')

>>> print v.decode("iso-8859-1")
Äpple             # convert unicode to the default character set
                  # (utf-8, based on sys.stdout.encoding)

>>> v.decode('iso-8859-1') == u'\xc4pple'
True              # one could have just used a unicode representation 
                  # from the start

un peu plus d'illustration - avec "Ä"

>>> u"Ä" == u"\xc4"
True              # the native unicode char and escaped versions are the same

>>> "Ä" == u"\xc4"  
False             # the native unicode char is '\xc3\x84' in latin1

>>> "Ä".decode('utf8') == u"\xc4"
True              # one can decode the string to get unicode

>>> "Ä" == "\xc4"
False             # the native character and the escaped string are
                  # of course not equal ('\xc3\x84' != '\xc4').

de l'Encodage UTF

>>> u8 = v.decode("iso-8859-1").encode("utf-8")
>>> u8
'\xc3\x84pple'    # convert iso-8859-1 to unicode to utf-8

>>> tell_me_about(u8)
(<type 'str'>, '\xc3\x84pple')

>>> u16 = v.decode('iso-8859-1').encode('utf-16')
>>> tell_me_about(u16)
(<type 'str'>, '\xff\xfe\xc4\x00p\x00p\x00l\x00e\x00')

>>> tell_me_about(u8.decode('utf8'))
(<type 'unicode'>, u'\xc4pple')

>>> tell_me_about(u16.decode('utf16'))
(<type 'unicode'>, u'\xc4pple')

Relation entre unicode et UTF et latin1

>>> print u8
Äpple             # printing utf-8 - because of the encoding we now know
                  # how to print the characters

>>> print u8.decode('utf-8') # printing unicode
Äpple

>>> print u16     # printing 'bytes' of u16
���pple

>>> print u16.decode('utf16')
Äpple             # printing unicode

>>> v == u8
False             # v is a iso8859-1 string; u8 is a utf-8 string

>>> v.decode('iso8859-1') == u8
False             # v.decode(...) returns unicode

>>> u8.decode('utf-8') == v.decode('latin1') == u16.decode('utf-16')
True              # all decode to the same unicode memory representation
                  # (latin1 is iso-8859-1)

Exceptions Unicode

 >>> u8.encode('iso8859-1')
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
UnicodeDecodeError: 'ascii' codec can't decode byte 0xc3 in position 0:
  ordinal not in range(128)

>>> u16.encode('iso8859-1')
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
UnicodeDecodeError: 'ascii' codec can't decode byte 0xff in position 0:
  ordinal not in range(128)

>>> v.encode('iso8859-1')
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
UnicodeDecodeError: 'ascii' codec can't decode byte 0xc4 in position 0:
  ordinal not in range(128)

on les contournerait en convertissant le codage spécifique (latin-1, utf8, utf16) en unicode par exemple u8.decode('utf8').encode('latin1') .

alors peut-être pourrait-on tirer les principes et les généralisations suivantes:

  • un type str est un ensemble d'octets, qui peut avoir l'un d'un certain nombre d'encodages tels que Latin-1, UTF-8, et UTF-16
  • un type unicode est un ensemble d'octets qui peuvent être convertis en n'importe quel nombre D'encodages, le plus souvent UTF-8 et latin-1 (iso8859-1)
  • la commande print a sa propre logique pour encoder , défini à sys.stdout.encoding et de défaut à UTF-8
  • il faut décoder un str à unicode avant conversion à un autre encodage.

bien sûr, tout cela change en Python 3.x.

l'Espérance qui est éclairante.

autres lectures

Et le très illustratif, coups de gueule par Armin Ronacher:

130
répondu Brian M. Hunt 2017-05-23 12:10:34

décoder en Unicode, encoder les résultats en UTF8.

pomme.decode ("latin1").code ('utf8')

9
répondu jd. 2011-06-30 19:16:31

Pour Python 3:

bytes(apple,'iso-8859-1').decode('utf-8')

j'ai utilisé ceci pour un texte incorrectement codé comme iso-8859-1 (montrant des mots comme VeÅ\x99ejné ) au lieu de utf-8. Ce code produit la version correcte Veřejné .

8
répondu Michal Skop 2015-02-23 23:44:45

concept = concept.encode('ascii', 'ignore') = MySQLdb.escape_string (concept.decode ("latin1").encoder ('utf8').rstrip ())

je fais cela, je ne suis pas sûr si c'est une bonne approche, mais cela fonctionne à chaque fois !!

0
répondu Shashank Agarwal 2014-11-24 18:15:04