Mozilla nsUniversalDetector (fixations Perl: code::Detect / code::Detect::detect Detector ) is millionfold proven.

ma tentative d'un tel heuristique (en supposant que vous avez exclu ASCII et UTF-8):

• si 0x7f à 0x9f n'apparaît pas du tout, c'est probablement ISO-8859-1, car ce sont des codes de contrôle très rarement utilisés.
• Si 0x91 par 0x94 apparaissent à beaucoup, c'est probablement Windows-1252, parce que ce sont les "guillemets", de loin les plus susceptibles de caractères dans ce domaine à être utilisé dans un texte en anglais. Pour être plus sûr, vous pourriez chercher des paires.
• sinon, C'est MacRoman, surtout si vous voyez beaucoup de 0xd2 à 0xd5 (c'est là que les citations typographiques sont en MacRoman).

note de Côté:

pour les fichiers comme Java source où aucun cette facilité existe à l'intérieur de la fichier, vous allez mettre le codage avant l'extension, telle que SomeClass-utf8.java

Ne faites pas ça!!

le compilateur Java s'attend à ce que les noms de fichiers concordent avec les noms de classe. La bonne chose serait de deviner l'encodage, puis utiliser le native2ascii outil pour convertir tous les caractères non-ASCII en séquences D'échappement Unicode .

"Perl, C, Java ou Python, et dans l'ordre": attitude intéressante :-)

" we stand a good change of knowing if something is probably UTF-8": en fait, la chance qu'un fichier contenant du texte significatif encodé dans un autre jeu de caractères qui utilise des octets high-bit-set va décoder avec succès comme UTF-8 est en voie de disparition petite.

UTF-8 stratégies (à moins langue de préférence):

# 100% Unicode-standard-compliant UTF-8
def utf8_strict(text):
    try:
        text.decode('utf8')
        return True
    except UnicodeDecodeError:
        return False

# looking for almost all UTF-8 with some junk
def utf8_replace(text):
    utext = text.decode('utf8', 'replace')
    dodgy_count = utext.count(u'\uFFFD') 
    return dodgy_count, utext
    # further action depends on how large dodgy_count / float(len(utext)) is

# checking for UTF-8 structure but non-compliant
# e.g. encoded surrogates, not minimal length, more than 4 bytes:
# Can be done with a regex, if you need it

une fois que vous avez décidé que ce n'est ni ASCII ni UTF-8:

les détecteurs de charset D'origine Mozilla que je connais ne supportent pas MacRoman et de toute façon ne font pas un bon travail sur les charsets 8-bits surtout avec l'anglais parce QU'AFAICT ils dépendent de vérifier si le décodage a du sens dans la langue donnée, ignorant les caractères de ponctuation, et basé sur un large choix de documents dans cette langue.

comme d'autres l'ont fait remarquer, vous n'avez vraiment que le high-bit-set les caractères de ponctuation disponibles permettent de distinguer cp1252 et macroman. Je suggère de former un modèle de type Mozilla sur vos propres documents, pas sur Shakespeare ou Hansard ou la Bible de KJV, et en tenant compte des 256 octets. Je présume que vos fichiers n'ont pas de markup (HTML, XML, etc.) en eux -- ce qui déformerait les probabilités quelque chose de choquant.

vous avez mentionné des fichiers qui sont principalement UTF-8 mais ne parviennent pas à décoder. Vous devriez aussi être très méfiant de:

(1) fichiers qui seraient encodés dans la norme ISO-8859-1 mais qui contiennent des" caractères de contrôle " dans la plage de 0x80 à 0x9F inclusivement ... c'est si courant que le projet de norme HTML5 dit de décoder tous les flux HTML déclarés ISO-8859-1 en utilisant cp1252.

(2) fichiers qui décodent OK comme UTF-8 mais L'Unicode résultant contient des" caractères de contrôle " dans la gamme U+0080 à U+009F inclus ... cela peut résulter du transcodage cp1252 / cp850 (voir il se!) / etc fichiers à partir de "ISO-8859-1 à UTF-8.

Background: j'ai un projet wet-Sunday-afternoon pour créer un détecteur de charset basé sur Python qui est orienté fichier (au lieu de web-oriented) et fonctionne bien avec des jeux de caractères 8-bit dont legacy ** n ceux comme cp850 et cp437. C'est loin d'être le premier instant. Je suis intéressé par les dossiers de formation; sont vos ISO-8859-1 / cp1252 / MacRoman aussi "non encombré" que la solution de code de n'importe qui?

comme vous l'avez découvert, il n'y a pas de façon parfaite de résoudre ce problème, car sans la connaissance implicite sur laquelle encoder un fichier utilise, tous les encodages 8 bits sont exactement les mêmes: une collection d'octets. Tous les octets sont valides pour tous les encodages à 8 bits.

Le mieux que vous pouvez espérer, c'est une sorte d'algorithme qui analyse les octets, et basé sur les probabilités d'un certain octet utilisé dans une certaine langue avec un certain encodage va deviner à quel l'encodage des fichiers. Mais cela doit savoir quelle langue le fichier utilise, et devient complètement inutile lorsque vous avez des fichiers avec des encodages mixtes.

à l'envers, Si vous savez que le texte d'un fichier est écrit en anglais, alors il est peu probable de remarquer une différence quelle que soit l'encodage que vous décidez d'utiliser pour ce fichier, car les différences entre tous les encodages mentionnés sont tous localisés dans les parties des encodages qui spécifient des caractères qui ne sont pas normalement utilisés dans la langue anglaise. Vous pourriez avoir quelques problèmes lorsque le texte utilise un formatage spécial, ou des versions spéciales de ponctuation (CP1252 a plusieurs versions des caractères de citation par exemple), mais pour l'essentiel du texte il n'y aura probablement pas de problèmes.

si vous pouvez détecter tous les encodages sauf macroman, qu'il serait logique de supposer que ceux qui ne peuvent pas être déchiffrés sont en macroman. En d'autres termes, il suffit de faire une liste des fichiers qui ne pouvaient pas être traités et de gérer ceux-ci comme s'ils étaient macroman.

une Autre façon de trier ces fichiers serait de faire un serveur qui permet aux utilisateurs de décider lequel l'encodage n'est pas déformé. Bien sûr, ce serait au sein de l'entreprise, mais avec 100 employés en faisant quelques-uns chaque jour, vous aurez des milliers de dossiers faits en un rien de temps.

enfin, ne serait-il pas préférable de simplement convertir tous les fichiers existants dans un seul format, et exiger que les nouveaux fichiers soient dans ce format.

est-ce que quelqu'un d'autre a eu ce problème d'un zillion de fichiers textes hérités encodés au hasard? Si oui, comment avez-vous tenté de le résoudre, et dans quelle mesure avez-vous réussi?

je suis en train d'écrire un programme qui traduit des fichiers en XML. Il a pour détecter automatiquement le type de chaque fichier, qui est un sur-ensemble du problème de la détermination de l'encodage d'un fichier texte. Pour déterminer l'encodage, j'utilise une approche bayésienne. C'est, de mon classement le code calcule une probabilité (vraisemblance) qu'un fichier texte ait un encodage particulier pour tous les encodages qu'il comprend. Ensuite, le programme sélectionne les plus probables décodeur. L'approche bayésienne fonctionne ainsi pour chaque encodage.

1. définit la probabilité initiale ( avant ) que le fichier est dans l'encodage, basé sur les fréquences de chaque encodage.
2. Examiner chaque octet dans le fichier. Look-up de l'octet valeur pour déterminer la corrélation entre cette valeur de byte étant présent et un fichier étant effectivement dans cet encodage. Utilisez cette corrélation pour calculer une nouvelle ( postérieure ) probabilité que le fichier est dans l'encodage. Si vous avez plus d'octets à examiner, utilisez la probabilité postérieure de cet octet comme la probabilité préalable lorsque vous examinez le prochain octet.
3. quand vous arrivez à la fin du fichier (je ne regarde en fait que les 1024 premiers octets), le proability vous avez est la probabilité que le fichier est dans l'encodage.

il s'avère que le théorème de Bayes devient très facile à faire si au lieu de calculer des probabilités, vous calculez information content , qui est le logarithme du odds : info = log(p / (1.0 - p)) .

vous devrez calculer la probabilité initail priori, et les corrélations, en examinant un corpus de fichiers que vous avez classifiés manuellement.