Comment convertir UTF-8 en US-Ascii en Java

nous avons un système où les clients, principalement européens entrent des textes (en UTF-8) qui doit être distribué à différents systèmes, la plupart d'entre eux acceptant UTF-8, mais maintenant nous devons également distribuer les textes à un système américain qui n'accepte US-Ascii 7-bit

donc maintenant nous allons avoir besoin de traduire tous les caractères européens à L'US-Ascii le plus proche. Est-il des bibliothèques Java pour aider dans cette tâche?

en ce moment nous venons de commencer à ajouter à une traduction table, où Å (AA Suédois)->A et ainsi de suite et où nous ne trouvons aucune correspondance pour un caractère entré, nous allons le log et remplacer par un point d'interrogation et essayer de corriger cela pour la prochaine version, mais il semble très inefficace et quelqu'un d'autre doit avoir fait quelque chose de similaire avant.

26
demandé sur BlaM 2008-11-12 23:29:03

9 réponses

le programme uni2ascii est écrit en C, mais vous pourriez probablement le convertir en Java avec peu d'effort. Il contient un grand tableau d'approximations (implicitement, dans les énoncés switch-case).

soyez conscient qu'il n'y a pas d'approximations universellement acceptées: les Allemands veulent que vous remplaciez Ä par AE, les finlandais et les Suédois préfèrent juste A. votre exemple de Å n'est pas évident non plus: les Suédois seraient probablement juste tomber l'anneau et utilisez A, mais les Danois et les Norvégiens pourraient préférer les AA historiquement plus corrects.

17
répondu Jouni K. Seppänen 2008-11-12 20:44:26

vous pouvez le faire avec ce qui suit (à partir de L'exemple NFD dans ce noyau de technologie Java Tech Tip ):

public static String decompose(String s) {
    return java.text.Normalizer.normalize(s, java.text.Normalizer.Form.NFD).replaceAll("\p{InCombiningDiacriticalMarks}+","");
}
35
répondu Simon Lieschke 2012-12-29 01:08:04

au lieu de créer votre propre table, vous pouvez convertir le texte à la forme de normalisation D, où les caractères sont représentés comme un caractère de base plus les diacritiques (par exemple," á "sera remplacé par" a " suivi d'une combinaison accent aigu). Vous pouvez alors dépouiller tout ce qui n'est pas une lettre ASCII.

les tables existent toujours, mais sont maintenant celles de la norme Unicode.

vous pouvez également essayer NFKD au lieu de NFD, à attraper encore plus de cas.

, les Références:

5
répondu CesarB 2014-10-07 21:17:52

En réponse à la réponse donnée par Joe Liversedge , en référence Lucene ISOLatin1AccentFilter n'existe plus :

il a été remplacé par org.Apache.lucene.analyse.ASCIIFoldingFilter :

cette classe convertit les caractères alphabétiques, numériques et symboliques Unicodes qui ne sont pas dans les premiers 127 ASCII les caractères (le bloc Unicode "Latin de base") dans leurs équivalents ASCII, s'il en existe un. Les caractères des blocs Unicode suivants sont convertis; cependant, seuls les caractères avec des alternatives ASCII raisonnables sont convertis.

FYI -

5
répondu Matt Storer 2017-05-23 12:33:40

c'est typiquement utile dans les applications de recherche. Voir la mise en œuvre correspondante de Lucene ISOLatin1AccentFilter . Ce n'est pas vraiment conçu pour brancher sur une implémentation locale aléatoire, mais ça fait l'affaire.

1
répondu Joe Liversedge 2008-11-13 00:09:40

Il y a des fonctions intégrées pour ce faire. La classe principale est CharsetEncoder , qui fait partie du paquet nio . Une façon plus simple est String.getBytes(Charset) qui peut être envoyé à un ByteArrayOutputStream .

0
répondu sblundy 2008-11-12 20:44:18

new String ("½".getBytes ("US-ASCII"))

-1
répondu Terra Caines 2011-06-24 18:02:27

c'est ce que j'utilise:

<?php
function remove_accent($str)  {
#   http://www.php.net/manual/en/function.preg-replace.php#96586
$a = array('À', 'Á', 'Â', 'Ã', 'Ä', 'Å', 'Æ', 'Ç', 'È', 'É', 'Ê', 'Ë', 'Ì', 'Í', 'Î', 'Ï', 'Ð', 'Ñ', 'Ò', 'Ó', 'Ô', 'Õ', 'Ö', 'Ø', 'Ù', 'Ú', 'Û', 'Ü', 'Ý', 'ß', 'à', 'á', 'â', 'ã', 'ä', 'å', 'æ', 'ç', 'è', 'é', 'ê', 'ë', 'ì', 'í', 'î', 'ï', 'ñ', 'ò', 'ó', 'ô', 'õ', 'ö', 'ø', 'ù', 'ú', 'û', 'ü', 'ý', 'ÿ', 'Ā', 'ā', 'Ă', 'ă', 'Ą', 'ą', 'Ć', 'ć', 'Ĉ', 'ĉ', 'Ċ', 'ċ', 'Č', 'č', 'Ď', 'ď', 'Đ', 'đ', 'Ē', 'ē', 'Ĕ', 'ĕ', 'Ė', 'ė', 'Ę', 'ę', 'Ě', 'ě', 'Ĝ', 'ĝ', 'Ğ', 'ğ', 'Ġ', 'ġ', 'Ģ', 'ģ', 'Ĥ', 'ĥ', 'Ħ', 'ħ', 'Ĩ', 'ĩ', 'Ī', 'ī', 'Ĭ', 'ĭ', 'Į', 'į', 'İ', 'ı', 'IJ', 'ij', 'Ĵ', 'ĵ', 'Ķ', 'ķ', 'Ĺ', 'ĺ', 'Ļ', 'ļ', 'Ľ', 'ľ', 'Ŀ', 'ŀ', 'Ł', 'ł', 'Ń', 'ń', 'Ņ', 'ņ', 'Ň', 'ň', 'ʼn', 'Ō', 'ō', 'Ŏ', 'ŏ', 'Ő', 'ő', 'Œ', 'œ', 'Ŕ', 'ŕ', 'Ŗ', 'ŗ', 'Ř', 'ř', 'Ś', 'ś', 'Ŝ', 'ŝ', 'Ş', 'ş', 'Š', 'š', 'Ţ', 'ţ', 'Ť', 'ť', 'Ŧ', 'ŧ', 'Ũ', 'ũ', 'Ū', 'ū', 'Ŭ', 'ŭ', 'Ů', 'ů', 'Ű', 'ű', 'Ų', 'ų', 'Ŵ', 'ŵ', 'Ŷ', 'ŷ', 'Ÿ', 'Ź', 'ź', 'Ż', 'ż', 'Ž', 'ž', 'ſ', 'ƒ', 'Ơ', 'ơ', 'Ư', 'ư', 'Ǎ', 'ǎ', 'Ǐ', 'ǐ', 'Ǒ', 'ǒ', 'Ǔ', 'ǔ', 'Ǖ', 'ǖ', 'Ǘ', 'ǘ', 'Ǚ', 'ǚ', 'Ǜ', 'ǜ', 'Ǻ', 'ǻ', 'Ǽ', 'ǽ', 'Ǿ', 'ǿ'); 
$b = array('A', 'A', 'A', 'A', 'A', 'A', 'AE', 'C', 'E', 'E', 'E', 'E', 'I', 'I', 'I', 'I', 'D', 'N', 'O', 'O', 'O', 'O', 'O', 'O', 'U', 'U', 'U', 'U', 'Y', 's', 'a', 'a', 'a', 'a', 'a', 'a', 'ae', 'c', 'e', 'e', 'e', 'e', 'i', 'i', 'i', 'i', 'n', 'o', 'o', 'o', 'o', 'o', 'o', 'u', 'u', 'u', 'u', 'y', 'y', 'A', 'a', 'A', 'a', 'A', 'a', 'C', 'c', 'C', 'c', 'C', 'c', 'C', 'c', 'D', 'd', 'D', 'd', 'E', 'e', 'E', 'e', 'E', 'e', 'E', 'e', 'E', 'e', 'G', 'g', 'G', 'g', 'G', 'g', 'G', 'g', 'H', 'h', 'H', 'h', 'I', 'i', 'I', 'i', 'I', 'i', 'I', 'i', 'I', 'i', 'IJ', 'ij', 'J', 'j', 'K', 'k', 'L', 'l', 'L', 'l', 'L', 'l', 'L', 'l', 'l', 'l', 'N', 'n', 'N', 'n', 'N', 'n', 'n', 'O', 'o', 'O', 'o', 'O', 'o', 'OE', 'oe', 'R', 'r', 'R', 'r', 'R', 'r', 'S', 's', 'S', 's', 'S', 's', 'S', 's', 'T', 't', 'T', 't', 'T', 't', 'U', 'u', 'U', 'u', 'U', 'u', 'U', 'u', 'U', 'u', 'U', 'u', 'W', 'w', 'Y', 'y', 'Y', 'Z', 'z', 'Z', 'z', 'Z', 'z', 's', 'f', 'O', 'o', 'U', 'u', 'A', 'a', 'I', 'i', 'O', 'o', 'U', 'u', 'U', 'u', 'U', 'u', 'U', 'u', 'U', 'u', 'A', 'a', 'AE', 'ae', 'O', 'o'); 
return str_replace($a, $b, $str); 
}

function SEOify($i){
#   http://php.ca/manual/en/function.preg-replace.php#90316
$o          = $i;
$o          = html_entity_decode($o,ENT_COMPAT,'UTF-8');
$o          = remove_accent(trim($o)); 
$patterns   = array( "([])" , "([^a-zA-Z0-9_-])", "(-{2,})" ); 
$replacers  = array("-", "", "-"); 
$o          = preg_replace($patterns, $replacers, $o);
return $o;
}
?>
-3
répondu code_monk 2011-03-15 14:04:31

C'est ce qui semble fonctionner:

private synchronized static String utftoasci(String s){
  final StringBuffer sb = new StringBuffer( s.length() * 2 );

  final StringCharacterIterator iterator = new StringCharacterIterator( s );

  char ch = iterator.current();

  while( ch != StringCharacterIterator.DONE ){
   if(Character.getNumericValue(ch)>0){
    sb.append( ch );
   }else{
    boolean f=false;
    if(Character.toString(ch).equals("Ê")){sb.append("E");f=true;}
    if(Character.toString(ch).equals("È")){sb.append("E");f=true;}
    if(Character.toString(ch).equals("ë")){sb.append("e");f=true;}
    if(Character.toString(ch).equals("é")){sb.append("e");f=true;}
    if(Character.toString(ch).equals("è")){sb.append("e");f=true;}
    if(Character.toString(ch).equals("è")){sb.append("e");f=true;}
    if(Character.toString(ch).equals("Â")){sb.append("A");f=true;}
    if(Character.toString(ch).equals("ä")){sb.append("a");f=true;}
    if(Character.toString(ch).equals("ß")){sb.append("ss");f=true;}
    if(Character.toString(ch).equals("Ç")){sb.append("C");f=true;}
    if(Character.toString(ch).equals("Ö")){sb.append("O");f=true;}
    if(Character.toString(ch).equals("º")){sb.append("");f=true;}
    if(Character.toString(ch).equals("Ó")){sb.append("O");f=true;}
    if(Character.toString(ch).equals("ª")){sb.append("");f=true;}
    if(Character.toString(ch).equals("º")){sb.append("");f=true;}
    if(Character.toString(ch).equals("Ñ")){sb.append("N");f=true;}
    if(Character.toString(ch).equals("É")){sb.append("E");f=true;}
    if(Character.toString(ch).equals("Ä")){sb.append("A");f=true;}
    if(Character.toString(ch).equals("Å")){sb.append("A");f=true;}
    if(Character.toString(ch).equals("ä")){sb.append("a");f=true;}
    if(Character.toString(ch).equals("Ü")){sb.append("U");f=true;}
    if(Character.toString(ch).equals("ö")){sb.append("o");f=true;}
    if(Character.toString(ch).equals("ü")){sb.append("u");f=true;}
    if(Character.toString(ch).equals("á")){sb.append("a");f=true;}
    if(Character.toString(ch).equals("Ó")){sb.append("O");f=true;}
    if(Character.toString(ch).equals("É")){sb.append("E");f=true;}
    if(!f){
     sb.append("?");
    }
   }
   ch = iterator.next();
  }
  return sb.toString();
 }
-14
répondu Rob 2011-11-09 17:07:54