Meilleur algorithme de regroupement? (expliquée simplement)

Imaginez le problème suivant:

• vous avez une base de données contenant environ 20.000 textes dans un tableau appelé "articles"
• vous voulez connecter les articles apparentés en utilisant un algorithme de regroupement afin d'afficher les articles apparentés ensemble
• l'algorithme doit faire un clustering plat (pas hiérarchique)
• les articles correspondants doivent être insérés dans le tableau "liés"
• l'algorithme de regroupement devrait décider si deux ou plus d'articles sont liés ou non basés sur les textes
• je veux le code en PHP, mais des exemples avec le pseudo code ou d'autres langages de programmation sont ok, trop

j'ai codé une première ébauche avec une vérification de fonction() qui donne "true" si les deux articles d'entrée sont liés et "false" si non. Le reste du code (sélection des articles de la base de données, Sélection des articles à comparer, insertion des articles correspondants) est également complet. Peut-être que tu peux améliorer le reste aussi. Mais le point principal qui est important pour moi est la fonction check(). Donc, ce serait génial si vous pouviez afficher quelques améliorations ou des approches complètement différentes.

approche 1

<?php
$zeit = time();
function check($str1, $str2){
    $minprozent = 60;
    similar_text($str1, $str2, $prozent);
    $prozent = sprintf("%01.2f", $prozent);
    if ($prozent > $minprozent) {
        return TRUE;
    }
    else {
        return FALSE;
    }
}
$sql1 = "SELECT id, text FROM articles ORDER BY RAND() LIMIT 0, 20";
$sql2 = mysql_query($sql1);
while ($sql3 = mysql_fetch_assoc($sql2)) {
    $rel1 = "SELECT id, text, MATCH (text) AGAINST ('".$sql3['text']."') AS score FROM articles WHERE MATCH (text) AGAINST ('".$sql3['text']."') AND id NOT LIKE ".$sql3['id']." LIMIT 0, 20";
    $rel2 = mysql_query($rel1);
    $rel2a = mysql_num_rows($rel2);
    if ($rel2a > 0) {
        while ($rel3 = mysql_fetch_assoc($rel2)) {
            if (check($sql3['text'], $rel3['text']) == TRUE) {
                $id_a = $sql3['id'];
                $id_b = $rel3['id'];
                $rein1 = "INSERT INTO related (article1, article2) VALUES ('".$id_a."', '".$id_b."')";
                $rein2 = mysql_query($rein1);
                $rein3 = "INSERT INTO related (article1, article2) VALUES ('".$id_b."', '".$id_a."')";
                $rein4 = mysql_query($rein3);
            }
        }
    }
}
?>

APPROCHE 2 [seul check()]

<?php
function square($number) {
    $square = pow($number, 2);
    return $square;
}
function check($text1, $text2) {
    $words_sub = text_splitter($text2); // splits the text into single words
    $words = text_splitter($text1); // splits the text into single words
    // document 1 start
    $document1 = array();
    foreach ($words as $word) {
        if (in_array($word, $words)) {
            if (isset($document1[$word])) { $document1[$word]++; } else { $document1[$word] = 1; }
        }
    }
    $rating1 = 0;
    foreach ($document1 as $temp) {
        $rating1 = $rating1+square($temp);
    }
    $rating1 = sqrt($rating1);
    // document 1 end
    // document 2 start
    $document2 = array();
    foreach ($words_sub as $word_sub) {
        if (in_array($word_sub, $words)) {
            if (isset($document2[$word_sub])) { $document2[$word_sub]++; } else { $document2[$word_sub] = 1; }
        }
    }
    $rating2 = 0;
    foreach ($document2 as $temp) {
        $rating2 = $rating2+square($temp);
    }
    $rating2 = sqrt($rating2);
    // document 2 end
    $skalarprodukt = 0;
    for ($m=0; $m<count($words)-1; $m++) {
        $skalarprodukt = $skalarprodukt+(array_shift($document1)*array_shift($document2));
    }
    if (($rating1*$rating2) == 0) { continue; }
    $kosinusmass = $skalarprodukt/($rating1*$rating2);
    if ($kosinusmass < 0.7) {
        return FALSE;
    }
    else {
        return TRUE;
    }
}
?>

je voudrais dire aussi que je sais qu'il y a beaucoup d'algorithmes pour le clustering mais sur chaque site il n'y a que la description mathématique qui est un peu difficile à comprendre pour je. Ainsi, coder des exemples en (pseudo) code serait génial.

j'espère que vous pourrez m'aider. Merci à l'avance!