Un site web peut-il détecter lorsque vous utilisez le sélénium avec chromedriver?

essentiellement la façon dont la détection de sélénium fonctionne, est qu'ils testent pour les variables javascript prédéfinies qui apparaissent lors de l'exécution avec le sélénium. Les scripts de détection bot regardent habituellement tout ce qui contient le mot "sélénium" / " webdriver "dans n'importe laquelle des variables (sur l'objet de fenêtre), et documentent aussi les variables appelées $cdc_ et $wdc_ . Bien sûr, tout cela dépend du navigateur que vous utilisez. Tous les différents navigateurs exposent des choses différentes.

Pour moi, j'ai utilisé chrome, donc, tout ce que j'ai eu à faire était de s'assurer que $cdc_ n'existe plus en tant que variable de document, et voila (télécharger le code source chromedriver, modifier chromedriver et re-compiler $cdc_ sous un nom différent.)

c'est la fonction que j'ai modifiée dans chromedriver:

call_function.js:

function getPageCache(opt_doc) {
  var doc = opt_doc || document;
  //var key = '$cdc_asdjflasutopfhvcZLmcfl_';
  var key = 'randomblabla_';
  if (!(key in doc))
    doc[key] = new Cache();
  return doc[key];
}

(notez le commentaire, Tout ce que j'ai fait je suis passé $cdc_ à randomblabla_ .

voici un pseudo-code qui démontre certaines des techniques que les réseaux bot pourraient utiliser:

runBotDetection = function () {
    var documentDetectionKeys = [
        "__webdriver_evaluate",
        "__selenium_evaluate",
        "__webdriver_script_function",
        "__webdriver_script_func",
        "__webdriver_script_fn",
        "__fxdriver_evaluate",
        "__driver_unwrapped",
        "__webdriver_unwrapped",
        "__driver_evaluate",
        "__selenium_unwrapped",
        "__fxdriver_unwrapped",
    ];

    var windowDetectionKeys = [
        "_phantom",
        "__nightmare",
        "_selenium",
        "callPhantom",
        "callSelenium",
        "_Selenium_IDE_Recorder",
    ];

    for (const windowDetectionKey in windowDetectionKeys) {
        const windowDetectionKeyValue = windowDetectionKeys[windowDetectionKey];
        if (window[windowDetectionKeyValue]) {
            return true;
        }
    };
    for (const documentDetectionKey in documentDetectionKeys) {
        const documentDetectionKeyValue = documentDetectionKeys[documentDetectionKey];
        if (window['document'][documentDetectionKeyValue]) {
            return true;
        }
    };

    for (const documentKey in window['document']) {
        if (documentKey.match(/$[a-z]dc_/) && window['document'][documentKey]['cache_']) {
            return true;
        }
    }

    if (window['external'] && window['external'].toString() && (window['external'].toString()['indexOf']('Sequentum') != -1)) return true;

    if (window['document']['documentElement']['getAttribute']('selenium')) return true;
    if (window['document']['documentElement']['getAttribute']('webdriver')) return true;
    if (window['document']['documentElement']['getAttribute']('driver')) return true;

    return false;
};

selon l'utilisateur @szx, il est également possible d'ouvrir simplement chromedriver.exe dans l'éditeur hexadécimal, et il suffit de faire le remplacement manuellement, sans réellement faire des compilation.

comme nous l'avons déjà compris dans la question et les réponses postées, il y a un service anti-raclage Web et un service de détection Bot appelé " Distil Networks " en jeu ici. Et, selon le PDG de la société interview :

même s'ils peuvent créer de nouveaux bots, nous avons trouvé un moyen d'identifier Le sélénium est un outil qu'ils utilisent, donc nous bloquons le sélénium Non importe combien de fois ils itèrent sur ce bot . Nous faisons maintenant avec Python et beaucoup de technologies différentes. Une fois que nous voyons un modèle sortir d'un type de bot, puis nous travaillons à la rétro-ingénierie technologie qu'ils utilisent et l'identifient comme étant malveillante.

il faudra du temps et des défis supplémentaires pour comprendre comment exactement ils détectent le sélénium, mais que pouvons-nous dire de sûr pour le moment:

• il n'est pas lié à les actions que vous prenez avec le sélénium - une fois que vous naviguez vers le site, vous êtes immédiatement détecté et banni. J'ai essayé d'ajouter des délais aléatoires artificiels entre les actions, faire une pause après que la page est chargée - rien aidé
• il ne s'agit pas non plus d'empreinte de navigateur - essayé dans plusieurs navigateurs avec des profils propres et pas, modes incognito - rien aidé
• puisque, selon l'allusion dans l'interview, il s'agissait de "reverse engineering", Je suspect ceci est fait avec un certain code JS exécuté dans le navigateur révélant qu'il s'agit d'un navigateur automatisé via Selenium webdriver

a décidé de le poster comme une réponse, depuis clairement:

un site web peut-il détecter lorsque vous utilisez le sélénium avec chromedriver?

Oui.

aussi, ce que je n'ai pas expérimenté avec est plus vieux sélénium et versions de navigateur plus anciennes - en théorie, il pourrait y avoir quelque chose mis en œuvre/ajouté au sélénium à un certain point que Distil réseaux bot détecteur dépend actuellement. Ensuite, si c'est le cas, nous pourrions détecter (Ouais, nous allons détecter le détecteur) à quel point/version un changement pertinent a été fait, regarder dans changelog et changesets et, peut-être, cela pourrait nous donner plus d'informations sur où regarder et ce qu'ils utilisent pour détecter un navigateur WebDriver alimenté. C'est juste une théorie qui doit être testé.

exemple de la façon dont il est mis en œuvre sur wellsfargo.com:

try {
 if (window.document.documentElement.getAttribute("webdriver")) return !+[]
} catch (IDLMrxxel) {}
try {
 if ("_Selenium_IDE_Recorder" in window) return !+""
} catch (KknKsUayS) {}
try {
 if ("__webdriver_script_fn" in document) return !+""

partial interface Navigator { readonly attribute boolean webdriver; };

l'attribut IDL de Webdriver de l'interface de navigateur doit retourner la valeur du drapeau webdriver-active, qui est initialement false.

cette propriété permet à des sites Web de déterminer que l'agent utilisateur est sous le contrôle de WebDriver, et peut être utilisé pour aider à atténuer les attaques de déni de service.

tiré directement du 2017 W3C Editor's Draft of WebDriver . Cela implique fortement qu'à tout le moins, les itérations futures des moteurs du sélénium seront identifiables afin d'éviter une mauvaise utilisation. En fin de compte, il est difficile de dire sans le code source, ce qui provoque exactement le pilote chrome en particulier pour être détectable.

essayez d'utiliser selenium avec un profil d'utilisateur spécifique de chrome, de cette façon vous pouvez l'utiliser en tant qu'utilisateur spécifique et définir tout ce que vous voulez, ce faisant, il sera exécuté comme un utilisateur "réel", regardez le processus chrome avec un explorateur de processus et vous verrez la différence avec les étiquettes.

par exemple:

username = os.getenv("USERNAME")
userProfile = "C:\Users\" + username + "\AppData\Local\Google\Chrome\User Data\Default"
options = webdriver.ChromeOptions()
options.add_argument("user-data-dir={}".format(userProfile))
# add here any tag you want.
options.add_experimental_option("excludeSwitches", ["ignore-certificate-errors", "safebrowsing-disable-download-protection", "safebrowsing-disable-auto-update", "disable-client-side-phishing-detection"])
chromedriver = "C:\Python27\chromedriver\chromedriver.exe"
os.environ["webdriver.chrome.driver"] = chromedriver
browser = webdriver.Chrome(executable_path=chromedriver, chrome_options=options)

chrome balise de liste ici

même si vous envoyez toutes les bonnes données (par exemple, le sélénium n'apparaît pas comme une extension, vous avez une résolution/profondeur de bits raisonnable, &c), il y a un certain nombre de services et d'outils qui profilent le comportement des visiteurs pour déterminer si l'acteur est un utilisateur ou un système automatisé.

par exemple, visiter un site puis immédiatement aller effectuer une action en déplaçant la souris directement sur le bouton pertinent, en moins d'une seconde, est quelque chose qu'Aucun utilisateur ne serait effectivement le faire.

il pourrait également être utile comme outil de débogage d'utiliser un site tel que https://panopticlick.eff.org / pour vérifier l'originalité de votre navigateur; il vous aidera également à vérifier s'il y a des paramètres spécifiques qui indiquent que vous êtes en cours d'exécution en sélénium.

On dirait qu'ils sont derrière un pare-feu applicatif web. Regardez modsecurity et owasp pour voir comment cela fonctionne. En réalité, ce que vous demandez est comment faire la détection de bot evasion. Ce n'est pas à cela que sert le pilote web de sélénium. Il est pour tester votre application web ne frappant pas d'autres applications web. C'est possible, mais en gros, vous devriez regarder ce qu'un WAF cherche dans leur ensemble de règles et l'éviter spécifiquement avec le sélénium si vous le pouvez. Même alors, il pourrait encore ne pas travailler parce que vous ne savez pas ce WAF qu'ils utilisent. Vous avez fait la bonne première étape, c'est-à-dire simuler l'agent utilisateur. Si cela n'a pas fonctionné, alors un WAF est en place et vous devez probablement obtenir plus délicat.

Edit: Point tiré d'une autre réponse. Assurez-vous que votre User agent est effectivement réglé correctement en premier. Peut-être qu'il a frappé un serveur web local ou renifler le trafic sortant.

Firefox est dit window.navigator.webdriver === true si vous travaillez avec un webdriver. C'était selon l'une des spécifications plus anciennes (par exemple: archive.org ) mais je ne l'ai pas trouvé dans le nouveau à l'exception d'une formulation très vague dans les annexes.

un test pour cela est dans le code de sélénium dans le fichier fingerprint_test.js où le commentaire à la fin dit "actuellement seulement mis en œuvre dans firefox" mais je il n'a pas été possible d'identifier de code dans cette direction avec un simple grep ing, ni dans L'arbre de libération de Firefox (41.0.2) ni dans L'arbre à Chrome.

j'ai aussi trouvé un commentaire pour un vieux commit concernant les empreintes digitales dans le pilote firefox b82512999938 de janvier 2015 . Ce code est toujours dans le Selenium GIT-master téléchargé hier à javascript/firefox-driver/extension/content/server.js avec un commentaire lié à l'annexe légèrement différente dans le spécifications actuelles du webdriver w3c.

la détection bot que j'ai vue semble plus sophistiquée ou du moins différente de ce que j'ai lu dans les réponses ci-dessous.

expérience 1:

1. j'ouvre un navigateur et une page web avec Selenium à partir d'une console Python.
2. la souris est déjà à un endroit spécifique où je sais qu'un lien apparaîtra une fois la page chargée. Je ne déplace jamais la souris.
3. j'appuie une fois sur le bouton gauche de la souris (ceci est nécessaire pour prendre le focus de la console où Python tourne vers le navigateur).
4. j'appuie de nouveau sur le bouton gauche de la souris (rappelez-vous que le curseur est au-dessus d'un lien donné).
5. Le lien s'ouvre normalement, comme il se doit.

expérience 2:

1. Comme avant, j'ouvre un navigateur et le web page avec Selenium à partir d'une console Python.

2. Cette fois, au lieu de cliquer avec la souris, j'utilise le Sélénium (dans la console Python) cliquer sur le même élément avec un décalage aléatoire.

3. Le lien ne s'ouvre pas, mais je suis pris d'une page d'inscription.

IMPLICATIONS:

• ouvrir un web navigateur via le sélénium ne m'empêche pas d'apparaître humain
• il n'est pas nécessaire de déplacer la souris comme un humain pour être classé comme humain
• cliquer sur quelque chose via le sélénium avec un décalage déclenche encore l'alarme

semble mystérieux, mais je suppose qu'ils peuvent juste déterminer si une action provient du sélénium ou non, alors qu'ils ne se soucient pas si le navigateur lui-même a été ouvert via le sélénium ou non. Ou peuvent-ils déterminer si la fenêtre a une mise au point? Serait intéressant d'entendre si quelqu'un a des idées.

écrivez une page html avec le code suivant. Vous verrez que dans le DOM selenium applique un attribut webdriver dans le outerHTML

<html>
<head>
  <script type="text/javascript">
  <!--
    function showWindow(){
      javascript:(alert(document.documentElement.outerHTML));
    }
  //-->
  </script>
</head>
<body>
  <form>
    <input type="button" value="Show outerHTML" onclick="showWindow()">
  </form>
</body>
</html>

certains sites détectent ceci:

function d() {
try {
    if (window.document.$cdc_asdjflasutopfhvcZLmcfl_.cache_)
        return !0
} catch (e) {}

try {
    //if (window.document.documentElement.getAttribute(decodeURIComponent("%77%65%62%64%72%69%76%65%72")))
    if (window.document.documentElement.getAttribute("webdriver"))
        return !0
} catch (e) {}

try {
    //if (decodeURIComponent("%5F%53%65%6C%65%6E%69%75%6D%5F%49%44%45%5F%52%65%63%6F%72%64%65%72") in window)
    if ("_Selenium_IDE_Recorder" in window)
        return !0
} catch (e) {}

try {
    //if (decodeURIComponent("%5F%5F%77%65%62%64%72%69%76%65%72%5F%73%63%72%69%70%74%5F%66%6E") in document)
    if ("__webdriver_script_fn" in document)
        return !0
} catch (e) {}