N'Django échelle? [fermé]

Nous faisons des tests de charge maintenant. Nous pensons que nous pouvons prendre en charge 240 requêtes simultanées (un taux soutenu de 120 hits par seconde 24x7) sans aucune dégradation significative des performances du serveur. Ça ferait 432 000 visites par heure. Les temps de réponse ne sont pas faibles (nos transactions sont importantes), mais il n'y a pas de dégradation par rapport à notre performance de base à mesure que la charge augmente.

on utilise Apache pour Django et MySQL. Le système D'exploitation est Red Hat Enterprise Linux (RHEL). 64-bit. Nous utilisons mod_wsgi en mode démon pour Django. Nous n'avons fait aucune optimisation de cache ou de base de données autre que d'accepter les valeurs par défaut.

nous sommes tous dans une seule VM sur un Dell 64 bits avec (je pense) 32 Go de RAM.

puisque la performance est presque la même pour 20 ou 200 utilisateurs concurrents, nous n'avons pas besoin de passer beaucoup de temps à "peaufiner". Au lieu de cela, nous avons simplement besoin de garder notre performance de base vers le haut grâce à des améliorations ordinaires de la performance SSL, ordinaire conception et mise en œuvre de la base de données (indexation, etc.), les améliorations ordinaires des performances du pare-feu, etc.

ce que nous mesurons est nos ordinateurs portables de test de charge aux prises avec la charge de travail démente de 15 processus exécutant 16 threads concurrents de requêtes.

pas sûr du nombre de visites quotidiennes, mais voici quelques exemples de grands sites Django:

• disqus.com ( parler de djangocon )
• bitbucket.org ( écrire )
• lanyrd.com ( source )
• support.mozilla.com ( code source )
• addons.mozilla.org ( code source ) ( parler de djangocon )
• theonion.com ( écrire )
• the guardian.co.Royaume-Uni comment system uses Django ( source )
• instagram
• pinterest
• Rdio

Ici est un lien vers la liste des trafic élevé Django sites sur Quora .

Quel est le" plus grand " site construit sur Django aujourd'hui? (Je mesure la taille principalement par le trafic de l'utilisateur)

aux états-unis, Mahalo . On m'a dit qu'ils traitaient environ 10 millions d'uniques par mois.

à l'étranger, le réseau Globo (un réseau de sites d'informations, de sports et de divertissement au Brésil); Alexa Les classe dans le top 100 mondial (environ 80 actuellement).

D'autres utilisateurs notables de Django incluent PBS, National Geographic, Discovery, la NASA (en fait un certain nombre de divisions différentes au sein de la NASA), et la Library of Congress.

est-ce que Django peut traiter avec 100k utilisateurs par jour, chacun visitant le site pendant quelques heures?

Oui, mais seulement si vous avez écrit votre demande, et si vous avez assez de matériel. Django n'est pas une balle magique.

un site comme StackOverflow pourrait-il fonctionner sur Django?

Oui (mais voir ci-dessus).

la Technologie sage, facilement: voir soclone pour une première tentative. Du point de vue du trafic, la concurrence entraîne un débordement des empilements de moins de 1 million d'uniquespar mois. Je peux nommer au moins une douzaine de sites Django avec plus de trafic que ça.

Jouer l'avocat du diable un peu:

vous devriez consulter le Djangocon 2008 Keynote , livré par Cal Henderson , intitulé" Pourquoi je déteste Django " où il passe en revue à peu près tout ce que Django est manquant que vous pourriez vouloir faire dans un site à fort trafic. À la fin de la journée, vous devez prendre tout cela avec un esprit ouvert, car il est parfaitement possible d'écrire des applications Django échelle, mais j'ai trouvé que c'était une bonne présentation et pertinente à votre question.

mettre à L'échelle des applications Web n'est pas une question de cadres web ou de langues, c'est une question d'architecture. Il s'agit de la façon dont vous gérez le cache de votre navigateur, le cache de votre base de données, la façon dont vous utilisez des fournisseurs de persistance non standard (comme CouchDB ), comment accorder votre base de données et beaucoup d'autres choses...

le plus grand site de django que je connaisse est le Washington Post , ce qui indiquerait certainement qu'il can échelle puits.

les bonnes décisions en matière de conception ont probablement une plus grande incidence sur les performances que toute autre chose. Twitter est souvent cité comme un site qui incarne les problèmes de performance avec un autre cadre web dynamique basé sur le langage interprété, Ruby on Rails - pourtant les ingénieurs de Twitter ont déclaré que le cadre n'est pas autant que certains des choix de conception de base de données qu'ils ont faits au début.

Django fonctionne très bien avec memcached et fournit quelques classes pour gérer la cache, qui est l'endroit où vous résoudriez la majorité de vos problèmes de performance. Ce que vous livrez sur le fil est presque plus important que votre arrière - plan dans la réalité-en utilisant un outil comme yslow est critique pour une application web de haute performance. Vous pouvez toujours jeter plus de matériel à votre arrière-plan, mais vous ne pouvez pas changez la bande passante de vos utilisateurs.

j'étais à la conférence EuroDjangoCon l'autre semaine, et cela a fait l'objet de quelques conférences - y compris de la part des fondateurs de ce qui était le plus grand site basé à Django, Pownce (diapositives d'une conférence ici ). Le message principal est que ce N'est pas Django dont vous devez vous soucier, mais des choses comme la mise en cache appropriée, l'équilibrage de la charge, l'optimisation de la base de données, etc.

Django a en fait des crochets pour la plupart de ces choses-la mise en cache, en particulier, est fait très facile.

Je suis sûr que vous êtes à la recherche d'une réponse plus solide, mais la validation objective la plus évidente que je peux penser est que Google pousse Django pour une utilisation avec son App Engine framework. Si quelqu'un connaît et traite de l'évolutivité sur une base régulière, c'est Google. D'après ce que j'ai lu, le facteur le plus limitant semble être la fin de la base de données, ce qui explique pourquoi Google utilise la leur...

je pense que nous pourrions aussi bien ajouter L'application de L'année D'Apple pour 2011, Instagram , à la liste qui utilise django intensivement.

Aujourd'hui, nous utilisons de nombreuses applications et sites web pour répondre à nos besoins. La plupart d'entre eux sont très utiles. Je vais vous en montrer quelques-uns utilisés par python ou django.

Washington Post

le site Web du Washington Post est une source d'information en ligne très populaire pour accompagner leur quotidien. Son ' énorme quantité de vues et de trafic peut être facilement manipulé par le Django web framework. Washington Post - 52.2 million unique visitors (March, 2015)

NASA

le site officiel de la National Aeronautics and Space Administration est l'endroit idéal pour trouver des nouvelles, des photos et des vidéos sur leur exploration spatiale en cours. Ce site Web de Django peut facilement accueillir d'énormes quantités de vues et de trafic. 2 million visitors monthly

The Guardian

The Guardian est un site D'information britannique appartenant au groupe The Guardian Media. Il contient presque tout le contenu des journaux le Guardian et L'Observateur. Cette énorme donnée est gérée par Django. The Guardian (commenting system) - 41,6 million unique visitors (October, 2014)

YouTube

nous savons tous YouTube comme l'endroit pour télécharger des vidéos de cat et échoue. Comme l'un des sites web les plus populaires dans l'existence, il nous offre d'innombrables heures de divertissement vidéo. Le langage de programmation Python l'alimente et les fonctionnalités que nous aimons.

DropBox

DropBox a lancé la révolution de stockage de documents en ligne qui fait désormais partie de la vie quotidienne. Nous stockons maintenant presque tout dans le nuage. Dropbox nous permet de stocker, synchroniser et partager presque tout en utilisant la puissance de Python.

Survey Monkey

sondage Monkey est la plus grande entreprise de sondage en ligne. Ils peuvent gérer plus d'un million de réponses chaque jour sur leur site Web Python réécrit.

Quora

Quora est le numéro un en ligne pour poser une question et recevoir des réponses d'une communauté d'individus. Sur leur site Web Python, les résultats pertinents sont traités, édités et organisés par ces membres de la communauté.

Bitly

la majorité du code pour les services de raccourcissement D'URL et d'analyse de Bitly sont tous construits avec Python. Leur service peut gérer des centaines de millions d'événements par jour.

Reddit

Reddit est connu comme la première page de l'internet. C'est l'endroit en ligne pour trouver des informations ou des divertissements basés sur des milliers de catégories différentes. Les messages et les liens sont générés par les utilisateurs et sont promus au sommet par des votes. De nombreuses fonctionnalités de Reddit reposent sur Python.

Hipmunk

Hipmunk est un site de voyage en ligne qui compare les meilleurs sites de voyage pour vous trouver les meilleures offres. Les outils de ce site Python vous permettent de trouver les hôtels et les vols les moins chers pour votre destination.

Cliquez ici pour en savoir plus: 25-de-la-plus-populaires-python-django-sites , qu'est-Ce-sont-certains-bien connu-sites-course-sur-Django

Oui. Ça pourrait être Django avec Python ou Ruby sur Rails. Il sera toujours échelle.

il y a peu de techniques différentes. Premièrement, la mise en cache n'est pas une mise à l'échelle. Vous pouvez avoir plusieurs serveurs d'application équilibrés avec nginx comme front en plus de l'équilibrage matériel(s). Pour mettre à l'échelle du côté de la base de données vous pouvez aller assez loin avec l'esclave de lecture dans MySQL / PostgreSQL si vous allez la voie RDBMS.

quelques bons exemples de sites web à fort trafic Django pourrait être:

• Pownce quand ils étaient encore là.
• Discus (générique partagé commentaires manager)
• tous les sites relatifs aux journaux: Washington Post et autres.

vous pouvez Vous sentir en sécurité.

, Comme indiqué dans la Haute Performance Django Livre et passer par ce Cal Henderson

Voir plus de détails comme mentionné ci-dessous:

Il n'est pas rare d'entendre des personnes dire "Django ne pas l'échelle" . Selon la façon dont vous le regardez, la déclaration est complètement vrai ou manifestement faux. Django, tout seul, ne se balance pas.

le même peut être dit de Ruby on Rails, Flask, PHP, ou tout autre langage utilisé par un site web dynamique basé sur une base de données.

la bonne nouvelle, cependant, est que Django interagit magnifiquement avec une suite de cache et outils d'équilibrage de charge qui permettra de s'adapter à autant de trafic que vous pouvez jeter à elle.

contraire à ce que vous avez pu lire en ligne, il peut le faire sans remplacer les composants de base souvent étiquetés comme "trop lent" tels que L'ORM de base de données ou le modèle couche.

disques dessert plus de 8 milliards de pages vues par mois. Ceux qui sont des nombres énormes.

ces équipes ont prouvé que Django fait très certainement échelle. Notre expérience ici à Lincoln Loop le confirme.

nous avons construit de grands sites Django capables de passer la journée sur la page D'accueil de Reddit sans broncher.

les réussites de Django sont presque trop nombreuses pour qu'on puisse les énumérer ici.

Il sauvegarde Disqus, Instagram et Pinterest. Vous voulez plus de preuves? Instagram a été en mesure de soutenir plus de 30 millions d'utilisateurs sur Django avec seulement 3 ingénieurs (dont 2 n'avaient pas de développement back-end

Voici une liste de quelques-unes des choses relativement importantes construites à Django:

1. Le Tuteur " Étudier votre DÉPUTÉ à l'charges " app

2. Politifact.com (voici une Blog post parler de l' (positif) de l'expérience. Site a gagné un Pulitzer.

3. new york Times Représenter app

4. "EveryBlock

5. Peter Harkins, un des programmeurs de la WaPo, liste Toutes les choses qu'ils ont construit avec Django sur son blog

6. c'est un peu vieux, mais quelqu'un du LA Times a donné un aperçu de base de pourquoi ils sont allés avec Django.

7. L'Oignon AV Club a récemment déménagé de (je pense que Drupal) à Django.

j'imagine qu'un certain nombre de ces sites obtiennent probablement plus de 100k+ hits par jour. Django peut certainement faire 100k hits/jour et plus. Mais YMMV dans l'obtention de votre site particulier là selon ce que vous construisez.

il y a des options de mise en cache au niveau Django (par exemple, Mise en cache des querysets et des vues dans memcached peut faire des merveilles) et au-delà (caches en amont comme Calmar ). Les spécifications du serveur de base de données seront également un facteur (et généralement l'endroit pour splurge), comme est la façon dont vous l'avez accordé. Ne présumez pas, par exemple, que Django va mettre en place des index correctement. Ne présumez pas que la configuration par défaut PostgreSQL ou MySQL est la bonne.

de plus, vous avez toujours la possibilité de avoir plusieurs serveurs d'application tournant Django si c'est le point de ralentissement, avec un équilibreur de charge logicielle ou matérielle devant.

enfin, servez-vous du contenu statique sur le même serveur que Django? Vous utilisez Apache ou quelque chose comme nginx ou lighttpd ? Pouvez-vous vous permettre d'utiliser un CDN pour le contenu statique? Ce sont des choses à penser, mais c'est très spéculatif. 100 hits/jour n'est pas la seule variable: combien voulez-vous dépenser? Quelle expertise avez-vous dans la gestion de tous ces composants? Combien de temps avez-vous pour tirer tous ensemble?

Le développeur de l'avocat pour YouTube a donné un parler de mise à l'échelle Python à PyCon 2012 , qui est également pertinente à l'échelle de Django.

YouTube a plus d'un milliards d'utilisateurs , et YouTube est construit sur Python.

notez que si vous attendez 100K utilisateurs par jour, qui sont actifs pendant des heures à la fois (ce qui signifie max de 20k+ utilisateurs concurrents), vous allez avoir besoin de beaucoup de serveurs. Il en est de même pour ~15 000 utilisateurs enregistrés, et la plupart d'entre eux ne sont probablement pas actifs tous les jours. Alors que le gros du trafic provient d'utilisateurs non enregistrés, je devine que très peu d'entre eux restent sur le site plus de quelques minutes (i.e. ils suivent les résultats de recherche google puis partent).

pour ce volume, attendre au moins 30 serveurs ... qui est encore un assez lourd 1.000 utilisateurs concurrents par serveur.

un autre exemple est rasp.yandex.ru, service russe de transport horaire. Sa présence répond à vos exigences.

J'utilise Django depuis plus d'un an maintenant, et je suis très impressionné par la façon dont il parvient à combiner modularité, évolutivité et vitesse de développement. Comme pour toute technologie, il est livré avec une courbe d'apprentissage. Cependant, cette courbe d'apprentissage est rendue beaucoup moins raide par l'excellente documentation de la communauté Django. Django a été capable de gérer tout ce que je lui ai lancé. On dirait qu'il va être en mesure de bien s'adapter dans le futur.

BidRodeo Penny Auctions est un site Web de taille moyenne alimenté par Django. Il s'agit d'un site web très dynamique qui traite un bon nombre de pages vues par jour.

si vous avez un site avec un contenu statique, alors mettre un serveur Varnish devant vous augmentera considérablement vos performances. Même une seule boîte peut alors facilement cracher 100 Mbit/s de trafic.

notez qu'avec le contenu dynamique, utiliser quelque chose comme le vernis devient beaucoup plus délicat.

Quel est le" plus grand " site construit sur Django aujourd'hui? (Je mesure la taille principalement par le trafic de l'utilisateur) Pinterest

disqus.com

Plus ici https://www.shuup.com/en/blog/25-of-the-most-popular-python-and-django-websites/

Peut Django traiter avec 100 000 utilisateurs quotidiens, chaque visite sur le site pour un couple des heures?

Oui, mais utilisez l'architecture appropriée, la conception de base de données, l'utilisation de cache, l'utilisation de load balances et plusieurs serveurs / nods

un site comme Stack Overflow pourrait-il fonctionner sur Django?

Oui, il suffit de suivre la réponse mentionnée dans la deuxième question

mon expérience avec Django est minime, mais je me souviens que dans le Livre de Django ils ont un chapitre où ils interviewent des gens qui gèrent certaines des plus grandes applications de Django. Voici un lien. je suppose que cela pourrait fournir quelques idées.

il dit curse.com est l'une des plus grandes applications Django avec environ 60-90 millions de pages vues en un mois.

même-bien qu'il y ait eu beaucoup de bonnes réponses ici, j'ai juste envie de souligner, que personne n'a mis l'accent sur..

cela dépend de la demande

si votre application est légère sur écrit, comme dans vous lisez beaucoup plus de données de la DB que vous écrivez. Ensuite, scaling django devrait être assez trivial, heck, il est livré avec une sortie/vue assez décente mise en cache directement de la boîte. Recourir de cela, et disons, redis en tant que fournisseur de cache, mettez un équilibreur de charge devant lui, lancez des n-instances et vous devriez être en mesure de gérer une très grande quantité de trafic.

maintenant, si vous devez faire des milliers de complexes écrit une seconde? Autre histoire. Est Django va être un mauvais choix? Eh bien, pas nécessairement, dépend de la façon dont vous concevez votre solution vraiment, et aussi, ce que vos besoins sont.

Juste mes deux cents :-)

vous pouvez certainement gérer un site à fort trafic à Django. Regardez ce post pré-Django 1.0 mais toujours pertinent ici: http://menendez.com/blog/launching-high-performance-django-site/

consultez ce micro agrégateur de nouvelles appelé EveryBlock .

c'est entièrement écrit en Django. En fait, ce sont eux qui ont développé le cadre Django lui-même.

je développe des sites à fort trafic utilisant Django pour le radiodiffuseur national en Irlande. Il fonctionne bien pour nous. Le développement d'un site à haut rendement ne se limite pas au choix d'un cadre. Un cadre ne sera qu'une partie d'un système qui est aussi forte que son maillon le plus faible. Utiliser le dernier framework 'X' ne résoudra pas vos problèmes de performance si le problème est des requêtes de base de données lentes ou un serveur ou un réseau mal configuré.

Je ne pense pas que le problème soit vraiment à propos de Django scaling.

je vous suggère vraiment de regarder dans votre architecture qui va vous aider avec vos besoins d'échelle.Si vous vous trompez, il n'y a pas de point sur la façon dont Django se comporte. La Performance != Échelle. Vous pouvez avoir un système qui a une performance étonnante mais ne se balance pas et vice versa.

votre base de données est-elle reliée? Si c'est votre échelle de points sont là aussi. Comment avez-vous l'intention d'interagir avec la base de données de Django? Que se passe-t-il lorsque votre base de données ne peut traiter les requêtes aussi rapidement que Django les accepte? Ce qui arrive quand vos données dépassent une machine physique. Vous devez tenir compte de la façon dont vous prévoyez faire face à ces circonstances.

de plus, que se passe-t-il lorsque votre trafic dépasse un serveur d'application? la façon dont vous gérez les sessions dans ce cas peut être délicate, la plupart du temps vous auriez probablement besoin d'un rien partagé architecture. De nouveau, cela dépend de votre application.

dans les langues courtes n'est pas ce qui détermine l'échelle, une langue est responsable de la performance(encore une fois en fonction de vos applications différentes langues effectuer différemment). C'est votre conception et votre architecture qui font de l'échelle une réalité.

j'espère que cela aidera, serait heureux d'aider davantage si vous avez des questions.

si vous voulez utiliser Open source alors il ya beaucoup d'options pour vous. Mais python est le meilleur parmi eux, il a de nombreuses bibliothèques et une communauté super géniale. Ce sont là des raisons qui pourraient vous faire changer d'avis:

• Python est très bon mais il est un langage interprété qui le rend lent. Mais de nombreux services d'accélérateur et de cache sont là pour résoudre en partie ce problème.

• Si vous pensez sur le développement rapide puis Ruby sur les Rails est le meilleur parmi tous. La devise principale de ce cadre (ROR) est de donner une expérience confortable aux développeurs. Si vous comparez Ruby et Python, les deux ont presque les mêmes syntaxes.

• Google App Engine est un très bon service, mais il va vous lier dans son champ d'application, vous n'avez pas eu la chance d'expérimenter de nouvelles choses. Au lieu de cela, vous pouvez utiliser océan numérique nuage qui ne prendra $5/Mois charge, pour son plus simple de gouttelettes. Heroku est un autre service gratuit où vous pouvez déployer votre produit.

• Oui! Oui! Ce que vous avez entendu est tout à fait correct, mais voici quelques exemples qui utilisent d'autres technologies

  • Rails: Github, Twitter(précédemment), Shopify, Airbnb, Slideshare, Heroku etc.
  • PHP: Facebook, Wikipedia, Flickr, Yahoo, Tumbler,Mailchimp etc.

Conclusion est un cadre ou d'une langue ne pas tout faire pour vous. Une meilleure architecture, conception et stratégie vous donnera un site Web évolutif. Instagram est le plus grand exemple,cette petite équipe gère des données aussi énormes. Voici un blog sur son architecture doit le lire.

répartir les tâches uniformément, en bref optimiser chaque aspect y compris DBs, fichiers, Images, CSS, etc. et l'équilibre de la charge avec plusieurs autres ressources est nécessaire une fois que votre site/application commence à croître. Ou tu lui fais plus d'espace pour qu'il grandisse. Mise en œuvre des dernières technologies comme CDN, Cloud sont indispensables avec des sites énormes. Le simple fait de développer et de peaufiner une application ne donnera pas à votre cent pour cent de satisfaction, les autres composants jouent également un rôle important.

le problème est de ne pas savoir si django peut se dimensionner ou non.

la bonne façon est de comprendre et de savoir quels sont les modèles de conception du réseau et les outils à mettre sous votre projet django/symfony/rails à l'échelle bien.

certaines idées peuvent être:

• multiplexage.
• proxy inversé. Ex: Nginx, Vernis 151980920"
• Memcache Session. Ex: Redis
• Clusterization sur votre projet et db pour l'équilibrage de charge et la tolérance de défaut: Ex: Docker
• utiliser un tiers pour stocker des actifs. Ex: Amazon S3

Espère que ça aide un peu. C'est mon petit rocher jusqu'à la montagne.