Le moyen le plus rapide d'obtenir la taille de seau de stockage Google?
je suis en train de le faire, mais C'est très lent puisque j'ai plusieurs téraoctets de données dans le seau:
gsutil du -sh gs://my-bucket-1/
et la même chose pour un sous-dossier:
gsutil du -sh gs://my-bucket-1/folder
est-il possible d'obtenir la taille totale d'un seau complet (ou d'un sous-dossier) ailleurs ou d'une autre manière qui est beaucoup plus rapide?
2 réponses
Malheureusement, non. Si vous avez besoin de savoir quelle est la taille du seau en ce moment, il n'y a pas de moyen plus rapide que ce que vous faites.
si vous devez vérifier cela régulièrement, vous pouvez activer la journalisation par seau. Google Cloud Storage générera un journal de stockage quotidien que vous pouvez utiliser pour vérifier la taille du seau. Si cela peut être utile, vous pouvez en lire plus à ce sujet ici: https://cloud.google.com/storage/docs/accesslogs#delivery
si le journal de stockage quotidien que vous obtenez en activant la journalisation de seau (selon la suggestion de Brandon) ne fonctionnera pas pour vous, une chose que vous pourriez faire pour accélérer les choses est de couper la demande de du. Par exemple, vous pourriez faire quelque chose comme:
gsutil du -s gs://my-bucket-1/a* > a.size &
gsutil du -s gs://my-bucket-1/b* > b.size &
...
gsutil du -s gs://my-bucket-1/z* > z.size &
wait
awk '{sum+=} END {print sum}' *.size
(en supposant que vos sous-dossiers sont nommés en commençant par les lettres de l'alphabet anglais; sinon, vous devez ajuster la façon dont vous exécutez les commandes ci-dessus).