Comment puis-je trouver la taille D'un RDD

Comme Justin et Wang l'ont mentionné, il n'est pas simple d'obtenir la taille de RDD. On peut tout simplement faire une estimation.

On peut déguster un RDD et ensuite utiliser SizeEstimator pour obtenir la taille de l'échantillon. Comme Wang et Justin l'ont mentionné, sur la base des données de taille échantillonnées hors ligne, par exemple, X lignes utilisées Y GB hors ligne, les lignes Z à l'exécution peuvent prendre Z * Y / X GB

Voici l'exemple de code scala pour obtenir la taille / estimation d'un RDD.

Je suis nouveau à scala et spark. Ci-dessous l'échantillon peut être écrit dans un meilleure façon

def getTotalSize(rdd: RDD[Row]): Long = {
  // This can be a parameter
  val NO_OF_SAMPLE_ROWS = 10l;
  val totalRows = rdd.count();
  var totalSize = 0l
  if (totalRows > NO_OF_SAMPLE_ROWS) {
    val sampleRDD = rdd.sample(true, NO_OF_SAMPLE_ROWS)
    val sampleRDDSize = getRDDSize(sampleRDD)
    totalSize = sampleRDDSize.*(totalRows)./(NO_OF_SAMPLE_ROWS)
  } else {
    // As the RDD is smaller than sample rows count, we can just calculate the total RDD size
    totalSize = getRDDSize(rdd)
  }

  totalSize
}

def getRDDSize(rdd: RDD[Row]) : Long = {
    var rddSize = 0l
    val rows = rdd.collect()
    for (i <- 0 until rows.length) {
       rddSize += SizeEstimator.estimate(rows.apply(i).toSeq.map { value => value.asInstanceOf[AnyRef] })
    }

    rddSize
}