Кривая ROC для дерева решений

Ответ 1 · Michael Fu

в вашем методе confusion_matrix вы можете кэшировать прогнозы для оптимизации производительности

 def confusion_matrix(predictions):
     # Calculate the elements of the confusion matrix
    predictions.cache()
    TN = predictions.filter('prediction = 0 AND label = 0').count()
    TP = predictions.filter('prediction = 1 AND label = 1').count()
    FN = predictions.filter('prediction = 0 AND label = 1').count()
    FP = predictions.filter('prediction = 1 AND label = 0').count()
    predictions.unpersist()
    return TP,TN,FP,FN

Удачи!