使用 DataCatalog 保存数据

我在看iriskedro 提供的项目示例。除了记录准确性之外，我还想将predictions和保存test_y为 csv。

这是 kedro 提供的示例节点。

def report_accuracy(predictions: np.ndarray, test_y: pd.DataFrame) -> None:
    """Node for reporting the accuracy of the predictions performed by the
    previous node. Notice that this function has no outputs, except logging.
    """
    # Get true class index
    target = np.argmax(test_y.to_numpy(), axis=1)
    # Calculate accuracy of predictions
    accuracy = np.sum(predictions == target) / target.shape[0]
    # Log the accuracy of the model
    log = logging.getLogger(__name__)
    log.info("Model accuracy on test set: %0.2f%%", accuracy * 100)

我添加了以下内容来保存数据。

data = pd.DataFrame({"target": target , "prediction": predictions})
data_set = CSVDataSet(filepath="data/test.csv")
data_set.save(data)

这按预期工作，但是，我的问题是“这是 kedro 做事的方式吗”？我可以提供data_set incatalog.yml并稍后保存data吗？如果我想这样做，我如何data_set从catalog.yml节点内部访问。

有没有办法在不创建这样的节点内的目录的情况下保存数据data_set = CSVDataSet(filepath="data/test.csv")？catalog.yml如果可能的话，我想要这个，如果它遵循 kedro 约定！。

回答

node(
func=report_accuracy,
inputs='dataset_a',
outputs='dataset_b'
)

dataset_a:
type: pandas.CSVDataSet
path: xxxx.csv
dataset_b:
type: pandas.PatquetDataSet
path: yyyy.pq