如何使用Spark/Scala中另一列的分隔符拆分一列

我还有一个与 split 函数有关的问题。我是 Spark/Scala 的新手。

以下是示例数据框 -

+-------------------+---------+
|             VALUES|Delimiter|
+-------------------+---------+
|       50000.0#0#0#|        #|
|          0@1000.0@|        @|
|                 1$|        $|
|1000.00^Test_string|        ^|
+-------------------+---------+

我希望输出是 -

+-------------------+---------+----------------------+
|VALUES             |Delimiter|split_values          |
+-------------------+---------+----------------------+
|50000.0#0#0#       |#        |[50000.0, 0, 0, ]     |
|0@1000.0@          |@        |[0, 1000.0, ]         |
|1$                 |$        |[1, ]                 |
|1000.00^Test_string|^        |[1000.00, Test_string]|
+-------------------+---------+----------------------+

我试图手动拆分这个 -

dept.select(split(col("VALUES"),"#|@|$|^").show()

输出是 -

+-----------------------+
|split(VALUES,#|@|$|^)|
+-----------------------+
|      [50000.0, 0, 0, ]|
|          [0, 1000.0, ]|
|                  [1, ]|
|   [1000.00, Test_st...|
+-----------------------+

但我想为大型数据集自动提取分隔符。