使用多项式变换进行图像变形

大纲

我试图通过基于与图像相关联的一些“质心”数据(每个时间步的峰值)生成多项式来扭曲图像(时间序列中的光谱峰值,但这并不重要)和增加多项式。这些原始多项式和增广多项式分别构成了我的“源”点和“目标”点,我试图使用 skimage.transform.warp() 来扭曲图像。

这种扭曲的目标是产生两个扭曲的图像(即重复该过程两次)。然后这些图像将彼此正相关,或者如果两个扭曲图像之一水平翻转(同样,这里不那么重要)则负相关

这是用于比较的示例输出:

(请注意,多项式增强是通过在每个多项式峰/谷处添加/减去噪声来执行的,与每个点的幅度(像素)成正比,然后通过这些增强点生成相同阶数的新多项式,在防止增广多项式取反的地方)。


代码片段

我通过创建 GeometricTransform 并将其作为 inverse_map 应用到 warp() 来在代码中实现这一点,如下所示:

from skimage import transform

# Create the transformation object using the source and destination (N, 2) arrays in reverse order
# (as there is no explicit way to do an inverse polynomial transformation).
t = transform.estimate_transform('polynomial', src=destination, dst=source, order=4)  # order = num_poly_degrees - 1

# Warp the original image using the transformation object
warped_image = transform.warp(image, t, order=0, mode='constant', cval=float('nan'))

问题

我对由此产生的扭曲有两个主要问题:

  1. 由于图像扭曲,留下了空白。我知道,这可以通过内改变模式来解决transform.warp()来自'constant''reflect',例如。但是,这会重复现有数据,这与我的下一个问题有关......
  2. 假设我已经正确地实现了扭曲,它似乎已经将时间步长 60 处看到的“之字形”特征提高到了 ~50(红色圆圈)。我的扭曲目标是水平扭曲图像,以便每个特征保持在其自己的时间步长内(可能给予或采取非常小的数量),但它们的“像素”位置(x 轴)得到增强。这也是为什么我不确定'reflect'transform.warp().在大纲中)。

我的尝试

我曾尝试使用 RANSAC,正如在这个问题中所使用的,它也使用多项式变换:Robustly Estimate Polynomial geometry transform with scikit-image 和 RANSAC以改善翘曲。我曾希望这种方法只会留下较小的空白,然后我会对切换到 内的另一种模式感到满意transform.warp(),但是,这并不能解决我的任何问题,因为性能大致相同。

我还研究了使用分段仿射变换和 Delaunay 三角剖分(使用cv2)作为保留正确图像尺寸(不重复数据)和最小 y 分量翘曲的方法。结果确实解决了上述两个问题,但是翘曲效果几乎察觉不到,我不确定是否应该通过添加更多三角形并尝试更多分离的源点和目标点来继续沿着这条路走下去(尽管这种思路可能需要另一个邮政)。


概括

我想要一种使用多项式变换水平扭曲图像的方法(也欢迎任何其他关于变换方法的建议!),它会尽力在原始时间步长内保留图像的特征。

感谢您的时间。


编辑

这是一个指向共享 google 驱动器目录的链接,该目录包含一个 .py 文件和运行此过程示例所需的数据。

以上是使用多项式变换进行图像变形的全部内容。
THE END
分享
二维码
< <上一篇
下一篇>>