Восстановление изображений объектов: метод реконструкции с использованием цифровых внеосевых голограмм и генеративно-состязательной нейронной сети

Рассмотрено использование цифровой голографии для реконструкции изображений объектов, расположенных в различных сечениях 3D-сцены. Такая реконструкция позволяет исследовать различные материалы, характеризовать микрочастицы в некотором объёме среды, анализировать содержание микропластика в водоёмах. Предложен метод реконструкции изображений объектов с помощью цифровых внеосевых голограмм и генеративно-состязательной нейронной сети. Генеративно-состязательная нейронная сеть служит для восстановления сечений 3D-сцены, в которых расположены внеосевые объекты. Показано, что применение нейронных сетей повышает скорость и качество восстановления, а также уменьшает уровень шума изображения. Предложенный метод апробирован на численно синтезированных и оптически измеренных цифровых голограммах. Данным методом с помощью одной синтезированной голограммы восстановлены восемь сечений 3D-сцены. Получен средний индекс структурного сходства не менее 0,73. Экспериментально зарегистрированы наборы внеосевых цифровых голограмм фазовых объектов, выведенных на пространственно-временные модуляторы света для формирования сечений 3D-сцены. При восстановлении изображений объектов с применением оптически полученных голограмм средний индекс структурного сходства по сечениям сцены составил 0,83. Предложенный метод позволяет качественно восстанавливать изображения объектов и будет полезен при анализе микро- и макрообъектов, в том числе в медико-биологических приложениях и метрологии, при характеризации материалов, поверхностей и объёмных сред.

1. Schnars U., Jueptner W. Digital holography: Digital hologram recording, numerical reconstruction, and related techniques. Springer, Berlin Heidelberg (2005). https://doi.org/10.1007/b138284

2. Wang Z., Bianco V., Maffettone P. L., Ferraro P. Holographic flow scanning cytometry overcomes depth of focus limits and smartly adapts to microfluidic speed. Lab on a Chip, 23, 2316–2326 (2023). https://doi.org/10.1039/D3LC00063J

3. Singh V., Joshi R., Tayal S., Mehta D. S. Speckle-free common-path quantitative phase imaging with high temporal phase stability using a partially spatially coherent multi-spectral light source. Laser Physics Letters, 16, 025601 (2019). https://doi.org/10.1088/1612-202X/AAF179

4. Calore D., Fraticelli N. State of the art offshore in situ monitoring of microplastic. Microplastics, 1, 640–650 (2022). https://doi.org/10.3390/MICROPLASTICS1040044

5. Zhang W., Li B., Zhang X., Shi C. Off-axis digital holography based on the Sagnac interferometer. Laser Physics Letters, 18, 035202 (2021). https://doi.org/10.1088/1612-202X/ABDECB

6. Bondareva A. P., Cheremkhin P. A., Evtikhiev N. N., et al. Measurement of characteristics and phase modulation accuracy increase of LC SLM “HoloEye PLUTO VIS”. Journal of Physics: Conference Series, 536(1), 012011 (2014). https://doi.org/10.1088/1742-6596/536/1/012011

7. Upatnieks J., Leith E. N. Wavefront reconstruction with diffused illumination and three-dimensional objects. Journal of the Optical Society of America, 54, 1295–1301 (1964). https://doi.org/10.1364/JOSA.54.001295

8. Park J., Kang H., Stoykova E. Twin-image problem in digital holography – a survey. Chinese Optics Letters, 12, 060013 (2014). https://doi.org/10.3788/COL201412.060013

9. Yamaguchi I. Phase-shifting digital holography. Optics Letters, 22, 1268–1270 (1997). https://doi.org/10.1364/OL.22.001268

10. Olivier T., Momey F., Denis L., Fournier C. From Fienup’s phase retrieval techniques to regularized inversion for in-line holography: tutorial. Journal of the Optical Society of America A, 36, D62–D80 (2019). https://doi.org/10.1364/JOSAA.36.000D62

11. Zeng T., Zeng T., Zhu Y., et al. Deep learning for digital holography: a review. Optics Express, 29, 40572–40593 (2021). https://doi.org/10.1364/OE.443367

12. Cheremkhin P. A., Evtikhiev N. N., Krasnov V. V., et al. Machine learning methods for digital holography and diffractive optics. Procedia Computer Science, 169, 440–444 (2020). https://doi.org/10.1016/j.procs.2020.02.243

13. Situ G. Deep holography. Light Advanced Manufactoring, 3, 278–300 (2022). https://doi.org/10.37188/LAM.2022.013

14. Черёмхин П. А., Рымов Д. А., Свистунов А. С., Злоказов Е. Ю., Стариков Р. С. Нейросетевые методы в цифровой и компьютерной голографии. Обзор. Оптический Журнал, 91, 62–78 (2024). http://doi.org/10.17586/1023-5086-2024-91-03-62-78

15. Рымов Д. А., Черёмхин П. А., Стариков Р. С. Нейросетевая реконструкция сцен с цифровых голограмм на основе извлечения амплитуды и фазы. Оптический журнал, 89, 11–19 (2022). http://doi.org/10.17586/1023-5086-2022-89-09-11-19

16. Pirone D., Sirico D., Miccio L., et al. Speeding up reconstruction of 3D tomograms in holographic flow cytometry via deep learning. Lab on a Chip, 22, 793–804 (2022). https://doi.org/10.1039/D1LC01087E

17. Razi A., Chen X., Wang H., et al. DH-GAN: a physics-driven untrained generative adversarial network for holographic imaging. Optics Express, 31, 10114–10135 (2023). https://doi.org/10.1364/OE.480894

18. Svistunov A. S., Rymov D. A., Starikov R. S., Cheremkhin P. A. HoloForkNet: Digital Hologram Reconstruction via Multibranch Neural Network. Applied Sciences, 13 (10), 6125 (2023). https://doi.org/10.3390/app13106125

19. Goodfellow I., Pouget-Abadie J., Mirza M., et al. Generative adversarial networks. Communications of the ACM, 63, 139–144 (2014). https://doi.org/10.1145/3422622

20. Tang H., Liu H., Xu D., et al. AttentionGAN: unpaired image-to-image translation using attention-guided generative adversarial networks, IEEE Trans. Neural Networks Learning Systems, 34, 1972–1987 (2023). https://doi.org/10.1109/TNNLS.2021.3105725

21. Xia J., Zhang L., Zhai Y., Zhang Y. Reconstruction method of computational ghost imaging under atmospheric turbulence based on deep learning. Laser Physics, 34, 015202 (2023). https://doi.org/10.1088/1555-6611/AD0EBF

22. Leonov M. M., Soroka A. A., Trofimov A. G. Russian language speech generation from facial video recordings using variational autoencoder. Studies in Computational Intelligence, 1120, 489–498 (2023). https://doi.org/10.1007/978-3-031-44865-2_51

23. Fevens T., Jaferzadeh K. HoloPhaseNet: fully automated deep-learning-based hologram reconstruction using a conditional generative adversarial model. Biomedical Optics Express, 13, 4032–4046 (2022). https://doi.org/10.1364/BOE.452645

24. Ay B. Open-set learning-based hologram verification system using generative adversarial networks. IEEE Access, 10, 25114–25124 (2022). https://doi.org/10.1109/ACCESS.2022.3155870

25. Kiriy S. A., Rymov D. A., Svistunov A. S., et al. Generative adversarial neural network for 3D-hologram reconstruction. Laser Physics Letters, 21, 045201 (2024). https://doi.org/10.1088/1612-202X/ad26eb

26. Prilepsky J. E., Manuylovich E., Freire P., Turitsyn S. K. Artificial neural networks for photonic applications – from algorithms to implementation: tutorial. Advances in Optics and Photonics, 15, 739–834 (2023). https://doi.org/10.1364/AOP.484119

27. Genty G., Salmela L., Dudley J. M., et al. Machine learning and applications in ultrafast photonics. Nature Photonics, 15, 91–101 (2020). https://doi.org/10.1038/s41566-020-00716-4

28. Dmitriev E., Bukharskii N., Korneev P. Powerful elliptically polarized terahertz radiation from oscillating-laser-driven discharge surface currents.Photonics, 10(7), 803 (2023). https://doi.org/10.3390/photonics10070803

29. Yu Z., Li X., Bai X., et al. Computational ghost imaging through a dynamic scattering medium based on a convolutional neural network from simulation. Laser Physics Letters, 20, 055204 (2023). https://doi.org/10.1088/1612-202X/ACC245

30. Лоскутов А. И., Якимов В. Л., Карпушев С. И. и др. Модель контроля технического состояния бортовой аппаратуры космических аппаратов на основе значений телеметрируемых параметров переходных процессов. Измерительная техника, (6), 13–20 (2023). https://doi.org/10.32446/0368-1025it.2023-6-13-20

31. Злоказов Е. Ю., Минаева Е. Д., Родин В. Г. и др. Методы синтеза дифракционных оптических элементов: оперативное и качественное формирование трёхмерных объектов из набора плоских сечений. Измерительная техника, (11), 45–51 (2023). https://doi.org/10.32446/0368-1025it.2023-11-45-51

32. Ronneberger T. B. O., Fischer P. U-Net: convolutional networks for biomedical image segmentation. Lecture Notes in Computer Science, 9351, 1–8 (2015). https://doi.org/10.1007/978-3-319-24574-4_28

33. Lecun Y. The MNIST database of handwritten digits, available at: http://Yann.Lecun.Com/Exdb/Mnist/ (accessed: 01 April 2024).

34. Wang Z., Bovik A. C., Sheikh H. R., Simoncelli E. P. Image quality assessment: from error visibility to structural similarity. IEEE Transactions on Image Processing, 13, 600–612 (2004). https://doi.org/10.1109/tip.2003.819861

35. Миниханов Т. З., Злоказов Е. Ю., Стариков Р. С., Черёмхин П. А. Временная динамика модуляции фазы жидкокристаллического пространственно-временного модулятора света. Измерительная техника, (12), 35–39 (2023). https://doi.org/10.32446/0368-1025it.2023-12-35-39