Редактирование гигантских файлов (16.10.2023). Печать
2023 - Октябрь
16.10.2023 20:18
Save & Share
Миграция огромного программного комплекса с одной ОС на другую - рано или поздно привела бы к миграции БД SQL. Выяснилось, что старая БД требует промежуточных изменений (например, корректировки мандатных меток) - недостижимых с помощью SQL-запросов, pgAdmin, ручного труда.



Единственный путь - делать полный дамп БД, открывать в каком-то редакторе, редактировать (в т.ч. с автозаменой), сохранять - и только потом загружать в новую ОС. А размер дампа - десятки гигабайт.

Тест был проведен на небольшом файле, относительно заказчика, размером 12.5ГБ:
- для открытия требуется RAM в 2.56 раза больше, чем размер файла. В моем случае - еле-еле хватило 32ГБ;
- лучше использовать редактор IkelPad в составе портативной Windows 10 от Стрельца. Открытие занимает около 12 минут - после открытия оперативной памяти почти не остается, тормоза при редактировании дикие. Но файл, по итогу, откроется;
- сохранение файла занимает в 5 раз больше времени, чем открытие. Возможно, связано с тем, что файл редактировался на диске с файловой системой Ext4.

Понятно, что тут нужно найти стажера и заставить его писать софтину (сторонний софт на территории заказчика запрещен), чтобы обрабатывала гигантские файлы построчно по вручную задаваемым условиям. И если первое и второе уже реализовано - то сколько времени у него уйдет (с учетом необходимости тщательного тестирования)? И, может, проще выписать себе временно еще 32-64ГБ RAM - превратив ПК в дамповый сервер?..

(добавлено 21.05.2024) Реальный размер БД заказчика - 57ГБ. К счастью, она просто экспортировалась и импортировалась без изменений.
Обновлено ( 21.05.2024 19:28 )