Рубрики
Полезно

Импорт и экспорт CSV файлов

Была задача выгрузить файл CSV из одной БД. Внести массовые изменил. Загрузить файл в другую БД.

База довольно большая, больше 100 000 строк.

При загрузке столкнулся с различными проблемами

  • Появлялись лишние строки
  • Откуда то брались двойные кавычки
  • Появлялись лишние столбцы
  • Загрузка завершалась с ошибкой

Путем нескольких попыток выяснилось три главных причины ошибок:

  1. Кавычки в исходных данных. Я их просто удалил, для меня это не критично
  2. Точки с запятой в исходных данных. Это тоже не критично и я их тоже удалил
  3. Появлялись двойные кавычки. То ли из-за смены кодировки, то ли после массового редактирования в екселе

В итоге все проблемы устранил и все тысячи строк загрузились в базу.

Пошаговый алгоритм подготовки файла CSV для загрузки в базу

  1. Выгружаю файл из исходной базы. Он в формате UTF-8
  2. В программе notepad++ преобразовываю файл в ANSI. Мне это нужно для массового редактирования в Excel
  3. Открываю файл в Excel. Вношу нужные мне корректировки
  4. Удаляю в Excel все кавычки и точки с запятой
  5. Открываю файл в notepad++. Вот на этом этапе появляются ненужные кавычки
  6. Ищу двойные кавычки и удаляю.
  7. Ищу одинарные кавычки и удаляю
  8. Преобразовывю файл из ANSI в UTF-8

Добавить комментарий

Ваш адрес email не будет опубликован.