Курс 2016 года “Разработка на UMI.CMS от 0 до готового сайта”
Добавление данных из объекта в форму "Заказ в 1 клик"

Автор AxiomateriaРаздел Шаблоны XSLT

Ответов: 4
Просмотров: 4001
Последний ответ 11 Ноября 2014, 11:14:45
от Axiomateria
!!!Тема будет зарыта смотрите оригинал!!!Разработка новых типов данных

Автор ariusgroupРаздел Шаблоны XSLT

Ответов: 1
Просмотров: 2407
Последний ответ 29 Сентября 2012, 00:55:07
от admin
Ссылка на дерево - вывод данных из другого объекта каталога в виде превью

Автор AxiomateriaРаздел Шаблоны XSLT

Ответов: 16
Просмотров: 11295
Последний ответ 07 Июля 2013, 15:14:17
от Axiomateria
Вывод данных страниц разного типа данны в порядке создания

Автор SumrakrndРаздел Шаблоны XSLT

Ответов: 5
Просмотров: 2091
Последний ответ 09 Декабря 2016, 12:55:59
от Sumrakrnd
Рекурсивное удаление поля в типе данных объект каталога

Автор goodprofyРаздел Custom макросы

Ответов: 3
Просмотров: 2990
Последний ответ 12 Марта 2014, 17:14:59
от goodprofy

0 Пользователей и 1 Гость просматривают эту тему.

*

Babajka

  • *
  • 42
  • +0/-0
    • Просмотр профиля
Слышал о патче "mantis #13480", который помогает при загрузке большого объема данных. Но ни где найти его не могу. В частности, когда загружаю csv данные, выдает ошибку на какой либо строке. При этом по разному разбивал данные, все равно ошибки выдает. Кто нибудь подскажет где можно скачать этот патч или может подскажете решение данной проблемы?

*

admin

  • *****
  • 2444
  • +172/-1
    • Просмотр профиля
Re:Патч для загрузки большого объема данных
« Ответ #1 : 28 Сентября 2012, 23:59:35 »
а вы через что грузите свой csv? через контекстное меню в модулях типа каталог,новости и т.п. или через моуль "обмен данных"?

*

Babajka

  • *
  • 42
  • +0/-0
    • Просмотр профиля
Re:Патч для загрузки большого объема данных
« Ответ #2 : 01 Октября 2012, 13:36:15 »
обмен данных

*

admin

  • *****
  • 2444
  • +172/-1
    • Просмотр профиля
Re:Патч для загрузки большого объема данных
« Ответ #3 : 01 Октября 2012, 13:51:06 »
при загрузке происходит разбивка сплиттером на куски, так что ошибка скорее всего в синтаксисе самого csv файла.
Попробуйте загрузить 10 строк из этого файла, обратите внимание нет ли у вас ячеек с кириллицей не заключенные в кавычки, раньше этого было достаточно чтобы импорт споткнулся.

P.S. Вроде как при пересохранении в excel csv файла, кавычки пропадают

*

Babajka

  • *
  • 42
  • +0/-0
    • Просмотр профиля
Re:Патч для загрузки большого объема данных
« Ответ #4 : 01 Октября 2012, 14:20:49 »
excel не пользуюсь принципиально как раз из-за этого. Но по какой то причине ошиби появляются.

*

Babajka

  • *
  • 42
  • +0/-0
    • Просмотр профиля
Re:Патч для загрузки большого объема данных
« Ответ #5 : 02 Октября 2012, 10:03:17 »
Возникла мысль хоть и бредовая. В полях в csv фале если есть перенос строки на новую может возникнуть ошибка или все равно?

К примеру в одной ячейке вот такая строка:
"<p>&nbsp;Адресат &nbsp;<br />
</p>"

*

admin

  • *****
  • 2444
  • +172/-1
    • Просмотр профиля
Re:Патч для загрузки большого объема данных
« Ответ #6 : 02 Октября 2012, 11:34:11 »
навряд ли, html поля спокойно скидывались. Вы попробовали импортировать файл с 2-3 строчками?

*

Babajka

  • *
  • 42
  • +0/-0
    • Просмотр профиля
Re:Патч для загрузки большого объема данных
« Ответ #7 : 02 Октября 2012, 13:45:37 »
Все в порядке, загрузил 11 строк. Ни каких ошибок, все как было написано.

Конечно наверно лишняя информация, но на всякий... Я редактировал выгруженый csv файл, снес все товары и снова (отредактированные) заливаю обратно. Т.е. в excel они побывать точно не могли. Да и сильно измениться.
« Последнее редактирование: 02 Октября 2012, 13:49:14 от Babajka »

*

admin

  • *****
  • 2444
  • +172/-1
    • Просмотр профиля
Re:Патч для загрузки большого объема данных
« Ответ #8 : 02 Октября 2012, 14:33:53 »
если время позволяет, попытайся исключить ошибочную строчку разбивая файл на части, в какой-то из них или в нескольких будут выскакивать ошибки.

Или можно подумать о том, чтобы поставить алерты в ядре в самом сплиттере csv

*

Babajka

  • *
  • 42
  • +0/-0
    • Просмотр профиля
Re:Патч для загрузки большого объема данных
« Ответ #9 : 05 Октября 2012, 09:24:15 »
Пытался переносить проблемные строки в конец списка и продолжать загрузку. Но, через 100-200 строк опять ошибка появлялась. Да и страници грузилсь в корневую папку указаную при настройке импорта.

Или можно подумать о том, чтобы поставить алерты в ядре в самом сплиттере csv

А вот это мне вообще не понятно как это или хотя бы в каком направлении двигаться?

P.S.
И еще, на счет переносов строки в ячейках. Проверил удалив все, ошибки не прошли, но судя по ощущениям, грузятся быстрее, видимо не спотыкается на них.
« Последнее редактирование: 05 Октября 2012, 09:39:57 от Babajka »

*

Babajka

  • *
  • 42
  • +0/-0
    • Просмотр профиля
Re:Патч для загрузки большого объема данных
« Ответ #10 : 10 Октября 2012, 09:27:16 »
Попался на стандартной ошибке. В ячейках в тексте, во вновь записаной информации были разделительные символы (в данном случае ";"). Из за этого ошибки были.

*

admin

  • *****
  • 2444
  • +172/-1
    • Просмотр профиля
Re:Патч для загрузки большого объема данных
« Ответ #11 : 16 Октября 2012, 11:32:24 »
а сама ячейка, в которой был символ ;,  была экранирована кавычками ? или даже с кавычками ошибка выводилась?

*

Babajka

  • *
  • 42
  • +0/-0
    • Просмотр профиля
Re:Патч для загрузки большого объема данных
« Ответ #12 : 18 Октября 2012, 15:07:03 »
Была экранирована кавычками. В ячейках были спецсимволы HTML: quot; nbsp; ndash; из-за них он и ругался, но как то выборочно и не на все. Еще правда были вкрапления не в той кодировки (UTF-8) очень странно, но мелочи, ручками все легко правится.

Но вот вопрос, т.к. это ручками легко не правится. Есть ли прога или еще какой механизм, что бы заменять спецсимволы HTML на обычные символы?

PS: Если в ячейке учавствуют еще кавычки, это может как то не так трактоваться "системой"?

*

admin

  • *****
  • 2444
  • +172/-1
    • Просмотр профиля
Re:Патч для загрузки большого объема данных
« Ответ #13 : 18 Октября 2012, 16:55:02 »
это уже вопрос к php, в одном проекте использовал целый комплекс обработки строки для последующей обработки через csv, но тут следует учитывать что я писал свой вариант csv экпорта и там была проверка на кавычки которые являются частью текста, плюс экранирование лишних символов

*

Babajka

  • *
  • 42
  • +0/-0
    • Просмотр профиля
Re:Патч для загрузки большого объема данных
« Ответ #14 : 19 Октября 2012, 09:38:10 »
а сама ячейка, в которой был символ ;,  была экранирована кавычками ? или даже с кавычками ошибка выводилась?
Так вот. Ячейка сама была экранирована. А символы как то можно экранировать, что бы его воспринимали UMI/csv как символ, а не как разделитель?