Курс 2016 года “Разработка на UMI.CMS от 0 до готового сайта”
Добавление данных из объекта в форму "Заказ в 1 клик"

Автор AxiomateriaРаздел Шаблоны XSLT

Ответов: 4
Просмотров: 1762
Последний ответ 11 Ноябрь 2014, 11:14:45
от Axiomateria
!!!Тема будет зарыта смотрите оригинал!!!Разработка новых типов данных

Автор ariusgroupРаздел Шаблоны XSLT

Ответов: 1
Просмотров: 1305
Последний ответ 29 Сентябрь 2012, 00:55:07
от admin
Ссылка на дерево - вывод данных из другого объекта каталога в виде превью

Автор AxiomateriaРаздел Шаблоны XSLT

Ответов: 16
Просмотров: 5708
Последний ответ 07 Июль 2013, 15:14:17
от Axiomateria
Вывод данных страниц разного типа данны в порядке создания

Автор SumrakrndРаздел Шаблоны XSLT

Ответов: 5
Просмотров: 379
Последний ответ 09 Декабрь 2016, 12:55:59
от Sumrakrnd
Рекурсивное удаление поля в типе данных объект каталога

Автор goodprofyРаздел Custom макросы

Ответов: 3
Просмотров: 1454
Последний ответ 12 Март 2014, 17:14:59
от goodprofy

0 Пользователей и 1 Гость просматривают эту тему.

*

Babajka

  • *
  • 42
  • +0/-0
    • Просмотр профиля
Слышал о патче "mantis #13480", который помогает при загрузке большого объема данных. Но ни где найти его не могу. В частности, когда загружаю csv данные, выдает ошибку на какой либо строке. При этом по разному разбивал данные, все равно ошибки выдает. Кто нибудь подскажет где можно скачать этот патч или может подскажете решение данной проблемы?

*

admin

  • *****
  • 2421
  • +172/-1
    • Просмотр профиля
Re:Патч для загрузки большого объема данных
« Ответ #1 : 28 Сентябрь 2012, 23:59:35 »
а вы через что грузите свой csv? через контекстное меню в модулях типа каталог,новости и т.п. или через моуль "обмен данных"?

*

Babajka

  • *
  • 42
  • +0/-0
    • Просмотр профиля
Re:Патч для загрузки большого объема данных
« Ответ #2 : 01 Октябрь 2012, 13:36:15 »
обмен данных

*

admin

  • *****
  • 2421
  • +172/-1
    • Просмотр профиля
Re:Патч для загрузки большого объема данных
« Ответ #3 : 01 Октябрь 2012, 13:51:06 »
при загрузке происходит разбивка сплиттером на куски, так что ошибка скорее всего в синтаксисе самого csv файла.
Попробуйте загрузить 10 строк из этого файла, обратите внимание нет ли у вас ячеек с кириллицей не заключенные в кавычки, раньше этого было достаточно чтобы импорт споткнулся.

P.S. Вроде как при пересохранении в excel csv файла, кавычки пропадают

*

Babajka

  • *
  • 42
  • +0/-0
    • Просмотр профиля
Re:Патч для загрузки большого объема данных
« Ответ #4 : 01 Октябрь 2012, 14:20:49 »
excel не пользуюсь принципиально как раз из-за этого. Но по какой то причине ошиби появляются.

*

Babajka

  • *
  • 42
  • +0/-0
    • Просмотр профиля
Re:Патч для загрузки большого объема данных
« Ответ #5 : 02 Октябрь 2012, 10:03:17 »
Возникла мысль хоть и бредовая. В полях в csv фале если есть перенос строки на новую может возникнуть ошибка или все равно?

К примеру в одной ячейке вот такая строка:
"<p>&nbsp;Адресат &nbsp;<br />
</p>"

*

admin

  • *****
  • 2421
  • +172/-1
    • Просмотр профиля
Re:Патч для загрузки большого объема данных
« Ответ #6 : 02 Октябрь 2012, 11:34:11 »
навряд ли, html поля спокойно скидывались. Вы попробовали импортировать файл с 2-3 строчками?

*

Babajka

  • *
  • 42
  • +0/-0
    • Просмотр профиля
Re:Патч для загрузки большого объема данных
« Ответ #7 : 02 Октябрь 2012, 13:45:37 »
Все в порядке, загрузил 11 строк. Ни каких ошибок, все как было написано.

Конечно наверно лишняя информация, но на всякий... Я редактировал выгруженый csv файл, снес все товары и снова (отредактированные) заливаю обратно. Т.е. в excel они побывать точно не могли. Да и сильно измениться.
« Последнее редактирование: 02 Октябрь 2012, 13:49:14 от Babajka »

*

admin

  • *****
  • 2421
  • +172/-1
    • Просмотр профиля
Re:Патч для загрузки большого объема данных
« Ответ #8 : 02 Октябрь 2012, 14:33:53 »
если время позволяет, попытайся исключить ошибочную строчку разбивая файл на части, в какой-то из них или в нескольких будут выскакивать ошибки.

Или можно подумать о том, чтобы поставить алерты в ядре в самом сплиттере csv

*

Babajka

  • *
  • 42
  • +0/-0
    • Просмотр профиля
Re:Патч для загрузки большого объема данных
« Ответ #9 : 05 Октябрь 2012, 09:24:15 »
Пытался переносить проблемные строки в конец списка и продолжать загрузку. Но, через 100-200 строк опять ошибка появлялась. Да и страници грузилсь в корневую папку указаную при настройке импорта.

Или можно подумать о том, чтобы поставить алерты в ядре в самом сплиттере csv

А вот это мне вообще не понятно как это или хотя бы в каком направлении двигаться?

P.S.
И еще, на счет переносов строки в ячейках. Проверил удалив все, ошибки не прошли, но судя по ощущениям, грузятся быстрее, видимо не спотыкается на них.
« Последнее редактирование: 05 Октябрь 2012, 09:39:57 от Babajka »

*

Babajka

  • *
  • 42
  • +0/-0
    • Просмотр профиля
Re:Патч для загрузки большого объема данных
« Ответ #10 : 10 Октябрь 2012, 09:27:16 »
Попался на стандартной ошибке. В ячейках в тексте, во вновь записаной информации были разделительные символы (в данном случае ";"). Из за этого ошибки были.

*

admin

  • *****
  • 2421
  • +172/-1
    • Просмотр профиля
Re:Патч для загрузки большого объема данных
« Ответ #11 : 16 Октябрь 2012, 11:32:24 »
а сама ячейка, в которой был символ ;,  была экранирована кавычками ? или даже с кавычками ошибка выводилась?

*

Babajka

  • *
  • 42
  • +0/-0
    • Просмотр профиля
Re:Патч для загрузки большого объема данных
« Ответ #12 : 18 Октябрь 2012, 15:07:03 »
Была экранирована кавычками. В ячейках были спецсимволы HTML: quot; nbsp; ndash; из-за них он и ругался, но как то выборочно и не на все. Еще правда были вкрапления не в той кодировки (UTF-8) очень странно, но мелочи, ручками все легко правится.

Но вот вопрос, т.к. это ручками легко не правится. Есть ли прога или еще какой механизм, что бы заменять спецсимволы HTML на обычные символы?

PS: Если в ячейке учавствуют еще кавычки, это может как то не так трактоваться "системой"?

*

admin

  • *****
  • 2421
  • +172/-1
    • Просмотр профиля
Re:Патч для загрузки большого объема данных
« Ответ #13 : 18 Октябрь 2012, 16:55:02 »
это уже вопрос к php, в одном проекте использовал целый комплекс обработки строки для последующей обработки через csv, но тут следует учитывать что я писал свой вариант csv экпорта и там была проверка на кавычки которые являются частью текста, плюс экранирование лишних символов

*

Babajka

  • *
  • 42
  • +0/-0
    • Просмотр профиля
Re:Патч для загрузки большого объема данных
« Ответ #14 : 19 Октябрь 2012, 09:38:10 »
а сама ячейка, в которой был символ ;,  была экранирована кавычками ? или даже с кавычками ошибка выводилась?
Так вот. Ячейка сама была экранирована. А символы как то можно экранировать, что бы его воспринимали UMI/csv как символ, а не как разделитель?