|
|
|
Мамаев Денис Леонидович
|
|
Ранг: Член сообщества
Группа: Участник
Зарегистрирован: 4/2/2007
Сообщений: 679
Местонахождение: Якутск
|
Скриншот сохранялся неполный на некоторых компьютерах.
В версии 1.2.2 изменена функция сохранения скриншотов страниц Авито и ЦИАН.
Скриншот также сохраняет полную страницу, включающую все данные объявления. На скриншоте сверху может быть добавлена строка со ссылкой и датой. Перед сохранением скриншота может быть открыт номер телефона, так что номер будет виден на скриншоте.
Изменения коснулись улучшения совместимости: изображение скриншота не ограничивается видимой частью экрана.
Обязательно давайте отзыв о Робастике на удобной вам площадке:
Фейсбук
ВКонтакте
Телеграм
Дзен
Расскажите о Робастике коллегам!
Скачать новую версию Робастика 1.2.2 можно на robastik.ru
Сообщения об ошибках, а также замечания и предложения пожалуйста отправляйте по этим контактам. Ваши сообщения позволяют делать Робастик лучше для вас.
|
|
|
Мамаев Денис Леонидович
|
|
Ранг: Член сообщества
Группа: Участник
Зарегистрирован: 4/2/2007
Сообщений: 679
Местонахождение: Якутск
|
Парсер ЦИАН поправлен.
Для получения исправления нажать Обновить сейчас.
По всем проблемам сообщайте по контактам в разделе О Робастике - Поддержка пользователей.
|
|
|
Мамаев Денис Леонидович
|
|
Ранг: Член сообщества
Группа: Участник
Зарегистрирован: 4/2/2007
Сообщений: 679
Местонахождение: Якутск
|
С началом новой жизни Авито и ЦИАН лихорадило. Сервисы адаптировались к обстоятельствам и некоторые функции работали нестабильно. Сейчас активные изменения в целом завершены.
Обновление парсера Авито
1. Исправлен сбой загрузки адреса и некоторых других полей данных.
2. Добавлены новые поля данных, в т.ч. отслеживаемый в статистике номер телефона.
Обновление парсера ЦИАН
1. Исправлен сбой загрузки копии объявления в PDF (DOCX).
Для получения обновления в меню Робастика О Робастике кликнуть кнопку Обновить сейчас.
Изменения на сайтах происходят постоянно и это неизбежно сказывается на работе парсеров. Изменения структуры данных, настройка прав доступа, оптимизация нагрузки, защита от деструктивных действий и многие другие незаметные внешне изменения - это обычная каждодневная жизнь IT-сервисов.
Часто эти изменения приводят к отсутствию некоторых данных в скачиваемой информации, нарушают действия на странице (например, открытие номера телефона) или выводят мешающее на скриншоте всплывающее окно.
По этой причине к сбоям парсинга надо относиться как к нормальному явлению. При обнаружении сбоя надо сразу сообщать о нем с указанием:
• версии Excel,
• версии Робастика,
• ссылок, на которых наблюдается сбой,
• скриншота окна Excel при сбое,
• описанием сбоя (отсутствуют или неверные данные, не сохраняются фото и т.п.).
Сообщить о сбое можно в любом удобном канале:
• Робастик в ВК,
• Робастик в ТГ,
• Робастик в ФБ,
• Робастик в Дзен,
• Робастик на Аппрайзере,
• почта Робастика tech@robastik.ru.
Сразу сообщайте обо всех неполадках в Робастике и это поможет его сделать лучше для вас!
|
|
|
Мамаев Денис Леонидович
|
|
Ранг: Член сообщества
Группа: Участник
Зарегистрирован: 4/2/2007
Сообщений: 679
Местонахождение: Якутск
|
Версия Робастика 1.3.0 в основном завершает реализацию инструментов для задач оценщиков.
В этой версии добавлена универсальная поддержка скриншотов. Сохранение скриншота не работало на наиболее экономных видеодрайверах, очищающих память при каждой прокрутке страницы. Это исправлено.
Появилась возможность автоматического добавления ссылок для парсинга. Ссылки помещеются на специальный лист с названием Робастик и результаты парсинга сохраняются в файл с этим листом. Функция удобна в случае необходимости частой смены ссылок для парсинга Авито и ЦИАН.
Инструкция по использованию Робастика дополнена новыми разделами и переработана. Появились разделы ручного и автоматического добавления ссылок для парсинга.
Демонстрационные примеры пополнены файлами с построением графика на карте и автоматического добавления ссылок для парсинга.
Скачать новую версию Робастика 1.3.0 можно на robastik.ru
Предыдущую версию можно скачать в архиве Вики.
* * *
Изменения на сайтах происходят постоянно и это неизбежно сказывается на работе парсеров. Изменения структуры данных, настройка прав доступа, оптимизация нагрузки, защита от деструктивных действий и многие другие незаметные внешне изменения - это обычная каждодневная жизнь IT-сервисов.
Часто эти изменения приводят к отсутствию некоторых данных в скачиваемой информации, нарушают действия на странице (например, открытие номера телефона) или выводят мешающее на скриншоте всплывающее окно.
По этой причине к сбоям парсинга надо относиться как к нормальному явлению. При обнаружении сбоя надо сразу сообщать о нем с указанием:
• версии Excel,
• версии Робастика,
• ссылок, на которых наблюдается сбой,
• скриншота окна Excel при сбое,
• описанием сбоя (отсутствуют или неверные данные, не сохраняются фото и т.п.).
Сообщить о сбое можно в любом удобном канале:
• Робастик в ВК,
• Робастик в ТГ,
• Робастик в ФБ,
• Робастик в Дзен,
• Робастик на Аппрайзере,
• почта Робастика tech@robastik.ru.
Сразу сообщайте обо всех неполадках в Робастике и это поможет его сделать лучше для вас!
|
|
|
Марат Уфа
|
|
Ранг: Член сообщества
Группа: Участник
Зарегистрирован: 9/27/2007
Сообщений: 109
Местонахождение: Уфа
|
Денис, огромное спасибо за ваш труд.
Классная тема, а в 2022г. еще и работает отлично.
Тьфу-тьфу-тьфу..... чтобы не сглазить..... :)
|
|
|
Юрий Гнобинский
|
|
Ранг: Член сообщества
Группа: Регистрация на форуме
Зарегистрирован: 1/11/2020
Сообщений: 52
Местонахождение: Самара
|
Работает, спасибо за помощь
|
|
|
Мамаев Денис Леонидович
|
|
Ранг: Член сообщества
Группа: Участник
Зарегистрирован: 4/2/2007
Сообщений: 679
Местонахождение: Якутск
|
Как сделать тепловую карту цен на недвижимость
Без макросов и VBA в Excel
Опубликована подробная пошаговая инструкция с иллюстрациями для сбора данных с Авито и ЦИАН, их очистки средствами Excel и построения графика цен на карте.
Программировать не нужно, VBA и макросы не используются.
Инструкция находится в блоге Робастика здесь.
|
|
|
Мамаев Денис Леонидович
|
|
Ранг: Член сообщества
Группа: Участник
Зарегистрирован: 4/2/2007
Сообщений: 679
Местонахождение: Якутск
|
Новости парсинга
Разные обновления и новые возможности в блоге Робастика.
Для получения обновления в меню Робастика О Робастике кликнуть кнопку Обновить сейчас.
Изменения на сайтах происходят постоянно и это неизбежно сказывается на работе парсеров. Изменения структуры данных, настройка прав доступа, оптимизация нагрузки, защита от деструктивных действий и многие другие незаметные внешне изменения - это обычная каждодневная жизнь IT-сервисов.
Часто эти изменения приводят к отсутствию некоторых данных в скачиваемой информации, нарушают действия на странице (например, открытие номера телефона) или выводят мешающее на скриншоте всплывающее окно.
По этой причине к сбоям парсинга надо относиться как к нормальному явлению. При обнаружении сбоя надо сразу сообщать о нем с указанием:
• версии Excel,
• версии Робастика,
• ссылок, на которых наблюдается сбой,
• скриншота окна Excel при сбое,
• описанием сбоя (отсутствуют или неверные данные, не сохраняются фото и т.п.).
Сообщить о сбое можно в любом удобном канале:
• Робастик в ВК,
• Робастик в ТГ,
• Робастик в ФБ,
• Робастик в Дзен,
• Робастик на Аппрайзере,
• почта Робастика tech@robastik.ru.
Сразу сообщайте обо всех неполадках в Робастике и это поможет его сделать лучше для вас!
|
|
|
Марат Уфа
|
|
Ранг: Член сообщества
Группа: Участник
Зарегистрирован: 9/27/2007
Сообщений: 109
Местонахождение: Уфа
|
1.Начал очередную сессию по скачиванию. ЗУ с Авито почти закончил. Все норм: и пдф и фотки. Фото лучше оригинала (сразу в Джипег): если кто сам сохранял веб-фото из авито, тот поймет.
2.По ЗУ ЦИАН и НДЖ отпишусь позже.
3.В телеграмм не нашел, где можно написать сообщение или хотя бы оставить комментарий в сообщениях Дениса. Может у меня чего не так, но в других каналах могу писать..... "Колхозный вариант", может Денису сразу коммент писать к своему сообщению. Тогда там можно будет еще комменты добавлять.
|
|
|
Мамаев Денис Леонидович
|
|
Ранг: Член сообщества
Группа: Участник
Зарегистрирован: 4/2/2007
Сообщений: 679
Местонахождение: Якутск
|
Марат Уфа сообщал(а):не нашел, где можно написать
Спасибо, исправил. Попробуйте теперь там написать.
|
|
|
Марат Уфа
|
|
Ранг: Член сообщества
Группа: Участник
Зарегистрирован: 9/27/2007
Сообщений: 109
Местонахождение: Уфа
|
Мамаев Денис Леонидович сообщал(а):Марат Уфа сообщал(а):не нашел, где можно написать Спасибо, исправил. Попробуйте теперь там написать.
Возможно, это мои настройки такие. Но ни в телефоне ни на компе даже не вижу места, где бы можно было написать. Только ваш пост, под ним лайки, число прочитавших и все. Еще предлагает переслать..... :)
|
|
|
Мамаев Денис Леонидович
|
|
Ранг: Член сообщества
Группа: Участник
Зарегистрирован: 4/2/2007
Сообщений: 679
Местонахождение: Якутск
|
Марат Уфа сообщал(а): не вижу места, где бы можно было написать.
Кнопка "Комментировать" появится только на новых постах. (Как оказалось)
Просто написать тоже можно, не знаю как, но уже написали в чат)
|
|
|
Марат Уфа
|
|
Ранг: Член сообщества
Группа: Участник
Зарегистрирован: 9/27/2007
Сообщений: 109
Местонахождение: Уфа
|
Мамаев Денис Леонидович сообщал(а):Марат Уфа сообщал(а): не вижу места, где бы можно было написать. Кнопка "Комментировать" появится только на новых постах. (Как оказалось) Просто написать тоже можно, не знаю как, но уже написали в чат)
Буду тренироваться...... :)
|
|
|
Марат Уфа
|
|
Ранг: Член сообщества
Группа: Участник
Зарегистрирован: 9/27/2007
Сообщений: 109
Местонахождение: Уфа
|
Сессию завершил. Еще в среду.
Все отлично работает. И Авито и ЦИАН.
Скачал 5 файлов для РБ: ЗУ Авито (пром+остальные категории с площ от 6000,0), ЗУ ЦИАН, НДЖ Авито продажа, НДЖ Авито аренда, НДЖ ЦИАН продажа более 500,0.
ЦИАНовская мулька про сохранение их пдф-фалов вообще супер!
С конца 2019 95% нашей базы по коммерческой НДЖ и ЗУ создается при помощи Робастика.
Денису очередной респект!
|
|
|
Мамаев Денис Леонидович
|
|
Ранг: Член сообщества
Группа: Участник
Зарегистрирован: 4/2/2007
Сообщений: 679
Местонахождение: Якутск
|
Следующий пример в формате пошаговой инструкции того, как Excel позволяет работать с данными почти без формул. В этот раз на основе подхода к расчету скидки на этаж.
Первая часть инструкции опубликована в блоге. Вторая ожидается в течение нескольких недель.
|
|
|
Мамаев Денис Леонидович
|
|
Ранг: Член сообщества
Группа: Участник
Зарегистрирован: 4/2/2007
Сообщений: 679
Местонахождение: Якутск
|
Вторая заключительная часть инструкции по расчету скидки на этаж в Excel.
|
|
|
Guest |