Поиск Карта сайта Главная страница

           

Добро пожаловать! Поиск | Активные темы | Вход | Регистрация

Информация о пользователе: Мамаев Денис Леонидович
Информация
Имя: Мамаев Денис Леонидович
Ранг: Член сообщества
Местонахождение Якутск
Статистика
Зарегистрирован: Monday, April 02, 2007
Предыдущий визит: Monday, August 31, 2020 4:01:00 AM
Количество сообщений: 632
[0.34% от всех сообщений / 0.13 сообщений в день]
Аватара
Карточка
ФИО Мамаев Денис Леонидович
Дата рождения 1/1/1970
Пол Мужской
E-mail expertykt@mail.ru
Страна Россия
Область, край, республика Республика Саха (Якутия)
Город Якутск
Адрес Якутск, ул.Орджоникидзе,д.45, кв.31
Почтовый индекс 677000
В какой СРО оценщиков состоит Не состою
Специализация
оценщик действующего предприятия (бизнеса)
оценщик машин и оборудования
оценщик ценных бумаг
оценщик автотранспорта
Список статей
9/8/2011
К вопросу о точности воспроизводимости результатов оценки
10/21/2009
Определение корректироки на возраст жилого дома
9/9/2009
Определение корректировки на площадь квартиры
10/28/2008
К вопросу об оценке дебиторской задолженности
Последние 10 сообщений
Тема: Робастик - Excel для оценщиков
От: Monday, August 31, 2020 4:01:00 AM
Спустя месяц с даты заявки PayPal дал возможность сделать покупку. Браузер для Робастика куплен. Начинается его внедрение.
Тема: Робастик - Excel для оценщиков
От: Monday, August 31, 2020 3:59:57 AM
Авито теперь отдает фото в формате WEBP, который не могут открыть общераспространенные программы для просмотра картинок. Кроме браузера (он может), но мало кто помнит о возможности просмотра картинок в браузере.
Есть много способов для массовой конвертации графических файлов из WEBP в JPG. Например.
П.С. Расширение скачиваемых фото и их подсчет будут поправлены в ближайшее время.
Тема: Робастик - Excel для оценщиков
От: Wednesday, July 29, 2020 7:31:11 AM
Закончился срок, отведенный для сбора денег на покупку браузера Робастику.



В целом, результат очень оптимистичный.
Надо принять во внимание, что не все пользователи Робастика пользуются функцией загрузки объявлений. Некоторые из пользователей не оценщики (может быть даже большинство) и пользуются только автоматической версткой отчетов (анализ бухгалтерии или другого управленческого учета), загрузка объявлений для них лишняя функция. Поэтому пятеро поддержавших из 40+ еженедельных пользователей последней версии (в предыдущих нормальная статистика не ведется) является очень значимым показателем востребованности функции загрузки объявлений в Excel.

Собранной суммы достаточно для покупки 32-битной версии браузера. Пользователей 32-битной версии в 1,3 раза больше пользователей 64-битной.

Однако, все поддержавшие эту затею деньгами пользуются 64-битной версией Excel Обратите внимание

Как было заявлено при старте сбора, его целью является не абстрактная "польза сообществу" и "развитие проекта", а решение конкретных задач конкретных людей.
Поэтому покупать 32-битную версию не получится, она не нужна пользователям 64-битного Excel.

Из этих соображений решено приобретать 64-битную версию и добавить недостающую сумму из личных средств.

Факт покупки браузера не отменяет возможность поддержать Робастика деньгами - реквизиты для добровольных пожертвований есть в предыдущем посте. Подайте на прогресс кто сколько может.

Как оказалось, PayPal не позволяет платежи более 60 тыс. руб. без полной верификации. В ответ на слив всех персональных данных PayPal обещает сообщить свое решение в течение 30 дней. Ждем-с.
Тема: Робастик - Excel для оценщиков
От: Friday, July 24, 2020 7:05:22 AM
Подайте на прогресс!



Покупка планируется уже на следующей неделе, помогите развитию проекта прямо сейчас!

К настоящему времени в поддержку Робастика поступило:

+10000 Евгений Корнилов
к.ф.-м.н,
член Экспертного совета Российского Общества Оценщиков
член ТПП г.Дубна

+10000 Андрей Рошка

+20000 (пожелал остаться неназванным)

+5000 (пожелал остаться неназванным)

+10000 Блинов Александр (АНО Институт технических экспертиз "Альфа")

Реквизиты и подробности в предыдущем сообщении.
Тема: Робастик - Excel для оценщиков
От: Thursday, July 23, 2020 5:09:52 AM
Робастику нужна ваша помощь

Как стало окончательно понятно, сбор объявлений-аналогов Avito стал востребованной функцией Робастика. Благодаря аналитике Google есть конкретные цифры. Например, Красноярск качает Авито в среднем по 10 - 11 часов, Самара и Новгород по 8 – 9 часов, Биробиджан и Московская область по 5 часов.

Понятно, что развитие функции сбора объявлений с сайтов состоит в максимальном расширении списка таких сайтов.

Однако, многие сайты не так удобны для скачивания, как Авито. Большинство из них имеют сложное внутреннее строение, пример - ЦИАН. Эта сложность фактически исключает возможность поддержки на применяемой сейчас в Робастике относительно низкоуровневой технологии даже 5 – 7 сайтов, не говоря уже о 15 – 25.

Для качественного развития этой функции Робастику необходимо применять более высокоуровневую технологию - встроенный в Excel браузер, позволяющий полностью исключить необходимость исследования внутреннего устройства сайтов. Только такой подход позволяет легко осуществить поддержку сбора данных с десятков разных сайтов.

К сожалению, эта удобная технология существует только на платной основе. Бесплатные аналоги непригодны для автоматического развертывания на клиентских компьютерах.

Для приобретения Робастику способности сбора объявлений с реально большого количества сайтов необходим встроенный браузер WebKitX стоимостью 1600 фунтов стерлингов (курс фунта около 88 рублей, итого 140 тыс. руб.). Источник информации: https://www.webkitx.com/mobileFX_WebKitX_Terminal_Offer_v9.pdf
Подробнее о WebKitX: webkitx.com

С точки зрения пользователя встроенный браузер позволит Робастику:
1. Наглядно показывать весь процесс работы с каждой ссылкой прямо в Excel.
2. Имитировать действия человека, затрудняя сайтам идентификацию робота.
3. Собирать скрытую информацию, в т.ч. номера телефонов.
4. Сохранять PDF-копию страницы без повторного запроса к сайту, что очень экономит время, трафик и нагрузку на компьютер.
5. Кроме PDF сохранять JPG-копию интернет-страниц.
6. Окончательно решить проблему вывода данных на карту.
7. Карту с данными автоматически переносить в Word как jpg.

Для предварительной проверки возможностей встроенного браузера была сделана тестовая программа, работа которой показана в приложенном видео. В целом тест показал применимость встроенного браузера для целей автоматического сбора данных.



Какие-то проблемы скорее всего будут выявлены при реальном использовании WebKitX. Можно ожидать, что возможные проблемы будут достаточно оперативно устраняться разработчиком: с одной стороны, текущая версия опубликована только в июне и уже выпущен hotfix по заявленным пользователями проблемам, и с другой стороны, проект WebKitX развивается довольно динамично последние год - два и только набирает популярность, так что еще не растерял мотивацию и гибкость.

Все желающие поддержать развитие Робастика могут поучаствовать любой суммой.

Робастик предназначен для решения профессиональных задач и у каждого оценщика свой список сайтов – источников информации. Региональные сайты важнее федеральных и это тот случай, когда в приоритете не все сообщество оценщиков, а конкретные оценочные компании. Покупка браузера должна решить задачи конкретных оценщиков по сбору информации с конкретных сайтов.

Поэтому предполагается, но не гарантируется, что отправитель денежных средств может рассчитывать на то, что эти средства принесут пользу прежде всего ему, а уже потом сообществу. «Не гарантируется» - т.к. нет полной уверенности в том, что будет достаточно времени и сил на реализацию задуманного. Единственным ориентиром является то, что Робастик живет и развивается с 2014г, и нет никаких известных причин для того, чтобы это прекратилось.

Из изложенных соображений предлагается следующее.

Жертвователь денежных средств может сообщить отдельным письмом адрес сайта, с которого надо загружать Робастиком данные с помощью WebKitX. Также возможно указать резервный адрес (второго сайта) на случай, если адрес первого сайта совпадет с заявкой другого отправителя (добровольного жертвователя).

Желательно указывать адрес одного основного сайта и одного резервного сайта на каждые 10 тыс. рублей пожертвования (добровольного взноса).

Заявленные сайты будут добавляться в Робастик в порядке размера пожертвованной суммы и даты поступления средств.

Вместе с пожертвованием сумм менее 10 тыс. руб. также могут указываться сайты и эти сайты могут быть добавлены в Робастик после добавления всех сайтов, указанных жертвователями сумм от 10 тыс. руб.

Предполагается, что трех недель достаточно для принятия решения о поддержке Робастика деньгами для приобретения браузера. Последним днем сбора денег будет среда 29 июля 2020. Не откладывайте это трудное решение и отправьте деньги прямо сейчас.

В случае, если собранная сумма будет меньше 1600 фунтов стерлингов, решение о дальнейших действиях будет приниматься с учетом мнения жертвователей в закрытой группе ФБ.

При успешном сборе необходимой суммы может потребоваться около двух месяцев для разработки ядра новой системы. Затем будут добавляться заявленные сайты. Вполне возможно добавлять по сайту за неделю.

Реквизиты для перевода.
Сообщения в переводе иногда не доходят, поэтому после отправки денег напишите, пожалуйста, на denis@robastik.ru :
1) Отправителя, сумму и дату перевода.
2) Разрешение или запрет на опубликование данных в п.1.
3) Адреса сайтов.
4) Пожелание удачи.
В сообщении указывать «Добровольное пожертвование» (или счет могут блокировать).
Сберкарта xxxx xxxx xxxx xxxx Денис Леонидович М.

Для перечисления от юрлица направьте ИНН и наименование юрлица на denis@robastik.ru, будут предоставлены реквизиты самозанятого, свидетельство и чек.

Комиссия Сбера: https://www.sberbank.ru/ru/person/remittance/perevod_rus



И еще немного мелким шрифтом.
Собранные денежные средства будут использованы исключительно для приобретения лицензий WebKitX Standard Licensing 599 GBP for 1x ActiveX (x86) и 999 GBP for 1x ActiveX(x64), а также накладных и прочих расходов, связанных с приобретением и использованием WebKitX.
В случае отказа от приобретения лицензий WebKitX поступившие денежные средства будут возвращены отправителям за вычетом комиссий и необходимых платежей при технической доступности отправителя.
Я, Мамаев Денис Леонидович, не принимаю на себя никаких обязательств и/или ответственности в связи с получением денежных средств от неограниченного круга лиц.

Тема: Робастик - Excel для оценщиков
От: Monday, July 13, 2020 3:50:36 AM
На некоторых абсолютно работоспособных компьютерах при установке Робастика не появлялось меню.

В версии 0.40.6 проблема решена.

Огромное спасибо Ризванову Марату за помощь с тестированием.

Ссылка прежняя: https://tpv.sr/uh7CrK/

Не забываем разрешать антивирусу загружать файлы с макросами и устанавливаем Робастика строго по инструкции.
Тема: Робастик - Excel для оценщиков
От: Tuesday, June 30, 2020 6:49:46 AM
Пост отчетно-отпускной.

Последняя версия Робастика была подключена в Google Analytics в середине апреля и теперь более-менее понятно сколько всего пользователей, откуда они, какими функциями чаще пользуются.

Поскольку Робастик рекламируется только сарафанным радио, количество пользователей прирастает не быстро. Поэтому просьба: расскажите о Робастике своим знакомым, поделитесь с коллегами конкретными кейсами автоматизации сбора, обработки, визуализации и оформления отчетов.



Пока что можно сказать, что пользователи есть в 24 регионах, больше всего их в Новосибирске.

Автоматическая сборка отчета Робастиком мало популярна. То ли реализована эта функция крайне неудачно, то ли инструкция написана непонятно, или есть более простые и удобные инструменты для автосборки отчетов.

Закачка объявлений с Авито значительно более популярна.

Поэтому основное развитие Робастика сейчас будет направлено в сторону повышения надежности, удобства и разнообразия закачиваемых данных. Здесь планируется сохранение данных в закрытый файл .xls(x) с уменьшением нагрузки на комп и реализация проверки дублей за конкретный промежуток времени.

Главное ожидаемое событие – покупка браузера для Робастика. Его функционал сильно расширяет возможности закачки объявлений с разных сайтов. Эти возможности тестировались в последнее время и будут показаны в ближайшее время.

Также планируется окончательное решение проблемы с установкой Робастика на некоторых компах.

Тема: Робастик - Excel для оценщиков
От: Monday, June 29, 2020 5:55:00 AM
Юрий Гнобинский сообщал(а):
Спасибо, полезная статья


Спасибо за позитив!

Юрий Гнобинский сообщал(а):
Дельно и без лишней воды. Робастиком пользуюсь уже давно, года два так точно.


Если возможно, поделитесь пожалуйста с коллегами конкретными примерами автоматизации офисной рутины. Иногда мне пишут, что инструкции к Робастику недостаточно ясно написаны. Скорее всего, ваше описание процесса автоматизации поможет лучше разобраться в этом новом для многих вопросе.
Тема: Робастик - Excel для оценщиков
От: Sunday, June 28, 2020 3:07:12 PM
Геннадий сообщал(а):
нет функции удалить в ручном режиме объявления


Поясните пожалуйста, в чем заключается функция удаления объявления в ручном режиме. Удаление откуда и что такое "ручной режим"? Какую задачу решит эта функция?
Тема: Робастик - Excel для оценщиков
От: Tuesday, May 19, 2020 4:16:41 AM
Про настройку задержки загрузки объявлений Авито

Бизнес-модель Авито включает заработок от рекламы на сайте. Авито не заинтересовано в показе рекламы ботам и поэтому автоматическое скачивание пресекается. Авито определяет ботов по каким-то алгоритмам. Скорее всего, эти алгоритмы управляются ИИ. Вполне возможно, что ИИ берет в расчет, в том числе, что в разных регионах пользователи ведут себя по-разному. Можно предположить, что в крупных развитых регионах ботов существенно больше, чем в мелких депрессивных и соответственно настраивается жесткость отсечения ботов, чтобы процент фрода был в пределах допустимого. Алгоритм также может учитывать время суток, версию операционной системы, браузера и т.д. и т.п.

В этих условиях подбор параметра задержки является нетривиальной задачей. Авито может отслеживать сам факт подбора этого параметра. Например, после трех временных банов может отправить ваш IP в вечный бан. Это надо учитывать при экспериментировании с временем задержки.

Также может меняться срок бана и процедура выхода из бана. После первого бана может быть достаточно ввести капчу. После второго может быть необходимо после капчи дождаться страницы "Подождите, идет загрузка" - это Авито подсовывает проверочную страницу, которая почти незаметна для человека, но непреодолима для неподготовленного бота. Далее возможны дополнительные меры защиты и их вариации. Чем больше вы экспериментируете с поиском короткого времени задержки, тем больше защищается Авито, тем дольше и сложнее выход из бана. Это надо учитывать.

Самый очевидный признак бота - равный промежуток задержки. Человек не может загружать объявления с равным промежутком, например, ровно каждые 10 секунд. Понятно, что чем больше диапазон задержки, тем сложнее отличить бота от человека.

Надо понимать, что технически Авито это не один сайт, а один интерфейс большого количества сайтов. Например, раздел Дома-Коттеджи Вологды и Квартиры Новосибирска скорее всего относятся к "разным" технически сайтам. Не факт, что для таких "разных" сайтов существует единая система антифрода. Т.е. чередование загрузки объяявлений с "разных" сайтов также может быть полезным для увеличения "незаметности" Робастика для Авито. Конечно, все это только предположения, хотя и не безосновательные.

Настройка задержки находится в меню Настройки - вкладка Объявления.


У меня стабильно работает задержка 6 - 12 сек., может работать сутками.


У некоторых не работает установленная по умолчанию задержка 6 - 13 сек. Поэтому по умолчанию пока будет устанавливаться не 6 - 13, а 6 - 20. Дальше будем посмотреть.

Делитесь опытом задержки и выхода из бана в постах и комментах с указанием максимально подробных обстоятельств. Неизвестно какие обстоятельства могут быть важны: день недели, провайдер интернета, раздел объявлений, чередование разделов и т.д.
 

Разработка и дизайн сайта
«ИнфоДизайн» © 2005