Поиск Карта сайта Главная страница

           

Добро пожаловать! Поиск | Активные темы | Вход | Регистрация

Робастик - Excel для оценщиков Опции · Вид
Мамаев Денис Леонидович
От: Thursday, January 30, 2020 4:20:34 AM Ссылка на сообщение

Ранг: Член сообщества
Группа: Участник

Зарегистрирован: 4/2/2007
Сообщений: 679
Местонахождение: Якутск
Доступных для анализа рыночных данных все больше, Amazon представила наипростейший бесплатный инструмент для Deep Learning и уже любой школьник может построить ML-модель в три клика, абсолютно не понимая мощь и великолепие внутреннего устройства машинного обучения.

Но оценщики не могут полагаться на конечный результат работы ML, потому что в отчете должна быть «приведена последовательность определения стоимости», чтобы «позволять пользователю отчета об оценке понять логику процесса определения стоимости».

Золотая середина между ML и «логикой процесса» к счастью есть и называется она корреляционно-регрессионный анализ (КРА). В отличие от классического ML, КРА предполагает осуществление последовательности этапов и логику процесса, т.е. соответствует ФСО.

Для кого-то это будет откровением, но КРА входит в понятие ИИ. В некотором смысле КРА является синонимом нейросети, а нейросети это самая мякотка ИИ. Так что, освоив КРА, следует писать на своей визитке «оценщик, эксперт по искусственному интеллекту».

Легендарным популяризатором широкого применения в оценке КРА (как теперь оказалось - ИИ) был Василий Григорьевич Мисовец. Он провел бесконечное количество дискуссий на тему применения КРА в интернетах (в первую очередь на Аппрайзере, например здесь и здесь, а также разработал собственный курс по этой дисциплине, с которым объехал всю страну.



Материалы этого курса сохранились. С разрешения правообладателей они выложены в публичный доступ вместе с работами автора по другим оценочным дисциплинам. Скачать их можно из гуглодиска Робастика по этой ссылке.
В начало
 
Мамаев Денис Леонидович
От: Tuesday, February 11, 2020 7:14:39 AM Ссылка на сообщение

Ранг: Член сообщества
Группа: Участник

Зарегистрирован: 4/2/2007
Сообщений: 679
Местонахождение: Якутск
Вычисляем расстояния

Наличие геокоординат объектов позволяет вычислять расстояния между ними.
Благодаря этому можно отбирать объекты по расстоянию до произвольной точки.

Такая возможность может быть полезна, например, для вычисления корректировки на средний уровень цен одной локации относительно другой: отобранные в разных локациях объекты корректируются (на этаж, год, площадь и т.п.) и отношение средних скорректированных будет корректировкой на место расположения.

Пример расчета расстояния по координатам приведен здесь.

На иллюстрации выделено пятно радиусом один километр от условного центра.



Вопрос!
Надо ли добавить в Робастик функцию расчета расстояния по координатам? Если да, то как ее назвать? Название Distance_A_B выглядит громоздко.
В начало
 
NB
От: Wednesday, February 12, 2020 4:01:06 PM Ссылка на сообщение

Ранг: Член сообщества
Группа: Участник

Зарегистрирован: 1/9/2009
Сообщений: 2,010
Местонахождение: Санкт Петербург
Мамаев Денис Леонидович сообщал(а):
Вычисляем расстояния
Надо ли добавить в Робастик функцию расчета расстояния по координатам? Если да, то как ее назвать? Название Distance_A_B выглядит громоздко.

Надо, бывает очень полезно . Не громоздко: R_A_B, Dist, короче вроде некуда :)
В начало
 
Мамаев Денис Леонидович
От: Friday, February 14, 2020 9:12:07 AM Ссылка на сообщение

Ранг: Член сообщества
Группа: Участник

Зарегистрирован: 4/2/2007
Сообщений: 679
Местонахождение: Якутск
Сообщили о неполадках с Авито, рекомендую притормозить загрузку объявлений.

Об исправлении сообщу дополнительно.
В начало
 
Бурцев И.
От: Friday, February 14, 2020 1:07:11 PM Ссылка на сообщение

Ранг: Член сообщества
Группа: Участник

Зарегистрирован: 9/12/2006
Сообщений: 1,923
Местонахождение: Самара
Мамаев Денис Леонидович сообщал(а):
Сообщили о неполадках с Авито, рекомендую притормозить загрузку объявлений.

Об исправлении сообщу дополнительно.

Парсер заблокировали видимо .... Я так понимаю что навсегда. Теперь архитектуру ВСЕГО прогр.продукта менять придётся. И не факт что получится, и не факт что экономически интересно это делать, и совершенно точно с интеллектуальными правами засада ... Денис Леонидович, я всё правильно понял ?

Страна должна знать героев, хотя бы из сказок. "Сказки Оценщика"
В начало
 
Мамаев Денис Леонидович
От: Friday, February 14, 2020 1:28:11 PM Ссылка на сообщение

Ранг: Член сообщества
Группа: Участник

Зарегистрирован: 4/2/2007
Сообщений: 679
Местонахождение: Якутск
Бурцев И. сообщал(а):
всё правильно понял ?

Раньше понедельника вряд ли посмотрю.
Насчёт архитектуры не понял ваше предположение.
Про экономику тоже поясните.
И о правах очень интересно.
Вы все это проходили?
В начало
 
Бурцев И.
От: Friday, February 14, 2020 2:32:30 PM Ссылка на сообщение

Ранг: Член сообщества
Группа: Участник

Зарегистрирован: 9/12/2006
Сообщений: 1,923
Местонахождение: Самара
Мамаев Денис Леонидович сообщал(а):
Вы все это проходили?

Да. Я всё это проходил, с собственным программным продуктом "Бюро оценки - Авто". И трудозатраты, и экономику, и права на информацию из чужого источника, передаваемые третьим лицам (Вашим пользователям). Архитектура - парсер даёт запрос на сайт-донор (например Авито), этот запрос видит брандмауэр сайта. Если запрос будет с одного IP-адреса идти слишком часто, брандмауэр опознает его как вредоносное ПО, и заблокирует IP-запрос. Таким образом, чтобы изменить частоту с IP-запроса нужно сделать его "непостоянным". Один из вариантов - запрос должен идти не с центрального сервера (Вашего), а с компа пользователя (много IP-адресов) - когда количество (интенсивность) обращений к сайту-донору станет большим = адреса будут заблокированы. Т.е. нужно будет ПРИНЦИПИАЛЬНО менять систему сбора информации парсером, а это практически полностью замена программного кода.

Страна должна знать героев, хотя бы из сказок. "Сказки Оценщика"
В начало
 
Мамаев Денис Леонидович
От: Friday, February 14, 2020 2:41:56 PM Ссылка на сообщение

Ранг: Член сообщества
Группа: Участник

Зарегистрирован: 4/2/2007
Сообщений: 679
Местонахождение: Якутск
Бурцев И. сообщал(а):
запрос должен идти не с центрального сервера (Вашего), а с компа пользователя (много IP-адресов)

Именно так работает Робастик.
В начало
 
Мамаев Денис Леонидович
От: Monday, February 17, 2020 3:47:47 AM Ссылка на сообщение

Ранг: Член сообщества
Группа: Участник

Зарегистрирован: 4/2/2007
Сообщений: 679
Местонахождение: Якутск
Загрузка с Авито поправлена, можно загружать объявления.
Переустанавливать ничего не нужно.
В начало
 
Мамаев Денис Леонидович
От: Friday, February 21, 2020 4:11:37 AM Ссылка на сообщение

Ранг: Член сообщества
Группа: Участник

Зарегистрирован: 4/2/2007
Сообщений: 679
Местонахождение: Якутск
Очередная версия Робастика с номером 0.30 доступна для тестирования. (Не забываем разрешать антивирусу пропускать файл с макросами.)

Что нового: Работает без подключения к интернету.



При установке интернет нужен. Во время установки код загружается из облака на компьютер и после этого Робастик может работать без интернета несколько дней.

А то бывает, что в самый ответственный момент вдруг интернет пропадет Голова идет кругом Вот, чтобы такого не было Улыбка

Но обновляться регулярно необходимо. Потому что обновления выходят довольно часто.
Поэтому каждый день при открытии любого файла Excel Робастик пытается обновиться. Успешное обновление делается только один раз в день. Процесс обновления отображается в левом нижнем углу окна Excel.

Но если нет желания терять несколько секунд в ожидании загрузки обновления, то можно сразу работать с открытым файлом – процесс обновления сразу прервется и не будет вам мешать. Попытка обновления будет повторяться при открытии любого файла *.xls(x) до тех пор, пока у вас не появится время для его завершения Yes! Мы сделали это!

А если ежедневное обновление уже успешно завершилось и надо получить еще одно не дожидаясь следующего дня, это можно сделать в любое время в меню «О Робастике». Здесь также есть информация о времени последнего обновления и окончании срока работы в автономном режиме. Совсем без обновлений тоже нельзя Peace!

Если в новой версии что-то не работает, старую можно установить обратно за пару секунд.

Отзывы, замечания и предложения активно пишем сюда или на denis@robastik.ru

Да пребудет с нами Эксель Пощады не будет
В начало
 
Мамаев Денис Леонидович
От: Tuesday, March 10, 2020 7:47:32 AM Ссылка на сообщение

Ранг: Член сообщества
Группа: Участник

Зарегистрирован: 4/2/2007
Сообщений: 679
Местонахождение: Якутск
Отключалась строка статуса (внизу, где видно количество выделенных, мин, макс и т.д.).
Исправлено в версии 0.34.3, ссылка на загрузку та же.
В начало
 
Мамаев Денис Леонидович
От: Friday, March 27, 2020 5:05:11 AM Ссылка на сообщение

Ранг: Член сообщества
Группа: Участник

Зарегистрирован: 4/2/2007
Сообщений: 679
Местонахождение: Якутск
Прошу всех поделиться своим мнением.
Две темы.
1. ЦИАН отдает готовый PDF с данными по объекту. Насколько он полезен.
a) Готовый ПДФ достаточно хорош или необходим именно скрин страницы?
б) Фото действительно необходимо загружать отдельно или достаточно того, что в PDF?

2.Есть коммерческий продукт, который может быть использован в Робастике для снижения нагрузки на компьютер, на сеть, быстро расширить функционал, повысить скорость и гибкость разработки. Цена вопроса около 70 тыс. руб.
a) Есть ли желание задонатить для этой цели и на каких условиях?
В начало
 
Мамаев Денис Леонидович
От: Thursday, April 23, 2020 11:02:12 AM Ссылка на сообщение

Ранг: Член сообщества
Группа: Участник

Зарегистрирован: 4/2/2007
Сообщений: 679
Местонахождение: Якутск
На Авито изменения, поэтому загрузка объявлений не работает.
Исправление будет.
В начало
 
Мамаев Денис Леонидович
От: Thursday, April 30, 2020 9:17:17 AM Ссылка на сообщение

Ранг: Член сообщества
Группа: Участник

Зарегистрирован: 4/2/2007
Сообщений: 679
Местонахождение: Якутск
Обновлена загрузка объявлений с Авито.

Ссылку на квартиры Авито стал формировать с абракадаброй (например avito.ru/yakutsk/kvartiry/prodam-ASgBAgICAUSSA8YQ?cd=1) , из-за чего загрузка не работала.

Можно ожидать, что волна изменений схемы формирования ссылок будет продолжаться. Поэтому при неработающей ссылке в Робастике не забываем проверять ее в Авито и при наличии изменений заменять устаревшую ссылку в Робастике на актуальную.

Заодно сделаны приготовления для обработки длинных ссылок с фильтрами. Просьба написать какие фильтры работают и какие надо поправить.

Для обновления кода переустановка не обязательна. Обновление либо пройдет автоматически при открытии первого за день любого файла Excel, либо в меню "О Робастике" нажать кнопку "Обновить сейчас". Переустановка Робастика также загружает свежий код.

Обновление коснется только свежей версии. Версии 0.2х поддерживаться не будут.

Пришло время добавлять новые источники загрузки. В этой связи прошу поделиться мнением о востребоанности данных: нужнее дома Авито, гаражи Авито, авто Авито или ЦИАН нужнее.

Хорошего настроения на праздники!
В начало
 
Мамаев Денис Леонидович
От: Thursday, May 07, 2020 6:04:12 AM Ссылка на сообщение

Ранг: Член сообщества
Группа: Участник

Зарегистрирован: 4/2/2007
Сообщений: 679
Местонахождение: Якутск
Как и ожидалось, на Авито продолжился процесс изменения порядка формирования страниц. Поэтому скачивание не работает.
Будем адаптироваться.
В начало
 
Мамаев Денис Леонидович
От: Monday, May 18, 2020 6:08:22 AM Ссылка на сообщение

Ранг: Член сообщества
Группа: Участник

Зарегистрирован: 4/2/2007
Сообщений: 679
Местонахождение: Якутск
Что нового в версии 0.40

1) Задержка между загрузкой страниц Авито вынесена в меню Настройки. Вероятно, в разных регионах действуют разные настройки Авито и, в том числе, это касается защиты от скачивания. Будет полезно, если все, кто решится поэкспериментировать с этой настройкой, напишут о своем опыте.

2) Длинные ссылки с фильтрами теперь принимаются. Также убедительная просьба максимально подробно сообщать что работает и что нет.

3) Раздел Дома-Коттеджи доступен для загрузки.

4)Функция для расчета расстояния между двумя гео-точками. Как применять указано в меню Настройки вкладка Функции.

Для установки новой версии необходима переустановка Робастика.
Ссылка для скачивания прежняя. При скачивании не забываем разрешать антивирусу загрузку файлов Excel с макросами.

Вопросы, замечания и предложения в комментах приветствуются.
В начало
 
Мамаев Денис Леонидович
От: Tuesday, May 19, 2020 4:16:41 AM Ссылка на сообщение

Ранг: Член сообщества
Группа: Участник

Зарегистрирован: 4/2/2007
Сообщений: 679
Местонахождение: Якутск
Про настройку задержки загрузки объявлений Авито

Бизнес-модель Авито включает заработок от рекламы на сайте. Авито не заинтересовано в показе рекламы ботам и поэтому автоматическое скачивание пресекается. Авито определяет ботов по каким-то алгоритмам. Скорее всего, эти алгоритмы управляются ИИ. Вполне возможно, что ИИ берет в расчет, в том числе, что в разных регионах пользователи ведут себя по-разному. Можно предположить, что в крупных развитых регионах ботов существенно больше, чем в мелких депрессивных и соответственно настраивается жесткость отсечения ботов, чтобы процент фрода был в пределах допустимого. Алгоритм также может учитывать время суток, версию операционной системы, браузера и т.д. и т.п.

В этих условиях подбор параметра задержки является нетривиальной задачей. Авито может отслеживать сам факт подбора этого параметра. Например, после трех временных банов может отправить ваш IP в вечный бан. Это надо учитывать при экспериментировании с временем задержки.

Также может меняться срок бана и процедура выхода из бана. После первого бана может быть достаточно ввести капчу. После второго может быть необходимо после капчи дождаться страницы "Подождите, идет загрузка" - это Авито подсовывает проверочную страницу, которая почти незаметна для человека, но непреодолима для неподготовленного бота. Далее возможны дополнительные меры защиты и их вариации. Чем больше вы экспериментируете с поиском короткого времени задержки, тем больше защищается Авито, тем дольше и сложнее выход из бана. Это надо учитывать.

Самый очевидный признак бота - равный промежуток задержки. Человек не может загружать объявления с равным промежутком, например, ровно каждые 10 секунд. Понятно, что чем больше диапазон задержки, тем сложнее отличить бота от человека.

Надо понимать, что технически Авито это не один сайт, а один интерфейс большого количества сайтов. Например, раздел Дома-Коттеджи Вологды и Квартиры Новосибирска скорее всего относятся к "разным" технически сайтам. Не факт, что для таких "разных" сайтов существует единая система антифрода. Т.е. чередование загрузки объяявлений с "разных" сайтов также может быть полезным для увеличения "незаметности" Робастика для Авито. Конечно, все это только предположения, хотя и не безосновательные.

Настройка задержки находится в меню Настройки - вкладка Объявления.


У меня стабильно работает задержка 6 - 12 сек., может работать сутками.


У некоторых не работает установленная по умолчанию задержка 6 - 13 сек. Поэтому по умолчанию пока будет устанавливаться не 6 - 13, а 6 - 20. Дальше будем посмотреть.

Делитесь опытом задержки и выхода из бана в постах и комментах с указанием максимально подробных обстоятельств. Неизвестно какие обстоятельства могут быть важны: день недели, провайдер интернета, раздел объявлений, чередование разделов и т.д.
В начало
 
Геннадий
От: Saturday, June 27, 2020 5:14:45 AM Ссылка на сообщение

Ранг: Член сообщества
Группа: Участник

Зарегистрирован: 8/17/2006
Сообщений: 7,232
Местонахождение: Кашира
Юрий Гнобинский сообщал(а):
Спасибо, полезная статья для всех. Я не новичек в офисных программах но тем не менее пррчитал всю тему. Дельно и без лишней воды. Робастиком пользуюсь уже давно, года два так точно. Очень удобно иногда бывает именно с екселем работать. То что автоматизация лучше чем в базовом софте и переносить можно нужные таблицы быстро - это несомненный плюс. Обновления также регулярно выходят. Я вообще узнал про Робастик от своего двоюродного брата, он на Урале живет и бухгалтером работает. Фирма продает автозапчасти и ассортимент просто огромный. Самописный софт не подходит для такого ассортимента. Рассказывал что до Робастика приходилось много ручной работы делать а уже после время на систематизацию и построение таблиц сильно уменьшилось. Вот и я попробовал сей софт. Также остался доволен


Мой брат, работает в бухгалтерии самого, того, которому обычно поклоняются. Ну не судьба ему было родиться, сестренка получилась у родителей. Так вот. робастиком уже лет, до хрен знает сколько, пользуется, но никак не может понять зачем он нужен.

Пока нет функции удалить в ручном режиме объявления типа, стекло ломнуло, но лампочка мигает, грош цена этой системе.

Справочники РСА для Вас хороший пример де...ма которое получается при пользовании автоматами сбора информации.



Муза оценщиков ушла не пенсию 2016 г.
Тест из одного вопроса. Какие специалисты в РФ сдают экзамен, чтобы получить право продавать совесть?
Подсказка для тугодумов, это не оценщики.
В начало
 
Мамаев Денис Леонидович
От: Sunday, June 28, 2020 3:07:12 PM Ссылка на сообщение

Ранг: Член сообщества
Группа: Участник

Зарегистрирован: 4/2/2007
Сообщений: 679
Местонахождение: Якутск
Геннадий сообщал(а):
нет функции удалить в ручном режиме объявления


Поясните пожалуйста, в чем заключается функция удаления объявления в ручном режиме. Удаление откуда и что такое "ручной режим"? Какую задачу решит эта функция?
В начало
 
Геннадий
От: Monday, June 29, 2020 12:52:10 AM Ссылка на сообщение

Ранг: Член сообщества
Группа: Участник

Зарегистрирован: 8/17/2006
Сообщений: 7,232
Местонахождение: Кашира
Мамаев Денис Леонидович сообщал(а):
Геннадий сообщал(а):
нет функции удалить в ручном режиме объявления


Поясните пожалуйста, в чем заключается функция удаления объявления в ручном режиме. Удаление откуда и что такое "ручной режим"? Какую задачу решит эта функция?


Она избавит народ от ссылки - прога все посчитала. А это отказ от принятия решения - прога за тебя все решила.

Наличие такой функции избавляет человека от ссылки на прогу, типа она решила, и переносит ответственность на человека, специалиста.

Если кто думает что прога, самая умная прога может заменить специалиста, просто идиот.
Военные отказались от этого, а у них возможностей создать проги гораздо круче. Не путать принятие решений в боевых условиях и прогу "Периметр". последняя расчитана на работу когда людей уже не будет - некому принимать решение.

А замена оценщиков набором статистических данных не за горами, но будет это основано не на работе прог, а на работе самих оценщиков.

Да, да. Сами оценщики создают базу данных коротая их и ликвидируется как профессия.


Муза оценщиков ушла не пенсию 2016 г.
Тест из одного вопроса. Какие специалисты в РФ сдают экзамен, чтобы получить право продавать совесть?
Подсказка для тугодумов, это не оценщики.
В начало
 
Пользователей, просматривающих тему
Guest

Перейти
Вы не можете создавать новые темы в этом форуме.
Вы не можете отвечать в этом форуме.
Вы не можете удалять Ваши сообщения в этом форуме.
Вы не можете редактировать Ваши сообщения в этом форуме.
Вы не можете создавать опросы в этом форуме.
Вы не можете голосовать в этом форуме.
 

Разработка и дизайн сайта
«ИнфоДизайн» © 2005