Поиск Карта сайта Главная страница

           

Добро пожаловать! Поиск | Активные темы | Вход | Регистрация

Набор решений на Python для оцещиков Опции · Вид
sovconsult
От: Monday, February 06, 2023 2:54:41 PM Ссылка на сообщение

Ранг: Кандидат
Группа: Участник

Зарегистрирован: 6/22/2016
Сообщений: 46
Местонахождение: Санкт-Петербург
Данная тема будет содержать перечень готовых бесплатных и свободных программных решений для оценки стоимости и анализа рынка.

1. Вычисление оценок параметров рынка на основе данных малых выборок: английская, испанская и русская версии материала.

Описание:
При анализе данных об открытых рынках оценщики часто сталкиваются с необходимостью оценить некоторые параметры этих рынков. Однако, скорее всего, у них никогда не будет возможности работать с данными по всему рынку. Вместо этого они собирают выборки, содержащие относительно небольшое количество наблюдений. Необходимо понимать, что любая оценка, сделанная на основе выборки, актуальна только для этой выборки. В то время как типичной целью является оценка параметра для всего рынка. В этом случае можно сказать, что любая выборочная оценка может иметь смещение относительно истинного значения всего рынка. Но мы можем частично преодолеть эту проблему, применив метод Jackknife. Данный материал содержит некоторые теоретические основы, а также практическую реализацию на Python.


Upd. Материал переработан.

2. Материал о применении бутстрапа в оценочной деятельности на примере разработки элементов кредитной политики небольшого банка. В целом можно сказать, что данный метод является одним из краеугольных камней машинного обучения и может быть использован практически повсеместно в повседневной практике оценщиков. Материал состоит из небольшой теоретической части, а также кода на языке Python. Доступен на английском, испанском и русском языках.

https://github.com/Kirill-Murashev/AI_for_valuers_book/blob/main/Parts-Chapters/Bootstrap/bootstraping_CP.ipynb

https://github.com/Kirill-Murashev/AI_for_valuers_book/blob/main/Parts-Chapters/Bootstrap/bootstraping_CP-esp.ipynb

https://github.com/Kirill-Murashev/AI_for_valuers_book/blob/main/Parts-Chapters/Bootstrap/bootstraping_CP-nrs.ipynb
В начало
 
Бурцев И.
От: Monday, February 06, 2023 6:58:22 PM Ссылка на сообщение

Ранг: Член сообщества
Группа: Участник

Зарегистрирован: 9/12/2006
Сообщений: 1,923
Местонахождение: Самара
sovconsult сообщал(а):

Описание:
При анализе данных об открытых рынках оценщики часто сталкиваются с необходимостью оценить некоторые параметры этих рынков. Однако, скорее всего, у них никогда не будет возможности работать с данными по всему рынку. Вместо этого они собирают выборки, содержащие относительно небольшое количество наблюдений. Необходимо понимать, что любая оценка, сделанная на основе выборки, актуальна только для этой выборки. В то время как типичной целью является оценка параметра для всего рынка. В этом случае можно сказать, что любая выборочная оценка может иметь смещение относительно истинного значения всего рынка. Но мы можем частично преодолеть эту проблему, применив метод Jackknife. Данный материал содержит некоторые теоретические основы, а также практическую реализацию на Python.

Всё проще (без Jackknife и Python), если знаком с работой Дугласа Хаббарда "Как измерить всё, что угодно", в которой приводится "Правило пяти" (стр 28-29):
"Существует 93-% вероятность того, что в любой случайной выборке медиана для всей совокупности находится в интервале между наибольшим и наименьшим значениями".

Страна должна знать героев, хотя бы из сказок. "Сказки Оценщика"
В начало
 
blinov-a-v
От: Monday, February 06, 2023 9:12:13 PM Ссылка на сообщение

Ранг: Член сообщества
Группа: Участник

Зарегистрирован: 12/18/2009
Сообщений: 1,092
Местонахождение: Москва
sovconsult сообщал(а):
Random sample:
[213889. 161667. 148830. 189706. 139382. 231935. 198765. 181985. 210697. 134454. 108974. 150000. 121429. 223214. 177384. 195000. 138900. 221212. 233333. 110754. 83459. 151282. 198780. 145516. 204433.]
The mean of unit price for random sample is 147030.5
The maximum of unit price for random sample is 181481.0

As we can see, the expectation is 176116.525, the sample mean is 147030.500, and the adjusted mean obtained by the jackknife method is 170999.200.

У Вас ошибка (выделено жирным). А 170999.200 - это и есть выборочное среднее, а не adjusted mean obtained by the jackknife method.

Бурцев И. сообщал(а):
Всё проще

Все еще проще: сначала сделаем простую арифметическую ошибку, а потом ее доблестно исправим сложным способом.Улыбка
В начало
 
sovconsult
От: Monday, February 06, 2023 9:48:02 PM Ссылка на сообщение

Ранг: Кандидат
Группа: Участник

Зарегистрирован: 6/22/2016
Сообщений: 46
Местонахождение: Санкт-Петербург
blinov-a-v сообщал(а):
sovconsult сообщал(а):
Random sample:
[213889. 161667. 148830. 189706. 139382. 231935. 198765. 181985. 210697. 134454. 108974. 150000. 121429. 223214. 177384. 195000. 138900. 221212. 233333. 110754. 83459. 151282. 198780. 145516. 204433.]
The mean of unit price for random sample is 147030.5
The maximum of unit price for random sample is 181481.0

As we can see, the expectation is 176116.525, the sample mean is 147030.500, and the adjusted mean obtained by the jackknife method is 170999.200.

У Вас ошибка (выделено жирным). А 170999.200 - это и есть выборочное среднее, а не adjusted mean obtained by the jackknife method.

Бурцев И. сообщал(а):
Всё проще

Все еще проще: сначала сделаем простую арифметическую ошибку, а потом ее доблестно исправим сложным способом.Улыбка


Посмотрите код. rs_mean считается функцией ran_sam['price_m'].mean().
В начало
 
blinov-a-v
От: Monday, February 06, 2023 10:02:59 PM Ссылка на сообщение

Ранг: Член сообщества
Группа: Участник

Зарегистрирован: 12/18/2009
Сообщений: 1,092
Местонахождение: Москва
sovconsult сообщал(а):
Посмотрите код. rs_mean считается функцией ran_sam['price_m'].mean().


Посмотрите учебник арифметики. И посчитайте среднее арифметическое по ВАШЕЙ выборке:
(213889+161667+148830+189706+139382+231935+198765+181985+210697+134454+108974+150000+121429+223214+177384+195000+138900+221212+233333+110754+83459+151282+198780+145516+204433)/25=170999,2
В начало
 
sovconsult
От: Monday, February 06, 2023 10:19:15 PM Ссылка на сообщение

Ранг: Кандидат
Группа: Участник

Зарегистрирован: 6/22/2016
Сообщений: 46
Местонахождение: Санкт-Петербург
Спасибо за отзыв. Переработал материал. Теперь всё корректно.
В начало
 
blinov-a-v
От: Wednesday, February 08, 2023 11:34:35 PM Ссылка на сообщение

Ранг: Член сообщества
Группа: Участник

Зарегистрирован: 12/18/2009
Сообщений: 1,092
Местонахождение: Москва
Да уж, точно не Holy Grail. Впрочем, это как раз нормально. Вот только я не понял, какое отношение данная программа имеет к machine learning methods. Тем не менее, спасибо, метод интересен.
Имея базу данных и средства ее оперативной обработки, я бы прежде всего заинтересовался возможностью сравнения результатов индивидуальной оценки (на малых однородных выборках) с результатами оценки на основе многофакторных регрессионных моделей с пошаговым увеличением количества параметров и объема выборки. И тут AI как раз может быть полезен для выявления оптимального объема выборки. Это не совет Вам и, тем более, не упрек; так, мысли вслух.Улыбка
В начало
 
sovconsult
От: Thursday, February 09, 2023 10:32:48 AM Ссылка на сообщение

Ранг: Кандидат
Группа: Участник

Зарегистрирован: 6/22/2016
Сообщений: 46
Местонахождение: Санкт-Петербург
blinov-a-v сообщал(а):
Вот только я не понял, какое отношение данная программа имеет к machine learning methods.

В общем-то нет какой-то чёткой границы между статистикой, машинным обучение, искусственным интеллектом, глубоким анализом данных и т.д. Есть много материалов на эту тему, картинок и сравнительных таблиц. Но в целом, это всё про одно: как вытащить знания из данных. Я субъективно в большей степени отношу к статистике методы, непосредственно связанные со статистическим выводом. И к машинному обучению те, где идея другая. Плюс чисто статистические методы всегда имеют строгое математическое обоснование. А методы машинного обучения далеко не всегда. У Jackknife нет особой теоретической базы. Он "просто работает".

blinov-a-v сообщал(а):
Имея базу данных и средства ее оперативной обработки, я бы прежде всего заинтересовался возможностью сравнения результатов индивидуальной оценки (на малых однородных выборках) с результатами оценки на основе многофакторных регрессионных моделей с пошаговым увеличением количества параметров и объема выборки.

Я понял Вашу идею так: есть "правильная" индивидуальная оценка, и есть задача проверить, насколько хорошо справится массовая оценка. Здесь вопрос в том, что кто может дать гарантию, что индивидуальная действительно правильная.

blinov-a-v сообщал(а):
И тут AI как раз может быть полезен для выявления оптимального объема выборки. Это не совет Вам и, тем более, не упрек; так, мысли вслух.

Можно рассчитать объём выборки в standalone режиме. Например, путём развития метода MDE. Он предназначен для определения максимально возможной точности при заданных параметрах. Но из его формулы можно вывести и объём выборки, используя требуемую точность как входной параметр.
В начало
 
Владимир Коломна
От: Thursday, February 09, 2023 10:39:43 AM Ссылка на сообщение

Ранг: Член сообщества
Группа: Участник

Зарегистрирован: 3/12/2017
Сообщений: 2,954
Местонахождение: Коломна
sovconsult сообщал(а):

В общем-то нет какой-то чёткой границы между статистикой, машинным обучение, искусственным интеллектом, глубоким анализом данных и т.д.

Не получается впарить (выдвинуть в топ) свою идею?

https://ocenschiki-i-eksperty.ru/events/3027-preobrazovanie-rynochnyh-dannyh-po-metodu-box-cox-i-vychislenie-ego-optimalnyh-parametrov-v-elektronnoj-tablice


"Кирилл Мурашев ответил
15 ноября 2022 в 20:11:56


Понятно, что можно просто по справочникам, но это не оценка и ей осталось жить пару лет."

Классно вы загнули:
Справочники - это не оценка;
Осталось пару лет.

Вы бы это составителям справочников сказали))) А так подождем до конца 2024 года - посмотрим сбудутся ли ваши утверждения.
В начало
 
sovconsult
От: Thursday, February 09, 2023 11:34:06 AM Ссылка на сообщение

Ранг: Кандидат
Группа: Участник

Зарегистрирован: 6/22/2016
Сообщений: 46
Местонахождение: Санкт-Петербург
Владимир Коломна сообщал(а):
sovconsult сообщал(а):

В общем-то нет какой-то чёткой границы между статистикой, машинным обучение, искусственным интеллектом, глубоким анализом данных и т.д.

Не получается впарить (выдвинуть в топ) свою идею?

https://ocenschiki-i-eksperty.ru/events/3027-preobrazovanie-rynochnyh-dannyh-po-metodu-box-cox-i-vychislenie-ego-optimalnyh-parametrov-v-elektronnoj-tablice


"Кирилл Мурашев ответил
15 ноября 2022 в 20:11:56


Понятно, что можно просто по справочникам, но это не оценка и ей осталось жить пару лет."

Классно вы загнули:
Справочники - это не оценка;
Осталось пару лет.

Вы бы это составителям справочников сказали))) А так подождем до конца 2024 года - посмотрим сбудутся ли ваши утверждения.


Всё было сказано ещё на МКОД 2021. И да, справочники — это не оценка.
В начало
 
Владимир Коломна
От: Thursday, February 09, 2023 11:55:49 AM Ссылка на сообщение

Ранг: Член сообщества
Группа: Участник

Зарегистрирован: 3/12/2017
Сообщений: 2,954
Местонахождение: Коломна
sovconsult сообщал(а):


Всё было сказано ещё на МКОД 2021. И да, справочники — это не оценка.


А составители справочников то и не знают))) Да и оценщики, применяющие данные из справочников - не оценкой занимаются?))) Можете предоставить решение суда или заключение СРО, где завернули отчет оценщика по мотиву, что оценщик использовал данные со справочника?
А может вы просто продвигая свой продукт, очерняете продукт других? Некрасиво))) Чем ваш продукт (обывательски) лучше? Все тот же анализ данных, просто в справочниках конечная цифра, а у вас еще в зародыше. Чем вы отличаетесь от составителей справочников, на которых льете грязь?

А что есть оценка: если использовать ваш продукт - это оценка?)))

"Всяк кулик своё болото хвалит"

Что за алгоритм, почему он применим к данному и в данной, как он влияет, какие данные влияют, какой к ним нужен алгоритм и т.д. - множество вопросов, а то весь анализ может свестись к банальному: кто-то ест мясо, кто-то капусту, а вместе мы едим голубцы)))
Набор факторов, влияющих на стоимость и выборку данных?
Условия погоды влияют на стоимость? Жизненная ситуация продавца/покупателя влияет на стоимость? и т.д. - какой алгоритм у вас по факторам и какой набор этих факторов?


В начало
 
blinov-a-v
От: Thursday, February 09, 2023 3:56:58 PM Ссылка на сообщение

Ранг: Член сообщества
Группа: Участник

Зарегистрирован: 12/18/2009
Сообщений: 1,092
Местонахождение: Москва
sovconsult сообщал(а):
Я понял Вашу идею так: есть "правильная" индивидуальная оценка, и есть задача проверить, насколько хорошо справится массовая оценка. Здесь вопрос в том, что кто может дать гарантию, что индивидуальная действительно правильная.


Напротив, моя практика показывает, что увеличение объема выборки с применением многофакторных моделей часто дает более высокую точность оценки (меньший доверительный интервал для регрессионного среднего по сравнению с доверительным интервалом мат.ожидания по малой выборке). Но до определенной степени. При дальнейшем увеличении объема выборки (и количества параметров модели) точность падает. Отсюда задача: найти золотую середину. Показать практическую значимость этой задачи лучше всего на базе множества подвыборок из одной базы данных. А поскольку процесс формирования и отладки модели достаточно сложно алгоритмизировать, тут как раз могут быть полезны методы AI. Которые в дальнейшем можно использовать в практической оценке, показав таким образом их эффективность.
В начало
 
sovconsult
От: Tuesday, February 14, 2023 11:42:07 AM Ссылка на сообщение

Ранг: Кандидат
Группа: Участник

Зарегистрирован: 6/22/2016
Сообщений: 46
Местонахождение: Санкт-Петербург
blinov-a-v сообщал(а):
sovconsult сообщал(а):
Я понял Вашу идею так: есть "правильная" индивидуальная оценка, и есть задача проверить, насколько хорошо справится массовая оценка. Здесь вопрос в том, что кто может дать гарантию, что индивидуальная действительно правильная.


Напротив, моя практика показывает, что увеличение объема выборки с применением многофакторных моделей часто дает более высокую точность оценки (меньший доверительный интервал для регрессионного среднего по сравнению с доверительным интервалом мат.ожидания по малой выборке). Но до определенной степени. При дальнейшем увеличении объема выборки (и количества параметров модели) точность падает. Отсюда задача: найти золотую середину. Показать практическую значимость этой задачи лучше всего на базе множества подвыборок из одной базы данных. А поскольку процесс формирования и отладки модели достаточно сложно алгоритмизировать, тут как раз могут быть полезны методы AI. Которые в дальнейшем можно использовать в практической оценке, показав таким образом их эффективность.

Вы затронули тему одновременного увеличения количества аналогов и признаков. Связь между "хорошим" соотношением числа одних и других никем теоретически не исследована. То есть работ и рекомендаций хватает, но они чисто эмпирические. На мой взгляд, связь примерно квадратическая. То есть увеличение числа признаков требует огромного непропорционального увеличения числа аналогов.
Задам встречный вопрос: какое количество аналогов Вы считаете максимально достижимым для оценщика на практике. А я скажу в ответ, какое число признаков, на мой взгляд, максимально применимо в такой ситуации. Обсудим это.
Сделать много подвыборок как раз несложно. У меня есть готовый датасет с 2355 наблюдениями. Можно из него сделать несколько сотен подвыборок.
В начало
 
Владимир Коломна
От: Wednesday, February 15, 2023 12:08:38 PM Ссылка на сообщение

Ранг: Член сообщества
Группа: Участник

Зарегистрирован: 3/12/2017
Сообщений: 2,954
Местонахождение: Коломна
http://sroroo.ru/press_center/news/3709917/

"СЕРВИС ОЦЕНКИ НЕДВИЖИМОСТИ НА ОСНОВЕ ИИ «ОЦЕНКА.TECH» ПРИВЛЕК 9 МЛН РУБЛЕЙ
14 Февраля 2023
Сервис оценки недвижимости на основе искусственного интеллекта (ИИ) «Оценка.tech» привлек 9 млн рублей на pre-seed-раунде, сообщил RB.RU представитель компании. Инвестором выступил бизнес-ангел Ильдар Гамилов.
«Оценка.tech» представляет собой сервис на основе ИИ, который позволяет автоматически производить оценку объектов недвижимости. Ее заказывают заемщики для получения ипотечного кредита либо его рефинансирования..."

sovconsult, все уже изобретено и работает)))
Еще один момент по игре с данными: в соседней ветке - появился вопрос - тут же г-н Яскевич со своим наиновейшим справочником с циферькой)))


В начало
 
sovconsult
От: Thursday, February 16, 2023 4:53:42 PM Ссылка на сообщение

Ранг: Кандидат
Группа: Участник

Зарегистрирован: 6/22/2016
Сообщений: 46
Местонахождение: Санкт-Петербург
Владимир Коломна сообщал(а):
http://sroroo.ru/press_center/news/3709917/

"СЕРВИС ОЦЕНКИ НЕДВИЖИМОСТИ НА ОСНОВЕ ИИ «ОЦЕНКА.TECH» ПРИВЛЕК 9 МЛН РУБЛЕЙ
14 Февраля 2023
Сервис оценки недвижимости на основе искусственного интеллекта (ИИ) «Оценка.tech» привлек 9 млн рублей на pre-seed-раунде, сообщил RB.RU представитель компании. Инвестором выступил бизнес-ангел Ильдар Гамилов.
«Оценка.tech» представляет собой сервис на основе ИИ, который позволяет автоматически производить оценку объектов недвижимости. Ее заказывают заемщики для получения ипотечного кредита либо его рефинансирования..."

sovconsult, все уже изобретено и работает)))
Еще один момент по игре с данными: в соседней ветке - появился вопрос - тут же г-н Яскевич со своим наиновейшим справочником с циферькой)))




Есть сайт ocenka.tech. Это они? Пока не могу сказать ничего определённого. Методы работы не раскрыты.
В начало
 
Мамаев Денис Леонидович
От: Friday, April 28, 2023 3:23:56 AM Ссылка на сообщение

Ранг: Член сообщества
Группа: Участник

Зарегистрирован: 4/2/2007
Сообщений: 679
Местонахождение: Якутск
Спасибо.
Подписался.
В начало
 
Пользователей, просматривающих тему
Guest

Перейти
Вы не можете создавать новые темы в этом форуме.
Вы не можете отвечать в этом форуме.
Вы не можете удалять Ваши сообщения в этом форуме.
Вы не можете редактировать Ваши сообщения в этом форуме.
Вы не можете создавать опросы в этом форуме.
Вы не можете голосовать в этом форуме.
 

Разработка и дизайн сайта
«ИнфоДизайн» © 2005