|
|
|
sovconsult
|
|
Ранг: Кандидат
Группа: Участник
Зарегистрирован: 6/22/2016
Сообщений: 37
Местонахождение: Санкт-Петербург
|
Данная тема будет содержать перечень готовых бесплатных и свободных программных решений для оценки стоимости и анализа рынка.
1. Вычисление оценок параметров рынка на основе данных малых выборок: английская, испанская и русская версии материала.
Описание:
При анализе данных об открытых рынках оценщики часто сталкиваются с необходимостью оценить некоторые параметры этих рынков. Однако, скорее всего, у них никогда не будет возможности работать с данными по всему рынку. Вместо этого они собирают выборки, содержащие относительно небольшое количество наблюдений. Необходимо понимать, что любая оценка, сделанная на основе выборки, актуальна только для этой выборки. В то время как типичной целью является оценка параметра для всего рынка. В этом случае можно сказать, что любая выборочная оценка может иметь смещение относительно истинного значения всего рынка. Но мы можем частично преодолеть эту проблему, применив метод Jackknife. Данный материал содержит некоторые теоретические основы, а также практическую реализацию на Python.
Upd. Материал переработан.
2. Материал о применении бутстрапа в оценочной деятельности на примере разработки элементов кредитной политики небольшого банка. В целом можно сказать, что данный метод является одним из краеугольных камней машинного обучения и может быть использован практически повсеместно в повседневной практике оценщиков. Материал состоит из небольшой теоретической части, а также кода на языке Python. Доступен на английском, испанском и русском языках.
https://github.com/Kirill-Murashev/AI_for_valuers_book/blob/main/Parts-Chapters/Bootstrap/bootstraping_CP.ipynb
https://github.com/Kirill-Murashev/AI_for_valuers_book/blob/main/Parts-Chapters/Bootstrap/bootstraping_CP-esp.ipynb
https://github.com/Kirill-Murashev/AI_for_valuers_book/blob/main/Parts-Chapters/Bootstrap/bootstraping_CP-nrs.ipynb
|
|
|
Бурцев И.
|
|
Ранг: Член сообщества
Группа: Участник
Зарегистрирован: 9/12/2006
Сообщений: 1,917
Местонахождение: Самара
|
sovconsult сообщал(а):
Описание:
При анализе данных об открытых рынках оценщики часто сталкиваются с необходимостью оценить некоторые параметры этих рынков. Однако, скорее всего, у них никогда не будет возможности работать с данными по всему рынку. Вместо этого они собирают выборки, содержащие относительно небольшое количество наблюдений. Необходимо понимать, что любая оценка, сделанная на основе выборки, актуальна только для этой выборки. В то время как типичной целью является оценка параметра для всего рынка. В этом случае можно сказать, что любая выборочная оценка может иметь смещение относительно истинного значения всего рынка. Но мы можем частично преодолеть эту проблему, применив метод Jackknife. Данный материал содержит некоторые теоретические основы, а также практическую реализацию на Python.
Всё проще (без Jackknife и Python), если знаком с работой Дугласа Хаббарда "Как измерить всё, что угодно", в которой приводится "Правило пяти" (стр 28-29):
"Существует 93-% вероятность того, что в любой случайной выборке медиана для всей совокупности находится в интервале между наибольшим и наименьшим значениями".
Страна должна знать героев, хотя бы из сказок. "Сказки Оценщика"
|
|
|
blinov-a-v
|
|
Ранг: Член сообщества
Группа: Участник
Зарегистрирован: 12/18/2009
Сообщений: 1,042
Местонахождение: Москва
|
sovconsult сообщал(а):Random sample:
[213889. 161667. 148830. 189706. 139382. 231935. 198765. 181985. 210697. 134454. 108974. 150000. 121429. 223214. 177384. 195000. 138900. 221212. 233333. 110754. 83459. 151282. 198780. 145516. 204433.]
The mean of unit price for random sample is 147030.5
The maximum of unit price for random sample is 181481.0
…
As we can see, the expectation is 176116.525, the sample mean is 147030.500, and the adjusted mean obtained by the jackknife method is 170999.200.
У Вас ошибка (выделено жирным). А 170999.200 - это и есть выборочное среднее, а не adjusted mean obtained by the jackknife method.
Бурцев И. сообщал(а):Всё проще
Все еще проще: сначала сделаем простую арифметическую ошибку, а потом ее доблестно исправим сложным способом.
|
|
|
sovconsult
|
|
Ранг: Кандидат
Группа: Участник
Зарегистрирован: 6/22/2016
Сообщений: 37
Местонахождение: Санкт-Петербург
|
blinov-a-v сообщал(а):sovconsult сообщал(а):Random sample:
[213889. 161667. 148830. 189706. 139382. 231935. 198765. 181985. 210697. 134454. 108974. 150000. 121429. 223214. 177384. 195000. 138900. 221212. 233333. 110754. 83459. 151282. 198780. 145516. 204433.]
The mean of unit price for random sample is 147030.5
The maximum of unit price for random sample is 181481.0
…
As we can see, the expectation is 176116.525, the sample mean is 147030.500, and the adjusted mean obtained by the jackknife method is 170999.200.
У Вас ошибка (выделено жирным). А 170999.200 - это и есть выборочное среднее, а не adjusted mean obtained by the jackknife method. Бурцев И. сообщал(а):Всё проще Все еще проще: сначала сделаем простую арифметическую ошибку, а потом ее доблестно исправим сложным способом.
Посмотрите код. rs_mean считается функцией ran_sam['price_m'].mean().
|
|
|
blinov-a-v
|
|
Ранг: Член сообщества
Группа: Участник
Зарегистрирован: 12/18/2009
Сообщений: 1,042
Местонахождение: Москва
|
sovconsult сообщал(а):Посмотрите код. rs_mean считается функцией ran_sam['price_m'].mean().
Посмотрите учебник арифметики. И посчитайте среднее арифметическое по ВАШЕЙ выборке:
(213889+161667+148830+189706+139382+231935+198765+181985+210697+134454+108974+150000+121429+223214+177384+195000+138900+221212+233333+110754+83459+151282+198780+145516+204433)/25=170999,2
|
|
|
sovconsult
|
|
Ранг: Кандидат
Группа: Участник
Зарегистрирован: 6/22/2016
Сообщений: 37
Местонахождение: Санкт-Петербург
|
Спасибо за отзыв. Переработал материал. Теперь всё корректно.
|
|
|
blinov-a-v
|
|
Ранг: Член сообщества
Группа: Участник
Зарегистрирован: 12/18/2009
Сообщений: 1,042
Местонахождение: Москва
|
Да уж, точно не Holy Grail. Впрочем, это как раз нормально. Вот только я не понял, какое отношение данная программа имеет к machine learning methods. Тем не менее, спасибо, метод интересен.
Имея базу данных и средства ее оперативной обработки, я бы прежде всего заинтересовался возможностью сравнения результатов индивидуальной оценки (на малых однородных выборках) с результатами оценки на основе многофакторных регрессионных моделей с пошаговым увеличением количества параметров и объема выборки. И тут AI как раз может быть полезен для выявления оптимального объема выборки. Это не совет Вам и, тем более, не упрек; так, мысли вслух.
|
|
|
sovconsult
|
|
Ранг: Кандидат
Группа: Участник
Зарегистрирован: 6/22/2016
Сообщений: 37
Местонахождение: Санкт-Петербург
|
blinov-a-v сообщал(а):Вот только я не понял, какое отношение данная программа имеет к machine learning methods.
В общем-то нет какой-то чёткой границы между статистикой, машинным обучение, искусственным интеллектом, глубоким анализом данных и т.д. Есть много материалов на эту тему, картинок и сравнительных таблиц. Но в целом, это всё про одно: как вытащить знания из данных. Я субъективно в большей степени отношу к статистике методы, непосредственно связанные со статистическим выводом. И к машинному обучению те, где идея другая. Плюс чисто статистические методы всегда имеют строгое математическое обоснование. А методы машинного обучения далеко не всегда. У Jackknife нет особой теоретической базы. Он "просто работает".
blinov-a-v сообщал(а):Имея базу данных и средства ее оперативной обработки, я бы прежде всего заинтересовался возможностью сравнения результатов индивидуальной оценки (на малых однородных выборках) с результатами оценки на основе многофакторных регрессионных моделей с пошаговым увеличением количества параметров и объема выборки.
Я понял Вашу идею так: есть "правильная" индивидуальная оценка, и есть задача проверить, насколько хорошо справится массовая оценка. Здесь вопрос в том, что кто может дать гарантию, что индивидуальная действительно правильная.
blinov-a-v сообщал(а):И тут AI как раз может быть полезен для выявления оптимального объема выборки. Это не совет Вам и, тем более, не упрек; так, мысли вслух.
Можно рассчитать объём выборки в standalone режиме. Например, путём развития метода MDE. Он предназначен для определения максимально возможной точности при заданных параметрах. Но из его формулы можно вывести и объём выборки, используя требуемую точность как входной параметр.
|
|
|
Владимир Коломна
|
|
Ранг: Член сообщества
Группа: Участник
Зарегистрирован: 3/12/2017
Сообщений: 2,605
Местонахождение: Коломна
|
sovconsult сообщал(а):
В общем-то нет какой-то чёткой границы между статистикой, машинным обучение, искусственным интеллектом, глубоким анализом данных и т.д.
Не получается впарить (выдвинуть в топ) свою идею?
https://ocenschiki-i-eksperty.ru/events/3027-preobrazovanie-rynochnyh-dannyh-po-metodu-box-cox-i-vychislenie-ego-optimalnyh-parametrov-v-elektronnoj-tablice
"Кирилл Мурашев ответил
15 ноября 2022 в 20:11:56
Понятно, что можно просто по справочникам, но это не оценка и ей осталось жить пару лет."
Классно вы загнули:
Справочники - это не оценка;
Осталось пару лет.
Вы бы это составителям справочников сказали))) А так подождем до конца 2024 года - посмотрим сбудутся ли ваши утверждения.
|
|
|
sovconsult
|
|
Ранг: Кандидат
Группа: Участник
Зарегистрирован: 6/22/2016
Сообщений: 37
Местонахождение: Санкт-Петербург
|
Владимир Коломна сообщал(а):
Всё было сказано ещё на МКОД 2021. И да, справочники — это не оценка.
|
|
|
Владимир Коломна
|
|
Ранг: Член сообщества
Группа: Участник
Зарегистрирован: 3/12/2017
Сообщений: 2,605
Местонахождение: Коломна
|
sovconsult сообщал(а):
Всё было сказано ещё на МКОД 2021. И да, справочники — это не оценка.
А составители справочников то и не знают))) Да и оценщики, применяющие данные из справочников - не оценкой занимаются?))) Можете предоставить решение суда или заключение СРО, где завернули отчет оценщика по мотиву, что оценщик использовал данные со справочника?
А может вы просто продвигая свой продукт, очерняете продукт других? Некрасиво))) Чем ваш продукт (обывательски) лучше? Все тот же анализ данных, просто в справочниках конечная цифра, а у вас еще в зародыше. Чем вы отличаетесь от составителей справочников, на которых льете грязь?
А что есть оценка: если использовать ваш продукт - это оценка?)))
"Всяк кулик своё болото хвалит"
Что за алгоритм, почему он применим к данному и в данной, как он влияет, какие данные влияют, какой к ним нужен алгоритм и т.д. - множество вопросов, а то весь анализ может свестись к банальному: кто-то ест мясо, кто-то капусту, а вместе мы едим голубцы)))
Набор факторов, влияющих на стоимость и выборку данных?
Условия погоды влияют на стоимость? Жизненная ситуация продавца/покупателя влияет на стоимость? и т.д. - какой алгоритм у вас по факторам и какой набор этих факторов?
|
|
|
blinov-a-v
|
|
Ранг: Член сообщества
Группа: Участник
Зарегистрирован: 12/18/2009
Сообщений: 1,042
Местонахождение: Москва
|
sovconsult сообщал(а):Я понял Вашу идею так: есть "правильная" индивидуальная оценка, и есть задача проверить, насколько хорошо справится массовая оценка. Здесь вопрос в том, что кто может дать гарантию, что индивидуальная действительно правильная.
Напротив, моя практика показывает, что увеличение объема выборки с применением многофакторных моделей часто дает более высокую точность оценки (меньший доверительный интервал для регрессионного среднего по сравнению с доверительным интервалом мат.ожидания по малой выборке). Но до определенной степени. При дальнейшем увеличении объема выборки (и количества параметров модели) точность падает. Отсюда задача: найти золотую середину. Показать практическую значимость этой задачи лучше всего на базе множества подвыборок из одной базы данных. А поскольку процесс формирования и отладки модели достаточно сложно алгоритмизировать, тут как раз могут быть полезны методы AI. Которые в дальнейшем можно использовать в практической оценке, показав таким образом их эффективность.
|
|
|
sovconsult
|
|
Ранг: Кандидат
Группа: Участник
Зарегистрирован: 6/22/2016
Сообщений: 37
Местонахождение: Санкт-Петербург
|
blinov-a-v сообщал(а):sovconsult сообщал(а):Я понял Вашу идею так: есть "правильная" индивидуальная оценка, и есть задача проверить, насколько хорошо справится массовая оценка. Здесь вопрос в том, что кто может дать гарантию, что индивидуальная действительно правильная. Напротив, моя практика показывает, что увеличение объема выборки с применением многофакторных моделей часто дает более высокую точность оценки (меньший доверительный интервал для регрессионного среднего по сравнению с доверительным интервалом мат.ожидания по малой выборке). Но до определенной степени. При дальнейшем увеличении объема выборки (и количества параметров модели) точность падает. Отсюда задача: найти золотую середину. Показать практическую значимость этой задачи лучше всего на базе множества подвыборок из одной базы данных. А поскольку процесс формирования и отладки модели достаточно сложно алгоритмизировать, тут как раз могут быть полезны методы AI. Которые в дальнейшем можно использовать в практической оценке, показав таким образом их эффективность.
Вы затронули тему одновременного увеличения количества аналогов и признаков. Связь между "хорошим" соотношением числа одних и других никем теоретически не исследована. То есть работ и рекомендаций хватает, но они чисто эмпирические. На мой взгляд, связь примерно квадратическая. То есть увеличение числа признаков требует огромного непропорционального увеличения числа аналогов.
Задам встречный вопрос: какое количество аналогов Вы считаете максимально достижимым для оценщика на практике. А я скажу в ответ, какое число признаков, на мой взгляд, максимально применимо в такой ситуации. Обсудим это.
Сделать много подвыборок как раз несложно. У меня есть готовый датасет с 2355 наблюдениями. Можно из него сделать несколько сотен подвыборок.
|
|
|
Владимир Коломна
|
|
Ранг: Член сообщества
Группа: Участник
Зарегистрирован: 3/12/2017
Сообщений: 2,605
Местонахождение: Коломна
|
http://sroroo.ru/press_center/news/3709917/
"СЕРВИС ОЦЕНКИ НЕДВИЖИМОСТИ НА ОСНОВЕ ИИ «ОЦЕНКА.TECH» ПРИВЛЕК 9 МЛН РУБЛЕЙ
14 Февраля 2023
Сервис оценки недвижимости на основе искусственного интеллекта (ИИ) «Оценка.tech» привлек 9 млн рублей на pre-seed-раунде, сообщил RB.RU представитель компании. Инвестором выступил бизнес-ангел Ильдар Гамилов.
«Оценка.tech» представляет собой сервис на основе ИИ, который позволяет автоматически производить оценку объектов недвижимости. Ее заказывают заемщики для получения ипотечного кредита либо его рефинансирования..."
sovconsult, все уже изобретено и работает)))
Еще один момент по игре с данными: в соседней ветке - появился вопрос - тут же г-н Яскевич со своим наиновейшим справочником с циферькой)))
|
|
|
sovconsult
|
|
Ранг: Кандидат
Группа: Участник
Зарегистрирован: 6/22/2016
Сообщений: 37
Местонахождение: Санкт-Петербург
|
Владимир Коломна сообщал(а):http://sroroo.ru/press_center/news/3709917/
"СЕРВИС ОЦЕНКИ НЕДВИЖИМОСТИ НА ОСНОВЕ ИИ «ОЦЕНКА.TECH» ПРИВЛЕК 9 МЛН РУБЛЕЙ
14 Февраля 2023
Сервис оценки недвижимости на основе искусственного интеллекта (ИИ) «Оценка.tech» привлек 9 млн рублей на pre-seed-раунде, сообщил RB.RU представитель компании. Инвестором выступил бизнес-ангел Ильдар Гамилов.
«Оценка.tech» представляет собой сервис на основе ИИ, который позволяет автоматически производить оценку объектов недвижимости. Ее заказывают заемщики для получения ипотечного кредита либо его рефинансирования..."
sovconsult, все уже изобретено и работает)))
Еще один момент по игре с данными: в соседней ветке - появился вопрос - тут же г-н Яскевич со своим наиновейшим справочником с циферькой)))
Есть сайт ocenka.tech. Это они? Пока не могу сказать ничего определённого. Методы работы не раскрыты.
|
|
|
Мамаев Денис Леонидович
|
|
Ранг: Член сообщества
Группа: Участник
Зарегистрирован: 4/2/2007
Сообщений: 677
Местонахождение: Якутск
|
Спасибо.
Подписался.
|
|
|
Guest |