2025-12-16=
Здравый смысл и интуиция Заказчика
Детали
- При намерении решить сложную проблему Заказчик, по большому счету, может полагаться только на “здравый смысл” (продукт сознания) и “интуицию” (продукт подсознания).
- Под “здравым смыслом” в нейрофизиологии понимается результат работы сознания (интеллекта). Разработанные тесты для оценки IQ в основном фокусируются на установлении статуса эквивалентности (или различий) и выражении логических отношений.
- При этом нейрофизиология признает наличие “интуиции”, что является следствием экспериментов, в которых к известным опорным точкам мозга при решении задач неизвестно откуда присоединяются новые опорные точки.
- К спонтанным мыслям “интуиции” часто добавляется “животный элемент” мотивации, который совершенно не следует из логических построений.
- Раньше, в более простой среде, “здравый смысл” вполне справлялся с ролью демпфера для сумбурных и вздорных идей, а многие эффективные решения базировались на “здравом смысле”.
- Современная действительность, дополненная правдоподобными текстами по любым вопросам из LLM, уже не оставляет возможности безусловно надеяться на решения, продиктованные “здравым смыслом”.
- По своей сути LLM ничего не хочет, а также не может разбудить спонтанные (интуитивные) мысли, потому что их у нее нет. Машинно-генерируемые эссе часто содержат взаимно исключающие тезисы. Мотивация отвечать на вопросы была целенаправленно заложена в LLM изначально.
- Итак, пусть Заказчик обеспокоился некой проблемой и имеет мотивацию ее побороть. И пусть все это может быть сведено к решению некой задачи.
- “Здравый смысл” естественным образом сосредотачивается на обосновании возможности решить задачу, а также пытается выявить варианты ее решения: не выглядеть же глупым, ставя несуразные задачи.
- При этом комбинаторные ограничения не позволят Заказчику “на вскидку” рассмотреть много вариантов поиска решений. Все варианты будут эрзацами прошлых решений: хорошо, если это будет приемлемо. Ничего принципиально нового “здравый смысл” предложить не может.
- Вычислительные возможности Заказчика также ограничены. Вполне обоснованное заключение о возможности решить задачу можно дать только корректно поставив и значительно продвинувшись в решении этой задачи.
- Оставить все как есть или сделать как у других - подавляющий результат попыток инноваций.
- Существует принципиально другой способ мыслить и действовать при решении сложных задач.
- Генетики-биологи (исследователи ДНК, разработчики лекарств...) в тандеме с биоинформатиками работают по следующим итерациям:
= генетики по “интуиции” говорят биоинформатикам предположительно “что” и приблизительно “где” искать;
= по итогам исследований задача уточняется.
- Комбинаторная сложность в области исследования ДНК полностью исключает “здравый смысл” - работают только “интуиция”, эксперименты и профессиональные знания.
Идеи, цели, выводы
1. Самое главное, что есть у Заказчика - это его “интуиция”: он знает, что надо его бизнесу, но не всегда может это сформулировать ясно и с первого раза.
2. Разработчик-консультант не знает бизнеса, но по обозначенным маркерам может провести исследование данных Заказчика.
3. Для стабильных успехов спонтанного тандема “интуиции” Заказчика и профессионализма Разработчика надо: Заказчику целенаправленно развивать свою “интуицию”, а Разработчику адаптировать свои методы к специфике задач Заказчика.
4. Сближение позиций Заказчика и Разработчика возможно через вычисляемый язык, базирующийся на математических моделях. Язык нужен, чтобы облегчить “интуиции” Заказчика более простой доступ к глубинным структурам (по Хомскому), а также возможность описывать потребности и формулировать гипотезы. Математика нужна, чтобы быстро вычислять последствия возможных реализаций гипотез.
5. Все новое лежит только в области “интуиции”, питаемой миром духа. За “здравым смыслом” остается роль конструктора, позволяющего собирать решения из частей, кем-то уже ранее реализованных.
Здравый смысл и интуиция Заказчика
Детали
- При намерении решить сложную проблему Заказчик, по большому счету, может полагаться только на “здравый смысл” (продукт сознания) и “интуицию” (продукт подсознания).
- Под “здравым смыслом” в нейрофизиологии понимается результат работы сознания (интеллекта). Разработанные тесты для оценки IQ в основном фокусируются на установлении статуса эквивалентности (или различий) и выражении логических отношений.
- При этом нейрофизиология признает наличие “интуиции”, что является следствием экспериментов, в которых к известным опорным точкам мозга при решении задач неизвестно откуда присоединяются новые опорные точки.
- К спонтанным мыслям “интуиции” часто добавляется “животный элемент” мотивации, который совершенно не следует из логических построений.
- Раньше, в более простой среде, “здравый смысл” вполне справлялся с ролью демпфера для сумбурных и вздорных идей, а многие эффективные решения базировались на “здравом смысле”.
- Современная действительность, дополненная правдоподобными текстами по любым вопросам из LLM, уже не оставляет возможности безусловно надеяться на решения, продиктованные “здравым смыслом”.
- По своей сути LLM ничего не хочет, а также не может разбудить спонтанные (интуитивные) мысли, потому что их у нее нет. Машинно-генерируемые эссе часто содержат взаимно исключающие тезисы. Мотивация отвечать на вопросы была целенаправленно заложена в LLM изначально.
- Итак, пусть Заказчик обеспокоился некой проблемой и имеет мотивацию ее побороть. И пусть все это может быть сведено к решению некой задачи.
- “Здравый смысл” естественным образом сосредотачивается на обосновании возможности решить задачу, а также пытается выявить варианты ее решения: не выглядеть же глупым, ставя несуразные задачи.
- При этом комбинаторные ограничения не позволят Заказчику “на вскидку” рассмотреть много вариантов поиска решений. Все варианты будут эрзацами прошлых решений: хорошо, если это будет приемлемо. Ничего принципиально нового “здравый смысл” предложить не может.
- Вычислительные возможности Заказчика также ограничены. Вполне обоснованное заключение о возможности решить задачу можно дать только корректно поставив и значительно продвинувшись в решении этой задачи.
- Оставить все как есть или сделать как у других - подавляющий результат попыток инноваций.
- Существует принципиально другой способ мыслить и действовать при решении сложных задач.
- Генетики-биологи (исследователи ДНК, разработчики лекарств...) в тандеме с биоинформатиками работают по следующим итерациям:
= генетики по “интуиции” говорят биоинформатикам предположительно “что” и приблизительно “где” искать;
= по итогам исследований задача уточняется.
- Комбинаторная сложность в области исследования ДНК полностью исключает “здравый смысл” - работают только “интуиция”, эксперименты и профессиональные знания.
Идеи, цели, выводы
1. Самое главное, что есть у Заказчика - это его “интуиция”: он знает, что надо его бизнесу, но не всегда может это сформулировать ясно и с первого раза.
2. Разработчик-консультант не знает бизнеса, но по обозначенным маркерам может провести исследование данных Заказчика.
3. Для стабильных успехов спонтанного тандема “интуиции” Заказчика и профессионализма Разработчика надо: Заказчику целенаправленно развивать свою “интуицию”, а Разработчику адаптировать свои методы к специфике задач Заказчика.
4. Сближение позиций Заказчика и Разработчика возможно через вычисляемый язык, базирующийся на математических моделях. Язык нужен, чтобы облегчить “интуиции” Заказчика более простой доступ к глубинным структурам (по Хомскому), а также возможность описывать потребности и формулировать гипотезы. Математика нужна, чтобы быстро вычислять последствия возможных реализаций гипотез.
5. Все новое лежит только в области “интуиции”, питаемой миром духа. За “здравым смыслом” остается роль конструктора, позволяющего собирать решения из частей, кем-то уже ранее реализованных.
🔥3❤1👍1
2025-12-17=
Разноцветная урновая модель -1- Задачи с равномерным распределением
Детали
- Сегодня достаточно просто по эмпирическим данным построить соответствующее “именное” дискретное распределение вероятностей.
- Кроме анализа статистических показателей корректности подгонки “именного” распределения, можно построить совместный график гистограммы и этого распределения, визуально убедившись в правильности решения.
- Далее полученное дискретное распределение вероятностей можно применять в разнообразных вычислениях и моделях.
- Минус описанного подхода связан с не вполне осмысленным пониманием того, почему получилось именно такое распределение, а не другое.
- Интерпретация дискретных распределений через урновые схемы дает возможность содержательно привязать получаемое распределение к изучаемому процессу.
- Урновая модель максимально идеализирует исследуемый процесс, сводя его к унифицированной минималистической процедуре:
= имеется конечный набор урн (ящиков), в которых содержатся окрашенные шары;
= шары извлекаются из урн и возвращаются в них по определенным правилам;
= по факту состава и количества извлеченных шаров вычисляются вероятностные характеристики (статистики) процедуры.
- Пусть об объектах (шарах) имеется совсем скудная информация:
а) общее количество N;
б) все объекты (шары) различны и ни какие два из них не совпадают;
в) каждому объекту (шару) можно назначить уникальный номер (цвет).
- Каждое испытание - это равновероятное извлечение из урны одного шара с вероятностью 1/N. Все испытания - независимые. Поэтому перед новым испытанием, чтобы не нарушить равновероятность, надо вернуть ранее извлеченный шар в урну и перемешать шары.
- Описанная процедура соответствует дискретному равномерному распределению (discrete uniform distribution), оно же распределение “равновероятных исходов” (equally likely outcomes), оно же дискретное прямоугольное распределение (discrete rectangular distribution) и оно же распределение постоянной вероятности (constant probability distribution), которое имеет постоянную вероятность.
- Пусть сервер имеет 5 дисков пронумерованных 1, 2, 3, 4, 5 и каждый раз при загрузке временных файлов диск выбирается случайным образом (красная рамка).
- Случайная переменная может с равной вероятностью 1/5 принимать любое целочисленное значение. Вероятность выбора нечетных дисков 3/5, а четных 2/5.
- В синей рамке приведен график принимаемых случайной переменной значений дисков за 40 загрузок файлов. Желтой линией выделено среднее значение.
- Дискретное равномерное распределение можно обобщить на несколько переменных, каждая из которых равновероятна в некоторой области определения.
- В фиолетовой рамке приведены вероятности умножения двух одномерных случайных величин, одна из которых принимает значения от 1 до 7 (зеленые номера), а другая - от 1 до 3 (фиолетовые номера). Итоговое распределение - двухмерное.
- В малиновой рамке приведена вероятность появления определенной суммы (малиновые значения) для полученного двухмерного распределения.
- В желтой рамке приведены результаты 6 серий бросаний шестигранных кубиков в зависимости от количества бросаемых кубиков. По оси х - выпадаемая сумма, по оси у - вероятность. Каждый бросок кубиков в каждой серии - независимое испытание (не зависит от результатов предыдущих бросков).
- Каждый кубик можно считать урной, в которой находится 6 помеченных шаров, а извлекается только один.
Идеи, цели, выводы
1. Равномерное распределение применяется, когда выбор значения некого параметра процесса можно свести к равновероятному извлечению шара из урны с количеством шаров, равным количеству уникальных значений этого параметра.
Разноцветная урновая модель -1- Задачи с равномерным распределением
Детали
- Сегодня достаточно просто по эмпирическим данным построить соответствующее “именное” дискретное распределение вероятностей.
- Кроме анализа статистических показателей корректности подгонки “именного” распределения, можно построить совместный график гистограммы и этого распределения, визуально убедившись в правильности решения.
- Далее полученное дискретное распределение вероятностей можно применять в разнообразных вычислениях и моделях.
- Минус описанного подхода связан с не вполне осмысленным пониманием того, почему получилось именно такое распределение, а не другое.
- Интерпретация дискретных распределений через урновые схемы дает возможность содержательно привязать получаемое распределение к изучаемому процессу.
- Урновая модель максимально идеализирует исследуемый процесс, сводя его к унифицированной минималистической процедуре:
= имеется конечный набор урн (ящиков), в которых содержатся окрашенные шары;
= шары извлекаются из урн и возвращаются в них по определенным правилам;
= по факту состава и количества извлеченных шаров вычисляются вероятностные характеристики (статистики) процедуры.
- Пусть об объектах (шарах) имеется совсем скудная информация:
а) общее количество N;
б) все объекты (шары) различны и ни какие два из них не совпадают;
в) каждому объекту (шару) можно назначить уникальный номер (цвет).
- Каждое испытание - это равновероятное извлечение из урны одного шара с вероятностью 1/N. Все испытания - независимые. Поэтому перед новым испытанием, чтобы не нарушить равновероятность, надо вернуть ранее извлеченный шар в урну и перемешать шары.
- Описанная процедура соответствует дискретному равномерному распределению (discrete uniform distribution), оно же распределение “равновероятных исходов” (equally likely outcomes), оно же дискретное прямоугольное распределение (discrete rectangular distribution) и оно же распределение постоянной вероятности (constant probability distribution), которое имеет постоянную вероятность.
- Пусть сервер имеет 5 дисков пронумерованных 1, 2, 3, 4, 5 и каждый раз при загрузке временных файлов диск выбирается случайным образом (красная рамка).
- Случайная переменная может с равной вероятностью 1/5 принимать любое целочисленное значение. Вероятность выбора нечетных дисков 3/5, а четных 2/5.
- В синей рамке приведен график принимаемых случайной переменной значений дисков за 40 загрузок файлов. Желтой линией выделено среднее значение.
- Дискретное равномерное распределение можно обобщить на несколько переменных, каждая из которых равновероятна в некоторой области определения.
- В фиолетовой рамке приведены вероятности умножения двух одномерных случайных величин, одна из которых принимает значения от 1 до 7 (зеленые номера), а другая - от 1 до 3 (фиолетовые номера). Итоговое распределение - двухмерное.
- В малиновой рамке приведена вероятность появления определенной суммы (малиновые значения) для полученного двухмерного распределения.
- В желтой рамке приведены результаты 6 серий бросаний шестигранных кубиков в зависимости от количества бросаемых кубиков. По оси х - выпадаемая сумма, по оси у - вероятность. Каждый бросок кубиков в каждой серии - независимое испытание (не зависит от результатов предыдущих бросков).
- Каждый кубик можно считать урной, в которой находится 6 помеченных шаров, а извлекается только один.
Идеи, цели, выводы
1. Равномерное распределение применяется, когда выбор значения некого параметра процесса можно свести к равновероятному извлечению шара из урны с количеством шаров, равным количеству уникальных значений этого параметра.
👍2
2025-12-22=
Двухцветная урновая модель -2- Задачи с распределением Бернулли
Детали
- Рассмотрим дихотомные ситуации, в которых возможно только два взаимнопротивоположных результата: “успех-неудача”, “да-нет”, “годен-брак”... Причем вероятность “успеха” в одиночном испытании равна p и не меняется от испытания к испытанию (вероятность “неудачи” 1-p).
- Такие вероятностные эксперименты называют испытаниями Бернулли, а вероятность p - параметром испытаний Бернулли. Последовательность независимых испытаний Бернулли называют схемой Бернулли.
- Несколько важных дискретных распределений (биномиальное, геометрическое, Паскалевое, отрицательное биномиальное...) сформированы на основе схемы Бернулли. Разные условия, при которых “обрывается” последовательность испытаний (схема) Бернулли, порождают соответствующие распределения.
- Каждое испытание можно рассматривать как извлечение из урны одного шара.
- Испытания Бернулли являются масштабируемыми, так как неважно сколько шаров N находится в урне. Главное, чтобы сохранялись пропорции p и (1-p).
- Испытания Бернулли должны быть независимыми. Это означает, что в новом испытании можно взять старую урну, предварительно вернув в нее извлеченный шар и перемешав шары, или любую другую урну с той же пропорцией шаров p и (1-p).
- Если известен априорный уровень брака комплекса производственного оборудования, то количество бракованных изделий не должно зависеть от масштаба производства или размера исследуемой партии. Это обстоятельство лежит в основе методик оценки качества.
- Серия испытаний Бернулли порождает дискретное распределение Бернулли, которое моделирует случайный эксперимент произвольной природы с дихотомными результатами и известной вероятностью "успеха" (чтобы это не значило) и "неудачи" (противоположности "успеха").
- При известной вероятности "успеха" p можно смоделировать случайные процессы Бернулли (красная рамка).
- Чтобы иметь возможность применять распределение Бернулли при решении задач, необходимо представить исходы задачи в дихотомном варианте. Техника этого несложная (сделано “так” или “не так”). Другое дело, сколько смысла теряет задача при такой интерпретации. Часто применять схему Бернулли нецелесообразно: смысловые потери слишком большие.
- В медицине распределение Бернулли успешно используют при моделировании событий, которые происходят с одним пациентом. Это может быть болезнь, смерть...
- Рассмотрим применение распределения Бернулли в клинических испытаниях для определения вероятности положительного ответа пациента на лечение: нахождение вероятности того, что лекарство подействует при заданной дозировке.
- Пример медицинских данных в синей рамке.
- Будем использовать функцию logit, позволяющую связать размеры дозировок и дихотомные значения результатов лечения (схему Бернулли). Формула функции logit, подогнанная к имеющимся данным, приведена в оранжевой рамке.
- В фиолетовой рамке совмещены исходные данные и полученная формула зависимости.
- Теперь с полученной формулой можно решать уравнения. Вероятность “выздоровления” в 0.5 соответствует дозе 20.0411, а вероятность “выздоровления” в 0.8 - дозе 23.7601.
Идеи, цели, выводы
1. Если реальный сценарий явно демонстрирует определенную дихотомию возможных независимых исходов, то его можно смоделировать с помощью распределения Бернулли. При этом требуется следить за выполнением свойств повторяемости и независимости случайных событий.
2. Сумма случайных переменных, соответствующих распределению Бернулли, распределена иначе и соответствует биномиальному распределению. В остальных операциях (смешанные распределения...) распределение Бернулли устойчиво и может быть распознано автоматически.
3. Категориальное распределение является обобщением распределения Бернулли.
Двухцветная урновая модель -2- Задачи с распределением Бернулли
Детали
- Рассмотрим дихотомные ситуации, в которых возможно только два взаимнопротивоположных результата: “успех-неудача”, “да-нет”, “годен-брак”... Причем вероятность “успеха” в одиночном испытании равна p и не меняется от испытания к испытанию (вероятность “неудачи” 1-p).
- Такие вероятностные эксперименты называют испытаниями Бернулли, а вероятность p - параметром испытаний Бернулли. Последовательность независимых испытаний Бернулли называют схемой Бернулли.
- Несколько важных дискретных распределений (биномиальное, геометрическое, Паскалевое, отрицательное биномиальное...) сформированы на основе схемы Бернулли. Разные условия, при которых “обрывается” последовательность испытаний (схема) Бернулли, порождают соответствующие распределения.
- Каждое испытание можно рассматривать как извлечение из урны одного шара.
- Испытания Бернулли являются масштабируемыми, так как неважно сколько шаров N находится в урне. Главное, чтобы сохранялись пропорции p и (1-p).
- Испытания Бернулли должны быть независимыми. Это означает, что в новом испытании можно взять старую урну, предварительно вернув в нее извлеченный шар и перемешав шары, или любую другую урну с той же пропорцией шаров p и (1-p).
- Если известен априорный уровень брака комплекса производственного оборудования, то количество бракованных изделий не должно зависеть от масштаба производства или размера исследуемой партии. Это обстоятельство лежит в основе методик оценки качества.
- Серия испытаний Бернулли порождает дискретное распределение Бернулли, которое моделирует случайный эксперимент произвольной природы с дихотомными результатами и известной вероятностью "успеха" (чтобы это не значило) и "неудачи" (противоположности "успеха").
- При известной вероятности "успеха" p можно смоделировать случайные процессы Бернулли (красная рамка).
- Чтобы иметь возможность применять распределение Бернулли при решении задач, необходимо представить исходы задачи в дихотомном варианте. Техника этого несложная (сделано “так” или “не так”). Другое дело, сколько смысла теряет задача при такой интерпретации. Часто применять схему Бернулли нецелесообразно: смысловые потери слишком большие.
- В медицине распределение Бернулли успешно используют при моделировании событий, которые происходят с одним пациентом. Это может быть болезнь, смерть...
- Рассмотрим применение распределения Бернулли в клинических испытаниях для определения вероятности положительного ответа пациента на лечение: нахождение вероятности того, что лекарство подействует при заданной дозировке.
- Пример медицинских данных в синей рамке.
- Будем использовать функцию logit, позволяющую связать размеры дозировок и дихотомные значения результатов лечения (схему Бернулли). Формула функции logit, подогнанная к имеющимся данным, приведена в оранжевой рамке.
- В фиолетовой рамке совмещены исходные данные и полученная формула зависимости.
- Теперь с полученной формулой можно решать уравнения. Вероятность “выздоровления” в 0.5 соответствует дозе 20.0411, а вероятность “выздоровления” в 0.8 - дозе 23.7601.
Идеи, цели, выводы
1. Если реальный сценарий явно демонстрирует определенную дихотомию возможных независимых исходов, то его можно смоделировать с помощью распределения Бернулли. При этом требуется следить за выполнением свойств повторяемости и независимости случайных событий.
2. Сумма случайных переменных, соответствующих распределению Бернулли, распределена иначе и соответствует биномиальному распределению. В остальных операциях (смешанные распределения...) распределение Бернулли устойчиво и может быть распознано автоматически.
3. Категориальное распределение является обобщением распределения Бернулли.
👍1
2025-12-23=
Двухцветная урновая модель -3- Задачи с биномиальным распределением
Детали
- Биномиальное распределение впервые ввел и исследовал Бернулли. В основе биномиального распределения лежит схема Бернулли.
- Предположим, что опять в дихотомной ситуации “из урны извлекают шар, фиксируют его цвет, возвращают обратно в урну” и это происходит n раз.
- В итоге получается n случайных переменных взаимно независимых и одинаково распределенных с параметром Бернулли p.
- Сумма этих n случайных переменных распределена по биномиальному распределению с индексом n и вероятностью “успеха” p. Биномиальное распределение традиционно ориентировано на количество “успехов” и соответствующая случайная переменная выражает именно количество “успехов”.
- Случайная переменная также будет иметь биномиальное распределение, если из урны с бесконечным количеством шаров извлекается n шаров (и шары не возвращаются) при том, что каждый шар независимо от других шаров с одинаковой вероятностью p обладает некоторым определенным свойством (код, цвет...)
- Биномиальное распределение получило свое название от биномиальных коэффициентов мономов из a и b при разложения (a + b)^n. Числовые значения этих коэффициентов так же известны, как треугольник Паскаля (пурпурная рамка).
- Вероятность получить x “успехов” при извлечении n шаров и вероятности “успеха” p определяется формулой в красной рамке, которая содержит биномиальный коэффициент в качестве сомножителя.
- Более наглядное представление о сути биномиального распределения дает доска Гальтона (Galton board).
- Доска Гальтона была изобретена в конце 19 века и представляет собой устройство для статистических экспериментов (схема в зеленой рамке). Сверху доски запускается шарик, который под силой тяжести падает вниз, отскакивая от штифтов. В данном случае вероятность “успеха” p трактуется как “повернуть шарику направо” (трассы падения шариков в коричневой рамке). При p = 0.5 шарик отскакивает от штифта налево или направо равновероятно.
- Описанный процесс приводит к образованию биномиального распределения высот шариков, собравшихся в нижних слотах.
- Доска Гальтона позволяет прочувствовать, каким образом возникают распределения.
- Интервалы между событиями, то есть появление “успеха” в биномиальном распределении, подчиняются распределению Паскаля.
- Существуют отработанные схемы нахождения статистик при решении традиционные задач, в которых случайные переменные подчиняются известным распределениям.
- Менее отработаны схемы, в которых точки распределены определенным образом по региону (области). Например, когда задано известное число сотовых вышек, количество рыб в резервуаре...
- В этом контексте можно вспомнить задачу о попадании пуль в мишени и возможности моделировать точки попадания не только нормальным, но и другими распределениями вероятностей.
- В желтой рамке в центре города (в регионе радиусом 2 км от центра) сгенерированы 20 биномиально распределенных точек с p = 1.
- В голубой рамке в более сложном регионе размещены 100 точек, распределенных биномиально.
- Пространственное размещение точек, подчиняющихся определенному распределению, дает возможность исследовать пространство (регион), следуя заранее выбранной стратегии в отношении объектов, обладающих свойством p.
Идеи, цели, выводы
1. Сумма m независимых биномиально распределенных случайных переменных с разными индексами, но одинаковым р “успехов”, распределена биномиально с индексом, равным сумме всех индексов и тем же р.
2. По среднему и дисперсии экспериментальных данных легко отбросить “неподходящее” распределение:
= у биноминального дисперсия меньше среднего;
= у отрицательного биноминального дисперсия больше среднего;
= у Пуассоновского дисперсия равна среднему.
3. При увеличении n дискретное биномиальное распределение стремится к непрерывному нормальному распределению. Таким образом, биномиальное распределение аппроксимируется нормальным распределением.
Двухцветная урновая модель -3- Задачи с биномиальным распределением
Детали
- Биномиальное распределение впервые ввел и исследовал Бернулли. В основе биномиального распределения лежит схема Бернулли.
- Предположим, что опять в дихотомной ситуации “из урны извлекают шар, фиксируют его цвет, возвращают обратно в урну” и это происходит n раз.
- В итоге получается n случайных переменных взаимно независимых и одинаково распределенных с параметром Бернулли p.
- Сумма этих n случайных переменных распределена по биномиальному распределению с индексом n и вероятностью “успеха” p. Биномиальное распределение традиционно ориентировано на количество “успехов” и соответствующая случайная переменная выражает именно количество “успехов”.
- Случайная переменная также будет иметь биномиальное распределение, если из урны с бесконечным количеством шаров извлекается n шаров (и шары не возвращаются) при том, что каждый шар независимо от других шаров с одинаковой вероятностью p обладает некоторым определенным свойством (код, цвет...)
- Биномиальное распределение получило свое название от биномиальных коэффициентов мономов из a и b при разложения (a + b)^n. Числовые значения этих коэффициентов так же известны, как треугольник Паскаля (пурпурная рамка).
- Вероятность получить x “успехов” при извлечении n шаров и вероятности “успеха” p определяется формулой в красной рамке, которая содержит биномиальный коэффициент в качестве сомножителя.
- Более наглядное представление о сути биномиального распределения дает доска Гальтона (Galton board).
- Доска Гальтона была изобретена в конце 19 века и представляет собой устройство для статистических экспериментов (схема в зеленой рамке). Сверху доски запускается шарик, который под силой тяжести падает вниз, отскакивая от штифтов. В данном случае вероятность “успеха” p трактуется как “повернуть шарику направо” (трассы падения шариков в коричневой рамке). При p = 0.5 шарик отскакивает от штифта налево или направо равновероятно.
- Описанный процесс приводит к образованию биномиального распределения высот шариков, собравшихся в нижних слотах.
- Доска Гальтона позволяет прочувствовать, каким образом возникают распределения.
- Интервалы между событиями, то есть появление “успеха” в биномиальном распределении, подчиняются распределению Паскаля.
- Существуют отработанные схемы нахождения статистик при решении традиционные задач, в которых случайные переменные подчиняются известным распределениям.
- Менее отработаны схемы, в которых точки распределены определенным образом по региону (области). Например, когда задано известное число сотовых вышек, количество рыб в резервуаре...
- В этом контексте можно вспомнить задачу о попадании пуль в мишени и возможности моделировать точки попадания не только нормальным, но и другими распределениями вероятностей.
- В желтой рамке в центре города (в регионе радиусом 2 км от центра) сгенерированы 20 биномиально распределенных точек с p = 1.
- В голубой рамке в более сложном регионе размещены 100 точек, распределенных биномиально.
- Пространственное размещение точек, подчиняющихся определенному распределению, дает возможность исследовать пространство (регион), следуя заранее выбранной стратегии в отношении объектов, обладающих свойством p.
Идеи, цели, выводы
1. Сумма m независимых биномиально распределенных случайных переменных с разными индексами, но одинаковым р “успехов”, распределена биномиально с индексом, равным сумме всех индексов и тем же р.
2. По среднему и дисперсии экспериментальных данных легко отбросить “неподходящее” распределение:
= у биноминального дисперсия меньше среднего;
= у отрицательного биноминального дисперсия больше среднего;
= у Пуассоновского дисперсия равна среднему.
3. При увеличении n дискретное биномиальное распределение стремится к непрерывному нормальному распределению. Таким образом, биномиальное распределение аппроксимируется нормальным распределением.
👍2
2025-12-24=
Двухцветная урновая модель -4- Задачи с распределением Пуассона
Детали
- Вывод распределения Пуассона восходит к работам французского математика Абрахама де Муавра 1711 года. Однако распределение названо в честь Пуассона (Simeon Poisson), который использовал это распределение для моделирования неправомерных осуждений (казней) в конце 1830-х годов.
- Классическое распределение Пуассона дает вероятность наступления заданного числа событий в фиксированном интервале, если события происходят независимо от времени, прошедшего с момента последнего события, и с известной средней частотой (“лямбда” в русскоязычных работах и “мю” - в англоязычных).
- Поток таких событий называют пуассоновским потоком.
- Пуассоновский процесс представляет собой непрерывный во времени процесс со случайными дискретными событиями, подчиняющимися распределению Пуассона.
- В свое время распределение Пуассона оказалось чрезвычайно полезным при моделировании ситуаций, состоящих из большого числа независимых испытаний с постоянной, но очень малой вероятностью наступления “удач”. Например, прогнозирование числа смертей в год среди кавалеристов от ударов копытами лошадей.
- В реалиях сегодняшнего дня распределению Пуассона подчиняется количество автомобилей, свернувших с трассы на проезжаемую заправку топливом (заправок по трассе много).
- При выводе распределения Пуассона использовался следующий подход.
- Индекс n биномиального распределения увеличивался, а вероятность “успеха” p уменьшалась. При этом было введено требование, чтобы произведение n*p оставалось некой постоянной величиной (средней частотой).
- В терминах урновых моделей распределение Пуассона связано с извлечением неограниченного количества дихотомных шаров из урны.
- Самое широкое применение распределение Пуассона нашло при статистическом регулировании качества продукции, когда брак может появиться, но достаточно редко.
- Хорошо подчиняются распределению Пуассона:
= несчастные случаи и болезни;
= реакция на лекарства;
= дефекты на поверхностных материалах - зеркало, кузов авто, монитор;
= ошибки в текстах;
= загрузка колл-центра;
= отказы оборудования...
- Требование независимости событий сильно сужает круг задач, которые хотелось бы решать.
- Рассмотрим мультивариативное (multivariate) распределение Пуассона, которое расширяет распределение Пуассона на набор коррелированных случайных переменных.
- Мультивариативное (multivariate) распределение Пуассона строится по-другому, чем произведение (multiple) нескольких одномерных распределений Пуассона.
- Каждая случайная переменная мультивариативного распределения подчиняется распределению Пуассона, но все вместе они могут иметь общий фактор, порождающий их корреляцию.
- Это может быть фактор общего региона, предрасположенности к определенным болезням, единая культурная среда...
- Каждая случайная переменная в мультивариативном распределении по построению содержит общую компоненту, которая играет роль общего фактора.
- Примеры.
- В клинических исследованиях препарат А вызывал побочные реакции у 12 человек из 100 000, а препарат В - у 9 человек из 100 000. В среднем у 1 человека из 500 000 побочные реакции появлялись только при совместном употреблении А и В. Мультивариативное распределение - в коричневой рамке.
- Распределение побочных реакций на 10 000 человек с учетом корреляции - в желтой рамке.
- Университет расположен в городах-близнецах А и В. В любой день на территории университета происходит 10 автоаварий. Вне университета в городе А происходит еще 5 аварий, а в В - еще 10. Мультивариативное распределение - в фиолетовой рамке.
- Распределение аварий по городам А и В с учетом имеющейся корреляции - в малиновой рамке.
Идеи, цели, выводы
1. Существует более десятка различных выводов распределения Пуассона, возникших при исследовании непохожих ситуаций (задач).
2. Также существует аксиоматический вывод распределения Пуассона.
Двухцветная урновая модель -4- Задачи с распределением Пуассона
Детали
- Вывод распределения Пуассона восходит к работам французского математика Абрахама де Муавра 1711 года. Однако распределение названо в честь Пуассона (Simeon Poisson), который использовал это распределение для моделирования неправомерных осуждений (казней) в конце 1830-х годов.
- Классическое распределение Пуассона дает вероятность наступления заданного числа событий в фиксированном интервале, если события происходят независимо от времени, прошедшего с момента последнего события, и с известной средней частотой (“лямбда” в русскоязычных работах и “мю” - в англоязычных).
- Поток таких событий называют пуассоновским потоком.
- Пуассоновский процесс представляет собой непрерывный во времени процесс со случайными дискретными событиями, подчиняющимися распределению Пуассона.
- В свое время распределение Пуассона оказалось чрезвычайно полезным при моделировании ситуаций, состоящих из большого числа независимых испытаний с постоянной, но очень малой вероятностью наступления “удач”. Например, прогнозирование числа смертей в год среди кавалеристов от ударов копытами лошадей.
- В реалиях сегодняшнего дня распределению Пуассона подчиняется количество автомобилей, свернувших с трассы на проезжаемую заправку топливом (заправок по трассе много).
- При выводе распределения Пуассона использовался следующий подход.
- Индекс n биномиального распределения увеличивался, а вероятность “успеха” p уменьшалась. При этом было введено требование, чтобы произведение n*p оставалось некой постоянной величиной (средней частотой).
- В терминах урновых моделей распределение Пуассона связано с извлечением неограниченного количества дихотомных шаров из урны.
- Самое широкое применение распределение Пуассона нашло при статистическом регулировании качества продукции, когда брак может появиться, но достаточно редко.
- Хорошо подчиняются распределению Пуассона:
= несчастные случаи и болезни;
= реакция на лекарства;
= дефекты на поверхностных материалах - зеркало, кузов авто, монитор;
= ошибки в текстах;
= загрузка колл-центра;
= отказы оборудования...
- Требование независимости событий сильно сужает круг задач, которые хотелось бы решать.
- Рассмотрим мультивариативное (multivariate) распределение Пуассона, которое расширяет распределение Пуассона на набор коррелированных случайных переменных.
- Мультивариативное (multivariate) распределение Пуассона строится по-другому, чем произведение (multiple) нескольких одномерных распределений Пуассона.
- Каждая случайная переменная мультивариативного распределения подчиняется распределению Пуассона, но все вместе они могут иметь общий фактор, порождающий их корреляцию.
- Это может быть фактор общего региона, предрасположенности к определенным болезням, единая культурная среда...
- Каждая случайная переменная в мультивариативном распределении по построению содержит общую компоненту, которая играет роль общего фактора.
- Примеры.
- В клинических исследованиях препарат А вызывал побочные реакции у 12 человек из 100 000, а препарат В - у 9 человек из 100 000. В среднем у 1 человека из 500 000 побочные реакции появлялись только при совместном употреблении А и В. Мультивариативное распределение - в коричневой рамке.
- Распределение побочных реакций на 10 000 человек с учетом корреляции - в желтой рамке.
- Университет расположен в городах-близнецах А и В. В любой день на территории университета происходит 10 автоаварий. Вне университета в городе А происходит еще 5 аварий, а в В - еще 10. Мультивариативное распределение - в фиолетовой рамке.
- Распределение аварий по городам А и В с учетом имеющейся корреляции - в малиновой рамке.
Идеи, цели, выводы
1. Существует более десятка различных выводов распределения Пуассона, возникших при исследовании непохожих ситуаций (задач).
2. Также существует аксиоматический вывод распределения Пуассона.
👍2
2026-01-12=
Двухцветная урновая модель -5- Задачи с геометрическим распределением
Детали
- В геометрическом распределении из урны с диотомными шарами в рамках одной серии испытаний Бернулли шары извлекаются до тех пор, пока не появится первый “успех”. Таким образом, каждая серия испытаний может состоять из разного количества извлечений n: первые n-1 “неудач” плюс один “успех”.
- Если в биномиальном распределении размер серии фиксирован, то в геометрическом распределении размер серии - плавающая величина.
- Фактически геометрическое распределение подразумевает два разных распределения :
= вероятность распределения первой “удачи” (классическое геометрическое распределение);
= вероятность распределения “неудач”, предшествующих первой “удаче” (сдвинутое геометрическое распределение).
- Геометрическое распределение называется так, потому что оно ведет себя как геометрическая прогрессия. У физиков геометрическое распределение может называться распределением Фурри (Wendell Furry).
- Геометрически распределенная случайная переменная является единственной дискретной случайной переменной без памяти.
- Отсутствие памяти - это ситуации, когда время, уже затраченное на ожидание события, не влияет на то, насколько долго еще продлится ожидание. Таким образом, вероятности остаются неизменными независимо от истории процесса: прошлые состояния системы игнорируются.
- Большинство явлений не обладает свойством отсутствия памяти для наблюдателя. Так, двигатель, прошедший 200 000 км, в представлении наблюдателя будет обладать меньшим сроком службы, чем аналогичный, прошедший 10 000 км.
- Другой пример, в котором каждая “неудача” не вносит никакого вклада в прогресс к желанному “успеху”. Грабитель пытается внутри банковского депозита со 100 ячейками открыть ячейки: каждая ячейка открывается случайным кодом от 00 до 99. Даже запоминание всех “неудач” не поможет в “успехе”.
- Время, которое должен ждать продавец до прихода следующего покупателя - классический пример отсутствия памяти в теории очередей.
- В фиолетовой рамке приведен процесс подбрасывания “честной” монеты с точки зрения геометрического распределения. График показывает сколько раз выпадет орел, пока не выпадет решка.
- Пусть в потоке имеется 20% машин красного цвета. В красной рамке приведены результаты подсчета человека, стоящего у дороги и фиксирующего цвета авто, пока не проедет 30 красных машин.
- Недорогие зажигалки выдают пламя в 90% случаев. В коричневой рамке смоделирована неудачные попытки в работе зажигалки.
- Память компьютерных систем организована иерархическим образом. Вверху иерархии расположена “быстрая” память (кэш разных типов), а внизу - “медленная”. Производительность компьютера зависит от эффективности перемещения “нужных” данных между уровнями памяти.
- Все хорошо, если “нужные” данные вовремя подкачались в кэш-память. В противном случае значительные ресурсы компьютера тратятся на организацию “страничного обмена” между уровнями памяти. В свое время на обеспечение “виртуальной памяти” тратилось до 95% ресурсов компьютерной системы.
- Алгоритмы “подкачки” данных ориентированы только на минимизацию “неудач”: в кэше нужны “новые” релевантные данные, а “старые” - не важны и не нужны (кэш без памяти).
- В смешанных распределениях вычленить компоненту геометрического распределения достаточно просто.
Идеи, цели, выводы
1. Дискретное геометрическое распределение можно рассматривать как аналог непрерывного экспоненциального распределения.
2. При заданном среднем значении геометрическое распределение представляет собой распределение вероятностей с максимальной энтропией среди всех имеющихся дискретных распределений вероятностей.
Двухцветная урновая модель -5- Задачи с геометрическим распределением
Детали
- В геометрическом распределении из урны с диотомными шарами в рамках одной серии испытаний Бернулли шары извлекаются до тех пор, пока не появится первый “успех”. Таким образом, каждая серия испытаний может состоять из разного количества извлечений n: первые n-1 “неудач” плюс один “успех”.
- Если в биномиальном распределении размер серии фиксирован, то в геометрическом распределении размер серии - плавающая величина.
- Фактически геометрическое распределение подразумевает два разных распределения :
= вероятность распределения первой “удачи” (классическое геометрическое распределение);
= вероятность распределения “неудач”, предшествующих первой “удаче” (сдвинутое геометрическое распределение).
- Геометрическое распределение называется так, потому что оно ведет себя как геометрическая прогрессия. У физиков геометрическое распределение может называться распределением Фурри (Wendell Furry).
- Геометрически распределенная случайная переменная является единственной дискретной случайной переменной без памяти.
- Отсутствие памяти - это ситуации, когда время, уже затраченное на ожидание события, не влияет на то, насколько долго еще продлится ожидание. Таким образом, вероятности остаются неизменными независимо от истории процесса: прошлые состояния системы игнорируются.
- Большинство явлений не обладает свойством отсутствия памяти для наблюдателя. Так, двигатель, прошедший 200 000 км, в представлении наблюдателя будет обладать меньшим сроком службы, чем аналогичный, прошедший 10 000 км.
- Другой пример, в котором каждая “неудача” не вносит никакого вклада в прогресс к желанному “успеху”. Грабитель пытается внутри банковского депозита со 100 ячейками открыть ячейки: каждая ячейка открывается случайным кодом от 00 до 99. Даже запоминание всех “неудач” не поможет в “успехе”.
- Время, которое должен ждать продавец до прихода следующего покупателя - классический пример отсутствия памяти в теории очередей.
- В фиолетовой рамке приведен процесс подбрасывания “честной” монеты с точки зрения геометрического распределения. График показывает сколько раз выпадет орел, пока не выпадет решка.
- Пусть в потоке имеется 20% машин красного цвета. В красной рамке приведены результаты подсчета человека, стоящего у дороги и фиксирующего цвета авто, пока не проедет 30 красных машин.
- Недорогие зажигалки выдают пламя в 90% случаев. В коричневой рамке смоделирована неудачные попытки в работе зажигалки.
- Память компьютерных систем организована иерархическим образом. Вверху иерархии расположена “быстрая” память (кэш разных типов), а внизу - “медленная”. Производительность компьютера зависит от эффективности перемещения “нужных” данных между уровнями памяти.
- Все хорошо, если “нужные” данные вовремя подкачались в кэш-память. В противном случае значительные ресурсы компьютера тратятся на организацию “страничного обмена” между уровнями памяти. В свое время на обеспечение “виртуальной памяти” тратилось до 95% ресурсов компьютерной системы.
- Алгоритмы “подкачки” данных ориентированы только на минимизацию “неудач”: в кэше нужны “новые” релевантные данные, а “старые” - не важны и не нужны (кэш без памяти).
- В смешанных распределениях вычленить компоненту геометрического распределения достаточно просто.
Идеи, цели, выводы
1. Дискретное геометрическое распределение можно рассматривать как аналог непрерывного экспоненциального распределения.
2. При заданном среднем значении геометрическое распределение представляет собой распределение вероятностей с максимальной энтропией среди всех имеющихся дискретных распределений вероятностей.
👍2
2026-01-13=
Двухцветная урновая модель -6- Задачи с распределением Паскаля и отрицательным биномиальным распределением
Детали
- В настоящее время распределение Паскаля включено в семейство отрицательных биномиальных распределений. При этом распределение Паскаля отличается от ставшего классическим отрицательного биномиального распределения.
- Распределение Паскаля так же называют отрицательным биномиальным распределением времени ожидания (the waiting-time negative binomial distribution).
- Распределение Паскаля было одним из самых ранних изученных вероятностных распределений: Блез Паскаль исследовал его в 1660-х годах.
- Семейству отрицательных биномиальных распределений соответствует следующая урновая модель: в рамках условий серии испытаний Бернулли дихотомные шары извлекаются из урны до тех пор, пока не будет достигнуто необходимое количество “успехов”.
- Типовая интерпретация распределения Паскаля. Пусть на реализацию одиночного испытания затрачивается одна единица времени. Пусть W - общее число испытаний в серии Бернулли до m-го “успеха” (включая и m-ый “успех”), а p - вероятность “успеха”. Тогда W - это время ожидания m-го “успеха” в серии Бернулли.
- Случайной переменной в распределении Паскаля является число испытаний до определенного числа “успехов”, тогда как в биномиальном распределении случайной переменной является число “успехов” в течение заданного числа испытаний.
- Типовая интерпретация отрицательного биномиального распределения связана с фиксацией числа “неудач” в серии Бернулли, предшествующих m-му “успеху”.
- В синей рамке приведены формулы для вычисления вероятностей, применяемых в распределении Паскаля и отрицательном биномиальном распределении.
- Формально, если случайная переменная распределена как отрицательно биномиальная, то она же будет распределена по Паскалю с добавкой некоторой величины: распределение Паскаля - это “сдвинутое” отрицательное биномиальное распределение.
- Распределение Паскаля можно рассматривать как расширение распределения Пуассона, в котором ограничения на параметр “лямбда” ослаблены. Вместо требования постоянной скорости событий в течение периода наблюдения, распределение Паскаля предполагает, что эта скорость изменяется в соответствии с гамма-распределением.
- По этой причине распределение Паскаля более гибкое, чем распределение Пуассона. Поэтому оно часто используется для моделирования данных о количестве событий с избыточной дисперсией, или данных, в которых дисперсия превышает среднее значение.
- Например, распределение Паскаля можно использовать для моделирования количества вариантов законопроектов, которые должны быть предложены комитетами и комиссиями, прежде чем законодательным органом будет принято требуемое количество законов.
- Отрицательное биноминальное распределение возникает в жизни очень просто. Например, можно определить выпадение шестерки на игральной кости как “успех”, а выпадение любого другого числа как “неудачу”. Ответ на вопрос о том, сколько неудачных бросков произойдет до того, как произойдет третий “успех”, будет лежать в русле отрицательного биномиального распределения.
- Альтернативой является моделирование не числа неудач, а общего числа испытаний. Для заданного неслучайного числа “успехов” (g), число “неудач” (n-g) является случайным, так как общее число испытаний (n) является случайным.
- Например, отрицательным биномиальным распределением можно моделировать случайное количество дней (n), в течении которых определенная машина работает заданное неслучайное число дней (g) до поломки.
Идеи, цели, выводы
1. Есть предположение, что термин “отрицательное биномиальное...” возник из-за того, что биномиальный коэффициент, фигурирующий в формуле вероятности, проще записывается с использованием отрицательных чисел.
Двухцветная урновая модель -6- Задачи с распределением Паскаля и отрицательным биномиальным распределением
Детали
- В настоящее время распределение Паскаля включено в семейство отрицательных биномиальных распределений. При этом распределение Паскаля отличается от ставшего классическим отрицательного биномиального распределения.
- Распределение Паскаля так же называют отрицательным биномиальным распределением времени ожидания (the waiting-time negative binomial distribution).
- Распределение Паскаля было одним из самых ранних изученных вероятностных распределений: Блез Паскаль исследовал его в 1660-х годах.
- Семейству отрицательных биномиальных распределений соответствует следующая урновая модель: в рамках условий серии испытаний Бернулли дихотомные шары извлекаются из урны до тех пор, пока не будет достигнуто необходимое количество “успехов”.
- Типовая интерпретация распределения Паскаля. Пусть на реализацию одиночного испытания затрачивается одна единица времени. Пусть W - общее число испытаний в серии Бернулли до m-го “успеха” (включая и m-ый “успех”), а p - вероятность “успеха”. Тогда W - это время ожидания m-го “успеха” в серии Бернулли.
- Случайной переменной в распределении Паскаля является число испытаний до определенного числа “успехов”, тогда как в биномиальном распределении случайной переменной является число “успехов” в течение заданного числа испытаний.
- Типовая интерпретация отрицательного биномиального распределения связана с фиксацией числа “неудач” в серии Бернулли, предшествующих m-му “успеху”.
- В синей рамке приведены формулы для вычисления вероятностей, применяемых в распределении Паскаля и отрицательном биномиальном распределении.
- Формально, если случайная переменная распределена как отрицательно биномиальная, то она же будет распределена по Паскалю с добавкой некоторой величины: распределение Паскаля - это “сдвинутое” отрицательное биномиальное распределение.
- Распределение Паскаля можно рассматривать как расширение распределения Пуассона, в котором ограничения на параметр “лямбда” ослаблены. Вместо требования постоянной скорости событий в течение периода наблюдения, распределение Паскаля предполагает, что эта скорость изменяется в соответствии с гамма-распределением.
- По этой причине распределение Паскаля более гибкое, чем распределение Пуассона. Поэтому оно часто используется для моделирования данных о количестве событий с избыточной дисперсией, или данных, в которых дисперсия превышает среднее значение.
- Например, распределение Паскаля можно использовать для моделирования количества вариантов законопроектов, которые должны быть предложены комитетами и комиссиями, прежде чем законодательным органом будет принято требуемое количество законов.
- Отрицательное биноминальное распределение возникает в жизни очень просто. Например, можно определить выпадение шестерки на игральной кости как “успех”, а выпадение любого другого числа как “неудачу”. Ответ на вопрос о том, сколько неудачных бросков произойдет до того, как произойдет третий “успех”, будет лежать в русле отрицательного биномиального распределения.
- Альтернативой является моделирование не числа неудач, а общего числа испытаний. Для заданного неслучайного числа “успехов” (g), число “неудач” (n-g) является случайным, так как общее число испытаний (n) является случайным.
- Например, отрицательным биномиальным распределением можно моделировать случайное количество дней (n), в течении которых определенная машина работает заданное неслучайное число дней (g) до поломки.
Идеи, цели, выводы
1. Есть предположение, что термин “отрицательное биномиальное...” возник из-за того, что биномиальный коэффициент, фигурирующий в формуле вероятности, проще записывается с использованием отрицательных чисел.
👍2
2026-01-14=
Двухцветная урновая модель -7- Задачи с гипергеометрическим распределением
Детали
- Гипергеометрическое распределение де Муавр получил в 1710-х годах как решение задачи с урнами, предложенной Гюйгенсом.
- Функция плотности вероятности (PDF) гипергеометрического распределения может быть выражена через обобщенную гипергеометрическую специальную функцию (Hypergeometric2F1). По этому основанию распределение и получило свое наименование.
- Шары в урне при моделировании гипергеометрического распределения дихотомные, интерпретируются как относящиеся к двум взаимоисключающим категориям, образующим некую единую популяцию.
- Каждый извлеченный из урны шар в урну не возвращается. Поэтому после каждого извлечения шара численность популяции в урне уменьшается, а вероятность “успеха” изменяется (не остается постоянной как в серии Бернулли).
- Пусть в урне имеется популяция из N дихотомных шаров (элементов), среди которых M шаров обладают определенным свойством (их извлечение будем считать “успехом”). Пусть из урны извлечено n шаров без возвращения. Число “успехов” в данной выборке подчиняется гипергеометрическому распределению.
- Около 100 лет после своего открытия гипергеометрическое распределение не было востребовано. Его статус изменился после того, как Курно (Antoine Cournot) применил его для оценки вероятностей, связанных с призывом на военную службу, обеспечением парламентского кворума, а также формированием судейского корпуса.
- Вероятность извлечения любого набора дихотомных шаров зависит только от их количества, а не порядка извлечения: совместное распределение инвариантно (взаимозаменяемо) относительно конечной перестановки извлеченных шаров.
- Это свойство лежит в основе практического применения гипергеометрического распределения. Особенно в области голосования.
- Извлечение шаров из урны может быть с возвращением шаров - тогда получается биномиальное распределение. Извлечение шаров может быть без возвращения - тогда получается гипергеометрическое распределение. Однако, если количество извлекаемых шаров мало по сравнению с размером популяции (количеством шаров в урне), то получаемые распределения будут совпадать (их мера согласованности будет приближаться к 100%).
- Применение распределения “в лоб”. Пусть в партии из 10 изделий (популяция) обнаружено 5 бракованных (количество “успехов”). В оранжевой рамке смоделировано 20 итераций процесса тестирования с выборкой в 6 изделий из популяции в 10 изделий. Точками отмечено количество брака.
- В прикладном плане оказалось, что гипергеометрическое распределение - это больше про справедливость и честность “игры”, а также про особенности подсчета результатов.
- Пусть в голосовании участвует некоторое количество персон. Часть из них выступает “против”, а часть - “отсутствует” (все равно они “за” или “против”).
- Пусть имеется 100 участников голосования, 50 - “против”, 1 - “отсутствует”. Вероятность принятия закона 50% (закон принимается, если “против” не больше, чем “за”) - красная рамка.
- В той же ситуации при 2-х “отсутствующих” вероятность принятия закона 25% - фиолетовая рамка.
- Результаты голосования сильно зависят от четности/нечетности “отсутствующих”.
- В приведенных примерах случайная переменная “отсутствующих” распределена гипергеометрически.
Идеи, цели, выводы
1. Гипергеометрическое распределение также называют центральным или классическим. Это позволяет отличить его от качественно похожих распределений Валлениуса (Wallenius Hypergeometric Distribution) и Фишера (Fisher Hypergeometric Distribution).
2. На практике широко распространены тесты, основанные на гипергеометрическом распределении. Они используется для выявления субпопуляций, которые чрезмерно или недостаточно представлены в выборке. Например, маркетинговое подразделение может использовать тест для понимания клиентской базы и норм представительства различных демографических подгрупп.
Двухцветная урновая модель -7- Задачи с гипергеометрическим распределением
Детали
- Гипергеометрическое распределение де Муавр получил в 1710-х годах как решение задачи с урнами, предложенной Гюйгенсом.
- Функция плотности вероятности (PDF) гипергеометрического распределения может быть выражена через обобщенную гипергеометрическую специальную функцию (Hypergeometric2F1). По этому основанию распределение и получило свое наименование.
- Шары в урне при моделировании гипергеометрического распределения дихотомные, интерпретируются как относящиеся к двум взаимоисключающим категориям, образующим некую единую популяцию.
- Каждый извлеченный из урны шар в урну не возвращается. Поэтому после каждого извлечения шара численность популяции в урне уменьшается, а вероятность “успеха” изменяется (не остается постоянной как в серии Бернулли).
- Пусть в урне имеется популяция из N дихотомных шаров (элементов), среди которых M шаров обладают определенным свойством (их извлечение будем считать “успехом”). Пусть из урны извлечено n шаров без возвращения. Число “успехов” в данной выборке подчиняется гипергеометрическому распределению.
- Около 100 лет после своего открытия гипергеометрическое распределение не было востребовано. Его статус изменился после того, как Курно (Antoine Cournot) применил его для оценки вероятностей, связанных с призывом на военную службу, обеспечением парламентского кворума, а также формированием судейского корпуса.
- Вероятность извлечения любого набора дихотомных шаров зависит только от их количества, а не порядка извлечения: совместное распределение инвариантно (взаимозаменяемо) относительно конечной перестановки извлеченных шаров.
- Это свойство лежит в основе практического применения гипергеометрического распределения. Особенно в области голосования.
- Извлечение шаров из урны может быть с возвращением шаров - тогда получается биномиальное распределение. Извлечение шаров может быть без возвращения - тогда получается гипергеометрическое распределение. Однако, если количество извлекаемых шаров мало по сравнению с размером популяции (количеством шаров в урне), то получаемые распределения будут совпадать (их мера согласованности будет приближаться к 100%).
- Применение распределения “в лоб”. Пусть в партии из 10 изделий (популяция) обнаружено 5 бракованных (количество “успехов”). В оранжевой рамке смоделировано 20 итераций процесса тестирования с выборкой в 6 изделий из популяции в 10 изделий. Точками отмечено количество брака.
- В прикладном плане оказалось, что гипергеометрическое распределение - это больше про справедливость и честность “игры”, а также про особенности подсчета результатов.
- Пусть в голосовании участвует некоторое количество персон. Часть из них выступает “против”, а часть - “отсутствует” (все равно они “за” или “против”).
- Пусть имеется 100 участников голосования, 50 - “против”, 1 - “отсутствует”. Вероятность принятия закона 50% (закон принимается, если “против” не больше, чем “за”) - красная рамка.
- В той же ситуации при 2-х “отсутствующих” вероятность принятия закона 25% - фиолетовая рамка.
- Результаты голосования сильно зависят от четности/нечетности “отсутствующих”.
- В приведенных примерах случайная переменная “отсутствующих” распределена гипергеометрически.
Идеи, цели, выводы
1. Гипергеометрическое распределение также называют центральным или классическим. Это позволяет отличить его от качественно похожих распределений Валлениуса (Wallenius Hypergeometric Distribution) и Фишера (Fisher Hypergeometric Distribution).
2. На практике широко распространены тесты, основанные на гипергеометрическом распределении. Они используется для выявления субпопуляций, которые чрезмерно или недостаточно представлены в выборке. Например, маркетинговое подразделение может использовать тест для понимания клиентской базы и норм представительства различных демографических подгрупп.
👍2
2026-01-19=
Промежуточные итоги для урновых моделей
Детали
- Ситуация 1: распределение вероятностей не считается важным. Имея результаты наблюдения над неким состоянием, можно взять среднее значение и вставить его в модель (формулу). Валидация модели и учет “случайности” потребуют ввода в модель вариаций (случайных отклонений). Применение нормально распределенных вариаций создаст “научный туман”, но дискредитирует модель.
- Ситуация 2: вместе со среднем значением из распределения вероятностей используется значение дисперсии. Обычно интуитивно ожидается, что дисперсия одинакова на всем протяжении значений случайной переменной. Анализ квантильной регрессии показывает, что чаще всего это не так. График в синей рамке. Данные - голубые линии, черный пунктир - среднее, красная и оранжевая линии - квантили. Не похоже, что процесс структурно однороден.
- Ситуация 3: по результатам наблюдений автоматически формируются несколько наиболее подходящих “именных” распределений. Эти распределения по одним тестам-критериям будут хороши, а по другим не очень (критерии-тесты в зеленой рамке). В итоге многокритериальный выбор “нужного” распределения (фиолетовая рамка) становится непростой задачей.
- По сути распределение вероятностей отражает существующие структурные особенности как самого наблюдаемого процесса (состояния), так и способа наблюдения.
- В этом плане содержательная интерпретация результатов наблюдения может помочь выявить “правильное” распределение.
- В ходе наблюдения получаются только дискретные распределения, а они могут быть сведены к той или иной урновой модели.
- Можно выделить три урновые схемы:
= с возвращением - свойства каждого извлеченного шара фиксируются, а он сам возвращается в урну;
= без возвращения - каждый извлеченный шар не возвращается обратно в урну;
= с добавлением (урны Пойа) - после каждого извлечения шара в урну по некоторым правилам добавляются новые шары.
- Урны с возвращением относятся к схеме Бернулли. После извлечения и возвращения шара ситуация как бы обновляется к первоначальному виду.
- При этом вероятность извлечения шаров в каждом эксперименте остается постоянной. А результаты предыдущих экспериментов не влияют на результаты будущих.
- Примеры. Опрос общественного мнения и контроль качества для крупной производственной партии.
- Урны без возвращения. Каждое извлечение шара меняет вероятности в оставшейся в урне популяции. Количество шаров, которые можно извлечь, ограничено (ограниченность ресурсов).
- Примеры. Отбор присяжных. Состав билетов на студенческом экзамене.
- Пойя (George Polya) разработал новую урновую модель в начале 20 веке. В этой модели при каждом извлечении шара он не только возвращается в урну, но вместе с ним в урну добавляются еще несколько шаров.
- Новые свойства урновых моделей Пойа связаны с реализацией положительной обратной связи и учетом предшествующего опыта.
- Примеры. Вирусный контент - чем больше просмотров, тем выше вероятность того, что этот контент покажут другим. Популярные товары со временем становятся еще более популярными (пока не сменится мода).
- Принцип “богатые еще больше богатеют” в математическом плане находит свое отражение в моделях урн Пойа.
Идеи, цели, выводы
1. Если интерпретировать исследуемый процесс с точки зрения урновых моделей, то часть получаемых “именных” распределений отсеется сами собой, как несоответствующие сути процесса. Это сильно упростит дальнейшую интерпретацию распределений.
2. Наблюдаемые данные редко бывают “чистыми”. Можно получить смешанное распределение, в котором несколько “именных” распределений объединены через весовые множители.
3. Еще более сложная ситуация связана с тем, что время происходящих событий может быть распределено по одному, а сами состояния - по-другому.
Промежуточные итоги для урновых моделей
Детали
- Ситуация 1: распределение вероятностей не считается важным. Имея результаты наблюдения над неким состоянием, можно взять среднее значение и вставить его в модель (формулу). Валидация модели и учет “случайности” потребуют ввода в модель вариаций (случайных отклонений). Применение нормально распределенных вариаций создаст “научный туман”, но дискредитирует модель.
- Ситуация 2: вместе со среднем значением из распределения вероятностей используется значение дисперсии. Обычно интуитивно ожидается, что дисперсия одинакова на всем протяжении значений случайной переменной. Анализ квантильной регрессии показывает, что чаще всего это не так. График в синей рамке. Данные - голубые линии, черный пунктир - среднее, красная и оранжевая линии - квантили. Не похоже, что процесс структурно однороден.
- Ситуация 3: по результатам наблюдений автоматически формируются несколько наиболее подходящих “именных” распределений. Эти распределения по одним тестам-критериям будут хороши, а по другим не очень (критерии-тесты в зеленой рамке). В итоге многокритериальный выбор “нужного” распределения (фиолетовая рамка) становится непростой задачей.
- По сути распределение вероятностей отражает существующие структурные особенности как самого наблюдаемого процесса (состояния), так и способа наблюдения.
- В этом плане содержательная интерпретация результатов наблюдения может помочь выявить “правильное” распределение.
- В ходе наблюдения получаются только дискретные распределения, а они могут быть сведены к той или иной урновой модели.
- Можно выделить три урновые схемы:
= с возвращением - свойства каждого извлеченного шара фиксируются, а он сам возвращается в урну;
= без возвращения - каждый извлеченный шар не возвращается обратно в урну;
= с добавлением (урны Пойа) - после каждого извлечения шара в урну по некоторым правилам добавляются новые шары.
- Урны с возвращением относятся к схеме Бернулли. После извлечения и возвращения шара ситуация как бы обновляется к первоначальному виду.
- При этом вероятность извлечения шаров в каждом эксперименте остается постоянной. А результаты предыдущих экспериментов не влияют на результаты будущих.
- Примеры. Опрос общественного мнения и контроль качества для крупной производственной партии.
- Урны без возвращения. Каждое извлечение шара меняет вероятности в оставшейся в урне популяции. Количество шаров, которые можно извлечь, ограничено (ограниченность ресурсов).
- Примеры. Отбор присяжных. Состав билетов на студенческом экзамене.
- Пойя (George Polya) разработал новую урновую модель в начале 20 веке. В этой модели при каждом извлечении шара он не только возвращается в урну, но вместе с ним в урну добавляются еще несколько шаров.
- Новые свойства урновых моделей Пойа связаны с реализацией положительной обратной связи и учетом предшествующего опыта.
- Примеры. Вирусный контент - чем больше просмотров, тем выше вероятность того, что этот контент покажут другим. Популярные товары со временем становятся еще более популярными (пока не сменится мода).
- Принцип “богатые еще больше богатеют” в математическом плане находит свое отражение в моделях урн Пойа.
Идеи, цели, выводы
1. Если интерпретировать исследуемый процесс с точки зрения урновых моделей, то часть получаемых “именных” распределений отсеется сами собой, как несоответствующие сути процесса. Это сильно упростит дальнейшую интерпретацию распределений.
2. Наблюдаемые данные редко бывают “чистыми”. Можно получить смешанное распределение, в котором несколько “именных” распределений объединены через весовые множители.
3. Еще более сложная ситуация связана с тем, что время происходящих событий может быть распределено по одному, а сами состояния - по-другому.
👍2
2026-01-20=
Двухцветная урновая модель -8- Модель урн Пойа
Детали
- Правила для урновой модели Пойа. Пусть в урне находятся несколько красных и черных шаров. На каждом шаге из урны извлекается один шар, далее он возвращается в урну и в урну добавляется еще один шар того же цвета.
- Для 4 красных и 3 черных шаров в малиновой рамке построена гистограмма для 20 шагов (извлечений и добавлений). В коричневой рамке показана динамика поведения после 1 000 шагов.
- Урновую модель Пойа и ее предельную форму можно рассматривать как модели с эффектом последействия: извлечение шара определенного цвета из урны увеличивает вероятность извлечения шара того же цвета при следующем извлечении.
- Урновую модель Пойа можно модифицировать, добавляя не один, а несколько шаров того же или противоположного цвета.
- В красной рамке для начального количества 27 красных и 13 черных шаров показана динамика количества шаров в урне, если при извлечении красного шара добавляется 1 красный шар, а при извлечении черного шара добавляется 6 черных шаров (шаг 0).
- В фиолетовой рамке показано, что количество шаров в урне на 5 шаге почти сравнялось.
- Обозначенная схема работает во многих рекомендательных системах социальных сетей (учитываются просмотры и “лайки”).
- В исторической ретроспективе этот же механизм проявлялся в том, что железные и автомобильные дороги строились как продолжение существующих.
- Урновую модель Пойа можно сделать “уравновешивающей”. Вместе с извлеченным шаром в урну возвращается шар другого цвета. Так Олимпийский комитет снижает во время жеребьевки возможность несколько раз подряд проводить соревнования на том же континенте (в этом случае урновая модель многоцветная).
- В долгосрочной перспективе в процессе “уравновешивания” количество шаров каждого цвета в урне будет одинаковым (известен итог процесса).
- В классическом процессе Пойа история извлечения шаров важна на каждом шаге и может развиться в диспозицию, когда любое число шаров одного цвета будет равновероятно (процесс может закончиться как угодно).
- Например, если осмотр установки показывает “штатную” ситуацию, то в соответствующую “ментальную” урну добавляется шар “штатно”, и бдительность наблюдателя усыпляется. Обнаружение “неполадок” увеличивает тревожность наблюдателя. При этом состояние наблюдателя ни как не влияет на возникновение аварии.
- Тоже самое касается отношения людей в категориях “помог - подвел”.
- Урновая модель Пойа приводит к распределению Пойа-Эппли (George Polya, Alfred Aeppli), которое появилось в 1920-х годах. Иногда оно называется распределением Пойа-Эгенберга (von F. Eggenberger) или просто распределением Пойа. Пойа был научным руководителем как Эппли, так и Эгенберга, и публиковал с ними совместные статьи.
- Классическое распределение Пойа-Эппли представляет собой распределение суммы независимых одинаково распределенных геометрических случайных переменных, которые подчиняются распределению Пуассона. Вместо модели с одной урной это распределение можно описать как модель урн, в которой число урн распределено по закону Пуассона, а число шариков в каждой урне подчиняется геометрическому распределению.
- Пример. Число очагов распространения инфекционной болезни подчиняется распределению Пуассона с неким средним значением “мю”/”лямбда”, а число больных в очаге подчиняется геометрическому распределению с неким средним значением p. Решив уравнения для соответствующих уравнений распределений вероятностей, можно удостовериться, что вероятность общего числа больных будет подчиняться распределению Пойа-Эппли.
Идеи, цели, выводы
1. Существует очень много модификаций модели урн Пойа, отражающие разные ее приложения.
2. Модель урн Пойа тесно связана с дискретным марковским процессом, состояния которого определяются числом шаров любого одного выбранного цвета на n-ом шаге. Таким образом, модель Пойа служит мостиком в другую область математики.
Двухцветная урновая модель -8- Модель урн Пойа
Детали
- Правила для урновой модели Пойа. Пусть в урне находятся несколько красных и черных шаров. На каждом шаге из урны извлекается один шар, далее он возвращается в урну и в урну добавляется еще один шар того же цвета.
- Для 4 красных и 3 черных шаров в малиновой рамке построена гистограмма для 20 шагов (извлечений и добавлений). В коричневой рамке показана динамика поведения после 1 000 шагов.
- Урновую модель Пойа и ее предельную форму можно рассматривать как модели с эффектом последействия: извлечение шара определенного цвета из урны увеличивает вероятность извлечения шара того же цвета при следующем извлечении.
- Урновую модель Пойа можно модифицировать, добавляя не один, а несколько шаров того же или противоположного цвета.
- В красной рамке для начального количества 27 красных и 13 черных шаров показана динамика количества шаров в урне, если при извлечении красного шара добавляется 1 красный шар, а при извлечении черного шара добавляется 6 черных шаров (шаг 0).
- В фиолетовой рамке показано, что количество шаров в урне на 5 шаге почти сравнялось.
- Обозначенная схема работает во многих рекомендательных системах социальных сетей (учитываются просмотры и “лайки”).
- В исторической ретроспективе этот же механизм проявлялся в том, что железные и автомобильные дороги строились как продолжение существующих.
- Урновую модель Пойа можно сделать “уравновешивающей”. Вместе с извлеченным шаром в урну возвращается шар другого цвета. Так Олимпийский комитет снижает во время жеребьевки возможность несколько раз подряд проводить соревнования на том же континенте (в этом случае урновая модель многоцветная).
- В долгосрочной перспективе в процессе “уравновешивания” количество шаров каждого цвета в урне будет одинаковым (известен итог процесса).
- В классическом процессе Пойа история извлечения шаров важна на каждом шаге и может развиться в диспозицию, когда любое число шаров одного цвета будет равновероятно (процесс может закончиться как угодно).
- Например, если осмотр установки показывает “штатную” ситуацию, то в соответствующую “ментальную” урну добавляется шар “штатно”, и бдительность наблюдателя усыпляется. Обнаружение “неполадок” увеличивает тревожность наблюдателя. При этом состояние наблюдателя ни как не влияет на возникновение аварии.
- Тоже самое касается отношения людей в категориях “помог - подвел”.
- Урновая модель Пойа приводит к распределению Пойа-Эппли (George Polya, Alfred Aeppli), которое появилось в 1920-х годах. Иногда оно называется распределением Пойа-Эгенберга (von F. Eggenberger) или просто распределением Пойа. Пойа был научным руководителем как Эппли, так и Эгенберга, и публиковал с ними совместные статьи.
- Классическое распределение Пойа-Эппли представляет собой распределение суммы независимых одинаково распределенных геометрических случайных переменных, которые подчиняются распределению Пуассона. Вместо модели с одной урной это распределение можно описать как модель урн, в которой число урн распределено по закону Пуассона, а число шариков в каждой урне подчиняется геометрическому распределению.
- Пример. Число очагов распространения инфекционной болезни подчиняется распределению Пуассона с неким средним значением “мю”/”лямбда”, а число больных в очаге подчиняется геометрическому распределению с неким средним значением p. Решив уравнения для соответствующих уравнений распределений вероятностей, можно удостовериться, что вероятность общего числа больных будет подчиняться распределению Пойа-Эппли.
Идеи, цели, выводы
1. Существует очень много модификаций модели урн Пойа, отражающие разные ее приложения.
2. Модель урн Пойа тесно связана с дискретным марковским процессом, состояния которого определяются числом шаров любого одного выбранного цвета на n-ом шаге. Таким образом, модель Пойа служит мостиком в другую область математики.
👍2
2026-01-21=
Двухцветная урновая модель -9- Задачи с гипергеометрическим распределением Фишера и Валлениуса
Детали
- Гипергеометрическое распределение Фишера базируется на классическом гипергеометрическом распределении при допущении, что шары в урне могут иметь различный вес и извлекаются независимым образом.
- Формально распределение Фишера называется нецентральным гипергеометрическим, что позволяет его отделить от классического гипергеометрического распределения.
- Для распределения Валлениуса процедура извлечения шаров является зависимой. Кроме этого, в распределении Фишера число извлеченных шаров n считается апостериорно экспериментам, а в распределении Валлениуса n задается априорно.
- Для наглядности приведем примеры с ловлей рыбы. Разные виды рыб обладают разным весом (одинаковым для вида). Вероятность поймать рыбу пропорциональна ее весу.
- Ловля рыбы большой сетью (закидывается на длительное время). Независимость - рыба может приплыть в область сети и уплыть из нее. Ожидаемое число пойманной рыбы описывается своим биномиальным распределением для каждого вида рыбы.
- Если становится известно (после подсчета) общее число рыб n, то распределение видов выловленной рыбы - распределение Фишера.
- Ловля на удочку (последовательно), пока не поймано n рыб. Распределение видов выловленной рыбы - распределение Валлениуса.
- Ловля рыбы маленькой сетью. Ловля идет до улова в n рыб. Если в каждом улове мало рыбы, но много забросов сети - ситуация близка к распределению Валлениуса. Если в каждом улове много рыбы и мало забросов сети - близка к распределению Фишера.
- В распределении Фишера вводится параметр “отношения шансов” (odds ratio), который нужен для количественного описания уровня “близости” двух разных признаков в дихотомной статистической популяции.
- Остальные параметры как у гипергеометрического распределения.
- Пусть урна содержит 10 красных шаров (m1), имеющих вероятностный вес w1, и 15 синих шаров (m2), имеющих вероятностный вес w2. При независимой выборке извлекается 12 шаров (n) из популяции m1 + m2 = 25 шаров.
- Извлечение случайного шара происходит таким образом, чтобы вероятность для конкретного шара была пропорциональна его весу и не зависела от того, что происходит с другими шарами. В этом случае количество извлеченных шаров определенного цвета подчиняется биномиальному распределению.
- В зеленой рамке приведено распределение Фишера для красных шаров. Гистограмма показывает соотношение шаров соответствующего цвета при симуляции 20 выборок.
- В синей рамке при тех же параметрах приведено распределение Фишера для синих шаров.
- В распределении Фишера структурно имеется “основное” распределение и “фоновое”, с которым сравнивается “основное” (распределения для красных и синих шаров или наоборот).
- В красной рамке приведены распределение и гистограммы для красных шаров при другом соотношении w1/w2.
- При независимом извлечении шаров вероятность извлечь красный или синий шар зависит от его вероятностного веса. Количество выбранных шаров определенного цвета подчиняется биномиальному распределению. Чтобы экспериментально получить распределение Фишера необходимо повторять эксперимент до тех пор, пока не будет получено n шаров.
- Распределение Фишера может быть альтернативно выведено как условное распределение для двух биномиально распределенных случайных величин. Это определяет специфику решаемых с его помощью задач.
- Например, реакция на определенное лечение в двух разных группах пациентов. Применение распределения Фишера связано с вычислением доверительных интервалов для отношения шансов при сравнении реакции групп на разное лечение.
Идеи, цели, выводы
1. Гипергеометрическое распределение Фишера широко применяется при проведении статистических тестов (критериев): для фиксации недостаточного или чрезмерного представительства в популяции.
Двухцветная урновая модель -9- Задачи с гипергеометрическим распределением Фишера и Валлениуса
Детали
- Гипергеометрическое распределение Фишера базируется на классическом гипергеометрическом распределении при допущении, что шары в урне могут иметь различный вес и извлекаются независимым образом.
- Формально распределение Фишера называется нецентральным гипергеометрическим, что позволяет его отделить от классического гипергеометрического распределения.
- Для распределения Валлениуса процедура извлечения шаров является зависимой. Кроме этого, в распределении Фишера число извлеченных шаров n считается апостериорно экспериментам, а в распределении Валлениуса n задается априорно.
- Для наглядности приведем примеры с ловлей рыбы. Разные виды рыб обладают разным весом (одинаковым для вида). Вероятность поймать рыбу пропорциональна ее весу.
- Ловля рыбы большой сетью (закидывается на длительное время). Независимость - рыба может приплыть в область сети и уплыть из нее. Ожидаемое число пойманной рыбы описывается своим биномиальным распределением для каждого вида рыбы.
- Если становится известно (после подсчета) общее число рыб n, то распределение видов выловленной рыбы - распределение Фишера.
- Ловля на удочку (последовательно), пока не поймано n рыб. Распределение видов выловленной рыбы - распределение Валлениуса.
- Ловля рыбы маленькой сетью. Ловля идет до улова в n рыб. Если в каждом улове мало рыбы, но много забросов сети - ситуация близка к распределению Валлениуса. Если в каждом улове много рыбы и мало забросов сети - близка к распределению Фишера.
- В распределении Фишера вводится параметр “отношения шансов” (odds ratio), который нужен для количественного описания уровня “близости” двух разных признаков в дихотомной статистической популяции.
- Остальные параметры как у гипергеометрического распределения.
- Пусть урна содержит 10 красных шаров (m1), имеющих вероятностный вес w1, и 15 синих шаров (m2), имеющих вероятностный вес w2. При независимой выборке извлекается 12 шаров (n) из популяции m1 + m2 = 25 шаров.
- Извлечение случайного шара происходит таким образом, чтобы вероятность для конкретного шара была пропорциональна его весу и не зависела от того, что происходит с другими шарами. В этом случае количество извлеченных шаров определенного цвета подчиняется биномиальному распределению.
- В зеленой рамке приведено распределение Фишера для красных шаров. Гистограмма показывает соотношение шаров соответствующего цвета при симуляции 20 выборок.
- В синей рамке при тех же параметрах приведено распределение Фишера для синих шаров.
- В распределении Фишера структурно имеется “основное” распределение и “фоновое”, с которым сравнивается “основное” (распределения для красных и синих шаров или наоборот).
- В красной рамке приведены распределение и гистограммы для красных шаров при другом соотношении w1/w2.
- При независимом извлечении шаров вероятность извлечь красный или синий шар зависит от его вероятностного веса. Количество выбранных шаров определенного цвета подчиняется биномиальному распределению. Чтобы экспериментально получить распределение Фишера необходимо повторять эксперимент до тех пор, пока не будет получено n шаров.
- Распределение Фишера может быть альтернативно выведено как условное распределение для двух биномиально распределенных случайных величин. Это определяет специфику решаемых с его помощью задач.
- Например, реакция на определенное лечение в двух разных группах пациентов. Применение распределения Фишера связано с вычислением доверительных интервалов для отношения шансов при сравнении реакции групп на разное лечение.
Идеи, цели, выводы
1. Гипергеометрическое распределение Фишера широко применяется при проведении статистических тестов (критериев): для фиксации недостаточного или чрезмерного представительства в популяции.
👍2
2026-01-26=
Двухцветная урновая модель -10- Задачи с бета-биномиальным распределением
Детали
- Бета-биномиальное распределение так же называют отрицательным гипергеометрическое распределением или распределением Пойа. Переход между этими распределениями осуществляется по простым правилам (связанными со сдвигами значений параметров).
- PDF бета-биномиального распределения может иметь или монотонно возрастающие значения, или один “пик”, или одну “впадину”, или быть равномерным. Графики в синей рамке.
- Бета-биномиальное распределение полезно в ситуациях, когда вероятность успеха в каждом (из фиксированного или известного числа испытаний Бернулли) либо неизвестна, либо случайна.
- Дискретное бета-биномиальное распределение - это “биномиальное” распределение, в котором вероятность успеха в каждом из n испытаний не фиксирована, а выбирается случайным образом из “бета”-распределения (является непрерывным распределением).
- Если биномиальное распределение требует фиксированные вероятности, то вероятности бета-биномиального распределения могут варьироваться от испытания к испытанию. Это делает его очень гибким распределением по сравнению с биномиальным.
- Объяснение бета-биномиального распределения в терминах урн с дихотомными шарами. Шар извлекается из урны Пойа, содержащей “альфа” красных шаров и “бета” черных шаров. Пусть, если извлекается красный шар, то в урну возвращаются два красных шара. И, наоборот, все то же самое для черных шаров. Если это повторяется n раз, то вероятность выпадения красных шаров подчиняется бета-биномиальному распределению с параметрами n , “альфа” и “бета”.
- Для сравнения:
= если извлечение происходит просто с возвращением шара, то возникает биномиальное распределение;
= если извлечение происходит без возвращения шара - гипергеометрическое распределение.
- Бета-биномиальное распределение впервые применил Мюнх (Hugo Muench) в 1930 для моделирования медицинских испытаний.
- Существует несколько типовых прикладных задач, которые приводят к бета-биномиальным распределениям.
- При выборочном контроле партии изделий можно априорно не фиксировать объем выборки, но принимать/браковать партию, если текущее выборочное значение числа дефектных изделий меньше/больше некоторого уровня С, зависящего от числа проверенных изделий. Это упрощает выборочный контроль. Изделия проверяются до тех пор, пока не будет получено С+1 дефектных (партия бракуется) или n − С стандартных (партия принимается). Число наблюдений до момента принятия решения (объем выборки) случайно и имеет бета-биномиальное распределение.
- Выборочная схема оценки объема биологических популяций так же приводит к бета-биномиальному распределению. Сначала маркируются К случайно пойманных особей, и они отпускаются. Затем индивидуумы популяции отлавливаются до обнаружения М помеченных особей.
- В последнее время бета-биномиальные распределения широко используются для оценки эффективности устройств биометрической идентификации.
- Бета-биномиальное распределение часто применяется при реализации байесовских методов.
- Бета-распределение удобно использовать в качестве априорного распределения в связке с биномиальным правдоподобием, а параметры “альфа”и “бета” считать «успехами» или «неудачами» до того, как данные начинают собираться.
- Такой подход связан со свойством сопряженности распределений и отнесением распределений к определенным семействам.
- В данном случае, если априорно до начала испытаний соединено бета-распределение и биномиальное распределение, то апостериорно это даст результат испытаний, распределение которого будет бета-распределением, но уже с другими параметрами, чем у априорного бета-распределения.
Идеи, цели, выводы
1. Дискретное равномерное распределение представляет собой частный случай бета-биномиального распределения.
Двухцветная урновая модель -10- Задачи с бета-биномиальным распределением
Детали
- Бета-биномиальное распределение так же называют отрицательным гипергеометрическое распределением или распределением Пойа. Переход между этими распределениями осуществляется по простым правилам (связанными со сдвигами значений параметров).
- PDF бета-биномиального распределения может иметь или монотонно возрастающие значения, или один “пик”, или одну “впадину”, или быть равномерным. Графики в синей рамке.
- Бета-биномиальное распределение полезно в ситуациях, когда вероятность успеха в каждом (из фиксированного или известного числа испытаний Бернулли) либо неизвестна, либо случайна.
- Дискретное бета-биномиальное распределение - это “биномиальное” распределение, в котором вероятность успеха в каждом из n испытаний не фиксирована, а выбирается случайным образом из “бета”-распределения (является непрерывным распределением).
- Если биномиальное распределение требует фиксированные вероятности, то вероятности бета-биномиального распределения могут варьироваться от испытания к испытанию. Это делает его очень гибким распределением по сравнению с биномиальным.
- Объяснение бета-биномиального распределения в терминах урн с дихотомными шарами. Шар извлекается из урны Пойа, содержащей “альфа” красных шаров и “бета” черных шаров. Пусть, если извлекается красный шар, то в урну возвращаются два красных шара. И, наоборот, все то же самое для черных шаров. Если это повторяется n раз, то вероятность выпадения красных шаров подчиняется бета-биномиальному распределению с параметрами n , “альфа” и “бета”.
- Для сравнения:
= если извлечение происходит просто с возвращением шара, то возникает биномиальное распределение;
= если извлечение происходит без возвращения шара - гипергеометрическое распределение.
- Бета-биномиальное распределение впервые применил Мюнх (Hugo Muench) в 1930 для моделирования медицинских испытаний.
- Существует несколько типовых прикладных задач, которые приводят к бета-биномиальным распределениям.
- При выборочном контроле партии изделий можно априорно не фиксировать объем выборки, но принимать/браковать партию, если текущее выборочное значение числа дефектных изделий меньше/больше некоторого уровня С, зависящего от числа проверенных изделий. Это упрощает выборочный контроль. Изделия проверяются до тех пор, пока не будет получено С+1 дефектных (партия бракуется) или n − С стандартных (партия принимается). Число наблюдений до момента принятия решения (объем выборки) случайно и имеет бета-биномиальное распределение.
- Выборочная схема оценки объема биологических популяций так же приводит к бета-биномиальному распределению. Сначала маркируются К случайно пойманных особей, и они отпускаются. Затем индивидуумы популяции отлавливаются до обнаружения М помеченных особей.
- В последнее время бета-биномиальные распределения широко используются для оценки эффективности устройств биометрической идентификации.
- Бета-биномиальное распределение часто применяется при реализации байесовских методов.
- Бета-распределение удобно использовать в качестве априорного распределения в связке с биномиальным правдоподобием, а параметры “альфа”и “бета” считать «успехами» или «неудачами» до того, как данные начинают собираться.
- Такой подход связан со свойством сопряженности распределений и отнесением распределений к определенным семействам.
- В данном случае, если априорно до начала испытаний соединено бета-распределение и биномиальное распределение, то апостериорно это даст результат испытаний, распределение которого будет бета-распределением, но уже с другими параметрами, чем у априорного бета-распределения.
Идеи, цели, выводы
1. Дискретное равномерное распределение представляет собой частный случай бета-биномиального распределения.
👍1
2026-01-27=
Многоцветная урновая модель -11- Мультиномиальное распределение
Детали
- Мультиномиальное (multinomial, многочленный) или полиномиальное (в русскоязычных публикациях) распределение представляет собой обобщение биномиального распределения с количеством исходов больше 2.
- Таким образом, предполагается, что исследуемая конечная популяция имеет фиксированное количество классификаций не меньше 3-х.
- Урновая интерпретация. Пусть имеется урна, содержащая m различных типов (цветов) шаров. Причем доля каждого типа шаров составляет p(i), где i изменяется от 1 до m. Мультиномиальное распределение моделирует сценарий, в котором из этой урны извлекаются n шаров с возвращением.
- Интерпретация через игральные кости. Пусть имеется игральная кость с m гранями (категориями). Причем вероятность выпадения каждой грани имеет собственную, заранее заданную, вероятность “успеха” (кость “нечестная”).
- В каждом из n независимых испытаний “успех” связан только с одной категорией.
- Мультиномиальное распределение очень близко к категориальному распределению. Так в результате каждого из n испытаний возникает категориальное распределение.
- Мультиномиальное распределение дает вероятность любой конкретной комбинации чисел “успехов” для различных категорий.
- В основе распределения лежит мультиномиальная комбинаторная функция, которая определяет количество способов распределения N различных объектов по m классам, каждый размером n(i), причем p(i) = n(i) / N и i пробегает от 1 до m.
- В синей рамке приведены изометрические поверхности логарифма количества способов разместить набор объектов трех разных типов, каждый из которых может содержать от 1 до 6 объектов соответствующего типа.
- В оранжевой рамке приведено мультиномиальное распределение для объектов трех типов: первые два n1 и n2 представлены в количестве от 0 до 20 каждый, а третий получается в случае, если разница 20 - (n1 + n2) является положительной. При этом также задается вероятность появления этих объектов (0.4, 0.3, 0.3).
- При двух аргументах мультиномиальная функция совпадает с биномиальными коэффициентами.
- Мультиномиальное распределение исследовал в 1708 году французский математик Монмор (Pierre Remond de Montmort), и оно было первым изученным распределением для не дихотомных шаров.
- Первая группа задач для мультиномиального распределения связана с заполнением коробок (контейнеров) некоторыми объектами так, чтобы, например, вероятность нахождения в них этих объектов, соответствовала заранее заданным вероятностям. Разными категориями в этом случае являются коробки.
- В зеленой рамке приведено распределение вероятностей, которое показывает, когда ни один контейнер не будет пустым: объектов 7, а контейнеров от 2 до 7.
- Вторая группа задач - эффективная организация ответов на телефонные звонки, относящиеся к некоторым категориям: полиция, пожарные... В этом случае считается вероятность соединения оператором абонента с соответствующей службой: линия может быть занята, абонент соединен правильно, абонент соединен неправильно.
- Третья группа задач - результаты голосования и роль “неопределившихся” в конечном выборе. Например, при известной доле сторонников каждого из двух кандидатов можно вычислить вероятность того, какой расклад голосов “неопределившихся” может изменить исход голосования (за, против, воздержался).
Идеи, цели, выводы
1. В некоторых областях, таких как обработка естественного языка, категориальные и мультиномиальные распределения часто становятся эквивалентными конструкциями. Это происходит, если категория обозначается не целым числом из некого списка, а вектором, в котором на соответствующем месте стоит 1, а все остальные - это 0.
Многоцветная урновая модель -11- Мультиномиальное распределение
Детали
- Мультиномиальное (multinomial, многочленный) или полиномиальное (в русскоязычных публикациях) распределение представляет собой обобщение биномиального распределения с количеством исходов больше 2.
- Таким образом, предполагается, что исследуемая конечная популяция имеет фиксированное количество классификаций не меньше 3-х.
- Урновая интерпретация. Пусть имеется урна, содержащая m различных типов (цветов) шаров. Причем доля каждого типа шаров составляет p(i), где i изменяется от 1 до m. Мультиномиальное распределение моделирует сценарий, в котором из этой урны извлекаются n шаров с возвращением.
- Интерпретация через игральные кости. Пусть имеется игральная кость с m гранями (категориями). Причем вероятность выпадения каждой грани имеет собственную, заранее заданную, вероятность “успеха” (кость “нечестная”).
- В каждом из n независимых испытаний “успех” связан только с одной категорией.
- Мультиномиальное распределение очень близко к категориальному распределению. Так в результате каждого из n испытаний возникает категориальное распределение.
- Мультиномиальное распределение дает вероятность любой конкретной комбинации чисел “успехов” для различных категорий.
- В основе распределения лежит мультиномиальная комбинаторная функция, которая определяет количество способов распределения N различных объектов по m классам, каждый размером n(i), причем p(i) = n(i) / N и i пробегает от 1 до m.
- В синей рамке приведены изометрические поверхности логарифма количества способов разместить набор объектов трех разных типов, каждый из которых может содержать от 1 до 6 объектов соответствующего типа.
- В оранжевой рамке приведено мультиномиальное распределение для объектов трех типов: первые два n1 и n2 представлены в количестве от 0 до 20 каждый, а третий получается в случае, если разница 20 - (n1 + n2) является положительной. При этом также задается вероятность появления этих объектов (0.4, 0.3, 0.3).
- При двух аргументах мультиномиальная функция совпадает с биномиальными коэффициентами.
- Мультиномиальное распределение исследовал в 1708 году французский математик Монмор (Pierre Remond de Montmort), и оно было первым изученным распределением для не дихотомных шаров.
- Первая группа задач для мультиномиального распределения связана с заполнением коробок (контейнеров) некоторыми объектами так, чтобы, например, вероятность нахождения в них этих объектов, соответствовала заранее заданным вероятностям. Разными категориями в этом случае являются коробки.
- В зеленой рамке приведено распределение вероятностей, которое показывает, когда ни один контейнер не будет пустым: объектов 7, а контейнеров от 2 до 7.
- Вторая группа задач - эффективная организация ответов на телефонные звонки, относящиеся к некоторым категориям: полиция, пожарные... В этом случае считается вероятность соединения оператором абонента с соответствующей службой: линия может быть занята, абонент соединен правильно, абонент соединен неправильно.
- Третья группа задач - результаты голосования и роль “неопределившихся” в конечном выборе. Например, при известной доле сторонников каждого из двух кандидатов можно вычислить вероятность того, какой расклад голосов “неопределившихся” может изменить исход голосования (за, против, воздержался).
Идеи, цели, выводы
1. В некоторых областях, таких как обработка естественного языка, категориальные и мультиномиальные распределения часто становятся эквивалентными конструкциями. Это происходит, если категория обозначается не целым числом из некого списка, а вектором, в котором на соответствующем месте стоит 1, а все остальные - это 0.
👍2
2026-01-28=
Многоцветная урновая модель -12- Задачи с отрицательным мультиномиальным и гипергеометрическим мультивариативным распределениями
Детали
- Мультивариативное гипергеометрическое распределение (Multivariate Hypergeometric Distribution) связано с извлечением шаров без возвращения для n выборок. Обобщает классическое гипергеометрическое распределение (дихотомные шары) на случаи применения шаров с более, чем двумя цветами.
- Отрицательное мультиномиальное распределение (Negative Multinomial Distribution) связано с извлечением шаров с возвращением для n выборок. Впервые было исследовано в середине 1950-х годов как многомерный аналог одномерного отрицательного биномиального распределения.
- У обоих распределений есть дихотомные аналоги с хорошим объяснением через урновые модели. Если работает аналогия, при которой просто становится больше цветов шаров - категорий объектов, то понимание распределения остается на том же уровне.
- С другой стороны, эти же распределения занимают определенное место в теории вероятностей и имеют объяснение с точки зрения общей теории. В этом случае “интуитивная” урновая интерпретация не работает.
- Для решения практических задач возможность оперировать количеством категорий больше двух очень важна. Рассмотрение распределений без привязки к дихотомным “родоначальникам” приводит к тому, что вместо “понимания” распределения в него приходится только “верить”.
- Далее при объяснении распределений будет сделан акцент на символическое представление результата, которое явным образом показывает связь с “родоначальным” распределением. Это дает возможность резко снизить сложность при объяснении распределений.
- Для мультивариативного гипергеометрического распределения вероятность определенной комбинации значений по категориям (цветам) получается путем подсчета способов извлечения необходимого числа из каждой категории и деления на количество способов извлечения для всей популяции.
- Пусть урна содержит 12 красных, 23 синих и 9 зеленых шаров: всего 44 шара. Построим мультивариативное гипергеометрическое распределение при извлечении 5 шаров (без возвращения) - оранжевая рамка.
- Задавая значения переменных x, y, z в полученной формуле распределения можно решать конкретные задачи.
- В зеленой рамке приведена симуляция вероятностного процесса, заданного полученным распределением, для 30 экспериментов.
- Рассмотрим три категории объектов (шаров). Отрицательное мультиномиальное распределение показывает распределение количества неудач в последовательности испытаний с вероятностью “успеха” (1 - ( p1 + p2 + p3)) до n “успехов”. При этом каждая из 3-х случайных переменных подчиняется отрицательному биномиальному распределению.
- В синей рамке на голубом фоне задано отрицательное мультиномиальное распределение для трех категорий. Из этого распределения вычленяются маргинальные распределения по каждой категории (коричневый фон). При этом получаются классические отрицательные биномиальные распределения.
- Вычленение двухмерных маргинальных распределений оставляет первоначальный тип распределения - отрицательное мультиномиальное (зеленый фон).
- В практическом плане важно, каким образом в задачах появляется много категорий.
- Пусть имеется “нечестная” монета. Надо найти вероятность того, сколько раз надо бросать монету, чтобы подряд выпало два “орла”. Пусть вероятность выпадения “орла” равна p. Имеется два события, при которых процесс начинается заново: выпадение “решки” (вероятность 1-p) или выпадение “орел, решка” (вероятность p*(1-p)). Событие “успеха” - это выпадение “орел, орел” (вероятность p^2). Итого получается 3 категории.
- Отрицательное мультиномиального распределение очень хорошо моделирует частоту аварий и травматизма на производстве.
Идеи, цели, выводы
1. На этом список дискретных распределений вероятностей, которые имеют ясные и просто интерпретируемые урновые модели исчерпывается.
Многоцветная урновая модель -12- Задачи с отрицательным мультиномиальным и гипергеометрическим мультивариативным распределениями
Детали
- Мультивариативное гипергеометрическое распределение (Multivariate Hypergeometric Distribution) связано с извлечением шаров без возвращения для n выборок. Обобщает классическое гипергеометрическое распределение (дихотомные шары) на случаи применения шаров с более, чем двумя цветами.
- Отрицательное мультиномиальное распределение (Negative Multinomial Distribution) связано с извлечением шаров с возвращением для n выборок. Впервые было исследовано в середине 1950-х годов как многомерный аналог одномерного отрицательного биномиального распределения.
- У обоих распределений есть дихотомные аналоги с хорошим объяснением через урновые модели. Если работает аналогия, при которой просто становится больше цветов шаров - категорий объектов, то понимание распределения остается на том же уровне.
- С другой стороны, эти же распределения занимают определенное место в теории вероятностей и имеют объяснение с точки зрения общей теории. В этом случае “интуитивная” урновая интерпретация не работает.
- Для решения практических задач возможность оперировать количеством категорий больше двух очень важна. Рассмотрение распределений без привязки к дихотомным “родоначальникам” приводит к тому, что вместо “понимания” распределения в него приходится только “верить”.
- Далее при объяснении распределений будет сделан акцент на символическое представление результата, которое явным образом показывает связь с “родоначальным” распределением. Это дает возможность резко снизить сложность при объяснении распределений.
- Для мультивариативного гипергеометрического распределения вероятность определенной комбинации значений по категориям (цветам) получается путем подсчета способов извлечения необходимого числа из каждой категории и деления на количество способов извлечения для всей популяции.
- Пусть урна содержит 12 красных, 23 синих и 9 зеленых шаров: всего 44 шара. Построим мультивариативное гипергеометрическое распределение при извлечении 5 шаров (без возвращения) - оранжевая рамка.
- Задавая значения переменных x, y, z в полученной формуле распределения можно решать конкретные задачи.
- В зеленой рамке приведена симуляция вероятностного процесса, заданного полученным распределением, для 30 экспериментов.
- Рассмотрим три категории объектов (шаров). Отрицательное мультиномиальное распределение показывает распределение количества неудач в последовательности испытаний с вероятностью “успеха” (1 - ( p1 + p2 + p3)) до n “успехов”. При этом каждая из 3-х случайных переменных подчиняется отрицательному биномиальному распределению.
- В синей рамке на голубом фоне задано отрицательное мультиномиальное распределение для трех категорий. Из этого распределения вычленяются маргинальные распределения по каждой категории (коричневый фон). При этом получаются классические отрицательные биномиальные распределения.
- Вычленение двухмерных маргинальных распределений оставляет первоначальный тип распределения - отрицательное мультиномиальное (зеленый фон).
- В практическом плане важно, каким образом в задачах появляется много категорий.
- Пусть имеется “нечестная” монета. Надо найти вероятность того, сколько раз надо бросать монету, чтобы подряд выпало два “орла”. Пусть вероятность выпадения “орла” равна p. Имеется два события, при которых процесс начинается заново: выпадение “решки” (вероятность 1-p) или выпадение “орел, решка” (вероятность p*(1-p)). Событие “успеха” - это выпадение “орел, орел” (вероятность p^2). Итого получается 3 категории.
- Отрицательное мультиномиального распределение очень хорошо моделирует частоту аварий и травматизма на производстве.
Идеи, цели, выводы
1. На этом список дискретных распределений вероятностей, которые имеют ясные и просто интерпретируемые урновые модели исчерпывается.
🔥1
2026-02-02=
Значение урновых моделей для решения практических задач (1 из 2)
Детали
- Знания о распределении вероятностей и их интерпретация в терминах урновых моделей существенно упрощают решение многих практических задач.
- Более того, они меняют методологию решения задач, допускающих неопределенность.
- Сначала о классе применяемой модели и типе наблюдателя.
- Во-первых, о модели можно думать как об “объекте-заменителе”, поведение которого в определенных аспектах эквивалентно исходному объекту, но проще для изучения.
- В этом случае исследователь чаще всего уподобляется “создателю” и пытается в модели объективно отразить известные существенные характеристики действительности. Таким образом он ментально оказывается “вне модели” и воспринимает ее со стороны.
- Во-вторых, о модели можно думать как о видении действительности наблюдателем, находящимся “внутри модели/объекта”. В этом случае существует только то, что наблюдатель может прямо или косвенно оценить.
- Для обоих подходов важно, что наблюдатель обладает ограниченными вычислительными возможностями, которые он может потратить тем или иным образом.
- Первый класс моделей будем связывать с “цифровым двойником”, а второй - с “цифровым советником”.
- “Цифровой советник” заведомо учитывает опыт и интуицию наблюдателя и вычисляет только то, что вычислимо и полезно наблюдателю.
- Пример: железнодорожная (ЖД) станция и работа маневрового диспетчера. Принятие решения в условиях сильного снегопада слишком сложно для моделирования. В этой ситуации “цифровой двойник” станет бесполезным, а “цифровой советник” все еще будет способен просчитывать варианты определенных действий, нужных наблюдателю (диспетчеру).
- Все процессы на ЖД станции дискретные и сложные, как и в большинстве процессов бизнеса.
- Переход от дискретности к дифференциальным (разностным) уравнениям позволяет грубо оценить “усредненный” поток. Но это важно только для верхнеуровневого моделирования (участок, железная дорога...).
- Распределение вероятностей дает возможность редуцировать дискретную сложность и представить ее случайностью, более понятной наблюдателю. В этом случае редукция представляет собой статистическое “усреднение” действительности.
- При этом распределение вероятностей хорошо отражает случайные вариации, которые могут происходить в исследуемом процессе.
- События, связанные со временем прихода составов на ЖД станцию, может быть распределены по одному, а состояния вагонов внутри составов - по другому. Для моделирования “через уравнения” учет таких обстоятельств приводит к громоздким конструкциям. В распределениях вероятностей это учитывается более просто через применение соответствующего распределения вероятностей или его модификации.
Идеи, цели, выводы
1. Характеристики класса применяемой модели проще всего привязать к “точки зрения”, которую использует наблюдатель для оценки действительности.
2. В физике такую “точку зрения” называют системой отсчета и связывают с координатами. При происходящей динамике физических процессов и при выбранной системе отсчета координаты в значительной степени стабильны во времени. Так, равномерное прямолинейное движение является продуктом применяемой системы отсчета.
3. Формализация в экономических задачах представляется более сложным процессом, так как сама область порождена “придуманными” человеком субъективными правилами.
4. Для наблюдателя, находящегося “внутри модели”, нужны приемлемые аналоги стабильных координат физики.
5. Очевидными претендентами на формализацию “точки зрения” (системы отсчета) для экономических задач являются: возможность установления эквивалентности объектов и действий, выявленные инварианты, а так же распределения вероятностей для плохо определенных и сложных параметров.
5. При этом распределения вероятностей участвуют как в установлении эквивалентности, так и в выявлении инвариантов.
Значение урновых моделей для решения практических задач (1 из 2)
Детали
- Знания о распределении вероятностей и их интерпретация в терминах урновых моделей существенно упрощают решение многих практических задач.
- Более того, они меняют методологию решения задач, допускающих неопределенность.
- Сначала о классе применяемой модели и типе наблюдателя.
- Во-первых, о модели можно думать как об “объекте-заменителе”, поведение которого в определенных аспектах эквивалентно исходному объекту, но проще для изучения.
- В этом случае исследователь чаще всего уподобляется “создателю” и пытается в модели объективно отразить известные существенные характеристики действительности. Таким образом он ментально оказывается “вне модели” и воспринимает ее со стороны.
- Во-вторых, о модели можно думать как о видении действительности наблюдателем, находящимся “внутри модели/объекта”. В этом случае существует только то, что наблюдатель может прямо или косвенно оценить.
- Для обоих подходов важно, что наблюдатель обладает ограниченными вычислительными возможностями, которые он может потратить тем или иным образом.
- Первый класс моделей будем связывать с “цифровым двойником”, а второй - с “цифровым советником”.
- “Цифровой советник” заведомо учитывает опыт и интуицию наблюдателя и вычисляет только то, что вычислимо и полезно наблюдателю.
- Пример: железнодорожная (ЖД) станция и работа маневрового диспетчера. Принятие решения в условиях сильного снегопада слишком сложно для моделирования. В этой ситуации “цифровой двойник” станет бесполезным, а “цифровой советник” все еще будет способен просчитывать варианты определенных действий, нужных наблюдателю (диспетчеру).
- Все процессы на ЖД станции дискретные и сложные, как и в большинстве процессов бизнеса.
- Переход от дискретности к дифференциальным (разностным) уравнениям позволяет грубо оценить “усредненный” поток. Но это важно только для верхнеуровневого моделирования (участок, железная дорога...).
- Распределение вероятностей дает возможность редуцировать дискретную сложность и представить ее случайностью, более понятной наблюдателю. В этом случае редукция представляет собой статистическое “усреднение” действительности.
- При этом распределение вероятностей хорошо отражает случайные вариации, которые могут происходить в исследуемом процессе.
- События, связанные со временем прихода составов на ЖД станцию, может быть распределены по одному, а состояния вагонов внутри составов - по другому. Для моделирования “через уравнения” учет таких обстоятельств приводит к громоздким конструкциям. В распределениях вероятностей это учитывается более просто через применение соответствующего распределения вероятностей или его модификации.
Идеи, цели, выводы
1. Характеристики класса применяемой модели проще всего привязать к “точки зрения”, которую использует наблюдатель для оценки действительности.
2. В физике такую “точку зрения” называют системой отсчета и связывают с координатами. При происходящей динамике физических процессов и при выбранной системе отсчета координаты в значительной степени стабильны во времени. Так, равномерное прямолинейное движение является продуктом применяемой системы отсчета.
3. Формализация в экономических задачах представляется более сложным процессом, так как сама область порождена “придуманными” человеком субъективными правилами.
4. Для наблюдателя, находящегося “внутри модели”, нужны приемлемые аналоги стабильных координат физики.
5. Очевидными претендентами на формализацию “точки зрения” (системы отсчета) для экономических задач являются: возможность установления эквивалентности объектов и действий, выявленные инварианты, а так же распределения вероятностей для плохо определенных и сложных параметров.
5. При этом распределения вероятностей участвуют как в установлении эквивалентности, так и в выявлении инвариантов.
👍1
2026-02-03=
Значение урновых моделей для решения практических задач (2 из 2)
Детали
- Все, что реально может быть выделено в экономических задачах, так это сеть производственных транзакций. При этом ценности и “для всего”, и “для частей” не возникают немедленно. Для получение оценок ценности нужно соединить многие транзакции.
- В этом контексте “цифровой советник” работает в принятой “точке зрения” (системе отсчета), обеспечивая локальные экстремумы в рамках принятых эквивалентностей и инвариантов, а “цифровой двойник” дает возможность вычислять ценности, которые могут меняться от обстоятельств и времени и носят глобальный характер для конкретного бизнеса.
- В выстроенной конструкции многое завязано на использование распределений вероятностей.
- Законен вопрос - где гарантии, что применяемые распределения вероятностей сформированы корректно.
- К сожалению, твердых гарантий этого нет. Поэтому роль урновых моделей в этих ситуациях становится определяющей.
- Урновые модели дают возможность содержательно сопоставить исследуемый процесс и полученное распределение вероятностей.
- Основной причиной некорректности распределений, получаемых на основе эмпирических данных, является недостаточное покрытие произведенными измерениями области определения исследуемого параметра.
- Предположим, что содержательный анализ задачи предполагает одно распределение, а автоматическая подгонка дает другое распределение вероятностей.
- Для этой ситуации существуют несколько операций, позволяющих устранить такой “разрыв”.
- Во-первых, можно волевым образом сформировать “желаемое” распределение. В системе всех распределений оно будет называться “эмпирическим”. Если “эмпирическое” распределение удовлетворяет аксиомам распределений, то оно будет равноправным со всеми другими классическими распределениями.
- Во-вторых, можно получить модификацию любого распределения, использовав случайную переменную в алгебраических формулах.
- В синей рамке приведено исходное бета-распределение, а также его уполовинивание и удвоение.
- В оранжевой рамке показан сдвиг на 4 распределения Зипфа.
- В фиолетовой рамке случайная переменная, распределенная равномерно, включена в приведенную в титуле второго графика формулу.
- В-третьих, исходное распределение может быть “усечено” заданием новых границ области определения.
- В голубой рамке одно и то же нормальное распределение, определенное на отрезке от -3 до 3, “усечено” слева до -1, справа до 1 и до отрезка от -1 до 1.
- В-четвертых, исходное распределение можно “обрезать”. Эта операция предусмотрена для CDF. В зеленой рамке от CDF нормального распределения взяты только определенные участки: от -1, до 1 и от -1 до 1 соответственно.
- Получив модифицированное распределение, его можно использовать в симуляциях по получению конкретных выборок. Содержательное (а не только статистическое) сравнение выборок с историческими данными дает возможность оценить пригодность модифицированного распределения.
- В красной рамке приведена симуляция 500 значений “обрезанного” распределения на участке от -1 до 1. Первый график - симуляция. На втором графике полученные значения случайной переменной отсортированы.
Идеи, цели, выводы
1. В распределения вероятностей, для которых нет урновых моделей, нужно просто верить или же провести большое количество экспериментов, обосновывающих приемлемость данного распределения для данного типа задач.
Значение урновых моделей для решения практических задач (2 из 2)
Детали
- Все, что реально может быть выделено в экономических задачах, так это сеть производственных транзакций. При этом ценности и “для всего”, и “для частей” не возникают немедленно. Для получение оценок ценности нужно соединить многие транзакции.
- В этом контексте “цифровой советник” работает в принятой “точке зрения” (системе отсчета), обеспечивая локальные экстремумы в рамках принятых эквивалентностей и инвариантов, а “цифровой двойник” дает возможность вычислять ценности, которые могут меняться от обстоятельств и времени и носят глобальный характер для конкретного бизнеса.
- В выстроенной конструкции многое завязано на использование распределений вероятностей.
- Законен вопрос - где гарантии, что применяемые распределения вероятностей сформированы корректно.
- К сожалению, твердых гарантий этого нет. Поэтому роль урновых моделей в этих ситуациях становится определяющей.
- Урновые модели дают возможность содержательно сопоставить исследуемый процесс и полученное распределение вероятностей.
- Основной причиной некорректности распределений, получаемых на основе эмпирических данных, является недостаточное покрытие произведенными измерениями области определения исследуемого параметра.
- Предположим, что содержательный анализ задачи предполагает одно распределение, а автоматическая подгонка дает другое распределение вероятностей.
- Для этой ситуации существуют несколько операций, позволяющих устранить такой “разрыв”.
- Во-первых, можно волевым образом сформировать “желаемое” распределение. В системе всех распределений оно будет называться “эмпирическим”. Если “эмпирическое” распределение удовлетворяет аксиомам распределений, то оно будет равноправным со всеми другими классическими распределениями.
- Во-вторых, можно получить модификацию любого распределения, использовав случайную переменную в алгебраических формулах.
- В синей рамке приведено исходное бета-распределение, а также его уполовинивание и удвоение.
- В оранжевой рамке показан сдвиг на 4 распределения Зипфа.
- В фиолетовой рамке случайная переменная, распределенная равномерно, включена в приведенную в титуле второго графика формулу.
- В-третьих, исходное распределение может быть “усечено” заданием новых границ области определения.
- В голубой рамке одно и то же нормальное распределение, определенное на отрезке от -3 до 3, “усечено” слева до -1, справа до 1 и до отрезка от -1 до 1.
- В-четвертых, исходное распределение можно “обрезать”. Эта операция предусмотрена для CDF. В зеленой рамке от CDF нормального распределения взяты только определенные участки: от -1, до 1 и от -1 до 1 соответственно.
- Получив модифицированное распределение, его можно использовать в симуляциях по получению конкретных выборок. Содержательное (а не только статистическое) сравнение выборок с историческими данными дает возможность оценить пригодность модифицированного распределения.
- В красной рамке приведена симуляция 500 значений “обрезанного” распределения на участке от -1 до 1. Первый график - симуляция. На втором графике полученные значения случайной переменной отсортированы.
Идеи, цели, выводы
1. В распределения вероятностей, для которых нет урновых моделей, нужно просто верить или же провести большое количество экспериментов, обосновывающих приемлемость данного распределения для данного типа задач.
👍1
2026-02-04=
Свойства графов, необходимые для решения логистических задач (1 из 4)
Детали
- Для логистических задач существует несколько уровней детализации, которые влияют на состав применяемых математических методов.
- Самый нижний уровень требует учета всех существующих дискретных ограничений.
- На верхнем уровне логисты нуждаются в интегрированных “усредненных” оценках (как снизу, так и сверху) возможности осуществления логистических процедур.
- Одним из подходов к получению верхнеуровневых оценок является линейное программирование и модификации этого метода. При этом линейное программирование по определению не может отразить структуру (топологию), в которой решаются логистические задачи.
- На среднем уровне очень плодотворным оказывается графовое представление задач.
- Графы хорошо отражают логистические структуры, но нуждаются в расширение своих характеристик, позволяющих решать задачи на потоки и вычисления на сетях.
- Такое расширение связано с введением мощности (capacity, пропускная способность, емкость) вершин и ребер.
- В синей рамке приведен в виде графа условный железнодорожный (ЖД) узел. Красными ребрами обозначены ЖД стрелки. Сначала рассмотрим граф базовой топологии узла (голубая рамка).
- Для любого графа можно взаимнооднозначно построить матрицу инцидентности (incidence matrix) - коричневая рамка.
- Строки соответствуют вершинам графа, а столбцы - ребрам. Единица означает, что данная вершина является концом соответствующего ребра.
- Также для графа можно взаимнооднозначно построить матрицу смежности (adjacency matrix), которую еще называют матрицей связности (connectivity matrix).
- Зеленая рамка. Единица стоит на пересечении вершин, образующих одно ребро. В общем случае элементы матрицы смежности представляют собой количество направленных ребер между двумя соответствующими вершинами.
- Матрица смежности дает возможность эффективно выполнить ряд вычислений на графах. Например, найти: степени вершин, входящие и исходящие степени вершин, количество путей между вершинами...
- В смысловом плане понятие edge weight (вес ребра) эквивалентно edge capacity, а vertex weight эквивалентно vertex capacity.
- В итоге получается, что топологию ЖД узла можно взаимнооднозначно свести к графу, а граф - взаимнооднозначно свести к матрице смежности. Таким образом, из матрицы смежности можно однозначно (до наименования вершин) восстановить топологию ЖД узла.
- Из этого можно вывести важное следствие. Изображенный в синей рамке ЖД узел с точки зрения введенного формализма матриц смежности надо рассматривать как 4 разных ЖД узла: один - без активных стрелок, два - с одной из двух активной стрелкой и еще один - с двумя активными стрелками. Фиолетовая рамка.
- В примененном формализме это означает принципиально отличающиеся матрицы смежности каждого варианта ЖД узла: разные значения элементов, разные собственные значения...
- В практических задачах наличие нескольких вариантов одного и того же ЖД узла требует постоянного чередования текущего варианта ЖД узла с его новым вариантом. Причем конечное состояние первого становится начальными условиями для второго.
Идеи, цели, выводы
1. Конкретное представление графа однозначно определяет порядок списка его вершин и порядок списка его ребер, а также координаты вершин при отрисовке графа.
2. Операция определения изоморфизма графов дает ответ на эквивалентность двух графов при их разной отрисовки и наименовании вершин.
3. Если два графа изоморфны, то они эквивалентны. Поэтому можно исследовать любой из них, а результаты будут распространяться на оба графа. Это часто бывает полезно при изучении внешне несходных, но изоморфных ЖД узлов.
Свойства графов, необходимые для решения логистических задач (1 из 4)
Детали
- Для логистических задач существует несколько уровней детализации, которые влияют на состав применяемых математических методов.
- Самый нижний уровень требует учета всех существующих дискретных ограничений.
- На верхнем уровне логисты нуждаются в интегрированных “усредненных” оценках (как снизу, так и сверху) возможности осуществления логистических процедур.
- Одним из подходов к получению верхнеуровневых оценок является линейное программирование и модификации этого метода. При этом линейное программирование по определению не может отразить структуру (топологию), в которой решаются логистические задачи.
- На среднем уровне очень плодотворным оказывается графовое представление задач.
- Графы хорошо отражают логистические структуры, но нуждаются в расширение своих характеристик, позволяющих решать задачи на потоки и вычисления на сетях.
- Такое расширение связано с введением мощности (capacity, пропускная способность, емкость) вершин и ребер.
- В синей рамке приведен в виде графа условный железнодорожный (ЖД) узел. Красными ребрами обозначены ЖД стрелки. Сначала рассмотрим граф базовой топологии узла (голубая рамка).
- Для любого графа можно взаимнооднозначно построить матрицу инцидентности (incidence matrix) - коричневая рамка.
- Строки соответствуют вершинам графа, а столбцы - ребрам. Единица означает, что данная вершина является концом соответствующего ребра.
- Также для графа можно взаимнооднозначно построить матрицу смежности (adjacency matrix), которую еще называют матрицей связности (connectivity matrix).
- Зеленая рамка. Единица стоит на пересечении вершин, образующих одно ребро. В общем случае элементы матрицы смежности представляют собой количество направленных ребер между двумя соответствующими вершинами.
- Матрица смежности дает возможность эффективно выполнить ряд вычислений на графах. Например, найти: степени вершин, входящие и исходящие степени вершин, количество путей между вершинами...
- В смысловом плане понятие edge weight (вес ребра) эквивалентно edge capacity, а vertex weight эквивалентно vertex capacity.
- В итоге получается, что топологию ЖД узла можно взаимнооднозначно свести к графу, а граф - взаимнооднозначно свести к матрице смежности. Таким образом, из матрицы смежности можно однозначно (до наименования вершин) восстановить топологию ЖД узла.
- Из этого можно вывести важное следствие. Изображенный в синей рамке ЖД узел с точки зрения введенного формализма матриц смежности надо рассматривать как 4 разных ЖД узла: один - без активных стрелок, два - с одной из двух активной стрелкой и еще один - с двумя активными стрелками. Фиолетовая рамка.
- В примененном формализме это означает принципиально отличающиеся матрицы смежности каждого варианта ЖД узла: разные значения элементов, разные собственные значения...
- В практических задачах наличие нескольких вариантов одного и того же ЖД узла требует постоянного чередования текущего варианта ЖД узла с его новым вариантом. Причем конечное состояние первого становится начальными условиями для второго.
Идеи, цели, выводы
1. Конкретное представление графа однозначно определяет порядок списка его вершин и порядок списка его ребер, а также координаты вершин при отрисовке графа.
2. Операция определения изоморфизма графов дает ответ на эквивалентность двух графов при их разной отрисовки и наименовании вершин.
3. Если два графа изоморфны, то они эквивалентны. Поэтому можно исследовать любой из них, а результаты будут распространяться на оба графа. Это часто бывает полезно при изучении внешне несходных, но изоморфных ЖД узлов.
2026-02-09=
Свойства графов, необходимые для решения логистических задач (2 из 4)
Детали
- Рассмотрим роль мощностей вершин и ребер при решении логистических задач.
- При решении каждой задачи необходимо иметь граф, к которому сведено описание ЖД узла.
- Такой граф явно (но в скрытом виде) содержит информацию об упорядоченном списке всех вершин и всех ребер, а также координаты вершин в отрисовке графа. Если граф отрисовывается по GPS- координатам, то это позволяет вычислять географические расстояния между интересующими точками.
- Содержательную информацию о характеристиках ЖД узла можно задать в качестве параметров или мощности вершин, или мощности ребер. Как разбивать эту информацию связано только с предпочтениями исследователя и требованиями применяемых алгоритмов для вычислений на сетях.
- Мощность вершин задается списком той же размерности, что и список всех вершин. В свою очередь каждый элемент мощности сам может быть списком, содержать данные и переменные, а также любые другие символические объекты.
- Мощности ребер, которые могут иметь направления, привязываются к матрице смежности и таким образом формируют еще одну матрицу - матрицу мощности ребер. Мощность ребер можно изначально задавать как список, корреспондирующийся со списком всех ребер графа.
- Как и для мощности вершин, элементы мощности ребер могут представлять собой конструкцию любой сложности - оранжевая рамка.
- В фиолетовой рамке приведены матрицы расстояний между вершинами ранее выделенных 4-х разных вариантов ЖД узла. Это еще один аргумент в раздельной оптимизации для каждого варианта ЖД узла.
- Пусть каждое ребро обладает мощностью от 0 до 1.
- Вычислим пропускную способность первого варианта ЖД узла.
- На демонстрации в синей рамке ползунки задают мощность ребра. При этом вычисляется итоговая пропускная способность ЖД узла.
- В отрисованном графе ЖД узла интенсивность синего связана с достигаемой на ребре пропускной способностью.
- Приведенная матрица мощности потоков по ребрам представляет собой модифицированную матрицу смежности.
- Максимальная пропускная способность равна 3 условных единиц: есть 3 пути и каждое ребро каждого пути обеспечивает пропускную способность в 1 условную единицу.
- Изменение ползунками мощности ребер ведет к перевычислению итоговой пропускной способности ЖД узла.
Идеи, цели, выводы
1. Формально имеется теорема Форда-Фулкерсона (Lester Ford, Delbert Fulkerson) о максимальном потоке на графе (1962 год): максимальный поток между двумя вершинами А и В графа равен весу наименьшего набора ребер, который разъединяет граф на несвязанные компоненты (подграфы), причем А и В находятся в разных компонентах.
2. Однако для решения задач этой теоремы недостаточно. И поэтому все практические подходы к вычислению максимального потока носят эвристический характер: разные алгоритмы могут давать отличающиеся результаты. Для рассматриваемых задач в общем случае нет теорем единственности.
3. У сложного графа (сети) существует много вершин-ветвлений и вершин-слияний. Такая топология ведет к резкому комбинаторному росту количества путей.
4. Применяемые алгоритмы рассматривают не все возможные пути и имеют разную логику “сканирования” сети. Этим и объясняются не всегда одинаковые результаты вычисления максимальной пропускной способности.
Свойства графов, необходимые для решения логистических задач (2 из 4)
Детали
- Рассмотрим роль мощностей вершин и ребер при решении логистических задач.
- При решении каждой задачи необходимо иметь граф, к которому сведено описание ЖД узла.
- Такой граф явно (но в скрытом виде) содержит информацию об упорядоченном списке всех вершин и всех ребер, а также координаты вершин в отрисовке графа. Если граф отрисовывается по GPS- координатам, то это позволяет вычислять географические расстояния между интересующими точками.
- Содержательную информацию о характеристиках ЖД узла можно задать в качестве параметров или мощности вершин, или мощности ребер. Как разбивать эту информацию связано только с предпочтениями исследователя и требованиями применяемых алгоритмов для вычислений на сетях.
- Мощность вершин задается списком той же размерности, что и список всех вершин. В свою очередь каждый элемент мощности сам может быть списком, содержать данные и переменные, а также любые другие символические объекты.
- Мощности ребер, которые могут иметь направления, привязываются к матрице смежности и таким образом формируют еще одну матрицу - матрицу мощности ребер. Мощность ребер можно изначально задавать как список, корреспондирующийся со списком всех ребер графа.
- Как и для мощности вершин, элементы мощности ребер могут представлять собой конструкцию любой сложности - оранжевая рамка.
- В фиолетовой рамке приведены матрицы расстояний между вершинами ранее выделенных 4-х разных вариантов ЖД узла. Это еще один аргумент в раздельной оптимизации для каждого варианта ЖД узла.
- Пусть каждое ребро обладает мощностью от 0 до 1.
- Вычислим пропускную способность первого варианта ЖД узла.
- На демонстрации в синей рамке ползунки задают мощность ребра. При этом вычисляется итоговая пропускная способность ЖД узла.
- В отрисованном графе ЖД узла интенсивность синего связана с достигаемой на ребре пропускной способностью.
- Приведенная матрица мощности потоков по ребрам представляет собой модифицированную матрицу смежности.
- Максимальная пропускная способность равна 3 условных единиц: есть 3 пути и каждое ребро каждого пути обеспечивает пропускную способность в 1 условную единицу.
- Изменение ползунками мощности ребер ведет к перевычислению итоговой пропускной способности ЖД узла.
Идеи, цели, выводы
1. Формально имеется теорема Форда-Фулкерсона (Lester Ford, Delbert Fulkerson) о максимальном потоке на графе (1962 год): максимальный поток между двумя вершинами А и В графа равен весу наименьшего набора ребер, который разъединяет граф на несвязанные компоненты (подграфы), причем А и В находятся в разных компонентах.
2. Однако для решения задач этой теоремы недостаточно. И поэтому все практические подходы к вычислению максимального потока носят эвристический характер: разные алгоритмы могут давать отличающиеся результаты. Для рассматриваемых задач в общем случае нет теорем единственности.
3. У сложного графа (сети) существует много вершин-ветвлений и вершин-слияний. Такая топология ведет к резкому комбинаторному росту количества путей.
4. Применяемые алгоритмы рассматривают не все возможные пути и имеют разную логику “сканирования” сети. Этим и объясняются не всегда одинаковые результаты вычисления максимальной пропускной способности.
👍2
2026-02-10=
Свойства графов, необходимые для решения логистических задач (3 из 4)
Детали
- Первый алгоритм для вычисления пропускной способности придумали Форд и Фалкерсон.
- Пусть граф (сеть) представляет собой сеть водопроводов. У каждой трубы есть максимальная пропускная способность, и вода может течь только в одном направлении.
- Задача о максимальном потоке. Найти такое распределение воды по трубам, чтобы из точки А сети в точку В сети поступило максимальное количество воды.
- Идея алгоритма проста: находится путь и по нему вода “толкается” до тех пор, пока не заполнит весь путь (полагается, что в смежные пути вода не растекается). То же самое повторяется для других путей. Сумма всей воды, которую можно “протолкнуть”, и составляет значение максимального потока.
- Чтобы применять алгоритм, надо сначала выявить пути, по которым будет “толкаться” вода. Ключевым в алгоритме Форда-Фалкерсона является порядок выбора и состав пути между точками, для которых ищется максимальный поток.
- Первый подход к выявлению путей - BFS (Breadth-First Search) - реализует обход всех вершин графа “в ширину”. Результатом BFS является построенное дерево.
- Второй подход - DFS (Depth-First Search) - обход вершин графа “в глубину”. Результатом так же является дерево. DFS требует время, линейно зависящее от количества вершин. Поэтому он реализуется чаще.
- Примеры обхода одного и того же графа с помощью BFS и DFS в красной рамке.
- DFS выполняет обход графа, начиная с исходной вершины и исследуя как можно дальше вдоль каждой ветви, прежде чем вернуться назад.
- BFS начинается в исходной вершине и проверяет все соседние вершины, посещает соседей только что посещенных соседей и так далее.
- Применение разных подходов в общем случае приводит к разным путям используемым в алгоритме Форда-Фалкерсона.
- Пусть вершина А является вершиной-ветвлением, а вершина С - вершиной-слиянием. Тогда возникает вопрос о разделении потока между двумя разными путями, проходящими между А и С. Такое разделение производится эвристически.
- В современных навигаторах для вычисления пропускной способности применяют алгоритм Дейкстры, который работает быстрее, чем алгоритм Форда-Фалкерсона, но не так хорошо объясним. Альтернативное название алгоритма Дейкстры - поиск кратчайшего пути (между вершинами графа).
- В желтой рамке приведен граф транспортного узла для 6 канадских городов. Числа на ребрах означают максимальное поденное количество перевозимых вагонов.
- Максимально возможное количество перевозимых вагонов из Ванкувера в Виннипег составляет 23 вагона. Раскладка по перевозимым вагонам и привязка к карте в зеленой рамке.
- В синей рамке вычислен максимальный поток из Ванкувера в два пункта назначения Реджин и Саскатун. Он составляет 26 вагонов.
- Когда при оценке потоков сложно верифицировать собственно работу алгоритма, то проще всего произвести множество экспериментов, оценивая потоки между разными пунктами назначения.
- Неожиданные результаты можно получить, оценивая в одной задаче потоки между несколькими пунктам, из которых стартуют перевозки, и несколькими пунктами назначения. В частности, алгоритм Дейкстры позволяет это делать.
Идеи, цели, выводы
1. Любопытно, что алгоритмы решения задачи о максимальном потоке можно применять во многих других приложениях.
2. Пусть в компании существует набор ролей, который больше количества сотрудников. Причем с каждой ролью связана некая работа. Каждому сотруднику может быть назначено несколько ролей, но одновременно он не может выполнять более одной роли. В этом случае задача о максимальном потоке формулируется так: найти максимальное количество работ, которые могут выполняться одновременно.
3. Некоторые задачи о назначениях также могут решаться как задачи нахождения максимального потока.
Свойства графов, необходимые для решения логистических задач (3 из 4)
Детали
- Первый алгоритм для вычисления пропускной способности придумали Форд и Фалкерсон.
- Пусть граф (сеть) представляет собой сеть водопроводов. У каждой трубы есть максимальная пропускная способность, и вода может течь только в одном направлении.
- Задача о максимальном потоке. Найти такое распределение воды по трубам, чтобы из точки А сети в точку В сети поступило максимальное количество воды.
- Идея алгоритма проста: находится путь и по нему вода “толкается” до тех пор, пока не заполнит весь путь (полагается, что в смежные пути вода не растекается). То же самое повторяется для других путей. Сумма всей воды, которую можно “протолкнуть”, и составляет значение максимального потока.
- Чтобы применять алгоритм, надо сначала выявить пути, по которым будет “толкаться” вода. Ключевым в алгоритме Форда-Фалкерсона является порядок выбора и состав пути между точками, для которых ищется максимальный поток.
- Первый подход к выявлению путей - BFS (Breadth-First Search) - реализует обход всех вершин графа “в ширину”. Результатом BFS является построенное дерево.
- Второй подход - DFS (Depth-First Search) - обход вершин графа “в глубину”. Результатом так же является дерево. DFS требует время, линейно зависящее от количества вершин. Поэтому он реализуется чаще.
- Примеры обхода одного и того же графа с помощью BFS и DFS в красной рамке.
- DFS выполняет обход графа, начиная с исходной вершины и исследуя как можно дальше вдоль каждой ветви, прежде чем вернуться назад.
- BFS начинается в исходной вершине и проверяет все соседние вершины, посещает соседей только что посещенных соседей и так далее.
- Применение разных подходов в общем случае приводит к разным путям используемым в алгоритме Форда-Фалкерсона.
- Пусть вершина А является вершиной-ветвлением, а вершина С - вершиной-слиянием. Тогда возникает вопрос о разделении потока между двумя разными путями, проходящими между А и С. Такое разделение производится эвристически.
- В современных навигаторах для вычисления пропускной способности применяют алгоритм Дейкстры, который работает быстрее, чем алгоритм Форда-Фалкерсона, но не так хорошо объясним. Альтернативное название алгоритма Дейкстры - поиск кратчайшего пути (между вершинами графа).
- В желтой рамке приведен граф транспортного узла для 6 канадских городов. Числа на ребрах означают максимальное поденное количество перевозимых вагонов.
- Максимально возможное количество перевозимых вагонов из Ванкувера в Виннипег составляет 23 вагона. Раскладка по перевозимым вагонам и привязка к карте в зеленой рамке.
- В синей рамке вычислен максимальный поток из Ванкувера в два пункта назначения Реджин и Саскатун. Он составляет 26 вагонов.
- Когда при оценке потоков сложно верифицировать собственно работу алгоритма, то проще всего произвести множество экспериментов, оценивая потоки между разными пунктами назначения.
- Неожиданные результаты можно получить, оценивая в одной задаче потоки между несколькими пунктам, из которых стартуют перевозки, и несколькими пунктами назначения. В частности, алгоритм Дейкстры позволяет это делать.
Идеи, цели, выводы
1. Любопытно, что алгоритмы решения задачи о максимальном потоке можно применять во многих других приложениях.
2. Пусть в компании существует набор ролей, который больше количества сотрудников. Причем с каждой ролью связана некая работа. Каждому сотруднику может быть назначено несколько ролей, но одновременно он не может выполнять более одной роли. В этом случае задача о максимальном потоке формулируется так: найти максимальное количество работ, которые могут выполняться одновременно.
3. Некоторые задачи о назначениях также могут решаться как задачи нахождения максимального потока.
👍2