2025-05-29=
Модель информационной эффективности рынка (3 из 3)
Детали
- На начальном этапе основные затруднения при проверке "Гипотезы...” Фама были связаны с тем, что реакцию цен акций на корпоративные события не так просто проверить. Но со временем эти затруднения были частично преодолены, и исследователи научились академическими способами измерять влияние событий на цены акций (состояния).
- В мультиходовом графе исчерпывающего развития системы (рынка, производства...) присутствуют все состояния и события, а также имеющие место причинно-следственные связи. Тем не менее, и в нем явно увязать состояния и события не так просто.
- Вернемся к ранее приведенной “схеме” мультиходового графа “самой простой” экономики на четвертом такте (шаге) - синяя рамка.
- Заметим, что в “схеме” присутствуют только качественные объекты (события и состояния) и причинно-следственные связи между ними. При этом, “навесив” нужные количественные функции на события, состояния и связи, можно получить полную качественную и количественную картину происходящих процессов.
- Трудности, имеющие место при увязывании состояний и событий, носят имманентный характер.
- Первая трудность состоит в том, что одинаковые состояния могут быть порождены разными цепочками событий (событий явно больше, чем состояний). Граф в голубой рамке показывает, что в “схеме” в одно и то же состояние можно попасть из множества других состояний.
- Вторая трудность касается запутанности цепочек причинно-следственных связей: в них имеют место процессы ветвления и слияния. Это усложняет применения методов “прямого хода” по графу и делает невозможным применение методов “обратного хода”: неизвестно куда двигаться из вершин слияния.
- В оранжевой рамке приведены 6 из 81 уникальных конфигураций причинно-следственных связей “схемы”.
- Перечисленные трудности подтверждают вывод из “Гипотезы...”, что экономические агенты-наблюдатели используют только немногие данные о рынке.
- Практика биржевой работы это хорошо демонстрирует.
- В составе биржевых спекулянтов имеется три большие группы.
а) Специалисты по техническому анализу работают в основном с временными рядами состояний. Их прогнозы рассчитаны только на длительные перспективы и тренды.
б) Часть спекулянтов работает только с новостными событиями, молниеносно преобразовывая их в ордера. Работа практически круглосуточная и очень нервная.
в) Третья часть спекулянтов - “фигуристы”. Они пытаются выявлять во временных рядах фигуры, которые приравниваются к инвариантным конфигурациям некоторых значимых событий и состояний.
- Даже инструментарии, разработанные в теории мультиходовых графов, не предоставляют возможности разобраться в замысловатых зависимостях событий и состояний. Тем не менее, они позволяют выявить инварианты системы, что эквивалентно нахождению скрытых закономерностей.
Идеи, цели, выводы
1. Можно высказать предположение, что сфера применимости “Гипотезы...” Фама существенно шире, чем только рынки. Скорее всего, “Гипотеза...” может быть распространена на большинство существующих экономических систем.
2. В этом контексте имеющиеся инструментарии, разработанные в связи с работами по “Гипотезе...”, могут быть применимы при решении актуальных задач планирования и управления.
Модель информационной эффективности рынка (3 из 3)
Детали
- На начальном этапе основные затруднения при проверке "Гипотезы...” Фама были связаны с тем, что реакцию цен акций на корпоративные события не так просто проверить. Но со временем эти затруднения были частично преодолены, и исследователи научились академическими способами измерять влияние событий на цены акций (состояния).
- В мультиходовом графе исчерпывающего развития системы (рынка, производства...) присутствуют все состояния и события, а также имеющие место причинно-следственные связи. Тем не менее, и в нем явно увязать состояния и события не так просто.
- Вернемся к ранее приведенной “схеме” мультиходового графа “самой простой” экономики на четвертом такте (шаге) - синяя рамка.
- Заметим, что в “схеме” присутствуют только качественные объекты (события и состояния) и причинно-следственные связи между ними. При этом, “навесив” нужные количественные функции на события, состояния и связи, можно получить полную качественную и количественную картину происходящих процессов.
- Трудности, имеющие место при увязывании состояний и событий, носят имманентный характер.
- Первая трудность состоит в том, что одинаковые состояния могут быть порождены разными цепочками событий (событий явно больше, чем состояний). Граф в голубой рамке показывает, что в “схеме” в одно и то же состояние можно попасть из множества других состояний.
- Вторая трудность касается запутанности цепочек причинно-следственных связей: в них имеют место процессы ветвления и слияния. Это усложняет применения методов “прямого хода” по графу и делает невозможным применение методов “обратного хода”: неизвестно куда двигаться из вершин слияния.
- В оранжевой рамке приведены 6 из 81 уникальных конфигураций причинно-следственных связей “схемы”.
- Перечисленные трудности подтверждают вывод из “Гипотезы...”, что экономические агенты-наблюдатели используют только немногие данные о рынке.
- Практика биржевой работы это хорошо демонстрирует.
- В составе биржевых спекулянтов имеется три большие группы.
а) Специалисты по техническому анализу работают в основном с временными рядами состояний. Их прогнозы рассчитаны только на длительные перспективы и тренды.
б) Часть спекулянтов работает только с новостными событиями, молниеносно преобразовывая их в ордера. Работа практически круглосуточная и очень нервная.
в) Третья часть спекулянтов - “фигуристы”. Они пытаются выявлять во временных рядах фигуры, которые приравниваются к инвариантным конфигурациям некоторых значимых событий и состояний.
- Даже инструментарии, разработанные в теории мультиходовых графов, не предоставляют возможности разобраться в замысловатых зависимостях событий и состояний. Тем не менее, они позволяют выявить инварианты системы, что эквивалентно нахождению скрытых закономерностей.
Идеи, цели, выводы
1. Можно высказать предположение, что сфера применимости “Гипотезы...” Фама существенно шире, чем только рынки. Скорее всего, “Гипотеза...” может быть распространена на большинство существующих экономических систем.
2. В этом контексте имеющиеся инструментарии, разработанные в связи с работами по “Гипотезе...”, могут быть применимы при решении актуальных задач планирования и управления.
2025-06-02=
Пространственные данные -1- Статистика точек (1 из 2)
Детали
- Состояния одного и того же процесса можно оценить по-разному. Например, стоимость акций может принимать значения в неопределенно широком диапазоне, в то время как проценты изменения стоимости акций находятся всегда в строго определенной области.
- Разные оценки приводят к разным структурам данных. В первом случае - это временной ряд, а во втором - это пространственно-точечный процесс.
- Одни только трекеры GPS порождают огромное количество пространственных (spatial) данных.
- Анализ и моделирование пространственных данных необходимы в ГИС, дистанционном зондировании, обработке спутниковых снимков, горнодобывающей промышленности, сельском, лесном и водном хозяйствах, управлении транспортом и дронами...
- Статистика точек.
- В статистическом исследовании пространственных данных необходимо уметь отвечать на следующие вопросы:
= степень пространственной случайности;
= плотность пространственных точек (point density);
= характер межточечных взаимодействий.
- Точечный процесс Пуассона (PPP - Poisson Point Process) моделирует полную пространственную случайность (CSR - Complete Spatial Randomness) и задает ее эталон. PPP обеспечивает то, что:
= точки распределены равномерно;
= точки распределены независимо друг от друга;
= количество точек случайно и подчиняется распределению Пуассона.
- Как следствие, плотность точек в точечном процессе Пуассона одинакова во всей области, а среднее количество точек на единицу пространства равно параметру процесса “мю”. Размерность пространства, в котором рассматривается область, может быть любым. Чаще всего - это 2 (2D).
- Моделировать полную пространственную случайность важно при оценке уровня дефектов, например, в дисплеях (количество дефектных пикселей), при изготовлении зеркал, полировании линз...
- Тесты на пространственную случайность используют статистику второго порядка, которая работает с парами точек из выборки.
- При этом можно применять три теста: BesagL, ChiSquare, ModifiedChiSquare.
- Меры однородности (также являются мерами второго порядка) позволяют оценить, насколько равномерно распределены точки в области наблюдения. Применяемые методы: RipleyK, BesagL, EmptySpaceF, NearestNeighborG, SpatialJ, PairCorrelationG.
- Изменение количества точек в зависимости от длины, площади или объема области наблюдения определяет функция плотности точек. Интеграл функции плотности по области равен общему количеству точек.
- Применяют три различных метода оценки (способа построения функции) плотности точек, которая часто еще называется интенсивностью точек (point intensity).
- В желтой рамке приведены пространственные данные - декартовы координаты расположения редких длиннолистных сосен (Longleaf Pines).
- В пурпурной рамке приведена оценка плотности, связанная с размером ячейки, когда на одну точку приходится одна ячейку. Фактически интенсивность точек привязана к диаграмме Вороного.
- В синей рамке приведена оценка интенсивности точек через гистограммы по квадрату (еще применяются две фигуры: шестиугольник и треугольник). При этом формируется покрытие области выбранной фигурой и считается количество точек, попавших в каждую фигуру. Величина интенсивности для каждой фигуры выделена цветом.
- В красной рамке приведена сглаженная оценка интенсивности точек. Для сглаживания на основе выбранного ядра точечной плотности и одной из нескольких адаптивных полос пропускания разной чувствительности формируется взвешенная функция, которую можно считать фильтром.
- Сглаженная оценка дает возможность получить гладкую (плавную) функцию интенсивности.
Идеи, цели, выводы
1. Наличие эталона полной пространственной случайности существенно упрощает технологии анализа пространственных данных.
Пространственные данные -1- Статистика точек (1 из 2)
Детали
- Состояния одного и того же процесса можно оценить по-разному. Например, стоимость акций может принимать значения в неопределенно широком диапазоне, в то время как проценты изменения стоимости акций находятся всегда в строго определенной области.
- Разные оценки приводят к разным структурам данных. В первом случае - это временной ряд, а во втором - это пространственно-точечный процесс.
- Одни только трекеры GPS порождают огромное количество пространственных (spatial) данных.
- Анализ и моделирование пространственных данных необходимы в ГИС, дистанционном зондировании, обработке спутниковых снимков, горнодобывающей промышленности, сельском, лесном и водном хозяйствах, управлении транспортом и дронами...
- Статистика точек.
- В статистическом исследовании пространственных данных необходимо уметь отвечать на следующие вопросы:
= степень пространственной случайности;
= плотность пространственных точек (point density);
= характер межточечных взаимодействий.
- Точечный процесс Пуассона (PPP - Poisson Point Process) моделирует полную пространственную случайность (CSR - Complete Spatial Randomness) и задает ее эталон. PPP обеспечивает то, что:
= точки распределены равномерно;
= точки распределены независимо друг от друга;
= количество точек случайно и подчиняется распределению Пуассона.
- Как следствие, плотность точек в точечном процессе Пуассона одинакова во всей области, а среднее количество точек на единицу пространства равно параметру процесса “мю”. Размерность пространства, в котором рассматривается область, может быть любым. Чаще всего - это 2 (2D).
- Моделировать полную пространственную случайность важно при оценке уровня дефектов, например, в дисплеях (количество дефектных пикселей), при изготовлении зеркал, полировании линз...
- Тесты на пространственную случайность используют статистику второго порядка, которая работает с парами точек из выборки.
- При этом можно применять три теста: BesagL, ChiSquare, ModifiedChiSquare.
- Меры однородности (также являются мерами второго порядка) позволяют оценить, насколько равномерно распределены точки в области наблюдения. Применяемые методы: RipleyK, BesagL, EmptySpaceF, NearestNeighborG, SpatialJ, PairCorrelationG.
- Изменение количества точек в зависимости от длины, площади или объема области наблюдения определяет функция плотности точек. Интеграл функции плотности по области равен общему количеству точек.
- Применяют три различных метода оценки (способа построения функции) плотности точек, которая часто еще называется интенсивностью точек (point intensity).
- В желтой рамке приведены пространственные данные - декартовы координаты расположения редких длиннолистных сосен (Longleaf Pines).
- В пурпурной рамке приведена оценка плотности, связанная с размером ячейки, когда на одну точку приходится одна ячейку. Фактически интенсивность точек привязана к диаграмме Вороного.
- В синей рамке приведена оценка интенсивности точек через гистограммы по квадрату (еще применяются две фигуры: шестиугольник и треугольник). При этом формируется покрытие области выбранной фигурой и считается количество точек, попавших в каждую фигуру. Величина интенсивности для каждой фигуры выделена цветом.
- В красной рамке приведена сглаженная оценка интенсивности точек. Для сглаживания на основе выбранного ядра точечной плотности и одной из нескольких адаптивных полос пропускания разной чувствительности формируется взвешенная функция, которую можно считать фильтром.
- Сглаженная оценка дает возможность получить гладкую (плавную) функцию интенсивности.
Идеи, цели, выводы
1. Наличие эталона полной пространственной случайности существенно упрощает технологии анализа пространственных данных.
👍1
2025-06-03=
Пространственные данные -1- Статистика точек (2 из 2)
Детали
- Статистика точек обладает рядом особенностей по сравнению с классической статистикой.
- Точечная медиана (Spatial Median) известна также как геометрическая медиана. Точечная медиана порождает точку, которая имеет минимальное значение суммы расстояний до каждой точки пространственных данных.
- Точечная медиана является надежной мерой местоположения для любой размерности пространственных данных.
- В желтой рамке красным квадратом обозначена точечная медиана для расположения трех городов (синие квадраты): Лондона, Оксфорда и Кембриджа.
- В синей рамке приведена более сложная ситуация: красная точка является точечной медианой большого набора пространственных данных в обозначенной области.
- Точечная медиана может вычисляться как взвешенное расстояние с разным весом для каждой точки. Практическое применение точечной медианы связано с расположением общего склада, центра управления...
- Обобщенная функция точечной статистики (Point Statistic Function), которая может быть сгенерирована разными методами, дает список значений статистики пространственных данных к каждому радиусу из заданного набора. Радиус можно интерпретировать как параметр зоны наблюдения вокруг точки.
- Технически при расчете функции точечной статистики для каждой точки строится окружность заданного радиуса и по областям этих окружностей вычисляется требуемая статистика.
- Рассмотрим метод “ближайшего соседа” (Nearest Neighbor) для заданного расстояния (радиуса) зоны наблюдения.
- В зеленой рамке для двух наборов случайно сгенерированных пространственных данных приведены функции точечной статистики для метода “ближайшего соседа”. По вертикали приведена вероятность найти ближайшего соседа при соответствующем значении зоны наблюдения (горизонтальная ось).
- Решение “обратной” задачи построения пространственных данных с заданными статистическими свойствами.
- “Обратная” задача решается путем модернизации точечного процесса Пуассона (PPP). Получаемые из PPP точки далее кластеризуются по некоторой схеме, которая близка к тому или иному типу явления природы, инженерного решения или социального процесса.
- Внутри кластеров пространственные данные распределены изотропно (isotropic), то есть имеют одинаковые характеристики по всем направлениям от центра кластера.
- Например, схема Matern Point Process формирует пространственные кластеры точек с равномерно распределенными (uniformly distributed) по области центрами, а внутри области положение точек подчиняется равномерному радиальному распределению (uniform radial distribution).
- Остальные схемы связаны с применением других распределений точек внутри кластеров. Они дают возможность моделировать: нормально распределенные точки в кластерах; ситуации, когда распределения точек в кластерах имеют “тяжелые” хвосты... При этом свойство изотропности сохраняется для большинства схем.
Идеи, цели, выводы
1. По сравнению с методами и средствами, разработанными для временных рядов, соответствующие инструментарии для работы с пространственными данными находятся на начальной стадии развития.
2. Огромные объемы пространственных данных нуждаются в аппроксимирующих методах. При этом в настоящее время для пространственных данных выполняются в основном точные расчеты - аппроксимирующих методов почти нет.
Пространственные данные -1- Статистика точек (2 из 2)
Детали
- Статистика точек обладает рядом особенностей по сравнению с классической статистикой.
- Точечная медиана (Spatial Median) известна также как геометрическая медиана. Точечная медиана порождает точку, которая имеет минимальное значение суммы расстояний до каждой точки пространственных данных.
- Точечная медиана является надежной мерой местоположения для любой размерности пространственных данных.
- В желтой рамке красным квадратом обозначена точечная медиана для расположения трех городов (синие квадраты): Лондона, Оксфорда и Кембриджа.
- В синей рамке приведена более сложная ситуация: красная точка является точечной медианой большого набора пространственных данных в обозначенной области.
- Точечная медиана может вычисляться как взвешенное расстояние с разным весом для каждой точки. Практическое применение точечной медианы связано с расположением общего склада, центра управления...
- Обобщенная функция точечной статистики (Point Statistic Function), которая может быть сгенерирована разными методами, дает список значений статистики пространственных данных к каждому радиусу из заданного набора. Радиус можно интерпретировать как параметр зоны наблюдения вокруг точки.
- Технически при расчете функции точечной статистики для каждой точки строится окружность заданного радиуса и по областям этих окружностей вычисляется требуемая статистика.
- Рассмотрим метод “ближайшего соседа” (Nearest Neighbor) для заданного расстояния (радиуса) зоны наблюдения.
- В зеленой рамке для двух наборов случайно сгенерированных пространственных данных приведены функции точечной статистики для метода “ближайшего соседа”. По вертикали приведена вероятность найти ближайшего соседа при соответствующем значении зоны наблюдения (горизонтальная ось).
- Решение “обратной” задачи построения пространственных данных с заданными статистическими свойствами.
- “Обратная” задача решается путем модернизации точечного процесса Пуассона (PPP). Получаемые из PPP точки далее кластеризуются по некоторой схеме, которая близка к тому или иному типу явления природы, инженерного решения или социального процесса.
- Внутри кластеров пространственные данные распределены изотропно (isotropic), то есть имеют одинаковые характеристики по всем направлениям от центра кластера.
- Например, схема Matern Point Process формирует пространственные кластеры точек с равномерно распределенными (uniformly distributed) по области центрами, а внутри области положение точек подчиняется равномерному радиальному распределению (uniform radial distribution).
- Остальные схемы связаны с применением других распределений точек внутри кластеров. Они дают возможность моделировать: нормально распределенные точки в кластерах; ситуации, когда распределения точек в кластерах имеют “тяжелые” хвосты... При этом свойство изотропности сохраняется для большинства схем.
Идеи, цели, выводы
1. По сравнению с методами и средствами, разработанными для временных рядов, соответствующие инструментарии для работы с пространственными данными находятся на начальной стадии развития.
2. Огромные объемы пространственных данных нуждаются в аппроксимирующих методах. При этом в настоящее время для пространственных данных выполняются в основном точные расчеты - аппроксимирующих методов почти нет.
2025-06-04=
Пространственные данные -2- Точки как события
Детали
- Привязанность пространственных данных к областям естественным образом наделяет эти данные дополнительными свойствами. В следствии этого точки, которые явно отражают некие состояния, в контексте дополнительной информации проявляются еще и как события.
- Если допустить, что в одной области присутствуют несколько типов точек, то тогда можно наблюдать взаимодействие нескольких событий.
- Пример. Несколько экскаваторов работают в разрезе, загружая подаваемые самосвалы. Точки появляются как следы GPS-трекеров оборудования и по сути представляют собой состояния. Но в контексте области и типов точек появляется новые смыслы (события): самосвал встал на погрузку - погрузился - уехал - подъехал новый самосвал...
- В точечных процессах рождается определенная “субъектность” точек, что делает их носителями событий.
- В наиболее общей форме взаимодействия между точками описываются в точечном процессе Гиббса (GPP - Gibbs Point Process). GPP также известен как марковский точечный процесс.
- GPP используется для моделирования взаимодействия между точками, конкурирующими за ресурсы или по каким-то причинам отталкивающими или притягивающими друг друга.
- По построению GPP универсален и может представлять любые точечные процессы. При этом имеются специализированные реализации GPP, которые проще в использовании и интерпретации.
- Hardcore Point Process (HPP) определяет жесткую модель взаимодействия точек, которые ведут себя как несжимаемые конструкции.
- HPP параметризован через интенсивность точек и потенциал парного взаимодействия. Основное условие: расстояние между точками не может быть меньше определенного, заранее заданного радиуса. В HPP точки распределяются равномерно.
- HPP может быть полезен в задачах промышленной безопасности, при наличии рабочих зон оборудования...
- Penttinen Point Process (PenPP) представляет собой процесс взаимодействующих пар. PenPP обычно используется, когда взаимодействие точек зависит от количества общих ресурсов, представленных в заранее заданном размере радиуса точек.
- PenPP хорошо моделирует различные аспекты конкуренции и другие задачи, в которых взаимодействие связано с перекрывающимися областями точек.
- Strauss Point Process (SPP) соответствует процессам, в которых между парами точек для заранее заданного радиуса действует отталкивающее взаимодействие, тогда как в остальных случаях они распределены равномерно.
- SPP подходит для задач, в которых действует постоянная сила мягкого взаимодействия. Если начальный набор пространственных данных имел определенный уровень кластеризации, то SPP формирует альтернативу, которая распределена случайно, равномерно и не кластеризована.
- Существует и ряд других специализированных реализаций GPP с различными комбинациями отталкивания и притягивания точек между собой.
- Моделирование того или иного процесса основывается на содержательной интерпретации задачи, которая может быть вполне логична. Тем не менее, возможность формальной проверки придает модели более весомый статус.
- В символическом инструментарии точечных процессов имеются функции “Оценить точечный процесс” и “Найти параметры точечного процесса”, которые дают возможность оценить корректность и точность сформированной модели.
- Эти функции работают и в обратном направлении, позволяя определить разновидность стоящего за исходными данными процесса.
Идеи, цели, выводы
1. GPP и его специализированные реализации работают как симуляторы.
2. Симуляция будет происходить до тех пор, пока количество точек не достигнет стабильного состояния или не будет исполнено заданное количество итераций.
Пространственные данные -2- Точки как события
Детали
- Привязанность пространственных данных к областям естественным образом наделяет эти данные дополнительными свойствами. В следствии этого точки, которые явно отражают некие состояния, в контексте дополнительной информации проявляются еще и как события.
- Если допустить, что в одной области присутствуют несколько типов точек, то тогда можно наблюдать взаимодействие нескольких событий.
- Пример. Несколько экскаваторов работают в разрезе, загружая подаваемые самосвалы. Точки появляются как следы GPS-трекеров оборудования и по сути представляют собой состояния. Но в контексте области и типов точек появляется новые смыслы (события): самосвал встал на погрузку - погрузился - уехал - подъехал новый самосвал...
- В точечных процессах рождается определенная “субъектность” точек, что делает их носителями событий.
- В наиболее общей форме взаимодействия между точками описываются в точечном процессе Гиббса (GPP - Gibbs Point Process). GPP также известен как марковский точечный процесс.
- GPP используется для моделирования взаимодействия между точками, конкурирующими за ресурсы или по каким-то причинам отталкивающими или притягивающими друг друга.
- По построению GPP универсален и может представлять любые точечные процессы. При этом имеются специализированные реализации GPP, которые проще в использовании и интерпретации.
- Hardcore Point Process (HPP) определяет жесткую модель взаимодействия точек, которые ведут себя как несжимаемые конструкции.
- HPP параметризован через интенсивность точек и потенциал парного взаимодействия. Основное условие: расстояние между точками не может быть меньше определенного, заранее заданного радиуса. В HPP точки распределяются равномерно.
- HPP может быть полезен в задачах промышленной безопасности, при наличии рабочих зон оборудования...
- Penttinen Point Process (PenPP) представляет собой процесс взаимодействующих пар. PenPP обычно используется, когда взаимодействие точек зависит от количества общих ресурсов, представленных в заранее заданном размере радиуса точек.
- PenPP хорошо моделирует различные аспекты конкуренции и другие задачи, в которых взаимодействие связано с перекрывающимися областями точек.
- Strauss Point Process (SPP) соответствует процессам, в которых между парами точек для заранее заданного радиуса действует отталкивающее взаимодействие, тогда как в остальных случаях они распределены равномерно.
- SPP подходит для задач, в которых действует постоянная сила мягкого взаимодействия. Если начальный набор пространственных данных имел определенный уровень кластеризации, то SPP формирует альтернативу, которая распределена случайно, равномерно и не кластеризована.
- Существует и ряд других специализированных реализаций GPP с различными комбинациями отталкивания и притягивания точек между собой.
- Моделирование того или иного процесса основывается на содержательной интерпретации задачи, которая может быть вполне логична. Тем не менее, возможность формальной проверки придает модели более весомый статус.
- В символическом инструментарии точечных процессов имеются функции “Оценить точечный процесс” и “Найти параметры точечного процесса”, которые дают возможность оценить корректность и точность сформированной модели.
- Эти функции работают и в обратном направлении, позволяя определить разновидность стоящего за исходными данными процесса.
Идеи, цели, выводы
1. GPP и его специализированные реализации работают как симуляторы.
2. Симуляция будет происходить до тех пор, пока количество точек не достигнет стабильного состояния или не будет исполнено заданное количество итераций.
2025-06-05=
Пространственные данные -3- Пространственные отношения (1 из 2)
Детали
- Как правило измерения в горнодобывающей промышленности, сельском хозяйстве... проводятся только в ограниченном количестве геолокаций, что обусловливается экономическими соображениями. Кроме того, возможность измерения (наблюдения) в каждой возможной геолокации не всегда доступна.
- Поэтому способность понимания того, как коррелируют пространнственно разделенные точки, приобретает крайне важное значение.
- Вариограмма (Variogram) представляет собой фундаментальный инструмент в области геоизмерений. Вариограмма используется для количественной оценки пространственной изменчивости набора данных, которая должна дать понимание имеющих место пространственных отношений.
- Вариограмма задается определенным уравнением, которое позволяет вычислять различия между парами наблюдений в зависимости от расстояния h между ними. Вариограмма зависит от одной переменной h, что делает функцию вариограммы понятной и удобной.
- В практических задачах наиболее распространены экспериментальная вариограмма (основывается на эмпирических данных) и теоретические вариограммы, представляющие собой мат.модели, описывающие должное поведение линии вариограммы на основе конкретных предположений о характере пространственного процесса.
- В пурпурной рамке в первой позиции приведены измерения концентрации (чем темнее точки - тем выше концентрация) цинка в почве. Во второй позиции - теоретическая вариограмма (мат.модель - Exponential): вариограмма представлена синей линией, серыми точками обозначены автоматически сгруппированные эмпирические пространственные данные. “Скачек” вариограммы в начале координат соответствует вычисленному “белому шуму”.
- Выбор наиболее адекватной для решаемой задачи вариограммы не совсем прост.
- Кроме того, используемая в вариограмме мат.модель в ряде ситуаций может плохо различать конкретные пространственные данные (в силу внутренних особенностей самой модели). Для фиксации и преодоления таких случаев пока нет штатных решений.
- Дополнительная сложность связана с применяемой при построении вариограммы точностью: жестко зафиксированная точность приводит к абсурдным результатам, а завышенная точность делает вариограмму гладкой, но необоснованно усложненной (перегруженной).
- В синей рамке в первой позиции визуализированы пространственные данные озонового слоя над США.
- Оставшиеся три позиции представляют собой вариограммы, построенные на базе указанной в титуле мат.модели.
- На некоторых вариограммах происходит горизонтальное выравнивание линии вариограммы. Расстояние, при котором теоретическая вариограмма начинает выравниваться, называется “диапазоном”. Значение (на вертикальной оси) , в котором вариограмма достигает “диапазона”, называется “порогом”.
- Точки, разделенные расстояниями, не превышающими “диапазон”, пространственно автокоррелированы (не являются независимыми друг от друга). Точки, расстояния между которыми больше значения “диапазона”, не автокоррелированны.
- Для выбранной мат.модели (или нескольких моделей) также следует оценить возникающую ошибку вариограммы для исследуемых эмпирических данных.
Идеи, цели, выводы
1. Области применение вариограмм:
= оценки пространственного распределения природных ресурсов или загрязняющих веществ;
= анализ свойств почвы, урожайности, зон недостатка воды и удобрений, очагов заболеваний... сельскохозяйственных культур в различных пространственных масштабах;
= оптимизация добычи ресурсов в горнодобывающей промышленности за счет понимания пространственного распределения полезных ископаемых.
Пространственные данные -3- Пространственные отношения (1 из 2)
Детали
- Как правило измерения в горнодобывающей промышленности, сельском хозяйстве... проводятся только в ограниченном количестве геолокаций, что обусловливается экономическими соображениями. Кроме того, возможность измерения (наблюдения) в каждой возможной геолокации не всегда доступна.
- Поэтому способность понимания того, как коррелируют пространнственно разделенные точки, приобретает крайне важное значение.
- Вариограмма (Variogram) представляет собой фундаментальный инструмент в области геоизмерений. Вариограмма используется для количественной оценки пространственной изменчивости набора данных, которая должна дать понимание имеющих место пространственных отношений.
- Вариограмма задается определенным уравнением, которое позволяет вычислять различия между парами наблюдений в зависимости от расстояния h между ними. Вариограмма зависит от одной переменной h, что делает функцию вариограммы понятной и удобной.
- В практических задачах наиболее распространены экспериментальная вариограмма (основывается на эмпирических данных) и теоретические вариограммы, представляющие собой мат.модели, описывающие должное поведение линии вариограммы на основе конкретных предположений о характере пространственного процесса.
- В пурпурной рамке в первой позиции приведены измерения концентрации (чем темнее точки - тем выше концентрация) цинка в почве. Во второй позиции - теоретическая вариограмма (мат.модель - Exponential): вариограмма представлена синей линией, серыми точками обозначены автоматически сгруппированные эмпирические пространственные данные. “Скачек” вариограммы в начале координат соответствует вычисленному “белому шуму”.
- Выбор наиболее адекватной для решаемой задачи вариограммы не совсем прост.
- Кроме того, используемая в вариограмме мат.модель в ряде ситуаций может плохо различать конкретные пространственные данные (в силу внутренних особенностей самой модели). Для фиксации и преодоления таких случаев пока нет штатных решений.
- Дополнительная сложность связана с применяемой при построении вариограммы точностью: жестко зафиксированная точность приводит к абсурдным результатам, а завышенная точность делает вариограмму гладкой, но необоснованно усложненной (перегруженной).
- В синей рамке в первой позиции визуализированы пространственные данные озонового слоя над США.
- Оставшиеся три позиции представляют собой вариограммы, построенные на базе указанной в титуле мат.модели.
- На некоторых вариограммах происходит горизонтальное выравнивание линии вариограммы. Расстояние, при котором теоретическая вариограмма начинает выравниваться, называется “диапазоном”. Значение (на вертикальной оси) , в котором вариограмма достигает “диапазона”, называется “порогом”.
- Точки, разделенные расстояниями, не превышающими “диапазон”, пространственно автокоррелированы (не являются независимыми друг от друга). Точки, расстояния между которыми больше значения “диапазона”, не автокоррелированны.
- Для выбранной мат.модели (или нескольких моделей) также следует оценить возникающую ошибку вариограммы для исследуемых эмпирических данных.
Идеи, цели, выводы
1. Области применение вариограмм:
= оценки пространственного распределения природных ресурсов или загрязняющих веществ;
= анализ свойств почвы, урожайности, зон недостатка воды и удобрений, очагов заболеваний... сельскохозяйственных культур в различных пространственных масштабах;
= оптимизация добычи ресурсов в горнодобывающей промышленности за счет понимания пространственного распределения полезных ископаемых.
Оглавление #57
2025-04-22=Cryptourgy - Выявление закамуфлированных целей и ценностей в бизнес-системе (1 из 2)
2025-04-23=Cryptourgy - Выявление закамуфлированных целей и ценностей в бизнес-системе (2 из 2)
2025-04-24=Операционная эффективность (1 из 3)
2025-04-28=Операционная эффективность (2 из 3)
2025-04-29=Операционная эффективность (3 из 3)
2025-05-12=Multi-Agent-System - 1 - Мультиагентный вариант модели “хищник-жертва”
2025-05-13=Multi-Agent-System - 2 - Формализм для описания агентов (1 из 3)
2025-05-14=Multi-Agent-System - 2 - Формализм для описания агентов (2 из 3)
2025-05-15=Multi-Agent-System - 2 - Формализм для описания агентов (3 из 3)
2025-04-22=Cryptourgy - Выявление закамуфлированных целей и ценностей в бизнес-системе (1 из 2)
2025-04-23=Cryptourgy - Выявление закамуфлированных целей и ценностей в бизнес-системе (2 из 2)
2025-04-24=Операционная эффективность (1 из 3)
2025-04-28=Операционная эффективность (2 из 3)
2025-04-29=Операционная эффективность (3 из 3)
2025-05-12=Multi-Agent-System - 1 - Мультиагентный вариант модели “хищник-жертва”
2025-05-13=Multi-Agent-System - 2 - Формализм для описания агентов (1 из 3)
2025-05-14=Multi-Agent-System - 2 - Формализм для описания агентов (2 из 3)
2025-05-15=Multi-Agent-System - 2 - Формализм для описания агентов (3 из 3)
Оглавление #58
2025-05-19=Два распределения, полезные при работе с “воронкой продаж” (1 из 3)
2025-05-20=Два распределения, полезные при работе с “воронкой продаж” (2 из 3)
2025-05-21=Два распределения, полезные при работе с “воронкой продаж” (3 из 3)
2025-05-26=Распределение, полезное при оценке времени выполнения проекта
2025-05-27=Модель информационной эффективности рынка (1 из 3)
2025-05-28=Модель информационной эффективности рынка (2 из 3)
2025-05-29=Модель информационной эффективности рынка (3 из 3)
2025-06-02=Пространственные данные -1- Статистика точек (1 из 2)
2025-06-03=Пространственные данные -1- Статистика точек (2 из 2)
2025-05-19=Два распределения, полезные при работе с “воронкой продаж” (1 из 3)
2025-05-20=Два распределения, полезные при работе с “воронкой продаж” (2 из 3)
2025-05-21=Два распределения, полезные при работе с “воронкой продаж” (3 из 3)
2025-05-26=Распределение, полезное при оценке времени выполнения проекта
2025-05-27=Модель информационной эффективности рынка (1 из 3)
2025-05-28=Модель информационной эффективности рынка (2 из 3)
2025-05-29=Модель информационной эффективности рынка (3 из 3)
2025-06-02=Пространственные данные -1- Статистика точек (1 из 2)
2025-06-03=Пространственные данные -1- Статистика точек (2 из 2)
2025-06-16=
Пространственные данные -3- Пространственные отношения (2 из 2)
Детали
- Интерполяция пространственных данных является чрезвычайно сложным и трудоемким процессом, который из практических соображений должен быть максимально сокращен и упрощен. Поэтому методы оптимизации на пространственных данных отделены от классических методов оптимизации.
- Интерполяция пространственных данных в основном связана с различными модификациями метода кригинга (назван в честь горного инженера Danie Krige). Алиасами понятия интерполяции являются кригинг, геопрогнозирование и поверхности отклика.
- Традиционный способ кригинга носит аббревиатуру BLUE (Best linear unbiased estimator - алгоритм, обеспечивающий лучшую линейную несмещенную оценку). “Лучший” означает, что BLUE минимизирует дисперсию мат.ожидания разницы между имеющимися данными (измерениями) и данными выбранной модели вариограммы.
- Структурно кригинг строит оценку, как совмещение глобального тренда и локальных вариаций с шумом. В результате формируется сглаженная поверхность. Для учета существующего распределения данных используются вариограммы, в которых точки сгруппированы на основании значений расстояний между ними, или модели вариограмм, в которых задан тип пространственных отношений.
- Глобальный тренд интерполируют полиномы степени n (универсальный кригинг). В зеленой рамке исходные данные пространственных измерений окрашены черным цветом. Для этих измерений построены функции, интерполирующие различные глобальные тренды, для n = 1, 2, 3. Глобальный тренд призван обеспечить гладкость получаемой поверхности.
- Уровень шума, также известный как “nugget”, обеспечивает формирования в данных вариации с определенным уровнем шума. Если “nugget” равен нулю, то кригинг является точной интерполяцией исходных данных. Значение “nugget” возникает в вариограмме. Первый график в оранжевой рамке - это вариограмма. Оранжевая горизонтальная пунктирная линия проведена для вычисленного значения “nugget”.
- Второй график в оранжевой рамке - это функция прогнозирования (для данных 1D) с линейным трендом и уровнем шума 0.1 (соответствует значению “nugget” вариограммы).
- Рассмотрим процедуру кригинга для случая 2D. В красной рамке представлены пространственные данные (точки). Значения в точках (например, высота) обозначены цветом: чем темнее - тем значение больше.
- Процедура кригинга. Необходимо выбирать “подходящую” модель вариаграммы, уровень шума и тренд (степень гладкости получаемой поверхности). Как правило выбор делается на основе эвристических соображений.
- В синей и голубой рамках приведены результаты кригинга для одних и тех же данных, показанных в красной рамке. Синяя рамка: модель вариограммы - экспоненциальная, шум 0.1, тренд квадратичный. Голубая рамка: модель вариограммы - гауссовая, шум 0.2, тренд линейный.
- Выбор того или иного варианта кригинга остается за экспертом. При этом все варианты имеют статус BLUE.
Идеи, цели, выводы
1. В кригинге можно применять как вариограмму, так и ковариацию, но применение вариограммы предпочтительнее.
2. Кригинг ограниченного количества данных пространственных измерений (точек) порождает поверхность, которая определяет пространственные отношения на всей моделируемой области.
3. Полученные пространственные отношения дают возможность прогнозировать характеристики любых точек области.
Пространственные данные -3- Пространственные отношения (2 из 2)
Детали
- Интерполяция пространственных данных является чрезвычайно сложным и трудоемким процессом, который из практических соображений должен быть максимально сокращен и упрощен. Поэтому методы оптимизации на пространственных данных отделены от классических методов оптимизации.
- Интерполяция пространственных данных в основном связана с различными модификациями метода кригинга (назван в честь горного инженера Danie Krige). Алиасами понятия интерполяции являются кригинг, геопрогнозирование и поверхности отклика.
- Традиционный способ кригинга носит аббревиатуру BLUE (Best linear unbiased estimator - алгоритм, обеспечивающий лучшую линейную несмещенную оценку). “Лучший” означает, что BLUE минимизирует дисперсию мат.ожидания разницы между имеющимися данными (измерениями) и данными выбранной модели вариограммы.
- Структурно кригинг строит оценку, как совмещение глобального тренда и локальных вариаций с шумом. В результате формируется сглаженная поверхность. Для учета существующего распределения данных используются вариограммы, в которых точки сгруппированы на основании значений расстояний между ними, или модели вариограмм, в которых задан тип пространственных отношений.
- Глобальный тренд интерполируют полиномы степени n (универсальный кригинг). В зеленой рамке исходные данные пространственных измерений окрашены черным цветом. Для этих измерений построены функции, интерполирующие различные глобальные тренды, для n = 1, 2, 3. Глобальный тренд призван обеспечить гладкость получаемой поверхности.
- Уровень шума, также известный как “nugget”, обеспечивает формирования в данных вариации с определенным уровнем шума. Если “nugget” равен нулю, то кригинг является точной интерполяцией исходных данных. Значение “nugget” возникает в вариограмме. Первый график в оранжевой рамке - это вариограмма. Оранжевая горизонтальная пунктирная линия проведена для вычисленного значения “nugget”.
- Второй график в оранжевой рамке - это функция прогнозирования (для данных 1D) с линейным трендом и уровнем шума 0.1 (соответствует значению “nugget” вариограммы).
- Рассмотрим процедуру кригинга для случая 2D. В красной рамке представлены пространственные данные (точки). Значения в точках (например, высота) обозначены цветом: чем темнее - тем значение больше.
- Процедура кригинга. Необходимо выбирать “подходящую” модель вариаграммы, уровень шума и тренд (степень гладкости получаемой поверхности). Как правило выбор делается на основе эвристических соображений.
- В синей и голубой рамках приведены результаты кригинга для одних и тех же данных, показанных в красной рамке. Синяя рамка: модель вариограммы - экспоненциальная, шум 0.1, тренд квадратичный. Голубая рамка: модель вариограммы - гауссовая, шум 0.2, тренд линейный.
- Выбор того или иного варианта кригинга остается за экспертом. При этом все варианты имеют статус BLUE.
Идеи, цели, выводы
1. В кригинге можно применять как вариограмму, так и ковариацию, но применение вариограммы предпочтительнее.
2. Кригинг ограниченного количества данных пространственных измерений (точек) порождает поверхность, которая определяет пространственные отношения на всей моделируемой области.
3. Полученные пространственные отношения дают возможность прогнозировать характеристики любых точек области.
2025-06-17=
Интеллект, информация, программа, ИИ (1 из 5) - идея “понятия-концепции” и язык
Детали
- Существует точка зрения, согласно которой:
а) искусственный интеллект (ИИ) даже в его нынешнем состоянии уже многое может;
б) со временем способности ИИ будут только многократно возрастать;
в) в какой-то момент ИИ станет доминировать над человеческим интеллектом.
- Эта точка зрения некоторым образом вульгаризирует феномен человеческого интеллекта, сформировавшийся в ходе длительного эволюционного развития.
- В таблице в красной рамке представлен порядок количества связей, которые имеют те или иные решения ИИ. Преодоление определенных пороговых значений приводит к скачку возможностей ИИ.
- При этом количество связей, обеспечиваемых серым веществом человеческого мозга, составляет порядка 10^14 (100 миллиардов нервных клеток образуют 100 триллионов синапсов - нейронных связей).
- На сегодняшний день ученые не имеют представлений о целях эволюции, но о некоторых промежуточных ее результатах можно судить вполне определенно.
- Скорее всего, формирование мозга было связано с необходимостью решать, в каком направлении следует перемещаться в следующий момент времени.
- Растения никуда не перемещаются и не имеют отдельно выделенного органа мозга.
- Первым возникшим у животных органом было зрение.
- В основном работа мозга заключается в восприятии большого объема сенсорных (чувственных) данных и принятии решения о том, что делать дальше. В этом контексте мозг можно рассматривать как мозг-вычислитель.
- Мозг-вычислитель работает на редукцию (сжатие) поступающей из мира информации и извлечение из нее только определенных интересных аспектов. В процессе редукции мозг умудряется “перескакивать вперед”, фактически не учитывая каждую деталь, а останавливаясь только на интересных моментах.
- Ключевыми для интеллекта человека являются идея “понятия-концепции” (“концепция”) и композиционный язык.
- На уровне “сырого” чувственного восприятия человек может узнавать много проявлений реалий, каждая из которых описывается относительно узким по значению словом (например, “борзая”, “пудель”...).
- “Концепция” дает возможность абстрагирования от потенциально необозримого количества конкретных реалий через их обобщение (“концепция собаки”).
- “Концепции” могут участвовать в групповых утверждениях (“все собаки лают”), фактически обеспечивая более высокие способы мышления о существующих реалиях и операций (действий) с их мыслимыми образами.
- “Концепции” дискретны. Между “концепция собаки” и “концепция кошки” нет промежуточных “концепций”.
- “Концепции” позволяют мозгу успешно ориентироваться в пространстве своих интересов (целей), переводят всю остальную информацию просто в окружающий фон.
- Приблизительно одинаковые наборы слов и “концепций” повторяются в разных человеческих языках.
- Большинство языков имеют порядка 30 000 общих словоподобных конструкций, которых вполне достаточно, чтобы “концептуально” описать мир таким, каким он воспринимается человеком в интересующих его аспектах. То, что количество слов не увеличивается экспоненциально со временем, является заслугой применения идеи “понятия-концепции”.
- Основное утилитарное использование слов, “концепций” и языка связано с общением: передачи мыслей из одного разума в другой.
- Внутри мозга (так же как и внутри нейросети) существуют сложные и разнообразные модели активности. Фундаментальную роль в умственной активности людей играют слова и “концепции”, определяющие способ “упаковки” этой активности в форму, которую можно надежно переносить между разумами и даже обеспечивать сопоставимые мысли у разных людей.
Идеи, цели, выводы
1. Передача “мыслей” из одного разума в другой не может быть точной. Применение идеи “понятия-концепции” дает возможность “аппроксимировать” реалии, что формирует “усредненную” модель мира, которую множество людей может воспринимать почти одинаково.
Интеллект, информация, программа, ИИ (1 из 5) - идея “понятия-концепции” и язык
Детали
- Существует точка зрения, согласно которой:
а) искусственный интеллект (ИИ) даже в его нынешнем состоянии уже многое может;
б) со временем способности ИИ будут только многократно возрастать;
в) в какой-то момент ИИ станет доминировать над человеческим интеллектом.
- Эта точка зрения некоторым образом вульгаризирует феномен человеческого интеллекта, сформировавшийся в ходе длительного эволюционного развития.
- В таблице в красной рамке представлен порядок количества связей, которые имеют те или иные решения ИИ. Преодоление определенных пороговых значений приводит к скачку возможностей ИИ.
- При этом количество связей, обеспечиваемых серым веществом человеческого мозга, составляет порядка 10^14 (100 миллиардов нервных клеток образуют 100 триллионов синапсов - нейронных связей).
- На сегодняшний день ученые не имеют представлений о целях эволюции, но о некоторых промежуточных ее результатах можно судить вполне определенно.
- Скорее всего, формирование мозга было связано с необходимостью решать, в каком направлении следует перемещаться в следующий момент времени.
- Растения никуда не перемещаются и не имеют отдельно выделенного органа мозга.
- Первым возникшим у животных органом было зрение.
- В основном работа мозга заключается в восприятии большого объема сенсорных (чувственных) данных и принятии решения о том, что делать дальше. В этом контексте мозг можно рассматривать как мозг-вычислитель.
- Мозг-вычислитель работает на редукцию (сжатие) поступающей из мира информации и извлечение из нее только определенных интересных аспектов. В процессе редукции мозг умудряется “перескакивать вперед”, фактически не учитывая каждую деталь, а останавливаясь только на интересных моментах.
- Ключевыми для интеллекта человека являются идея “понятия-концепции” (“концепция”) и композиционный язык.
- На уровне “сырого” чувственного восприятия человек может узнавать много проявлений реалий, каждая из которых описывается относительно узким по значению словом (например, “борзая”, “пудель”...).
- “Концепция” дает возможность абстрагирования от потенциально необозримого количества конкретных реалий через их обобщение (“концепция собаки”).
- “Концепции” могут участвовать в групповых утверждениях (“все собаки лают”), фактически обеспечивая более высокие способы мышления о существующих реалиях и операций (действий) с их мыслимыми образами.
- “Концепции” дискретны. Между “концепция собаки” и “концепция кошки” нет промежуточных “концепций”.
- “Концепции” позволяют мозгу успешно ориентироваться в пространстве своих интересов (целей), переводят всю остальную информацию просто в окружающий фон.
- Приблизительно одинаковые наборы слов и “концепций” повторяются в разных человеческих языках.
- Большинство языков имеют порядка 30 000 общих словоподобных конструкций, которых вполне достаточно, чтобы “концептуально” описать мир таким, каким он воспринимается человеком в интересующих его аспектах. То, что количество слов не увеличивается экспоненциально со временем, является заслугой применения идеи “понятия-концепции”.
- Основное утилитарное использование слов, “концепций” и языка связано с общением: передачи мыслей из одного разума в другой.
- Внутри мозга (так же как и внутри нейросети) существуют сложные и разнообразные модели активности. Фундаментальную роль в умственной активности людей играют слова и “концепции”, определяющие способ “упаковки” этой активности в форму, которую можно надежно переносить между разумами и даже обеспечивать сопоставимые мысли у разных людей.
Идеи, цели, выводы
1. Передача “мыслей” из одного разума в другой не может быть точной. Применение идеи “понятия-концепции” дает возможность “аппроксимировать” реалии, что формирует “усредненную” модель мира, которую множество людей может воспринимать почти одинаково.
👍2
2025-06-18=
Интеллект, информация, программа, ИИ (2 из 5) - данные и программы
Детали
- Под “интеллектом” будем понимать способность сделать что-то разумное в ответ на получение широкого спектра входных данных, независимо от того, входили ли они в формирование уже имеющегося опыта или нет. Другими словами, “интеллект” - это способность редуцировать и обобщить ранее неизвестные входные данные, а также принять некое разумное решение.
- Тогда ИИ будем считать расширением понятия “интеллект” для синтетических конструкций, которые показывают схожее с человеком поведение по обработке входных данных, а состав принятых ИИ решений сопоставим с теми, к которым могли бы прийти люди.
- При этом происходящее “под капотом” интеллекта и ИИ различается принципиально.
- В связи с тем, что животные не могут идти одновременно более, чем в одном направлении, мозг, по-видимому, обладает фундаментальной особенностью генерирования единственного (единого по линии времени) потока решений.
- Старая шутка о нерешительном человеке: не может принять решение тот человек, у которого или нет ни какой идеи, или возникает сразу две идеи по одному вопросу.
- Ключевой особенностью человеческого мозга является то, что он создает одну “нить опыта”, расположенную последовательно на оси времени. Поэтому вычислительные способности мозга-вычислителя существенно уже универсальных вычислений, применяемых в ИИ.
- В человеческом мозге одна “нить опыта” сопрягается с единственным “потоком мыслей”. Вычислительные возможности ИИ могут воспринимать “граф опыта” и соответственно порождать “сеть мыслей”.
- Несомненно, что естественные интеллектуальные возможности людей достаточно ограничены.
- Данные и программы позволили существенно расширить интеллектуальные возможности человека.
- Данные, хранимые в автоматизированных системах (SQL-базах), представляют собой состояния действительности, которые могут интерпретироваться, как потенциально интересная для человека информация.
- Эта информация существенным образом отличается от “чувственной информации” воспринимаемой мозгом при принятии решений по схеме, выработанной эволюционно.
- Данные автоматизированных систем:
а) не редуцированы и много раз продублированы;
б) вырваны из существовавшего контекста;
в) рассказывают о прошлом с большим запаздыванием;
г) требуют существенной обработки для использования в человеческой деятельности.
- Главное достоинства данных автоматизированных систем - они преодолевают проблему “короткой памяти” человека и невозможности оперирования одновременно более 5-7 “фрагментами данных”.
- Программы - это другой феномен, который дополняет человеческий интеллект.
- Программы обеспечивают сложные, продолжительные, параллельные и мультисценарные вычисления, которые неспособен выполнять мозг человека.
- Для мозга-вычислителя программы можно рассматривать как специализированные вычислители.
- Программы работают на данных, собранных в автоматизированных системах.
- Такой симбиоз зародился в 1960-х и называется информационными технологиями.
- Элементы этого симбиоза, с одной стороны, радикально отличаются от тех, которые участвуют в работе мозга, но, с другой, воспроизводят идеологию единственной “нити опыта” (SQL-запросы, процедурное программирование).
- Содержание ситуационного анализа в BI только подчеркивает общую ориентацию на идеологию единственной “нити опыта”.
- Данные информационных систем представлены субстанциями существенно меньшего порядка, чем человеческие слова. Программы, являющиеся продуктом процедурного программирования, скрупулезно проделывают все предусмотренные алгоритмами действия. Малейшая коллизия (ошибка) в программе или алгоритме делает весь результат ложным.
Идеи, цели, выводы
1. Впечатляющие успехи ИИ основаны на применении более мощных вычислительных возможностей, что явно выделяется на фоне вычислительных самоограничений принятых в сфере информационных технологий.
Интеллект, информация, программа, ИИ (2 из 5) - данные и программы
Детали
- Под “интеллектом” будем понимать способность сделать что-то разумное в ответ на получение широкого спектра входных данных, независимо от того, входили ли они в формирование уже имеющегося опыта или нет. Другими словами, “интеллект” - это способность редуцировать и обобщить ранее неизвестные входные данные, а также принять некое разумное решение.
- Тогда ИИ будем считать расширением понятия “интеллект” для синтетических конструкций, которые показывают схожее с человеком поведение по обработке входных данных, а состав принятых ИИ решений сопоставим с теми, к которым могли бы прийти люди.
- При этом происходящее “под капотом” интеллекта и ИИ различается принципиально.
- В связи с тем, что животные не могут идти одновременно более, чем в одном направлении, мозг, по-видимому, обладает фундаментальной особенностью генерирования единственного (единого по линии времени) потока решений.
- Старая шутка о нерешительном человеке: не может принять решение тот человек, у которого или нет ни какой идеи, или возникает сразу две идеи по одному вопросу.
- Ключевой особенностью человеческого мозга является то, что он создает одну “нить опыта”, расположенную последовательно на оси времени. Поэтому вычислительные способности мозга-вычислителя существенно уже универсальных вычислений, применяемых в ИИ.
- В человеческом мозге одна “нить опыта” сопрягается с единственным “потоком мыслей”. Вычислительные возможности ИИ могут воспринимать “граф опыта” и соответственно порождать “сеть мыслей”.
- Несомненно, что естественные интеллектуальные возможности людей достаточно ограничены.
- Данные и программы позволили существенно расширить интеллектуальные возможности человека.
- Данные, хранимые в автоматизированных системах (SQL-базах), представляют собой состояния действительности, которые могут интерпретироваться, как потенциально интересная для человека информация.
- Эта информация существенным образом отличается от “чувственной информации” воспринимаемой мозгом при принятии решений по схеме, выработанной эволюционно.
- Данные автоматизированных систем:
а) не редуцированы и много раз продублированы;
б) вырваны из существовавшего контекста;
в) рассказывают о прошлом с большим запаздыванием;
г) требуют существенной обработки для использования в человеческой деятельности.
- Главное достоинства данных автоматизированных систем - они преодолевают проблему “короткой памяти” человека и невозможности оперирования одновременно более 5-7 “фрагментами данных”.
- Программы - это другой феномен, который дополняет человеческий интеллект.
- Программы обеспечивают сложные, продолжительные, параллельные и мультисценарные вычисления, которые неспособен выполнять мозг человека.
- Для мозга-вычислителя программы можно рассматривать как специализированные вычислители.
- Программы работают на данных, собранных в автоматизированных системах.
- Такой симбиоз зародился в 1960-х и называется информационными технологиями.
- Элементы этого симбиоза, с одной стороны, радикально отличаются от тех, которые участвуют в работе мозга, но, с другой, воспроизводят идеологию единственной “нити опыта” (SQL-запросы, процедурное программирование).
- Содержание ситуационного анализа в BI только подчеркивает общую ориентацию на идеологию единственной “нити опыта”.
- Данные информационных систем представлены субстанциями существенно меньшего порядка, чем человеческие слова. Программы, являющиеся продуктом процедурного программирования, скрупулезно проделывают все предусмотренные алгоритмами действия. Малейшая коллизия (ошибка) в программе или алгоритме делает весь результат ложным.
Идеи, цели, выводы
1. Впечатляющие успехи ИИ основаны на применении более мощных вычислительных возможностей, что явно выделяется на фоне вычислительных самоограничений принятых в сфере информационных технологий.
2025-06-19=
Интеллект, информация, программа, ИИ (3 из 5) - интеллектуальный прогресс
Детали
- Представляется вполне убедительным увязывание успешного развития человечества с интеллектуальным прогрессом. Вопрос в том, что понимать под интеллектуальным прогрессом и как этот прогресс зависит от ИИ.
- Прогресс связан с появлением “полезных” инструментариев. Но статус “полезного” будет завесить от того, что человек, “дополненный технологиями”, будет способен делать и в какой среде.
- Будем исходить из наличия “усредненной” модели мира, “аппроксимированной” через применение “понятий-концепций” в человеческом языке. Отталкиваясь от модели мира можно начать задавать абстрактные вопросы “что-если” и представлять, что реалии в мире могли бы быть иными, чем они есть.
- Исторически абстракция была синонимом прогресса. В ранней силлогической логике начали говорить о форме аргументов независимо от их деталей. Арифметика оперировала числами, не уточняя, что они считают. В алгебре появились формулы, которыми можно оперировать абстрактно, даже не зная что обозначает “икс”. Еще один пример абстракции - деньги...
- Уникальность абстракции: позволяет думать о больших классах объектов и явлений одномоментно.
- Особая ценность абстракции: дает возможность сохранить привычную мыслительную схему и идеологию единственной “нити опыта”.
- Абстракция дает возможность мозгу целенаправленно повышать уровень общности применяемых “понятий-концепций”.
- Практика показывает, что если привыкнуть к новой абстракции, то она в большинстве случаях не воспринимается структурно иной, чем все предыдущие.
- “Полезность” абстракции можно определить следующим образом: абстракция позволяет делать утверждения неким обобщенным (сокращенным) образом, по сути “забегая вперед” и не проходя все вычислительные шаги или не вникая во все детали.
- Как и человеческий интеллект, ИИ (нейросеть) принимает на входе много данных, а на выходе выдает мало.
- Размер “рабочей памяти” ИИ можно постоянно наращивать. Это обстоятельство является еще одной сильной стороной ИИ.
- Процесс обучения нейросети - это осуществление нейросетью собственных “открытий” в данных. Внутри нейросети можно наблюдать образование кластеров активности (областей редукции данных), которые можно интерпретировать как “внутренние концепции” нейросети.
- По построению нейросетей шаблон “внутренней концепции”, сформированный на одном слое, будет передаваться на следующий слой.
- Расстояния между “внутренними концепциями” нейросети принципиально меньше, чем разрывы между человеческими “концепциями”. Поэтому человек почти не в состоянии не только интерпретировать, но и понять “внутренние концепции” нейросети. В синей рамке - генеративные изображения, лежащие в “межпонятийном пространстве”. Искусствоведы не объяснят их перипетиями жизни художников-абстракционистов.
- Решения нейросети всегда многомерные (с соответствующими весами), а последний слой нейросети переводит их в идеологию единственной “нити опыта”.
- В нейросетях и, предположительно, в человеческом мозге память закодирована в весе/силе связей между нейронами. Поэтому опытный человек может “делать что-то, не думая об этом”, также как это делает уже обученная нейросеть.
- Размер “рабочей памяти” мозга человека ограничен. И это может быть основной причиной, почему в мозге трудно “запустить” сложный код размышлений (программу): “куски” размышлений обычно последовательно записываются на бумаге.
- В первом приближении интеллектуальный прогресс можно связать с количеством “концепций”, в которых может мыслить человек. В этом случае ИИ является неисчерпаемым источником формирования новых “концепций”, оставляя открытым вопрос их осознания человеком.
Идеи, цели, выводы
1. ИИ может быть источником новых абстракций. Причем эти абстракции, возникая в “графовой” идеологии (которая недоступна человеческому мозгу), могут применяться в идеологии единственной “нити опыта”.
Интеллект, информация, программа, ИИ (3 из 5) - интеллектуальный прогресс
Детали
- Представляется вполне убедительным увязывание успешного развития человечества с интеллектуальным прогрессом. Вопрос в том, что понимать под интеллектуальным прогрессом и как этот прогресс зависит от ИИ.
- Прогресс связан с появлением “полезных” инструментариев. Но статус “полезного” будет завесить от того, что человек, “дополненный технологиями”, будет способен делать и в какой среде.
- Будем исходить из наличия “усредненной” модели мира, “аппроксимированной” через применение “понятий-концепций” в человеческом языке. Отталкиваясь от модели мира можно начать задавать абстрактные вопросы “что-если” и представлять, что реалии в мире могли бы быть иными, чем они есть.
- Исторически абстракция была синонимом прогресса. В ранней силлогической логике начали говорить о форме аргументов независимо от их деталей. Арифметика оперировала числами, не уточняя, что они считают. В алгебре появились формулы, которыми можно оперировать абстрактно, даже не зная что обозначает “икс”. Еще один пример абстракции - деньги...
- Уникальность абстракции: позволяет думать о больших классах объектов и явлений одномоментно.
- Особая ценность абстракции: дает возможность сохранить привычную мыслительную схему и идеологию единственной “нити опыта”.
- Абстракция дает возможность мозгу целенаправленно повышать уровень общности применяемых “понятий-концепций”.
- Практика показывает, что если привыкнуть к новой абстракции, то она в большинстве случаях не воспринимается структурно иной, чем все предыдущие.
- “Полезность” абстракции можно определить следующим образом: абстракция позволяет делать утверждения неким обобщенным (сокращенным) образом, по сути “забегая вперед” и не проходя все вычислительные шаги или не вникая во все детали.
- Как и человеческий интеллект, ИИ (нейросеть) принимает на входе много данных, а на выходе выдает мало.
- Размер “рабочей памяти” ИИ можно постоянно наращивать. Это обстоятельство является еще одной сильной стороной ИИ.
- Процесс обучения нейросети - это осуществление нейросетью собственных “открытий” в данных. Внутри нейросети можно наблюдать образование кластеров активности (областей редукции данных), которые можно интерпретировать как “внутренние концепции” нейросети.
- По построению нейросетей шаблон “внутренней концепции”, сформированный на одном слое, будет передаваться на следующий слой.
- Расстояния между “внутренними концепциями” нейросети принципиально меньше, чем разрывы между человеческими “концепциями”. Поэтому человек почти не в состоянии не только интерпретировать, но и понять “внутренние концепции” нейросети. В синей рамке - генеративные изображения, лежащие в “межпонятийном пространстве”. Искусствоведы не объяснят их перипетиями жизни художников-абстракционистов.
- Решения нейросети всегда многомерные (с соответствующими весами), а последний слой нейросети переводит их в идеологию единственной “нити опыта”.
- В нейросетях и, предположительно, в человеческом мозге память закодирована в весе/силе связей между нейронами. Поэтому опытный человек может “делать что-то, не думая об этом”, также как это делает уже обученная нейросеть.
- Размер “рабочей памяти” мозга человека ограничен. И это может быть основной причиной, почему в мозге трудно “запустить” сложный код размышлений (программу): “куски” размышлений обычно последовательно записываются на бумаге.
- В первом приближении интеллектуальный прогресс можно связать с количеством “концепций”, в которых может мыслить человек. В этом случае ИИ является неисчерпаемым источником формирования новых “концепций”, оставляя открытым вопрос их осознания человеком.
Идеи, цели, выводы
1. ИИ может быть источником новых абстракций. Причем эти абстракции, возникая в “графовой” идеологии (которая недоступна человеческому мозгу), могут применяться в идеологии единственной “нити опыта”.
2025-06-23=
Интеллект, информация, программа, ИИ (4 из 5) - опыт, образование, знания
Детали
- Опыт и образование дают возможность принимать решения, практически не размышляя. Это происходит за счет сформировавшихся в мозгу устойчивых взаимосвязей.
- Известно, что при этом и опыт, и образование существенно связывают (сокращают) “свободные” ресурсы мозга. Трудно придумывать новое, игнорируя сложившиеся стереотипы.
- Одновременно с этим опыт и образование открывают новые мыслительные возможности в режиме выявления аналогий.
- Трудно ответить на вопрос: опыт или образование сильнее влияет на возможности выявление аналогий. Скорее всего, необходимо их сочетание.
- Постоянно расширяющиеся знания стали проблемой для людей. Если в XIX и начале XX веков еще были ученые с энциклопедическими знаниями, то позднее ученые одного направления, но разных специализаций, стали с уже с трудом понимать друг друга.
- Более того, многие направления знаний достигли пределов, за которыми невозможно их развитие существующими методами и средствами. Неслучайно, что большинство Нобелевских премий присуждается исследованиям, произведенных на “стыке” разных научных направлений.
- Успехи в развитии многих направлений знаний стали тесно связаны с “заимствованием” идей и методов из других сфер знаний.
- Чтобы суметь что-то “заимствовать”, надо, во-первых, разобраться в теме, а, во-вторых, выявить реализуемую аналогию на фоне высокого уровня абстракции знаний.
- Системы, основанные на LLM-модели (LLM - большая языковая модель), можно рассматривать как средства “навигации” по современным знаниям.
- Результат запроса к LLM-системе соответствует идеологии единственной “нити опыта”: мысли излагаются последовательно по единственной линии времени, даже если текст состоит из вложенных фраз.
- Сформулировав запрос к LLM-системе, можно получить информацию о “состоянии дел” во многих областях знаний и, выявив некоторые аналогии, применить соответствующие методы и средства в собственных исследованиях.
- Таким образом, образование в связке с LLM-системами дает возможность выявлять перспективные направления исследований, а опыт в связке с машинным обучением и нейросетями обеспечивает формирование новых “концепций” и абстракций.
- Два мозга в среднем могут оперировать одинаковым количеством “концепций”, но по составу они могут различаться. Это связано с разным опытом и образованием.
- Как в итоге может возникнуть скоординированный результат для многих людей?
- Для этого нужна определенная коммуникация. Ее первый этап связан с надежной “упаковкой” мыслей в “концепции” и формированием утверждений с их помощью.
- Результаты второго этапа - “распаковки” и интерпретации могут быть более, чем неоднозначными.
- Наиболее действенная координация коммуникации происходит за счет вычисления последствий тех или иных утверждений (гипотез). Это реализуется за счет мыслимых экспериментов - мат.моделей.
- В мат.моделях можно применять всю доступную математику, делать любые допущения и предположения, а также использовать абстракции из разных областей знаний.
- Один человек может доказать что-то другому человеку, если они имеют аналогичный опыт. Мат.модель формирует “виртуальный” опыт, который может быть принят или отвергнут группой людей.
- Традиционно мат.методы не входят в состав зонтичного понятия ИИ, но без них невозможно “собрать” частные результаты применения ИИ в общее решение не совсем простой практической задачи.
Идеи, цели, выводы
1. Экспериментируя с нейросетями, очень легко получить новые “концепции”. При этом совсем непонятно, как в инструментариях ИИ можно воспроизвести свойства композиционности (формирование из “концепций” вложенных утверждений большой длинны) и грамматические структуры, свойственные человеческому языку.
2. Эти обстоятельства характеризуют существенные преимущества человеческого интеллекта над ИИ.
Интеллект, информация, программа, ИИ (4 из 5) - опыт, образование, знания
Детали
- Опыт и образование дают возможность принимать решения, практически не размышляя. Это происходит за счет сформировавшихся в мозгу устойчивых взаимосвязей.
- Известно, что при этом и опыт, и образование существенно связывают (сокращают) “свободные” ресурсы мозга. Трудно придумывать новое, игнорируя сложившиеся стереотипы.
- Одновременно с этим опыт и образование открывают новые мыслительные возможности в режиме выявления аналогий.
- Трудно ответить на вопрос: опыт или образование сильнее влияет на возможности выявление аналогий. Скорее всего, необходимо их сочетание.
- Постоянно расширяющиеся знания стали проблемой для людей. Если в XIX и начале XX веков еще были ученые с энциклопедическими знаниями, то позднее ученые одного направления, но разных специализаций, стали с уже с трудом понимать друг друга.
- Более того, многие направления знаний достигли пределов, за которыми невозможно их развитие существующими методами и средствами. Неслучайно, что большинство Нобелевских премий присуждается исследованиям, произведенных на “стыке” разных научных направлений.
- Успехи в развитии многих направлений знаний стали тесно связаны с “заимствованием” идей и методов из других сфер знаний.
- Чтобы суметь что-то “заимствовать”, надо, во-первых, разобраться в теме, а, во-вторых, выявить реализуемую аналогию на фоне высокого уровня абстракции знаний.
- Системы, основанные на LLM-модели (LLM - большая языковая модель), можно рассматривать как средства “навигации” по современным знаниям.
- Результат запроса к LLM-системе соответствует идеологии единственной “нити опыта”: мысли излагаются последовательно по единственной линии времени, даже если текст состоит из вложенных фраз.
- Сформулировав запрос к LLM-системе, можно получить информацию о “состоянии дел” во многих областях знаний и, выявив некоторые аналогии, применить соответствующие методы и средства в собственных исследованиях.
- Таким образом, образование в связке с LLM-системами дает возможность выявлять перспективные направления исследований, а опыт в связке с машинным обучением и нейросетями обеспечивает формирование новых “концепций” и абстракций.
- Два мозга в среднем могут оперировать одинаковым количеством “концепций”, но по составу они могут различаться. Это связано с разным опытом и образованием.
- Как в итоге может возникнуть скоординированный результат для многих людей?
- Для этого нужна определенная коммуникация. Ее первый этап связан с надежной “упаковкой” мыслей в “концепции” и формированием утверждений с их помощью.
- Результаты второго этапа - “распаковки” и интерпретации могут быть более, чем неоднозначными.
- Наиболее действенная координация коммуникации происходит за счет вычисления последствий тех или иных утверждений (гипотез). Это реализуется за счет мыслимых экспериментов - мат.моделей.
- В мат.моделях можно применять всю доступную математику, делать любые допущения и предположения, а также использовать абстракции из разных областей знаний.
- Один человек может доказать что-то другому человеку, если они имеют аналогичный опыт. Мат.модель формирует “виртуальный” опыт, который может быть принят или отвергнут группой людей.
- Традиционно мат.методы не входят в состав зонтичного понятия ИИ, но без них невозможно “собрать” частные результаты применения ИИ в общее решение не совсем простой практической задачи.
Идеи, цели, выводы
1. Экспериментируя с нейросетями, очень легко получить новые “концепции”. При этом совсем непонятно, как в инструментариях ИИ можно воспроизвести свойства композиционности (формирование из “концепций” вложенных утверждений большой длинны) и грамматические структуры, свойственные человеческому языку.
2. Эти обстоятельства характеризуют существенные преимущества человеческого интеллекта над ИИ.
2025-06-24=
Интеллект, информация, программа, ИИ (5 из 5) - трансформация
Детали
- Вместо спекулятивного обсуждения возможного доминирования ИИ над человеческом интеллектом рассмотрим вопрос о том, в какой мере ИИ может компенсировать существующие ограничения человеческого интеллекта и стать комплиментарным фактором в деятельности людей.
- Ранее была прослежена следующая схема наращивания уровня интеллекта человека:
= обобщение и аппроксимация в языке существующих реалий через “понятия-концепции”;
= внешнее расширение ресурсов мозга за счет данных информационных систем и исполняемых программ (кода);
= построение башни (иерархии) “понятий-концепций” через увеличение в языке уровня абстрагирования, что обеспечивает интеллектуальный прогресс при ограниченном ресурсе мозга;
= расширение доступных мозгу знаний через механизм аналогий и объединение опыта, образования, а также LLM-моделей в управление знаниями.
- Ущербность действующей парадигмы информационных технологий особенно четко проявляется в сравнении с уже существующими возможностями ИИ. Это и другие обстоятельства обусловили необходимость трансформации автоматизированных процессов организации и управления бизнесом.
- Можно ли организовать трансформацию наиболее выигрышным для человека образом?
- Очень часто “чувство цели” отождествляется с путем, которым уже движется человек. Возможно, что незыблемая “вера в цель” связана с особенностью мозга следовать идеологии единственной “нити опыта” и заставляет человека организовывать свои усилия в единственный поток решений и действий.
- Любая трансформация разрушает ранее существовавшие цели, но на первом этапе не продуцирует новых четких целей. Это затрудняет реализацию изменений в бизнесе.
- Общая схема трансформации очень проста: от чего-то надо отказаться (убрать), что-то модернизировать, а что-то добавить. Основная проблема: как выявить эти “что-то”.
- Накопленные в корпоративных информационных системах данные могут сыграть позитивную роль в развитии бизнеса.
- Для этого на основе данных информационных систем следует сформировать “концепции”, в которых мыслится конкретный бизнес.
- В компании может быть накоплено много данных, но при решении конкретных задач выясняется, что самых нужных данных всегда не хватает. Априорные соображения о потребностях будущего обычно иллюзорны. Тем не менее, из уже имеющихся данных всегда можно сформировать “концепции” бизнеса.
- Технически “концепции” можно представить в виде объектов-сущностей: символических объектов со свойствами. “Символизм” дает возможность обозначить в объектах еще неизвестные или плохо оформившиеся свойства.
- Следующий шаг связан с ориентацией программ обработки данных, применяемых бизнесом, на работу с выделенными объектами.
- В итоге: объекты представляют “упакованные” понятия бизнеса, а программы - действия, для выполнения которых не надо дополнительно думать.
- Вместе объекты и действия бизнеса образуют ядро специализированного доменного языка бизнеса, которое можно охарактеризовать как “осознанный + виртуальный опыт”.
- Интеллект и ИИ на определенном уровне работают по схожей схеме: на входе воспринимают сложность действительности и извлекают из нее сжатое представление. Сжатые представления формирует классы эквивалентности - аттракторы: “понятия-концепции” для языка и “внутренние концепции” для нейромодели.
- Таким образом, интеллект и ИИ структурно схожи и готовы к коллаборации.
Идеи, цели, выводы
1. Наличие множества вариантов решений - это путь к быстрому превращению любой задачи в NP-hard (нерешаемая за разумное время). У ИИ нет (и не может появиться) функционала для преодоления барьера NP-hard. В противном случае ИИ будет эквивалентен “реальности”.
2. Эволюционные ограничения мозга-вычислителя (мышление в единой “нити опыта”) выливаются в склонность человека руководствоваться единственным путем развития. Эта особенность дает возможность самому человеку избегать проблем NP-hard и при коллаборации ограждать от них ИИ.
Интеллект, информация, программа, ИИ (5 из 5) - трансформация
Детали
- Вместо спекулятивного обсуждения возможного доминирования ИИ над человеческом интеллектом рассмотрим вопрос о том, в какой мере ИИ может компенсировать существующие ограничения человеческого интеллекта и стать комплиментарным фактором в деятельности людей.
- Ранее была прослежена следующая схема наращивания уровня интеллекта человека:
= обобщение и аппроксимация в языке существующих реалий через “понятия-концепции”;
= внешнее расширение ресурсов мозга за счет данных информационных систем и исполняемых программ (кода);
= построение башни (иерархии) “понятий-концепций” через увеличение в языке уровня абстрагирования, что обеспечивает интеллектуальный прогресс при ограниченном ресурсе мозга;
= расширение доступных мозгу знаний через механизм аналогий и объединение опыта, образования, а также LLM-моделей в управление знаниями.
- Ущербность действующей парадигмы информационных технологий особенно четко проявляется в сравнении с уже существующими возможностями ИИ. Это и другие обстоятельства обусловили необходимость трансформации автоматизированных процессов организации и управления бизнесом.
- Можно ли организовать трансформацию наиболее выигрышным для человека образом?
- Очень часто “чувство цели” отождествляется с путем, которым уже движется человек. Возможно, что незыблемая “вера в цель” связана с особенностью мозга следовать идеологии единственной “нити опыта” и заставляет человека организовывать свои усилия в единственный поток решений и действий.
- Любая трансформация разрушает ранее существовавшие цели, но на первом этапе не продуцирует новых четких целей. Это затрудняет реализацию изменений в бизнесе.
- Общая схема трансформации очень проста: от чего-то надо отказаться (убрать), что-то модернизировать, а что-то добавить. Основная проблема: как выявить эти “что-то”.
- Накопленные в корпоративных информационных системах данные могут сыграть позитивную роль в развитии бизнеса.
- Для этого на основе данных информационных систем следует сформировать “концепции”, в которых мыслится конкретный бизнес.
- В компании может быть накоплено много данных, но при решении конкретных задач выясняется, что самых нужных данных всегда не хватает. Априорные соображения о потребностях будущего обычно иллюзорны. Тем не менее, из уже имеющихся данных всегда можно сформировать “концепции” бизнеса.
- Технически “концепции” можно представить в виде объектов-сущностей: символических объектов со свойствами. “Символизм” дает возможность обозначить в объектах еще неизвестные или плохо оформившиеся свойства.
- Следующий шаг связан с ориентацией программ обработки данных, применяемых бизнесом, на работу с выделенными объектами.
- В итоге: объекты представляют “упакованные” понятия бизнеса, а программы - действия, для выполнения которых не надо дополнительно думать.
- Вместе объекты и действия бизнеса образуют ядро специализированного доменного языка бизнеса, которое можно охарактеризовать как “осознанный + виртуальный опыт”.
- Интеллект и ИИ на определенном уровне работают по схожей схеме: на входе воспринимают сложность действительности и извлекают из нее сжатое представление. Сжатые представления формирует классы эквивалентности - аттракторы: “понятия-концепции” для языка и “внутренние концепции” для нейромодели.
- Таким образом, интеллект и ИИ структурно схожи и готовы к коллаборации.
Идеи, цели, выводы
1. Наличие множества вариантов решений - это путь к быстрому превращению любой задачи в NP-hard (нерешаемая за разумное время). У ИИ нет (и не может появиться) функционала для преодоления барьера NP-hard. В противном случае ИИ будет эквивалентен “реальности”.
2. Эволюционные ограничения мозга-вычислителя (мышление в единой “нити опыта”) выливаются в склонность человека руководствоваться единственным путем развития. Эта особенность дает возможность самому человеку избегать проблем NP-hard и при коллаборации ограждать от них ИИ.
❤1🔥1
2025-06-25=
Оптимизация -1- Особенности применяемых методов (1 из 2)
Детали
- Решить задачу оптимизации означает найти одно или несколько “наилучших” в некотором смысле решений. При этом “смысл” решения строго определен в виде целевой функции, заданной в математическом формализме.
- “Наилучшее” решение представляет собой максимум или минимум целевой функции. Так как обычно задача максимизации целевой функции эквивалентна задаче минимизации той же целевой функции, но взятой со знаком минуса, то наименования “максимум” и “минимум” часто обобщают до наименования “экстремум”.
- Для ряда задач и методов оптимизации доказаны теоремы существования и единственности. Это означает, что при выполнении необходимых и достаточных условий теоремы решение соответствующей задачи существует, и оно единственно.
- Другими словами: у задачи, удовлетворяющей всем условиям теоремы, точно есть решение и, если какое-то решение найдено, то оно однозначно является верным решением задачи.
- Теоремы существования и единственности работают на уровне символических (формульных) конструкций. Если решение задачи реализуется вычислительными методами, то характеристика единственности, скорее всего, утрачивается.
- Даже для задач линейной оптимизации (линейного программирования) не всегда понятен статус получаемого результата. Главным условием при линейной оптимизации является требование выпуклости области определения. Округления при вычислениях часто приводят к тому, что это условие не выполняется: например, область определения имеет разрывы. В этом случае результат может быть ложным.
- Специально разработанные методы регуляризации дают более надежные возможности решать сложные оптимизационные задачи вычислительными методами.
- Необходимые и достаточные условия практически каждой оптимизационной теоремы носят оригинальный характер. Если в задаче эти условия выполняются не в полной мере, то тогда не приходится рассчитывать на факты существования и единственности решения.
- Многие существующие методы оптимизации являются эвристическими: для них нет доказанных теорем существования и единственности. Большая часть из них ориентируется на “разумный” вычислительный алгоритм.
- Опыт показывает, что две внешне очень похожие задачи, возникшие в разных бизнесах, не удастся решить по одинаковой оптимизационной схеме. Небольшие расхождения в деталях делают похожие “по бизнесу” задачи несопоставимыми с точки зрения применяемых мат.методов.
- Поэтому применение в бизнесе оптимизационных “решений из коробки” практически не нашло распространение.
- Альтернатива со штатным “оптимизатором” так же не распространена в бизнесе. Экономически это невыгодно, так как у одного “оптимизатора” чаще всего имеется узкий сектор специализации. Кроме того, штатный “оптимизатор” всегда ограничен “шорами” частных проблем данного бизнеса: обычно закостенелых за многие годы и усугубляемых размерами бизнеса.
Идеи, цели, выводы
1. “Проклятие большой размерности” ведет к тому, что многие практические оптимизационные задачи можно решить только вычислительными методами.
2. Полученный вычислительный результат невозможно верифицировать иначе чем, решив ту же задачу другим методом.
Оптимизация -1- Особенности применяемых методов (1 из 2)
Детали
- Решить задачу оптимизации означает найти одно или несколько “наилучших” в некотором смысле решений. При этом “смысл” решения строго определен в виде целевой функции, заданной в математическом формализме.
- “Наилучшее” решение представляет собой максимум или минимум целевой функции. Так как обычно задача максимизации целевой функции эквивалентна задаче минимизации той же целевой функции, но взятой со знаком минуса, то наименования “максимум” и “минимум” часто обобщают до наименования “экстремум”.
- Для ряда задач и методов оптимизации доказаны теоремы существования и единственности. Это означает, что при выполнении необходимых и достаточных условий теоремы решение соответствующей задачи существует, и оно единственно.
- Другими словами: у задачи, удовлетворяющей всем условиям теоремы, точно есть решение и, если какое-то решение найдено, то оно однозначно является верным решением задачи.
- Теоремы существования и единственности работают на уровне символических (формульных) конструкций. Если решение задачи реализуется вычислительными методами, то характеристика единственности, скорее всего, утрачивается.
- Даже для задач линейной оптимизации (линейного программирования) не всегда понятен статус получаемого результата. Главным условием при линейной оптимизации является требование выпуклости области определения. Округления при вычислениях часто приводят к тому, что это условие не выполняется: например, область определения имеет разрывы. В этом случае результат может быть ложным.
- Специально разработанные методы регуляризации дают более надежные возможности решать сложные оптимизационные задачи вычислительными методами.
- Необходимые и достаточные условия практически каждой оптимизационной теоремы носят оригинальный характер. Если в задаче эти условия выполняются не в полной мере, то тогда не приходится рассчитывать на факты существования и единственности решения.
- Многие существующие методы оптимизации являются эвристическими: для них нет доказанных теорем существования и единственности. Большая часть из них ориентируется на “разумный” вычислительный алгоритм.
- Опыт показывает, что две внешне очень похожие задачи, возникшие в разных бизнесах, не удастся решить по одинаковой оптимизационной схеме. Небольшие расхождения в деталях делают похожие “по бизнесу” задачи несопоставимыми с точки зрения применяемых мат.методов.
- Поэтому применение в бизнесе оптимизационных “решений из коробки” практически не нашло распространение.
- Альтернатива со штатным “оптимизатором” так же не распространена в бизнесе. Экономически это невыгодно, так как у одного “оптимизатора” чаще всего имеется узкий сектор специализации. Кроме того, штатный “оптимизатор” всегда ограничен “шорами” частных проблем данного бизнеса: обычно закостенелых за многие годы и усугубляемых размерами бизнеса.
Идеи, цели, выводы
1. “Проклятие большой размерности” ведет к тому, что многие практические оптимизационные задачи можно решить только вычислительными методами.
2. Полученный вычислительный результат невозможно верифицировать иначе чем, решив ту же задачу другим методом.
2025-06-26=
Оптимизация -1- Особенности применяемых методов (2 из 2)
Детали
- С точки зрения математических идей, применяемых при решении, можно выделить три группы оптимизационных задач: выпуклые (convex), невыпуклые (non-convex) и мультидоменные (multi-domain).
- С точки зрения учета специфики решаемых задач классификация оптимизации будет другой:
= Линейная и выпуклая (Linear и Convex);
= Локальная (Local);
= Глобальная (Global);
= Целочисленная и смешанная (Mixed Integer);
= Параметрическая (Parametric);
= Символическая (Symbolic);
= Оптимальная подгонка (Optimal Fitting);
= Специализированная (Special Purpose).
- В оптимизационной задаче бизнеса всегда приходиться учитывать много деталей, характеризующих особенности конкретного бизнеса. При этом может появиться искушение уйти от всех деталей, максимально обобщив постановку задач.
- В существующих реалиях - это тупиковый путь. Задача почти мгновенно приобретает статус NP-hard (нерешаемая за разумное время).
- “Метод ветвей и границ” по сути является тактикой разбиения задачи на “потенциально решаемые части”.
- Во-первых, выделяются “важные” части и части, которыми можно не заниматься по причине невозможности появления ситуаций с соответствующей комбинацией условий.
- Во-вторых, “важные” части (подзадачи) пытаются привязать к тем или иным методам оптимизации.
- На практике такая привязка редко проходит гладко. Поэтому чаще всего требуется взглянуть на подзадачи с разных точек зрения и расширить их изучение за пределами очевидного.
- Изучение подзадачи за пределами очевидного обычно укладывается в следующие схемы:
= введение нового формализма, упрощающего формулировку подзадачи и целей, которых надо достичь;
= переформулирование подзадачи, упрощающее ее решение;
= привлечение информации, упущенной (скрытой) при первоначальной постановке задачи;
= выбор между решением исходной или двойственной подзадачи - что проще, то и надо решать.
- Иногда полезно ввести в постановку оптимизационной задачи вариации и неопределенность (что чаще всего реализуется одинаково). Это позволяет привязать решение задачи к учету “внешних” воздействий и “внутренних” факторов и, что неожиданно, во многих ситуациях упрощает нахождение решения.
- То, что было сначала разбито на подзадачи, в какой-то момент необходимо “собрать” в единое решение исходной задачи.
- Это не совсем просто по причине несопоставимости условий применимости методов оптимизации подзадач, формы представления решений, а также используемых критериев оптимизации.
Идеи, цели, выводы
1. Проблема многокритериальной оптимизации обычно решается на основе эвристических соображений. Один из подходов связан с построением периметра Парето (Pareto-Front) и точки “утопии” (Utopia Objective).
2. Задача. Распределить деньги между акциями шести компаний, чтобы максимизировать доходность и минимизировать риск.
3. При многокритериальной оптимизации целевые функции конкурируют друг с другом: нельзя улучшить одну цель, не изменив другие (равновесие Парето).
4. При неизвестном распределении денег (векторе весов) можно решить только одну задачу: либо максимизации, либо минимизации. Решением являются доходность/риск и вектор распределения денег по акциям компаний - вектор весов.
5. В красной рамке приведены результаты следующей процедуры:
= задача оптимизации решается для одного критерия, а для другого - просто вычисляется значение критерия на полученном векторе весов;
= каждая оптимизация связана с установление случайных ограничений на значение одного из весов;
= серия вычислений охватывает все веса, а нахождения максимума и минимума чередуются между собой.
6. Красная точка - это точка “утопии”. Координаты “утопии”: максимальная прибыль и минимальный риск из всех произведенных (не связанных между собой) вычислений. Жирная черная точка - это ближайшая к “утопии” точка на периметре Парето. Ее можно считать многокритериальным оптимумом.
Оптимизация -1- Особенности применяемых методов (2 из 2)
Детали
- С точки зрения математических идей, применяемых при решении, можно выделить три группы оптимизационных задач: выпуклые (convex), невыпуклые (non-convex) и мультидоменные (multi-domain).
- С точки зрения учета специфики решаемых задач классификация оптимизации будет другой:
= Линейная и выпуклая (Linear и Convex);
= Локальная (Local);
= Глобальная (Global);
= Целочисленная и смешанная (Mixed Integer);
= Параметрическая (Parametric);
= Символическая (Symbolic);
= Оптимальная подгонка (Optimal Fitting);
= Специализированная (Special Purpose).
- В оптимизационной задаче бизнеса всегда приходиться учитывать много деталей, характеризующих особенности конкретного бизнеса. При этом может появиться искушение уйти от всех деталей, максимально обобщив постановку задач.
- В существующих реалиях - это тупиковый путь. Задача почти мгновенно приобретает статус NP-hard (нерешаемая за разумное время).
- “Метод ветвей и границ” по сути является тактикой разбиения задачи на “потенциально решаемые части”.
- Во-первых, выделяются “важные” части и части, которыми можно не заниматься по причине невозможности появления ситуаций с соответствующей комбинацией условий.
- Во-вторых, “важные” части (подзадачи) пытаются привязать к тем или иным методам оптимизации.
- На практике такая привязка редко проходит гладко. Поэтому чаще всего требуется взглянуть на подзадачи с разных точек зрения и расширить их изучение за пределами очевидного.
- Изучение подзадачи за пределами очевидного обычно укладывается в следующие схемы:
= введение нового формализма, упрощающего формулировку подзадачи и целей, которых надо достичь;
= переформулирование подзадачи, упрощающее ее решение;
= привлечение информации, упущенной (скрытой) при первоначальной постановке задачи;
= выбор между решением исходной или двойственной подзадачи - что проще, то и надо решать.
- Иногда полезно ввести в постановку оптимизационной задачи вариации и неопределенность (что чаще всего реализуется одинаково). Это позволяет привязать решение задачи к учету “внешних” воздействий и “внутренних” факторов и, что неожиданно, во многих ситуациях упрощает нахождение решения.
- То, что было сначала разбито на подзадачи, в какой-то момент необходимо “собрать” в единое решение исходной задачи.
- Это не совсем просто по причине несопоставимости условий применимости методов оптимизации подзадач, формы представления решений, а также используемых критериев оптимизации.
Идеи, цели, выводы
1. Проблема многокритериальной оптимизации обычно решается на основе эвристических соображений. Один из подходов связан с построением периметра Парето (Pareto-Front) и точки “утопии” (Utopia Objective).
2. Задача. Распределить деньги между акциями шести компаний, чтобы максимизировать доходность и минимизировать риск.
3. При многокритериальной оптимизации целевые функции конкурируют друг с другом: нельзя улучшить одну цель, не изменив другие (равновесие Парето).
4. При неизвестном распределении денег (векторе весов) можно решить только одну задачу: либо максимизации, либо минимизации. Решением являются доходность/риск и вектор распределения денег по акциям компаний - вектор весов.
5. В красной рамке приведены результаты следующей процедуры:
= задача оптимизации решается для одного критерия, а для другого - просто вычисляется значение критерия на полученном векторе весов;
= каждая оптимизация связана с установление случайных ограничений на значение одного из весов;
= серия вычислений охватывает все веса, а нахождения максимума и минимума чередуются между собой.
6. Красная точка - это точка “утопии”. Координаты “утопии”: максимальная прибыль и минимальный риск из всех произведенных (не связанных между собой) вычислений. Жирная черная точка - это ближайшая к “утопии” точка на периметре Парето. Ее можно считать многокритериальным оптимумом.
2025-06-30=
Оптимизация -2- Функции одной переменной (1 из 3)
Детали
- Для функции одной переменной, заданной композицией элементарных функций (сумма, произведение, возведение в степень, синус, косинус, тангенс, котангенс, логарифм, квадратный корень, секанс, косеканс, экспонента, абсолютное значение), математический аппарат предоставляет наиболее полные возможности решения оптимизационных задач.
- В практических задачах функция одной переменной и, тем более, заданная композицией элементарных функций почти никогда не встречается. При этом “производственные функции” математической экономики представляют собой композиции элементарных функций: их “надуманность” часто вызывает критику.
- Наиболее распространенным представлением данных является временной ряд, состоящий из точек (аргумент/время, значение состояния), который эквивалентен поточечному заданию функции одной переменной.
- Если удается найти формулу, которая порождает исследуемый временной ряд, то дальше вместо ряда можно изучать полученную формулу.
- Уточним применяемую терминологию.
- В математике формула представляет собой факт, правило или принцип, который выражается в математических терминах и символах.
- Аппроксимацией функции называется замена исходного сложного задания функции на более простое, но максимально сохраняющее поведение функции. Интерполяцией функции называется нахождение способа определения промежуточных значений функции по значениям известных точек.
- Пусть во временном ряду фиксируются состояния некоторого процесса. Найденная формула для временного ряда означает решение проблемы “времени”. Имея формулу, можно найти значение состояния в любой “момент времени”, и для этого не нужно вести наблюдения за процессом с самого начала, фиксируя все промежуточные состояния.
- Кроме того, найденная формула неявно фиксирует, что процесс подчиняется только одной закономерности, заданной формулой.
- Найденная формула может представлять временной ряд не точно, а с некоторой погрешностью (зеленая рамка).
- Линейная регрессия представляет собой формулу (линейную функцию) временного ряда с известной погрешностью. При этом полагается, что временной ряд на всем своем протяжении подчиняется единственной линейной закономерности.
- Технически работа с временным рядом состоит из интерполяции временного ряда и последующей аппроксимации полученной интерполяции.
- Разработаны программы представления временного ряда в виде композиции элементарных функций. Нахождение “правильной” формулы всегда является удачей.
- Невозможность найти (одну) формулу для временного ряда чаще всего связана с тем, что внутри ряда меняются закономерности, порождающие соответствующие состояния. Эти изменения связаны с наступлением некого события. Содержание события и время, в которое событие имело место, как правило, нельзя восстановить только по информации временного ряда.
- Неявно окрестности большинства наступивших событий можно получить, определяя точки разрыва временного ряда.
Идеи, цели, выводы
1. Самым простым, но “грубым” методом нахождения точек разрыва временного ряда является нахождение скользящего среднего для временного ряда и выявления его “пиков” (синяя рамка). “Пики” определяют окрестности, подозрительные на возможные разрывы временного ряда.
2. Другим способом является применение функции “найти формулу” (красная рамка). Исходный ряд - серые точки, аппроксимация - кусочная красная функция. Точки, в которых меняется вид формулы, представляют собой окрестности, в которых произошло некое событие. Именно его можно считать “творцом” новой закономерности, которой начинают следовать состояния временного ряда.
Оптимизация -2- Функции одной переменной (1 из 3)
Детали
- Для функции одной переменной, заданной композицией элементарных функций (сумма, произведение, возведение в степень, синус, косинус, тангенс, котангенс, логарифм, квадратный корень, секанс, косеканс, экспонента, абсолютное значение), математический аппарат предоставляет наиболее полные возможности решения оптимизационных задач.
- В практических задачах функция одной переменной и, тем более, заданная композицией элементарных функций почти никогда не встречается. При этом “производственные функции” математической экономики представляют собой композиции элементарных функций: их “надуманность” часто вызывает критику.
- Наиболее распространенным представлением данных является временной ряд, состоящий из точек (аргумент/время, значение состояния), который эквивалентен поточечному заданию функции одной переменной.
- Если удается найти формулу, которая порождает исследуемый временной ряд, то дальше вместо ряда можно изучать полученную формулу.
- Уточним применяемую терминологию.
- В математике формула представляет собой факт, правило или принцип, который выражается в математических терминах и символах.
- Аппроксимацией функции называется замена исходного сложного задания функции на более простое, но максимально сохраняющее поведение функции. Интерполяцией функции называется нахождение способа определения промежуточных значений функции по значениям известных точек.
- Пусть во временном ряду фиксируются состояния некоторого процесса. Найденная формула для временного ряда означает решение проблемы “времени”. Имея формулу, можно найти значение состояния в любой “момент времени”, и для этого не нужно вести наблюдения за процессом с самого начала, фиксируя все промежуточные состояния.
- Кроме того, найденная формула неявно фиксирует, что процесс подчиняется только одной закономерности, заданной формулой.
- Найденная формула может представлять временной ряд не точно, а с некоторой погрешностью (зеленая рамка).
- Линейная регрессия представляет собой формулу (линейную функцию) временного ряда с известной погрешностью. При этом полагается, что временной ряд на всем своем протяжении подчиняется единственной линейной закономерности.
- Технически работа с временным рядом состоит из интерполяции временного ряда и последующей аппроксимации полученной интерполяции.
- Разработаны программы представления временного ряда в виде композиции элементарных функций. Нахождение “правильной” формулы всегда является удачей.
- Невозможность найти (одну) формулу для временного ряда чаще всего связана с тем, что внутри ряда меняются закономерности, порождающие соответствующие состояния. Эти изменения связаны с наступлением некого события. Содержание события и время, в которое событие имело место, как правило, нельзя восстановить только по информации временного ряда.
- Неявно окрестности большинства наступивших событий можно получить, определяя точки разрыва временного ряда.
Идеи, цели, выводы
1. Самым простым, но “грубым” методом нахождения точек разрыва временного ряда является нахождение скользящего среднего для временного ряда и выявления его “пиков” (синяя рамка). “Пики” определяют окрестности, подозрительные на возможные разрывы временного ряда.
2. Другим способом является применение функции “найти формулу” (красная рамка). Исходный ряд - серые точки, аппроксимация - кусочная красная функция. Точки, в которых меняется вид формулы, представляют собой окрестности, в которых произошло некое событие. Именно его можно считать “творцом” новой закономерности, которой начинают следовать состояния временного ряда.
2025-07-01=
Оптимизация -2- Функции одной переменной (2 из 3)
Детали
- Многим процессам бизнеса свойственна цикличность.
- Обычно цикличность является только одним из типов закономерностей, присутствующих во временном ряду.
- Содержательно это сводится к тому, что на фиксируемые состояния процесса (значения временного ряда) действует сразу несколько событий, например, “долгоиграющее”, определяющее цикличность, и “текущие”, определяющие локальные тренды и конкретные обстоятельства.
- В этой ситуации временной ряд целесообразно представить в виде гармоник Фурье (то есть применить к ряду дискретное преобразование Фурье).
- В биржевом “техническом анализе” выявление главной гармоники (гармоники с максимальной амплитудой) является первым шагом любого исследования.
- Для корректного применения дискретного преобразования Фурье требуется иметь много точек исследуемой зависимости (обычно на порядок больше, чем изначально дано). Поэтому исходный ряд интерполируется и из полученной интерполяции находится необходимое количество точек.
- На следующем шаге из данных “устраняется” линейный тренд (значения линейной регрессии). Гармоники Фурье ищутся на данных без линейного тренда. “Устраненный” линейный тренд при необходимости может быть добавлен к данным на любом этапе работы с ними.
- В синей рамке приведены этапы нахождения гармоник Фурье. Первый график с таблицей носят технический характер. В таблице приведены первые 8 гармоник по убыванию амплитуды. Второй и третий графики - это Фурье-аппроксимации (красный пунктир) исходного серого ряда с помощью 8 и 20 гармоник соответственно.
- Если понятно с чем связана цикличность, то одним из вариантов дальнейшего исследования может быть вычитание значений главной гармоники из значений временного ряда и работа с вновь полученным рядом.
- Изначально большой проблемой является дискретность временного ряда. Одним из плодотворных “трюков” в работе с рядами является его интерполяция сплайнами.
- В зеленой рамке приведено сравнение интерполяции набора черных точек полиномами и сплайнами. Числа в легенде - степень применяемых полиномов. Визуально обе интерполяции отличаются, но не сильно.
- В красной рамке приведен график первых производных интерполяции полиномами (красный график) и интерполяции сплайнами (синий пунктир): различия уже существенные. Интерполяция сплайнами имеет “гладкую” первую производную.
- В оранжевой рамке приведены первая и вторая производные интерполяции сплайнами.
- Важность “гладкости” производных интерполяции заключается в том, что по нулям производных можно достаточно точно определять “время” происходящих событий.
- Нули первой производной говорят об областях возрастания и убывания значений ряда. Но эти характеристики являются только следствиями произошедших событий.
- Нули второй производной говорят о точках изменения характера зависимостей (это точки перегиба интерполирующей функции). Именно эти точки связаны со временем, когда происходило то или иное событие, меняющее характер зависимости интерполирующей функции.
- Так как интерполирующая функция аппроксимирует исходный ряд, то набор событий интерполирующей функции будет, скорее всего, шире (но не уже), чем набор событий временного ряда.
Идеи, цели, выводы
1. Рассмотренные ранее подходы работы с данными не связаны с какими-либо предварительными предположениями о внутренней структуре данных (“моделях данных”). Описанные методы и средства следуют только логике исследуемых данных и только ей.
Оптимизация -2- Функции одной переменной (2 из 3)
Детали
- Многим процессам бизнеса свойственна цикличность.
- Обычно цикличность является только одним из типов закономерностей, присутствующих во временном ряду.
- Содержательно это сводится к тому, что на фиксируемые состояния процесса (значения временного ряда) действует сразу несколько событий, например, “долгоиграющее”, определяющее цикличность, и “текущие”, определяющие локальные тренды и конкретные обстоятельства.
- В этой ситуации временной ряд целесообразно представить в виде гармоник Фурье (то есть применить к ряду дискретное преобразование Фурье).
- В биржевом “техническом анализе” выявление главной гармоники (гармоники с максимальной амплитудой) является первым шагом любого исследования.
- Для корректного применения дискретного преобразования Фурье требуется иметь много точек исследуемой зависимости (обычно на порядок больше, чем изначально дано). Поэтому исходный ряд интерполируется и из полученной интерполяции находится необходимое количество точек.
- На следующем шаге из данных “устраняется” линейный тренд (значения линейной регрессии). Гармоники Фурье ищутся на данных без линейного тренда. “Устраненный” линейный тренд при необходимости может быть добавлен к данным на любом этапе работы с ними.
- В синей рамке приведены этапы нахождения гармоник Фурье. Первый график с таблицей носят технический характер. В таблице приведены первые 8 гармоник по убыванию амплитуды. Второй и третий графики - это Фурье-аппроксимации (красный пунктир) исходного серого ряда с помощью 8 и 20 гармоник соответственно.
- Если понятно с чем связана цикличность, то одним из вариантов дальнейшего исследования может быть вычитание значений главной гармоники из значений временного ряда и работа с вновь полученным рядом.
- Изначально большой проблемой является дискретность временного ряда. Одним из плодотворных “трюков” в работе с рядами является его интерполяция сплайнами.
- В зеленой рамке приведено сравнение интерполяции набора черных точек полиномами и сплайнами. Числа в легенде - степень применяемых полиномов. Визуально обе интерполяции отличаются, но не сильно.
- В красной рамке приведен график первых производных интерполяции полиномами (красный график) и интерполяции сплайнами (синий пунктир): различия уже существенные. Интерполяция сплайнами имеет “гладкую” первую производную.
- В оранжевой рамке приведены первая и вторая производные интерполяции сплайнами.
- Важность “гладкости” производных интерполяции заключается в том, что по нулям производных можно достаточно точно определять “время” происходящих событий.
- Нули первой производной говорят об областях возрастания и убывания значений ряда. Но эти характеристики являются только следствиями произошедших событий.
- Нули второй производной говорят о точках изменения характера зависимостей (это точки перегиба интерполирующей функции). Именно эти точки связаны со временем, когда происходило то или иное событие, меняющее характер зависимости интерполирующей функции.
- Так как интерполирующая функция аппроксимирует исходный ряд, то набор событий интерполирующей функции будет, скорее всего, шире (но не уже), чем набор событий временного ряда.
Идеи, цели, выводы
1. Рассмотренные ранее подходы работы с данными не связаны с какими-либо предварительными предположениями о внутренней структуре данных (“моделях данных”). Описанные методы и средства следуют только логике исследуемых данных и только ей.
2025-07-02=
Оптимизация -2- Функции одной переменной (3 из 3)
Детали
- Ничего не мешает подумать о значениях состояний, образующих временной ряд, как о значениях, генерируемых случайной переменной, имеющей некое распределение вероятностей.
- Базой всех распределений вероятностей является нормальное распределение (непрерывное): в рассматриваемом контексте деление на непрерывные и дискретные распределения не является принципиально важным.
- Существующее большое количество различных распределений вероятностей возникает из-за того, что в реальных процессах имеют место структурные особенности, которые делают поведение случайной величины существенно отличающимся от нормального.
- Фактически целью исследования временного ряда и является выявление структурных особенностей процесса, порождающего временной ряд состояний.
- Относясь к временному ряду как набору значений случайной переменной можно вычислить несколько распределений вероятностей, которые могли бы породить соответствующие значения состояний.
- Получение смешанных распределений вероятностей говорит о совмещении в процессе нескольких “канонических” закономерностей. Специфика каждого распределения характеризует соответствующие структурные особенности исследуемого процесса. Причем особенности большинства известных распределений и стоящих за ними “канонических” процессов изучены весьма подробно.
- В оранжевой рамке в первом фрагменте приведен временной ряд, во втором фрагменте этот временной ряд упорядочен по возрастанию значений, в третьем фрагменте найдены три возможных распределения вероятностей, которые соответствовали бы выборке, составляющей временной ряд.
- В четвертом фрагменте приведены графики PDF соответствующих распределений вероятностей. Все распределения - смешанные. Числа перед распределением указывают его вес в смешанной комбинации.
- Полученное распределение является бимодальным, что явно говорит о том, что наблюдаемый процесс соединяет в себе два сильно различающихся подпроцесса, подчиняющихся разным закономерностям.
- Фактическое совпадение PDF распределений обусловливает возможность положить в основу исследования структурных особенностей временного ряда любое из них. Дополнительно можно исследовать степень соответствия данных и конкретного распределения по автоматически рассчитываемым тестам/критериям и тогда выбрать наиболее подходящее распределение.
- Предположим, что в рассматриваемом временном ряду фактор сложности превалирует над фактором случайности. Более того, исследуемый процесс может быть строго детерминированным.
- Но и в этом случае работа с распределениями может помочь в исследованиях.
- Любой набор данных можно представить в виде “эмпирического” (empirical) распределения. В этом случае по определенным правилам формируется CDF “эмпирического” распределения. Из наличия CDF следует возможность построения других вероятностных конструкций и статистик: PDF, среднее...
- Любые другие временные ряды, полученные из того же процесса можно сравнивать на уровне “эмпирических” CDF.
- В синей рамке приведено сравнение синего “эмпирического” CDF с CDF двух других наборов данных. В этом случае происходит “вероятностная” редукция данных, позволяющая сравнивать их “в целом”.
- Полученные “эмпирические” CDF/PDF также можно сравнивать с CDF/PDF канонических распределений и находить отличия существующего процесса (“as is”) от целевого (“to be”).
Идеи, цели, выводы
1. Методы и средства работы с распределениями вероятностей могут быть полезны как в случае, когда в данных просматривается случайный характер, так и в случае, когда они фиксируют сложные, но строго детерминированные зависимости.
Оптимизация -2- Функции одной переменной (3 из 3)
Детали
- Ничего не мешает подумать о значениях состояний, образующих временной ряд, как о значениях, генерируемых случайной переменной, имеющей некое распределение вероятностей.
- Базой всех распределений вероятностей является нормальное распределение (непрерывное): в рассматриваемом контексте деление на непрерывные и дискретные распределения не является принципиально важным.
- Существующее большое количество различных распределений вероятностей возникает из-за того, что в реальных процессах имеют место структурные особенности, которые делают поведение случайной величины существенно отличающимся от нормального.
- Фактически целью исследования временного ряда и является выявление структурных особенностей процесса, порождающего временной ряд состояний.
- Относясь к временному ряду как набору значений случайной переменной можно вычислить несколько распределений вероятностей, которые могли бы породить соответствующие значения состояний.
- Получение смешанных распределений вероятностей говорит о совмещении в процессе нескольких “канонических” закономерностей. Специфика каждого распределения характеризует соответствующие структурные особенности исследуемого процесса. Причем особенности большинства известных распределений и стоящих за ними “канонических” процессов изучены весьма подробно.
- В оранжевой рамке в первом фрагменте приведен временной ряд, во втором фрагменте этот временной ряд упорядочен по возрастанию значений, в третьем фрагменте найдены три возможных распределения вероятностей, которые соответствовали бы выборке, составляющей временной ряд.
- В четвертом фрагменте приведены графики PDF соответствующих распределений вероятностей. Все распределения - смешанные. Числа перед распределением указывают его вес в смешанной комбинации.
- Полученное распределение является бимодальным, что явно говорит о том, что наблюдаемый процесс соединяет в себе два сильно различающихся подпроцесса, подчиняющихся разным закономерностям.
- Фактическое совпадение PDF распределений обусловливает возможность положить в основу исследования структурных особенностей временного ряда любое из них. Дополнительно можно исследовать степень соответствия данных и конкретного распределения по автоматически рассчитываемым тестам/критериям и тогда выбрать наиболее подходящее распределение.
- Предположим, что в рассматриваемом временном ряду фактор сложности превалирует над фактором случайности. Более того, исследуемый процесс может быть строго детерминированным.
- Но и в этом случае работа с распределениями может помочь в исследованиях.
- Любой набор данных можно представить в виде “эмпирического” (empirical) распределения. В этом случае по определенным правилам формируется CDF “эмпирического” распределения. Из наличия CDF следует возможность построения других вероятностных конструкций и статистик: PDF, среднее...
- Любые другие временные ряды, полученные из того же процесса можно сравнивать на уровне “эмпирических” CDF.
- В синей рамке приведено сравнение синего “эмпирического” CDF с CDF двух других наборов данных. В этом случае происходит “вероятностная” редукция данных, позволяющая сравнивать их “в целом”.
- Полученные “эмпирические” CDF/PDF также можно сравнивать с CDF/PDF канонических распределений и находить отличия существующего процесса (“as is”) от целевого (“to be”).
Идеи, цели, выводы
1. Методы и средства работы с распределениями вероятностей могут быть полезны как в случае, когда в данных просматривается случайный характер, так и в случае, когда они фиксируют сложные, но строго детерминированные зависимости.
2025-07-03=
Оптимизация -3- Задание региона, на котором решается оптимизационная задача
Детали
- Задачи оптимизации связаны как с заданием функции, экстремумы которой надо найти, так и с фиксацией региона (region, область), на которой ищутся экстремумы.
- Пусть имеется какая-то функция, характеризующая эффективность работы карьерного экскаватора. В общем случае область определения этой функции может быть большой (бесконечной). При этом регион, на котором ищутся оптимальные решения, будет не больше площадки, на котором физически может работать экскаватор (эту площадку точно ограничат гора и обрыв).
- Регион обычно задается предикатом, который представляет собой логическую комбинацию неравенств, а также границами значений переменных, которые входят в предикат.
- В красной и оранжевой рамках приведены регионы и предикаты, которые их задают (в титуле рисунка). Значения переменных “x” и “y” при этом должны находиться в промежутке от -2 до 2. В красной рамке предикат состоит из логического умножения двух неравенств.
- В синей рамке показан регион, задаваемый двумя разными предикатами, а также общая область их пересечения. При логическом умножении предикатов регион будет составлять только область их пересечения.
- Большинство задач оптимизации решается численно и на сетке (mesh). В зеленой рамке показан регион и сетка, которая становится чаще при быстром изменении границы (периметра) региона.
- Регион также может задаваться в произвольной форме.
- В любом случае необходимо иметь средство для управляемого (параметрами и опциями) задания для региона сетки, на которой будет решаться оптимизационная задача.
- В фиолетовой рамке регион нарисован от руки, но привязанная к нему сетка строго формализована и детерминирована.
Идеи, цели, выводы
1. Чаще всего экстремумы оптимизационных задач лежат на границах регионов. Поэтому корректное задание регионов для оптимизационных задач не только важно, но и обусловливает верное решение задачи.
Оптимизация -3- Задание региона, на котором решается оптимизационная задача
Детали
- Задачи оптимизации связаны как с заданием функции, экстремумы которой надо найти, так и с фиксацией региона (region, область), на которой ищутся экстремумы.
- Пусть имеется какая-то функция, характеризующая эффективность работы карьерного экскаватора. В общем случае область определения этой функции может быть большой (бесконечной). При этом регион, на котором ищутся оптимальные решения, будет не больше площадки, на котором физически может работать экскаватор (эту площадку точно ограничат гора и обрыв).
- Регион обычно задается предикатом, который представляет собой логическую комбинацию неравенств, а также границами значений переменных, которые входят в предикат.
- В красной и оранжевой рамках приведены регионы и предикаты, которые их задают (в титуле рисунка). Значения переменных “x” и “y” при этом должны находиться в промежутке от -2 до 2. В красной рамке предикат состоит из логического умножения двух неравенств.
- В синей рамке показан регион, задаваемый двумя разными предикатами, а также общая область их пересечения. При логическом умножении предикатов регион будет составлять только область их пересечения.
- Большинство задач оптимизации решается численно и на сетке (mesh). В зеленой рамке показан регион и сетка, которая становится чаще при быстром изменении границы (периметра) региона.
- Регион также может задаваться в произвольной форме.
- В любом случае необходимо иметь средство для управляемого (параметрами и опциями) задания для региона сетки, на которой будет решаться оптимизационная задача.
- В фиолетовой рамке регион нарисован от руки, но привязанная к нему сетка строго формализована и детерминирована.
Идеи, цели, выводы
1. Чаще всего экстремумы оптимизационных задач лежат на границах регионов. Поэтому корректное задание регионов для оптимизационных задач не только важно, но и обусловливает верное решение задачи.
Оглавление #59
2025-06-04=Пространственные данные -2- Точки как события
2025-06-05=Пространственные данные -3- Пространственные отношения (1 из 2)
2025-06-16=Пространственные данные -3- Пространственные отношения (2 из 2)
2025-06-17=Интеллект, информация, программа, ИИ (1 из 5) - идея “понятия-концепции” и язык
2025-06-18=Интеллект, информация, программа, ИИ (2 из 5) - данные и программы
2025-06-19=Интеллект, информация, программа, ИИ (3 из 5) - интеллектуальный прогресс
2025-06-23=Интеллект, информация, программа, ИИ (4 из 5) - опыт, образование, знания
2025-06-24=Интеллект, информация, программа, ИИ (5 из 5) - трансформация
2025-06-04=Пространственные данные -2- Точки как события
2025-06-05=Пространственные данные -3- Пространственные отношения (1 из 2)
2025-06-16=Пространственные данные -3- Пространственные отношения (2 из 2)
2025-06-17=Интеллект, информация, программа, ИИ (1 из 5) - идея “понятия-концепции” и язык
2025-06-18=Интеллект, информация, программа, ИИ (2 из 5) - данные и программы
2025-06-19=Интеллект, информация, программа, ИИ (3 из 5) - интеллектуальный прогресс
2025-06-23=Интеллект, информация, программа, ИИ (4 из 5) - опыт, образование, знания
2025-06-24=Интеллект, информация, программа, ИИ (5 из 5) - трансформация