Предупреждаю сразу: у меня нет решения этой проблемы. Тем не менее, у меня есть осознание того, что традиционные способы оценки эффективности далеки от объективности; осознание порядком обдуманное и, местами, весьма специфическое, и именно этим осознанием я хочу поделиться. Полагаю, что сама постановка вопроса и приглашение к его обсуждению могут быть полезными.

(Внимание: далее я буду критиковать неких абстрактных "вас". Прошу понять меня правильно, я не нападаю ни на кого конкретного - просто стимулирую каждого из читателей к мыслительному процессу о своей собственной практике и поиску собственных ответов. Кстати, меня тоже эта критика касается...)
 
 
Итак...

Чаще всего, приходится встречать некую процентную характеристику: "моя методика даёт 80% попаданий", "моя результативность 70% по такому-то соревнованию", - всё это прекрасно подходит для фаллометрии и пестования собственного ЧСВ, но едва ли может выступать объективным критерием оценки действенности той или иной прогностической методики или астрологии в целом (к процентовкам Симоны это не имеет никакого отношения - она исследует частотность появления в картах тех или иных факторов - а это, прошу заметить, совсем из другой оперы).

Каждому из тех, кто стремится к результативности, к примеру, в 70% или утверждает, что методика считается "работающей" при эффективности свыше 50%, я скажу следующее: моя эффективность по футбольному ЧМ-2010 - 100%. Серьёзно, именно сто, хоть убейте... Значит ли это, что я гений/ ясновидящий/ нашёл ту самую "золотую методику" и стану миллиардером?

Ни черта это ни о чём не говорит, кроме как о том, что итоговый процент неотсоединим от кучи неучтённых условий, и зависит исключительно от того, как именно мы его подсчитали. С того, как именно я "добился" такой потрясающей эффективности прогнозов, и начнём.
 
 
Во-первых, я сосчитал только те случаи, по которым сделал реальные ставки... Четыре раза, а до этого - "всего лишь пристреливался", попросту, гипнотизируя ничего не понимающим взглядом карту, даже не фиксировал прогнозы и вовсе не считал подходы (строя карту отнюдь не на каждую игру). Не помню точно, сколько матчей у нас в программе ЧМ всего, но сдаётся мне, что, если посчитать их все (мною не рассмотренные), то моя 100-процентная результативность превратится, на вскидку, в 10-процентную. Уже не впечатляет, не так ли?..

Вы можете возразить мне: "Я строю карту на каждый матч, который вижу, и записываю прогноз/итог по каждой карте, которую строю." Отлично, - отвечу я (хотя, заметим, что мало кто, в действительности, может делать так достаточно долго - наши силы не безграничны, а лень - неодолима), - но вы декларируете результативность, например, в применении к футболу.

Вы смотрели карты всех футбольных матчей? А если нет, то каковы ваши основания утверждать, что они находятся в рамках той же закономерности, что те немногие, находящиеся в вашей выборке? Доказывайте; бремя доказательства по определению лежит на выдвигающем гипотезу, а не на сомневающемся, так что, не нужно переваливать эту неподъёмную ношу на меня. Если и моя, и ваша выборка заведомо неполна, то в чём между ними принципиальная разница?

Вы можете увидеть 10/ 100/ 1000/ 1000000 серых ворон подряд (скорее всего, именно такой опыт у Вас есть) сделать вывод от частного к общему: "все вороны серы" или, хотя бы, "вероятность встретить несерую ворону стремится к нулю". Это ошибка! Просто переезжаем к западу от Дуная и наблюдаем подряд 10/ 100/ 1000/ 1000000 чёрных ворон с тою же процентной результативностью, близкой к ста.

Ловушка в том, что в применении к любой методике прогнозирования спорта и к астрологии как науке в целом мы, попросту, не знаем, где Дунай. Мы не знаем даже сколько Дунаев. Просто блуждаем наугад, безо всякого подобия карты (географической), и, при этом, считаем, что делаем научные выводы.

Мой ответ на этот вызов - двоякий и внутренне противоречивый: с одной стороны, я пытаюсь "нащупать" Дунаи, которые попадаются, а с другой - становлюсь эмпириком. А эмпирик сказал бы: "Если Вы встретили 100/ 1000/ 1000000 серых ворон, то это не значит ничего, кроме того, что Вы встретили 100/ 1000/ 1000000 серых ворон." Каждая отдельно взятая частность (опыт) имеет смысл; их обобщение ("индуктивное умозаключение") - не значит ничего.
 
 
Во-вторых, на каждую из ставок я получал по три, а то и по четыре независимых астрологических подтверждения. Это сильно выбивалось из математической вероятности и сильно привлекало внимание, добавляя уверенности. Это была гигантская надпись красным по синеве неба: "Ставь, чувак!" Я часто вижу такие "надписи", явно выходящие за рамки нормального распределения вероятностей? Нет. Несколько раз в год, приблизительно. Для того, чтобы прокормить себя этим, работая несколько раз в год, нужно заранее обладать капиталом, который достаточен для того, чтобы прожить и без ставок, да ещё и рисковать им, притом что никакой гарантии, что на этот раз "на небесах не написана издевательская шутка" у меня не будет.

При этом, методики, которые я тогда использовал были крайне, чудовищно примитивны. В частности, в хорарах меня интересовало прежде всего то, чей управитель выше над горизонтом, и на этом, фактически - всё. Есть подозрение, что, если бы "на той волне" я занимался не астрологией, а гаданием по полёту мухи, подбрасыванием монетки или ещё чем-нибудь, результат был бы тем же. А у каждой конкретной методики - результативность должна быть "ниже плинтуса" (пусть, к примеру, 30% - цифра "с потолка").

И вот такая математика: (30+30+30+30)/4=100! У меня нет этому научного объяснения, но я не могу и проигнорировать это... А вы уверены, что эффективность, которую вы высчитываете относится именно к методике, а не к вам лично (Вашему подсознанию, везению, богам, транзитам, наконец)?
 
 
В-третьих, даже учитывая эти фантастические "намёки небес", я делал ставки не только астрологией, но и мозгом, опирался на собственное знание специфики команд и игры. Нет, я не делал ставки на заведомых фаворитов в матчах типа Бразилия - Северная Корея. Однако же, если бы мне потребовалось, ничем не рискуя, предсказать победителя в матчах Германия-Аргентина (хотя здесь я ох как дёргался), Испания-Германия и Испания-Нидерланды, я расставил бы приоритеты так же, как и сделал ставки, даже при общем относительном равенстве коэффициентов. Рисковать бы без астрологии не стал, это да... А уж чтобы усомниться в том, что Испания пройдёт четвертьфинал с не-помню-какими-латиноамериканцами, нужно было вовсе не знать, что такое футбол.

При этом, увидев в хорарах картину о том, что Нидерланды пройдут Уругвай "без вариантов", а Германия огребёт проблем в матче с Уругваем, я согласия от мозга не получил, и соответствующих ставок не сделал.

Внимание вопрос: как отделить в означенной "процентовке" заслуги методики от заслуг моего мозга? А если запретить себе пользоваться мозгом, то как отделить заслуги методики от естественного распределения вероятностей, которое, как правило, отлично в спорте от 2.0 без ничьей (50%/50%)?
 
 
Как бы там ни было, хоть как-то оценивать, то, что мы делаем, нам необходимо. Совсем без ориентира - какое бы то ни было движение невозможно, в принципе. Признаюсь, у меня у самого толком никакого ориентира нет, и я то и дело топчусь на месте да круги наворачиваю; но я попытаюсь, хотя бы, показать на ориентир от ориентира.

Итак... Если мы используем какую-либо методику, то что нам от неё нужно?.. Чтобы с ней, наши результаты были лучше, чем без неё... Таким образом, свои прогнозы каждому из экспериментаторов следовало бы писать (или, хотя бы, запоминать, при условии наличия достаточной честности с самим собой) в двойном формате: прогноз одним только мозгом и прогноз методикой + мозгом (или чисто механической методикой, но в первом случае мозговой прогноз стоит записывать до просмотра карты). На выходе: видим сравнительные характеристики наглядно, а при особом фанатизме - считаем цифрами/галочками (однако, при этом нужно будет придерживаться единообразия трудности прогнозов: писать П2 мозгом и х2 методикой, по понятным причинам, будет нельзя).

При таком подходе к оценке, минимально приемлемым уровнем, нулём, предлагаю считать относительное равенство показателей с методикой и без неё. Всё, что ниже - считать (пока) не работающим; оптимисты могут читать с содержимым скобок.

Таковой подход частично решает проблему "притяжек" (необъективности) - "притянешь" прогноз "за уши" к собственному мнению - уведёшь результативность в ноль, а не в плюс. К тому же, при нём наглядно видно, будет ли методика полезна именно тебе, при твоём уровне знаний; позволяет ответить на вопрос: "а нужна ли мне эта методика, и, если нужна, то зачем?"

Да, он ненаучен - повторимость результата относительна; однако, мне это кажется вполне приемлемым - компетенция экспериментаторов разнится, и в этом нет никакой мистики. В конце концов, футбольную школу закончили много мальчиков, а Месси - один. К тому же, подход отражает динамику: а ведь как методика, так и компетенция эксперта склонна к развитию, и они могут попеременно обгонять друг друга.

Минус мною замечен один, но гигантский: подход абсолютно неприложим к хорарам, а я, в основном, хорарщик в спортивном контексте. Дело в том, что, хорошие хорары получаются именно тогда, когда собственного мнения о вероятном исходе у меня нет (то есть вообще - хоть монетку бросай, но это было бы сравнение с монеткой, а не моим мозгом). Когда мнение есть, хорары, как правило, значительно хуже; единственное систематическое исключение - тот самый замечательный ЧМ.

При этом, я ни разу не видел инцепционной (на событие) методики, которой бы я поверил настолько, чтобы набить по данному подходу к оценке методик серьёзную базу. Обычно мне с ними всё понятно почти сразу. Посему, предупреждаю: я сам не испытывал предлагаемый мною подход с должной тщательностью.

Опять же, наиболее частое моё мнение: "я бы в эту линию не влезал", - заставлять себя, всё-таки, принимать одну из сторон, это идти против своего мозга, а значит - эксперимент не был бы чист. Как выворачиваться, не знаю...

Однако, вернёмся к разметке шкалы. Если мы хотим не просто повысить свой уровень понимания спорта, но зарабатывать на этом деньги, то нам нужно, чтобы наши прогнозы были точнее мнения букмекера. Тут всё несколько сложнее. Таковую результативность я счёл бы за среднюю, но вот только как её вычислить?

У Форекс-диллеров есть такая штука: демо-счета, - позволяющая оттестировать методику на игрушечных деньгах. У букмекеров я такого не встречал ни разу - ни у нас, ни на Западе (NB: после первой публикации статьи участники форума подсказали такие варианты). В таком случае, эффективность выражалась бы наглядно - в условных деньгах; только считать стоило бы не доход, а процент от депозита (начальной суммы отрезка времени) на единицу времени.

Даже, если бы и найти аналог у букмекеров, то он, всё равно, нам поможет слабо: он работает в реальном времени, а большинство наших карт в базах, по которым прогоняется каждая новая методика, глубоко ретроспективно. Куда деваться, опять-таки, ума не приложу.

Повторю, что на обладание "подлинным ориентиром" я не претендую. Просто, посчитал своим долгом удержаться в рамках принципа "критикуешь-предлагай", и высосал из пальца. И самое главное: помним про серых ворон. Серые вороны - самое важное в спортивной астрологии...