Русская Википедия:Computer Chess Rating Lists
Computer Chess Rating Lists (CCRL) — семейство рейтингов (рейтинг-листов) сильнейших компьютерных шахматных программ. В качестве методики применяется рейтинг Эло Bayesian[1], учитывающий цвет, процент набранных очков, включая ничьи, и различия в оценке шахматных программ при игре между собой.
На сегодняшний день является одним из самых авторитетных и известных в мире методов оценки как коммерческих (проприетарных), так и бесплатных шахматных программ.
История создания и организация
Рейтинг-листы CCRL ведутся с 2006 года группой шахматных энтузиастов в следующем первоначальном составе: Грехам Бенкс (Graham Banks), Рей Бенкс (Ray Banks), Сара Бёрд (Sarah Bird), Кирилл Крюков (Kirill Kryukov) и Чарльс Смит (Charles Smith). Этих людей объединила вместе идея, что их хобби — тестирование шахматных программ будет более полезным и востребованным, если они объединят свои усилия и будут публиковать результаты на регулярной основе. В дальнейшем группа пополнялась за счёт добровольцев. На сегодняшний день, костяк группы состоит из двенадцати человек и объём выполняемой работы значительно перерос понятие хобби.
Предложить себя в качестве тестера может каждый, однако принимаются только люди хорошо известные в сообществе шахматных программ или имеют известных в этом кругу поручителей.
За время существования группа разработала целый свод формальных правил и допусков на основе которых сейчас и осуществляет тестирование. Такой подход более прозрачен и позволяет с большим доверием относиться к полученным результатам.
Состав и методика
В настоящее время ведутся три основных независимых рейтинг-листа, различающихся по контролю времени и по некоторым другим параметрам:
- CCRL 40/40 — эквивалентно 40 ходов за 40 минут с повторением (CCRL 40/40)
- CCRL 40/4 — эквивалентно 40 ходов за 4 минуты с повторением (CCRL 40/4)
- CCRL 40/4FRC — эквивалентно 40 ходов за 4 минуты с повторением (CCRL 40/4FRC)
Во всех основных рейтинг-листах представлены все шахматные программы своими лучшими на момент оценки версиями. Оценка для основных рейтингов производится на архитектуре Athlon 64 X2 4600 + (2,4 ГГц).
При тестировании используются универсальные дебютные книги с глубиной оценки в 12 ходов вместо собственных прилагаемых к программам дебютных книг. При тестировании отключается возможность использования времени соперника на просчёт собственных ходов. Эти правила позволяют более объективно оценить качество работы собственно алгоритма программы при равных условиях.
Для повышения объективности проводится большое количество игр для каждой шахматной программы.
Кроме основных рейтингов ведётся множество других, например, для однопроцессорных систем, для 64-х и 32-битных систем, только для бесплатных программ и т. д. Таким образом не только специалисты, но и рядовой пользователь может произвести сравнение шахматных программ посмотрев результаты для своей конфигурации.
Лучшие шахматные программы
На 1 декабря 2018 года в рейтинг-листе CCRL 40/40 на первом месте находится шахматная программа Stockfish 9 64-bit 4CPU, на втором Komodo 11.3.1 64-bit, на третьем Houdini 6 64-bit[2], а в рейтингах CCRL 40/4 и CCRL 404FRC (на 24 июля 2018 года) Komodo и Houdini поменялись местами.
См. также
Примечания
Ссылки
- ↑ http://remi.coulom.free.fr/Bayesian-Elo/#elostat Шаблон:Wayback Рейтинг Эло Bayesian
- ↑ http://computerchess.org.uk/ccrl/4040/rating_list_pure.html Шаблон:Wayback Рейтинг компьютерных шахматных программ CCRL 40/40
