Nvidia: подозрения в подтасовке результатов тестов

[M?bius]

Казалось бы, совсем недавно Nvidia предприняла шаги в сторону отказа от сомнительных "оптимизаций" в бенчмарках, свидетельством чему стали драйверы ForceWare 60.72, отсутствие "заточек" в которых подтвердили независимые обозреватели и сертификация Futuremark. Новые исследования качества картинки в играх и бенчмарках и выход драйверов ForceWare 61.11 заставили вернутся к рассмотрению вопроса жульнических оптимизаций снова.

Известный немецкий журнал Chip.de при тестировании своего экземпляра GeForce 6800 Ultra Extreme с новыми драйверами 61.11 в игре FarCry наткнулся на неожиданный результат. Переименование исполняемого файла игры из FarCry.exe в, скажем, FartCry.exe (любители "тонкого немецкого юмора" могут заглянуть в словарь и проверить значение слова "fart" ), наблюдалось значительное падение производительности - примерно по 10 FPS для каждого видеорежима! Данные результаты представлены на диаграмме - верхней строчкой показан результат "FartCry", второй - результат без переименования:
<a href='http://www.overclockers.ru/images/sogt/2004/05/06/chip.de_FartCry.jpg' target='_blank'>Картинка (23Кб)</a>
Наблюдаемое 13-30%-ное падение производительности наводит на мысли о сходстве с заявленным 20%-ным ростом быстродействия ForceWare 61.11 в данной игре. Представители Nvidia объясняют данные результаты, тем, что это как раз и есть результаты исправления ошибки z cull, приводящей к тем самым 20% роста, и что такая практика исправлений является нормальным процессом при запуске нового продукта и доработке драйверов к нему. Верить или нет - решайте сами .

Тем временем некоторые обозреватели, среди которых и сайт DriverHeaven, сосредоточили свое внимание на качестве отображаемой GeForce 6800 картинки и пришли к выводу, что она несколько отличается от референсной и выводимой конкурирующими продуктами для ряда исследуемых приложений. В случае для 3DMark 2003 даже была поставлена под сомнение правильность "диагноза" об отсутствии "оптимизаций".

Ко всеобщему удовольствию, корпорация Futuremark предоставила официальное разъяснение по поводу данных обвинений. Во Futuremark вновь протестировали драйверы 60.72 и во второй раз не обнаружили неправомерных оптимизаций. После дополнительных консультаций с Nvidia и Microsoft выяснилось, что некоторая разница в отображаемой картинке вызвана разными алгоритмами рендеринга изображения и, в первую очередь, новым видом анизотропной фильтрации. Новый алгоритм анизотропии используется при этом для всех приложений, а не только 3DMark 2003 и поэтому никак не может быть "заточкой".

Представители же Microsoft сообщили, что на самом-то деле "идеальной" картинки в случае применения анизотропной фильтрации не существует, а используемый Nvidia метод даже превосходит референсный из DirectX 9. Отмечается, что в любом случае рост производительности от "оптимизированной" анизотропной фильтрации незначителен для итоговых результатов 3DMark 2003.

Неудовольствие пользователей вызвала и история со сравнением качества картинки от использования разных версий шейдеров во время официального анонса GeForce 6800 Ultra. Как выяснилось, сравнивались картинки с использованием пиксельных шейдеров версий 1.1 и 3.0, а не 2.0 и 3.0, как могли подумать приглашенные и о чем явно заявлено не было. Позже прозвучали подтверждения, что сравнивались именно режимы PS 1.1 против PS 2.0/3.0 (разницы в качестве при использовании PS 3.0 вместо 2.0 быть практически не может - только рост быстродействия), но некоторые обозреватели уже успели сообщить о "зримом превосходстве технологий Pixel Shader 3.0 против Pixel Shader 2.0".

Таким образом, некоторые сомнения в честности Nvidia есть, но большинство из них либо сомнительны и пока не подтверждены, либо просто вызваны недостаточным пониманием механизмов работы 3D-акселераторов, некоторые принципы которых мы сегодня затронули. Ждем развития ситуации.

Взято с <a href='http://www.overclockers.ru/news/newsitem.shtml?category=4&id=1083841747' target='_blank'>Overclockers.ru</a> Автор: fin

[panda]

<!--QuoteBegin--></div><table border='0' align='center' width='95%' cellpadding='3' cellspacing='1'><tr><td>Цитата </td></tr><tr><td id='QUOTE'><!--QuoteEBegin-->единожды солгавши - кто тебе поверит<!--QuoteEnd--></td></tr></table><div class='postcolor'><!--QuoteEEnd-->
(с) Козьма Прутков

[aTeos]

Жулики

[maxovt]

Кажется, в прошлом году ATI приносила свои извинения за оптимизацию своих драйверов под популярные тестовые пакеты.

[M?bius]

Да у них у всех были оптимизации в дровах, но у nVidia их было больше и постоянно, а ATI кажется один раз засветились