Функция SetSysModalWindow является устаревшим. Эта функция предназначена только для совместимости с 16-разрядными версиями Windows. Новая модель ввода не позволяет системе модальных окон.
Обзор Windows, функции окна
Index