GUI на WinAPI? О_о Круто конечно, но зачем? Есть же Qt, на котором вполне можно делать подобные радакторы (класс QOpenGLWindow должен подойти для реализации вьювера).

https://www.qt.io/