/* ソースコード1 旧タイプのツールバーに変更 */
style = GetWindowLongPtr(hTool, GWL_STYLE);
style = style & ~TBSTYLE_FLAT & ~TBSTYLE_TRANSPARENT; /* ? */
SetWindowLongPtr(hTool, GWL_STYLE, style);
/* ソースコード2 フラットタイプのツールバーに変更 */
style = GetWindowLongPtr(hTool, GWL_STYLE);
style = (style | TBSTYLE_FLAT) & ~TBSTYLE_TRANSPARENT; /* ? */
SetWindowLongPtr(hTool, GWL_STYLE, style);
/* ソースコード3 透明タイプのツールバーに変更 */
style = GetWindowLongPtr(hTool, GWL_STYLE);
style = style | TBSTYLE_FLAT | TBSTYLE_TRANSPARENT; /* ? */
SetWindowLongPtr(hTool, GWL_STYLE, style);
ソースコード2や、ソースコード3でも、style は望んでいる値にはならないと思います。
/* ? */ の行のコードはどのような意味を持つのでしょうか。