IE7

propellaさんにSqueakのブラウザプラグインのソースコードのありかを教えていただき（ありがとうございました）、詳しく調べてみました。
Vista上でIE7のプロセスは「保護モード」という制限された権限のもとで動作するようになっていて、データを破壊したり、悪性のコードをインストールしてしまうようなリスクを軽減しています。ブラウザ自体が安全な砂場環境みたいなものです。
保護モードの下では、例えばプロセスを起動したりWindowsメッセージをやりとりするような処理は制限を受けます。今回の件はこれに抵触してしまったようです。ためしにサイト（ここではSqueakland.jp）を信頼済みサイトに追加して保護モードを解除したところ、Squeakプラグインは問題なく起動できました。手っ取り早い回避手段としてはこれで逃げられますが、本当はレガシーコードを直すべきなんでしょうね。割りにあう作業とは思えませんが、しばらく遊んでみることにします。

参考：

• http://www.microsoft.com/japan/msdn/windowsvista/general/AppComp.aspx#appcomp_new_topic6
• http://msdn.microsoft.com/library/default.asp?url=/library/en-us/IETechCol/dnwebgen/ProtectedMode.asp
• http://msdn.microsoft.com/library/default.asp?url=/library/en-us/dnlong/html/AccProtVista.asp
• http://msdn.microsoft.com/library/default.asp?url=/library/en-us/IETechCol/cols/dnexpie/activex_security.asp