なんか日本語が表示できないなあ、と思ってたら凄く単純な話でした。これをやっておかないとならないようです。
quickQuery conn "SET NAMES utf8" []
こうしないと、日本語文字の部分が?に化けてしまいます。これはmysqlの関数がやっているようで、Haskellは全く関係ありません…
で、SqlByteStringに入ってくる値はutf8です。これをそのままコンソールに表示するのは面倒なんで、適当に標準出力をファイルあたりにリダイレクトしてファイルから確認するのが良さそうです。