適当なディレクトリにおいてください。 専用のディレクトリを新規に作成してそこへ展開する事を推奨します。 なお、設定の保存場所は、実行ファイルのあるディレクトリ/settings/ユーザー名/というディレクトリになっています。(version 0.24aから)
展開したファイルと、存在していればsettingsディレクトリを消してください。 他はいじってませんのできっと跡形もなく消せます。