重複行削除ツール
テキストを入力して「重複行を削除」を押してください。
このツールでできること
改行で区切られたテキストから重複する行を削除します。最初に現れた行と元の並び順を保ったまま、整理した結果をコピーできます。
処理後には入力行数、出力行数、削除行数を表示します。
使い方
- 入力欄へ、1行に1件ずつテキストを入力または貼り付けます。
- 必要に応じて、大文字・小文字、行の前後の空白、空行の扱いを選びます。
- 「重複行を削除」を押します。
- 結果を確認し、「結果をコピー」を押します。
「クリア」を押すと、入力、結果、オプションを初期状態へ戻せます。
入力例・出力例
次の3行を初期設定のまま処理します。
apple
orange
apple
結果は次の2行です。
apple
orange
2回目のappleだけが削除され、表示される件数は「入力 3行 / 出力 2行 / 削除 1行」になります。
大文字・小文字を区別しない設定では、Appleとappleも重複として扱います。ただし、結果には先に現れた側の表記を残します。
よくある利用場面
- メールアドレス、URL、商品コード等の一覧から重複だけを除きたいとき
- アクセスログやアンケート結果を、最初に現れた順序のまま整理したいとき
- 表計算ソフトへ貼り付ける前に、1行1件のリストを整えたいとき
処理仕様
1行全体の比較キーが完全に一致した場合に重複と判定します。同じ行が複数ある場合は最初の1行だけを残し、2回目以降を削除します。結果の順序は変えません。
- 「大文字・小文字を区別しない」は初期状態で無効です。有効にすると、比較用の値をJavaScriptの
toLowerCase()で小文字化するため、Appleとappleを同じ行として扱います。結果には最初に残った行の大文字・小文字をそのまま出力します。 - 「行の前後の空白を無視する」は初期状態で無効です。有効にすると、JavaScriptの
trim()で比較用の値の先頭と末尾にある空白を除きます。結果には最初に残った行の文字と空白をそのまま出力し、行内部の空白は比較時にも変更しません。 - 「空行を削除する」は初期状態で有効です。前後の空白を無視する設定も有効な場合は、空白だけの行も空行として削除します。前後の空白を無視しない場合、空白だけの行は文字を含む行として残ります。
- 「空行を削除する」を無効にすると、同じ比較キーを持つ空行は最初の1行だけ残します。
- 入力はLF、CRLF、CRを行の区切りとして受け付け、結果の改行コードはLFへ統一します。入力末尾の改行も末尾の空行1行として入力行数に含まれ、初期設定では削除されます。
- 削除行数には、重複していた行と「空行を削除する」で除かれた行の両方を含みます。
Unicode正規化、全角・半角の統一、似ている文字の同一視、行内部にある連続空白の整理、あいまい一致、行の並べ替えは行いません。入力サイズに独自の上限はありませんが、非常に多い行を処理するときの速度と使用メモリはブラウザ環境に依存します。
入力データについて
入力したテキストは、お使いのブラウザ内だけで処理します。ToolRollのサーバーや外部サービスへ送信せず、ブラウザへ保存もしません。