CSV 重複チェック・削除ツール（重複行・キー重複）

CSVの重複行を削除する方法

行全体がまったく同じデータ（重複行）を削除するときの手順です。

1. UTF-8のCSVファイルを選択します。1行目が列名でない場合は「1行目をヘッダーとして扱う」をオフにします。
2. 「重複の判定方法」で［行全体が同じ行（重複行）］を選び、「重複をチェック」を押します。
3. 見つかった重複グループを確認し、「重複データの処理」で［最初の1件を残す］を選びます。
4. 処理プレビューで削除予定の件数を確認し、「CSVを作成」を押してダウンロードします。

ヘッダーとして扱う1行目は重複判定に使わず、そのまま残します。行の並び順は変わらず、残した行は元の位置のままです。

CSVのキー重複とは？

customer_id,nameに対して1001,Taroと1001,Yukiがある場合、行全体は異なりますがcustomer_idは重複しています。このツールは指定列の値が同じレコードをグループ化し、データ行番号と内容をブラウザ内だけで表示します。

重複行とキー重複の違い

行全体が同じデータは、どれを残しても内容が同じため、「最初の1件を残す」でまとめて削除できます。一方、キーだけが同じ行は値が異なるため、どの行が正しいかを確認してから処理してください。

複数列を組み合わせて重複を確認する

company_idとcustomer_idを選ぶと、両方の組み合わせが同じ場合だけ重複になります。値は安全なタプルとして比較するため、セル内に区切り記号があっても別のキーと衝突しません。比較は既定で原値の完全一致です。

重複した場合にどの行を残すか

「最初」は元CSVで最初に現れた1件、「最後」は最後に現れた1件を残します。「手動」ではグループごとに残す行を選択できます。どれが正しいかは更新日時や業務上の意味、取り込み先の仕様によるため、このツールが自動決定することはありません。CSVの並び順は、残ったレコードの元の位置順を維持します。

空欄のキーをどう扱うか

既定では、単一キーが空欄の行、または複合キーの一部が空欄の行を重複判定から除外し、そのまま残します。キーが必須かどうかを検証する場合はCSV 列制約チェックを併用してください。

CSVキー重複を確認する手順

1. UTF-8のCSVを選び、ヘッダー設定を確認します。
2. キー列を1つ以上選び、「重複をチェック」を押します。
3. グループ内の異なる値を比較します。
4. 必要な場合だけ処理方法を選び、削除予定を確認します。
5. 「CSVを作成」を明示的に押してダウンロードします。

取り込み先で主キーの重複エラーになる場合は、基本構造をCSV 総合診断で確認し、項目仕様をCSV 列制約チェックで検証してから整理すると安全です。

FAQ

行全体が同じ重複行だけを削除できますか？

できます。「重複の判定方法」で［行全体が同じ行（重複行）］を選ぶと、すべての列の値が同じ行だけを重複として扱います。列を選ぶ必要はありません。

CSV内にカンマや改行があっても大丈夫ですか？

大丈夫です。引用符で囲まれた値の中のカンマや改行、二重引用符のエスケープ、空欄を考慮して読み込みます。行ごとの列数がそろっていないCSVは、エラーの行を表示して処理を止めます。

CSVのID重複を確認できますか？

はい。ID列をキーに選択すると、同じIDを持つ行をグループ表示できます。

複数列を組み合わせられますか？

はい。複数列すべての組み合わせが一致したときだけ重複と判定します。

チェックしただけで行が削除されますか？

削除されません。処理方法を選び、プレビュー後に「CSVを作成」を押した場合だけ結果を生成します。

最初または最後の行だけ残せますか？

はい。元CSVに現れた順序を基準に選べます。

残す行を手動で選べますか？

はい。各重複グループで必ず1件を選択します。グループが多い場合は確認に時間がかかることがあります。

空欄のIDは重複になりますか？

既定では対象外です。設定をオフにすると空欄も比較対象にできます。

元の値や引用符は変更されますか？

対象行を除く内容は再整形せず、元のCSVレコード、BOM、改行を保持します。trimや大小文字の設定も比較だけに使います。

Shift_JISのCSVを使えますか？

このツールの入力はUTF-8です。Shift_JISの場合は先にShift_JIS → UTF-8で変換してください。

CSVファイルはサーバーへ送信されますか？

送信されません。ファイル名、ヘッダー、キー値を含め、CSVの内容はすべてブラウザ内だけで処理されます。