ToolAtlasコピペで二重になった行を、見た目どおりの文字列で落とします。氏名の表記ゆれや、CSVの1列だけをキーにする処理ではありません。
メーリングリストに同じアドレスが二度、説明会の申込がスプレッドシートから二重に落ちる、障害ログに同じ行が続く——行の一意化です。空白の詰めは空白整理、語句は検索と置換、パターンは正規表現テスターです。
比較は行全体の完全一致です。先頭に出た行を残し、あと同じ行は捨てます。空行は落とします。既定では辞書順にも並べます。元の出現順が要るなら、並びを「なし」にしてください。個人情報の一覧を、外部の整形サイトへ貼る必要はありません。このタブです。
NTT東日本やMicrosoftの解説が言うとおり、Excelの重複削除は列を選んで行ごと消す破壊的な操作です。ここはプレーンテキストです。表変換はJSON ↔ CSV。件数の目視は文字数カウントです。
名簿・ログ・メールで使うとき
イベントの申込、社内の連絡網、障害ログの繰り返しを、送る前に落とす用途です。就活の合同説明会で集めたアドレスを、案内メールの直前に一意化する、といった仕事です。全角と半角の同じ住所、末尾スペースだけの違い、「Taro」と「taro」は別行のまま残ることがあります。
データベースの主キー、氏名の表記ゆれ、Excelの条件付き書式による色付けではありません。消す前に元テキストを残してください。
使い方と、データベースにしないこと
- 1行1件のテキストを貼ります。
- 重複を落とすか、並びだけ変えるかを選びます。
- 件数を目視します。必要なら空白整理を先に。
ファジー重複、列キー、gitの履歴はありません。メール本文に名簿を添付する前の掃除には使えますが、添付容量の圧縮にはなりません。