7 Cara Untuk Menghapus Baris Duplikat di File Teks

File teks biasa adalah salah satu cara paling umum untuk menyimpan data yang diketik di komputer. Tidak hanya sangat sederhana untuk membuat file teks tetapi juga sangat mudah untuk mengeditnya karena dapat dilakukan dengan menggunakan sesuatu yang sederhana seperti alat Notepad Windows bawaan. File teks juga merupakan format universal yang artinya dapat dibaca di berbagai platform termasuk PC Windows, Mac, Linux, ponsel, tablet, dan semua yang ada di antaranya.

Jika Anda memiliki sejumlah file berbasis teks besar yang perlu Anda baca atau menggabungkan beberapa file teks menjadi satu untuk mempermudah, masuk akal untuk menghapus setiap baris teks yang merupakan duplikat satu sama lain. Anda dapat menelusuri file secara manual dan menghapus duplikatnya sendiri tetapi jauh lebih mudah untuk membiarkan proses ditangani secara otomatis. Di sini kami menunjukkan kepada Anda sejumlah cara berbeda untuk menghapus garis duplikat dari file teks Anda.

Gunakan Utilitas Pihak Ketiga Untuk Menghapus Garis Duplikat

Cara sederhana dan umum untuk menghapus garis duplikat dari file teks adalah dengan menggunakan utilitas pihak ketiga khusus.

1. TextCrawler TextCrawler adalah program freeware yang sangat kuat yang dibangun terutama untuk tugas mencari dan mengganti data dalam file teks. Untungnya, meskipun kekuatannya TextCrawler masih relatif mudah digunakan dan opsi garis duplikat ditemukan di jendela terpisah, yang disebut Scratchpad.

Untuk membuka instalasi Scratchpad dan meluncurkan TextCrawler dan pergi ke menu Tools> Scratchpad, atau tekan F2. Rekatkan teks ke jendela dan tekan tombol Do, opsi hapus garis duplikat harus dipilih dalam drop down secara default, itu tidak memilihnya sebelumnya. Kemudian tekan Simpan untuk membuat file teks baru atau menyalin dan menempelkan teks kembali ke editor teks favorit Anda. Drop down juga memiliki opsi lain untuk menghapus spasi putih dan mengurutkan teks dalam urutan naik atau turun.

Unduh TextCrawler

2. Notepad ++

Notepad ++ adalah editor teks kaya fitur tetapi tidak memiliki fitur terintegrasi untuk menghapus garis duplikat, namun, opsi dapat ditambahkan melalui sistem plugin eksternal yang digunakan Notepad ++. Meskipun beberapa sudah termasuk plugin TextFX tidak diinstal secara default dan perlu ditambahkan secara manual.

Pada bilah menu Notepad ++ klik Plugins> Plugin Manager> Show Plugin Manager dan cari plugin TextFX Characters dari daftar. Centang kotak, klik Instal dan mulai ulang program ketika diminta dan menu TextFX akan tersedia. Untuk menggunakan fungsi penghapusan baris duplikat memuat file teks ke Notepad ++ dan pilih semua teks (Ctrl + A), pergi ke TextFX> TextFX Tools dan pilih opsi "+ Urutkan output hanya baris UNIQUE (di kolom)".

Kembali ke menu TextFX Tools yang sama dan klik "Urutkan garis sensitif huruf (pada kolom)" atau "Urutkan garis huruf tidak sensitif (pada kolom)", disorot dengan warna kuning di atas. Ini akan menghapus garis duplikat dan meninggalkan atau menghapusnya dengan casing yang berbeda. Kemudian simpan kembali file tersebut.

Unduh Notepad ++

3. Duplicate Lines Remover

Duplicate Lines Remover berasal dari perusahaan keamanan NoVirusThanks.org dan memiliki beberapa fitur yang bermanfaat. Untuk beberapa alasan, halaman web program telah dihapus dari situs web mereka, tetapi untungnya tautan unduhan resmi masih tersedia. Hanya penginstal setup yang tersedia tetapi Anda dapat membuat program ini portabel dengan bantuan Universal Extractor.

Untuk menghapus garis duplikat, telusuri atau letakkan file ke jendela, klik Periksa dan jika garis duplikat ditemukan klik Perbaiki dan pilih nama simpan. Anda juga dapat mengelompokkan sejumlah file sekaligus, termasuk dalam subfolder, menggunakan tab Pemindaian File. Perlu diketahui juga bahwa itu akan secara otomatis membuat cadangan .bak dan mengganti file asli dengan file yang diproses. Gunakan kotak topeng dan tambahkan ekstensi file untuk menghentikan semua yang sedang diproses. Versi baris perintah khusus tersedia dalam paket untuk pengguna yang lebih mahir.

Unduh Duplicate Lines Remover

4. TextMechanic Offline

Bagian Offline dari namanya adalah untuk membedakan alat ini dari layanan TextMechanic online karena keduanya tidak terkait. Alat ini adalah executable portabel dan di-host di SourceForge. Selain menghapus duplikat dan baris kosong, TextMechanic Offline juga dapat menghapus baris yang mengandung teks tertentu atau menemukan dan mengganti teks.

Rekatkan teks yang akan diproses ke jendela TextMechanic sebelum menekan tombol " Remove Duplicate Lines " diikuti oleh tombol " Remove Empty Lines ". Jika Anda tidak menekan kedua tombol, teks akan berisi baris kosong di mana duplikat telah dihapus. Akhirnya tekan " Simpan ke Papan Klip " sehingga teks yang diperbaiki dapat ditempelkan kembali ke editor teks Anda. Alat ini peka terhadap huruf besar-kecil sehingga baris-baris harus sama dalam hal dan konten jika harus dihapus.

Unduh TextMechanic Offline

Hapus Duplikat Garis Menggunakan Perintah Dibangun di Windows

Menggunakan campuran perintah built in Windows adalah mungkin untuk menghapus garis duplikat dari dalam file teks.

5. Menggunakan Skrip Batch

Menyatukan perintah-perintah itu menjadi satu skrip batch memungkinkan pemrosesan yang cepat dan mudah. Ini juga bisa bermanfaat jika komputer Anda memiliki batasan menjalankan perangkat lunak pihak ketiga. Skrip yang kami gunakan ditemukan di StackOverflow dan dimodifikasi untuk membuatnya lebih mudah dioperasikan.

Cukup unduh file DeDupe Zip dan ekstrak, ada dua file BAT di dalam, satu case sensitif dan tidak akan mengubah garis kecuali case mereka juga identik, script lainnya tidak sensitif case. Untuk menghapus baris duplikat dalam file yang harus Anda lakukan adalah meletakkan file teks ke file .BAT dan itu akan secara otomatis memproses dan menampilkan file dalam folder yang sama dengan akhiran _deduped. Garis tidak disusun ulang tetapi dihapus pada tempatnya, ideal jika Anda ingin mempertahankan urutan garis yang sama seperti aslinya.

Unduh File Batch DeDupe

Hapus Duplikat Garis Menggunakan Layanan Online

Ada banyak layanan online untuk melakukan pekerjaan menghapus garis duplikat dari teks, kami telah memilih pasangan yang harus memenuhi kebutuhan Anda.

6. TextMechanic

Tidak menjadi bingung dengan alat Offline TextMechanic yang tidak terkait, situs web ini memiliki sejumlah alat manipulasi berbasis teks online. Selain hanya menghapus garis duplikat, jika Anda ingin memiliki semua alat lain yang tersedia sekaligus, gunakan Notepad Manipulasi Teks All-in-One.

Ada dua cara untuk memasukkan teks Anda ke jendela, baik menggunakan tombol Load File untuk menjelajahinya atau tekan tombol C biru untuk menghapus teks saat ini di jendela dan tempel teks Anda sendiri. Kemudian klik tombol Hapus Duplikat Garis., sensitivitas case dan menghapus kotak baris kosong tersedia untuk memeriksa apakah teks Anda mengharuskannya. Setelah selesai klik tombol Save As atau tekan S untuk memilih semua teks, klik kanan dan salin (atau tekan Ctrl + C) siap untuk menempel ke editor teks.

Kunjungi TextMechanic Hapus Duplicate Lines

7. Hapus Duplicate Lines

Seperti TextMechanic.com di atas, situs web TextFixer memiliki sejumlah alat manipulasi HTML, angka dan teks, di mana halaman Alat Penghapus Garis Duplikat hanya satu.

Rekatkan teks yang akan diproses ke jendela atas, tekan tombol Hapus Garis Gandakan dan hasilnya akan muncul di jendela bawah yang siap dipilih dan disalin. Alat ini memiliki beberapa opsi pengurutan yang berguna seperti mengurutkan dalam urutan abjad atau membalikkan urutan pengurutan sepenuhnya. Penghapusan baris peka huruf besar-kecil sehingga satu huruf besar atau kecil pada suatu baris berarti perbedaan antara huruf tersebut tetap atau dihapus.

Kunjungi TextFixer Duplicate Line Removal Tool

Beberapa alat penghapusan garis duplikat online lainnya termasuk DeDupeList.com, Hapus Duplikat Garis oleh Text-Utils.com dan Alat Scrubber Daftar.