Remove Duplicate Rows

ภาพรวม

เทคนิคนี้ลบเฉพาะแถวที่ค่าทุกคอลัมน์เหมือนกัน ค่า null ต่างจากข้อความว่าง และตัวเลขต่างจากข้อความตัวเลข หากต้องการถือว่าอีเมลเดียวกันคือคนเดียวกันแม้ช่องอื่นต่างกัน ให้ใช้ Remove Duplicate By Column

เมื่อไหร่ควรใช้

• นำเข้าข้อมูลชุดเดิมซ้ำหรือไฟล์ export มีแถวซ้ำ
• ต้องการหนึ่งตัวแทนต่อชุดค่าทุกคอลัมน์

เมื่อไหร่ไม่ควรใช้

• ธุรกรรมสองครั้งอาจมีรายละเอียดเหมือนกัน แต่เกิดขึ้นจริงคนละครั้ง
• มีรหัสที่ต้องใช้ตัดสินตัวตนแทนการเทียบทุกช่อง

หลักการทำงาน

1. สร้างคีย์จากค่าทุกคอลัมน์ โดยเก็บชนิดและขอบเขตของแต่ละค่า
2. รวมกลุ่มที่คีย์ตรงกัน สามารถเปิด ignoreCase หรือ ignoreWhitespace ได้อย่างชัดเจน
3. เก็บแถวแรก แถวสุดท้าย หรือแถวที่มีข้อมูลครบที่สุดตาม keep และรายงานจำนวนที่ลบ

โค้ดด้านล่างแสดงโหมด keep first แบบเปรียบเทียบตรงตัวบนตารางที่มีคอลัมน์เหมือนกัน ไม่เปิด ignoreCase/ignoreWhitespace ค่า null และ "" จึงไม่ถูกยุบรวม การลบยังย้อนกลับได้ด้วย Undo

Parameters

โค้ด Python / JavaScript

import json

rows = [{'name': 'A', 'city': 'ไทย'}, {'name': 'A', 'city': 'ไทย'}, {'name': None, 'city': ''}, {'name': '', 'city': ''}]
columns = ['name', 'city']
seen = set()
result = []
for row in rows:
    key = json.dumps([row.get(column) for column in columns], ensure_ascii=False)
    if key not in seen:
        seen.add(key)
        result.append(dict(row))
assert len(result) == 3
print(json.dumps(result, ensure_ascii=False))

ตัวอย่างการใช้งาน

ไฟล์รายชื่อมี 3 แถว โดยสองแถวแรกเหมือนกันทั้งหมด เลือก keep first แล้ว Preview ต้องรายงานลบ 1 แถว เหลือ 2 แถว ตรวจ Before/After และรหัสลูกค้าก่อนดาวน์โหลด โดยเฉพาะเมื่อเปิด ignoreCase

เทคนิคที่เกี่ยวข้อง

Trim Whitespace ช่วยจัดช่องว่างก่อนเทียบ ส่วน Remove Duplicate By Column ใช้เมื่อต้องการระบุ key เอง Detect Null Like ทำให้ความหมายของค่าที่หายไปสม่ำเสมอก่อนตรวจซ้ำ

• Trim Whitespace
• Remove Duplicate By Column
• Missing Value Detection

ลองใช้กับ Dataset ของคุณ