Remove Column

ภาพรวม

ไฟล์ที่ส่งออกจากระบบมักพ่วงคอลัมน์ที่ไม่ได้ใช้มาด้วย เช่น รหัสภายในหรือคอลัมน์ว่างทั้งคอลัมน์ การลบออกทำให้ตารางอ่านง่ายขึ้นและไฟล์ปลายทางเล็กลง ข้อมูลดิบยังอยู่ครบเสมอ เพราะผลลัพธ์เกิดจากการเล่น Pipeline ซ้ำจากต้นฉบับทุกครั้ง

เมื่อไหร่ควรใช้

• คอลัมน์ที่ไม่เกี่ยวกับงาน หรือคอลัมน์ที่มีข้อมูลส่วนบุคคลซึ่งไม่ควรส่งต่อ
• หลังใช้ split_column หรือ merge_columns แล้วไม่ต้องการคอลัมน์ต้นทาง

เมื่อไหร่ไม่ควรใช้

• ยังไม่แน่ใจว่าจะใช้คอลัมน์นั้นหรือไม่ — ปิดขั้นตอนไว้ก่อนได้ ไม่ต้องรีบลบ
• ต้องการปิดบังข้อมูลส่วนบุคคลแต่ยังต้องเชื่อมข้อมูลได้ ใช้ mask_pii แบบ hash แทนการลบทิ้ง

หลักการทำงาน

1. รับรายการ columns ที่จะลบ
2. คอลัมน์ที่เหลือคงลำดับและค่าทั้งหมดไว้
3. ขั้นตอนถัดไปที่อ้างคอลัมน์ที่เพิ่งลบจะรายงานข้อผิดพลาดทันทีพร้อมบอกว่าให้ย้ายลำดับขั้นตอนหรือเลือกคอลัมน์ใหม่ ไม่ใช่เงียบแล้วให้ผลผิด

Parameters

โค้ด Python / JavaScript

import json

def remove_columns(rows, columns):
    drop = set(columns)
    return [{key: value for key, value in row.items() if key not in drop} for row in rows]

rows = [
    {'id': 1, 'name': 'A', 'notes': 'ภายใน'},
    {'id': 2, 'name': 'ไทย', 'notes': None},
]
print(json.dumps(remove_columns(rows, ['notes']), ensure_ascii=False))

ตัวอย่างการใช้งาน

ก่อนส่งไฟล์ให้ทีมการตลาด ให้ลบคอลัมน์ national_id และ internal_note ออก ตรวจในหน้า Review ว่ารายชื่อคอลัมน์ที่ถูกลบตรงกับที่ตั้งใจ แล้ว export ถ้ายังต้องเชื่อมข้อมูลกลับภายหลัง ให้ใช้ mask_pii แบบ hash_sha256 แทน เพื่อให้ยัง join ได้โดยไม่เปิดเผยค่า

เทคนิคที่เกี่ยวข้อง

ใช้ drop_sparse_columns เมื่ออยากลบตามสัดส่วนค่าว่าง ใช้ drop_constant_columns เมื่อคอลัมน์มีค่าเดียวทั้งคอลัมน์ และใช้ rename_column เมื่อคอลัมน์ยังมีประโยชน์แต่ชื่อไม่ดี

• Drop High-Missing Columns
• Drop Constant Columns
• Rename Column

ลองใช้กับ Dataset ของคุณ