Drop Constant Columns

ภาพรวม

คอลัมน์ที่ทุกแถวมีค่าเดียวกันไม่ให้ข้อมูลเพิ่มเลย เช่น คอลัมน์ country ที่เป็น Thailand ทั้งไฟล์ หรือคอลัมน์ export_version ที่ระบบใส่มาให้ การลบออกทำให้ตารางกระชับขึ้นและเห็นคอลัมน์ที่มีความหมายจริงได้ง่ายขึ้น

เมื่อไหร่ควรใช้

• สำรวจไฟล์ที่มีหลายสิบคอลัมน์และต้องการตัดส่วนที่ไม่ให้ข้อมูล
• ก่อนส่งข้อมูลเข้าโมเดล ซึ่งคอลัมน์ค่าเดียวไม่มีประโยชน์

เมื่อไหร่ไม่ควรใช้

• ไฟล์ที่ระบบปลายทางคาดหวังคอลัมน์ครบตามรูปแบบ แม้จะเป็นค่าเดียวกันทั้งคอลัมน์
• ชุดข้อมูลบางส่วนที่คอลัมน์นั้นมีค่าเดียวโดยบังเอิญ เช่น ข้อมูลของเดือนเดียว แต่ไฟล์เต็มมีหลายค่า

หลักการทำงาน

1. เทียบทุกค่าในคอลัมน์กับค่าแรกแบบเทียบชนิดข้อมูลด้วย ดังนั้น 1 กับ "1" ถือว่าต่างกัน และคอลัมน์นั้นจะไม่ถูกลบ
2. คอลัมน์ที่เป็นค่าว่างทั้งหมดจะถูกลบก็ต่อเมื่อเปิด includeAllNull เพราะบางครั้ง "ว่างทั้งคอลัมน์" เป็นข้อมูลที่ต้องรายงาน
3. ตารางที่ไม่มีแถวเลยจะไม่ถูกแตะ เพราะสรุปไม่ได้ว่าคอลัมน์มีค่าเดียวหรือไม่

Parameters

โค้ด Python / JavaScript

import json

def drop_constant_columns(columns, include_all_null=False):
    kept = []
    for name, values in columns.items():
        if not values:
            kept.append(name)
            continue
        first = values[0]
        same = all(type(v) is type(first) and v == first for v in values)
        if same and (include_all_null or first is not None):
            continue
        kept.append(name)
    return kept

columns = {
    'country': ['ไทย', 'ไทย'],
    'mixed': [1, '1'],
    'empty': [None, None],
}
result = {
    'default': drop_constant_columns(columns),
    'include_all_null': drop_constant_columns(columns, include_all_null=True),
}
print(json.dumps(result, ensure_ascii=False))

ตัวอย่างการใช้งาน

ไฟล์ส่งออกรายเดือนมี 31 คอลัมน์ รัน drop_constant_columns แล้วดูรายชื่อคอลัมน์ที่จะถูกลบใน Preview ถ้าเห็นคอลัมน์อย่าง report_month ที่เป็นค่าเดียวเพราะไฟล์นี้มีเดือนเดียว ให้คิดก่อนว่าจะรวมไฟล์หลายเดือนในอนาคตหรือไม่ ถ้าใช่ ควรเก็บคอลัมน์นั้นไว้

เทคนิคที่เกี่ยวข้อง

ใช้ drop_sparse_columns สำหรับคอลัมน์ที่ข้อมูลหายเยอะ ใช้ remove_column เมื่อรู้ว่าจะลบคอลัมน์ไหน และใช้ detect_null_like ก่อนเพื่อให้ค่าที่แปลว่าว่างถูกนับเป็นค่าว่างจริง

• Drop High-Missing Columns
• Remove Column
• Missing Value Detection

ลองใช้กับ Dataset ของคุณ