Add Missing Indicator

ภาพรวม

เมื่อเติมค่าที่หายไปแล้ว ข้อมูลจะดูสมบูรณ์จนแยกไม่ออกว่าค่าไหนมาจากการวัดจริงและค่าไหนถูกเติม ซึ่งอันตรายเวลาทำรายงาน เทคนิคนี้บันทึกไว้ก่อนว่าแถวไหนเดิมไม่มีข้อมูล เพื่อให้ตรวจสอบย้อนหลังได้เสมอ

เมื่อไหร่ควรใช้

• ก่อนใช้ fill_missing หรือ interpolate_missing ทุกครั้งที่ผลลัพธ์จะถูกนำไปรายงาน
• เมื่อการ "ไม่มีข้อมูล" มีความหมายในตัวเอง เช่น ลูกค้าที่ไม่กรอกเบอร์โทรอาจมีพฤติกรรมต่างจากคนที่กรอก

เมื่อไหร่ไม่ควรใช้

• คอลัมน์ที่ไม่มีค่าว่างเลย เพราะจะได้คอลัมน์ที่เป็น false ทั้งหมด
• ไฟล์ที่ต้องส่งให้ระบบซึ่งกำหนดจำนวนคอลัมน์ไว้แน่นอน

หลักการทำงาน

1. อ่านคอลัมน์ที่เลือกแล้วสร้างคอลัมน์ใหม่ชนิด boolean
2. true เมื่อค่าเดิมเป็น null และ false เมื่อมีค่า — ข้อความว่างถือว่ามีค่า ให้รัน detect_null_like ก่อนถ้าต้องการให้นับเป็นว่าง
3. คอลัมน์เดิมไม่ถูกแตะเลย
4. ชื่อคอลัมน์ใหม่ต้องไม่ซ้ำกับคอลัมน์ที่มีอยู่ ระบบจะเตือนถ้าซ้ำ

Parameters

โค้ด Python / JavaScript

import json

def flag_missing(rows, column, new_column):
    return [{**row, new_column: row.get(column) is None} for row in rows]

rows = [{'note': 'A'}, {'note': None}, {'note': ''}]
print(json.dumps(flag_missing(rows, 'note', 'note_missing'), ensure_ascii=False))

ตัวอย่างการใช้งาน

คอลัมน์ income มีค่าว่าง 12% และคุณจะเติมด้วยค่ามัธยฐานเพื่อทำกราฟ เพิ่ม flag_missing เป็นขั้นตอนก่อนหน้า ตั้งชื่อคอลัมน์ใหม่ว่า income_missing เมื่อทำรายงาน ให้แสดงจำนวนแถวที่ income_missing เป็นจริงควบคู่ไปด้วย ผู้อ่านจะได้รู้ว่าค่าเฉลี่ยมาจากข้อมูลจริงกี่ส่วน

เทคนิคที่เกี่ยวข้อง

ใช้ detect_null_like ก่อนเพื่อให้ค่าที่แปลว่าว่างถูกนับถูกต้อง แล้วตามด้วย fill_missing หรือ interpolate_missing เพื่อเติมค่า

• Fill Missing Value
• Interpolate Missing
• Missing Value Detection

ลองใช้กับ Dataset ของคุณ