Missing Value Detection

ภาพรวม

ไฟล์อาจใช้ N/A, unknown, เครื่องหมายขีด หรือข้อความว่างแทนข้อมูลที่หายไป เครื่องมือนี้เปลี่ยนเฉพาะข้อความที่ตรงกับ token ที่เลือกให้เป็น null เพื่อให้การเติมและนับ missing ทำงานต่อได้ถูกต้อง

เมื่อไหร่ควรใช้

• ระบบต้นทางมีรายการรหัสแทนข้อมูลที่ไม่ทราบแน่นอน
• ก่อน Fill Missing หรือ Remove Missing Rows

เมื่อไหร่ไม่ควรใช้

• NA เป็นรหัสประเทศหรือชื่อหมวดที่มีความหมายจริง
• ขีดหรือคำ unknown เป็นคำตอบที่ต้องเก็บแยกจาก missing

หลักการทำงาน

1. เลือกคอลัมน์และแก้รายการ tokens ให้ตรงกับความหมายของไฟล์
2. เปรียบเทียบข้อความโดยไม่สนตัวพิมพ์ใหญ่เล็ก และตัดช่องว่างเมื่อ trimBeforeMatch เปิด
3. เปลี่ยนค่าที่ตรงเป็น null ไม่เปลี่ยนตัวเลข 0 หรือ Boolean false

ค่า null เดิมยังเหมือนเดิม การแปลงนี้สูญเสียความแตกต่างระหว่าง token เดิม จึงต้องตรวจ Preview ก่อนเพิ่ม โค้ดตัวอย่างใช้ token ชุดเล็กที่ระบุเอง ไม่ใช่รายการ default ทั้งหมด

Parameters

โค้ด Python / JavaScript

import json
tokens = {'', '-', 'n/a', 'unknown'}
values = [' N/A ', '-', '', 'NA', None, 0, False]
result = [None if isinstance(value, str) and value.strip().lower() in tokens else value for value in values]
assert result == [None, None, None, 'NA', None, 0, False]
print(json.dumps(result, ensure_ascii=False))

ตัวอย่างการใช้งาน

คอลัมน์อายุมี 20, N/A และ - เลือก tokens เป็น N/A กับ - แล้ว Preview จะเปลี่ยน 2 ค่าเป็น null จากนั้นจึงเลือกว่าจะเติมค่าหรือลบแถว การทำขั้นตอนแรกไม่ได้ตัดสินแทนว่าควรใช้วิธีใดต่อ

เทคนิคที่เกี่ยวข้อง

Fill Missing เติม null ตามสมมติฐานที่เลือก Remove Missing Rows ลบแถวตามคอลัมน์ที่กำหนด Trim Whitespace ใช้จัดข้อความส่วนที่ไม่ใช่ token ต่อ

• Fill Missing Value
• Remove Missing Rows
• Trim Whitespace

ลองใช้กับ Dataset ของคุณ