Outlier — Modified Z-Score (MAD)

ภาพรวม

Modified Z-Score แทนค่าเฉลี่ยด้วยมัธยฐาน และแทนส่วนเบี่ยงเบนมาตรฐานด้วย MAD ซึ่งคือมัธยฐานของระยะห่างจากมัธยฐาน ผลคือค่าสุดโต่งไม่กระทบเกณฑ์ที่ใช้ตัดสินตัวมันเอง วิธีนี้จับค่าผิดปกติได้ในกรณีที่ Z-Score พลาด

เมื่อไหร่ควรใช้

• ข้อมูลเบ้ มีหางยาว หรือมีค่าสุดโต่งไม่กี่ค่าที่รู้อยู่แล้วว่าผิด
• เมื่อ Z-Score ไม่จับค่าที่เห็นชัดว่าผิดปกติ

เมื่อไหร่ไม่ควรใช้

• ข้อมูลที่ค่าส่วนใหญ่เท่ากันจน MAD เป็นศูนย์ ระบบจะรายงานว่าคำนวณไม่ได้
• รายงานที่ต้องอ้างอิงเกณฑ์ Z-Score มาตรฐานตามที่ทีมตกลงกันไว้

หลักการทำงาน

1. หามัธยฐานของค่าทั้งหมด
2. คำนวณระยะห่างสัมบูรณ์ของแต่ละค่าจากมัธยฐาน แล้วหามัธยฐานของระยะห่างเหล่านั้น ซึ่งคือ MAD
3. ช่วงที่ถือว่าปกติคือมัธยฐานบวกลบ threshold คูณ MAD หารด้วยค่าคงที่ 0.6745 ซึ่งทำให้เทียบกับ Z-Score ปกติได้
4. เกณฑ์เริ่มต้นคือ 3.5 ตามข้อเสนอของ Iglewicz และ Hoaglin

Parameters

โค้ด Python / JavaScript

import json

MAD_SCALE = 0.6745

def median(values):
    ordered = sorted(values)
    middle = len(ordered) // 2
    if len(ordered) % 2:
        return ordered[middle]
    return (ordered[middle - 1] + ordered[middle]) / 2

def outlier_mad(values, threshold=3.5):
    numbers = [v for v in values if isinstance(v, (int, float)) and not isinstance(v, bool)]
    center = median(numbers)
    mad = median([abs(v - center) for v in numbers])
    if mad == 0:
        return {'bounds': None, 'flags': [None for _ in values]}
    spread = threshold * mad / MAD_SCALE
    lower, upper = center - spread, center + spread
    flags = [None if not isinstance(v, (int, float)) or isinstance(v, bool) else (v < lower or v > upper) for v in values]
    return {'bounds': [round(lower, 3), round(upper, 3)], 'flags': flags}

values = [10, 10, 11, 11, 12, 12, 13, 13, 100]
print(json.dumps(outlier_mad(values), ensure_ascii=False))

ตัวอย่างการใช้งาน

ใช้ข้อมูลชุดเดียวกับหน้า Z-Score ค่า 100 ถูกจับได้ตั้งแต่เกณฑ์เริ่มต้น 3.5 เพราะมัธยฐานและ MAD ไม่ถูกมันดึงไป เมื่อพบค่าที่หลุดช่วง ให้ตรวจก่อนว่าเป็นการพิมพ์ผิด หน่วยผิด หรือเป็นเหตุการณ์จริงที่สำคัญ อย่าเพิ่งลบทิ้งเพียงเพราะตัวเลขบอกว่าผิดปกติ

เทคนิคที่เกี่ยวข้อง

ใช้ outlier_iqr เป็นตัวเปรียบเทียบ ใช้ outlier_zscore เมื่อต้องรายงานด้วยเกณฑ์มาตรฐาน และใช้ bucket_values เมื่อจะจัดกลุ่มค่าหลังตรวจสอบเสร็จ

• Outlier — IQR
• Outlier — Z-Score
• Bucket / Bin Values

ลองใช้กับ Dataset ของคุณ