Detect Type

detect_type · types · any

2026-09-23

ภาพรวม

เมื่อไฟล์มีสิบกว่าคอลัมน์ การไล่เลือกชนิดทีละคอลัมน์ช้าและพลาดง่าย เทคนิคนี้อ่านตัวอย่างข้อมูลแล้วสรุปให้ว่าคอลัมน์ไหนน่าจะเป็นตัวเลข วันที่ หรือ boolean แล้วแปลงให้ในขั้นตอนเดียว โดยยังต้องกดเพิ่มเข้า Pipeline เองเสมอ

เมื่อไหร่ไม่ควรใช้

คอลัมน์ที่คุณรู้ชนิดแน่นอนอยู่แล้ว — convert_type ตรงกว่าและอ่านง่ายกว่าใน Pipeline

ข้อมูลที่ตัวอย่างต้นไฟล์ไม่เป็นตัวแทน เช่น ค่าประหลาดไปกองอยู่ท้ายไฟล์

หลักการทำงาน

สุ่มตัวอย่างแบบกระจายทั้งคอลัมน์สูงสุด 1,000 ค่า แล้วตัดค่าที่แปลว่าว่างออก

ต้องผ่านเกณฑ์ 95% จึงจะสรุปเป็นชนิดนั้น เรียงลำดับการตรวจคือ boolean แล้วตัวเลข แล้ววันที่ ถ้าไม่เข้าเกณฑ์ใดเลยจะเป็น text

ค่าที่ขึ้นต้นด้วยศูนย์จะถูกคงเป็น text เสมอ แม้จะเป็นตัวเลขทั้งคอลัมน์ เพราะการแปลงจะทำให้ 01000 กลายเป็น 1000 อย่างถาวร

ตัวเลขที่เป็นจำนวนเต็มทั้งหมดได้ integer ถ้ามีทศนิยมปนได้ decimal

Parameter	Type	Default
`columns`	string[]	—

Parameter

Type

Default

columns

string[]

—

โค้ด Python / JavaScript

import json
import re

THRESHOLD = 0.95
TRUE_TOKENS = {'true', 'yes', 'y', '1', 'ใช่', 'จริง', 't'}
FALSE_TOKENS = {'false', 'no', 'n', '0', 'ไม่ใช่', 'เท็จ', 'f'}
NULL_TOKENS = {'', '-', 'n/a', 'na', 'null', 'none', 'unknown', '?', 'ไม่ระบุ'}

def infer_kind(values):
    sample = [v for v in values if v is not None and str(v).strip().lower() not in NULL_TOKENS]
    if not sample:
        return 'unknown'
    texts = [str(v).strip() for v in sample]
    booleans = sum(1 for t in texts if t.lower() in TRUE_TOKENS | FALSE_TOKENS)
    if booleans / len(texts) >= THRESHOLD:
        return 'boolean'
    numbers = [t for t in texts if re.fullmatch(r'[+-]?(\d+\.?\d*|\.\d+)', t.replace(',', ''))]
    if len(numbers) / len(texts) >= THRESHOLD:
        if any(re.fullmatch(r'0\d+', t) for t in numbers):
            return 'text'
        return 'integer' if all('.' not in t for t in numbers) else 'decimal'
    if sum(1 for t in texts if re.fullmatch(r'\d{4}-\d{2}-\d{2}', t)) / len(texts) >= THRESHOLD:
        return 'date'
    return 'text'

columns = {
    'amount': ['1,200', '980', '75'],
    'zipcode': ['01000', '10240', '50200'],
    'active': ['yes', 'no', 'ใช่'],
    'joined': ['2026-01-05', '2026-02-11', None],
    'note': ['ดี', 'พอใช้', '3'],
}
print(json.dumps({name: infer_kind(values) for name, values in columns.items()}, ensure_ascii=False))

Detect Type

Detect Type

ภาพรวม

เมื่อไหร่ควรใช้

เมื่อไหร่ไม่ควรใช้

หลักการทำงาน

Parameters

โค้ด Python / JavaScript

ตัวอย่างการใช้งาน

เทคนิคที่เกี่ยวข้อง

ลองใช้กับ Dataset ของคุณ