Validate URL

ภาพรวม

คอลัมน์ลิงก์ที่กรอกเอง มักมีทั้ง https://example.com, example.com, www.example .com และข้อความที่ไม่ใช่ลิงก์เลย เทคนิคนี้แยกออกว่าค่าไหนเป็น URL ที่ใช้ได้จริง โดยไม่ต้องเปิดเว็บนั้น และจัดรูปแบบให้เทียบกันได้เมื่อต้องการ

เมื่อไหร่ควรใช้

• ตรวจคอลัมน์เว็บไซต์ของลูกค้าหรือลิงก์รูปภาพก่อนนำไปใช้
• หาแถวที่กรอกลิงก์ผิดรูปแบบก่อน import เข้าระบบอื่น

เมื่อไหร่ไม่ควรใช้

• ตรวจว่าลิงก์เปิดได้จริงหรือไม่ — ต้องยิงคำขอจริงซึ่งอยู่นอกขอบเขตของการทำงานในเครื่อง
• ค่าที่เป็นเส้นทางไฟล์ภายในระบบ ไม่ใช่ URL

หลักการทำงาน

1. ตัดช่องว่างหัวท้าย และถือว่าค่าที่มีช่องว่างอยู่ข้างในไม่ผ่านทันที
2. ถ้าไม่มี scheme และ requireScheme ปิดอยู่ จะลองเติม scheme แรกใน allowedSchemes ให้ก่อนตรวจ
3. ตรวจว่าแยกส่วนได้จริงและ scheme อยู่ในรายการที่อนุญาต พร้อมต้องมีชื่อโฮสต์
4. normalize เปิดเมื่อต้องการให้ผลลัพธ์เป็นรูปแบบมาตรฐาน เช่น ทำโฮสต์เป็นตัวพิมพ์เล็กและเติม / ท้าย

Parameters

โค้ด Python / JavaScript

import json
import re
from urllib.parse import urlsplit, urlunsplit

def validate_url(value, require_scheme=True, allowed=('http', 'https'), normalize=False):
    if value is None:
        return {'value': None, 'valid': None}
    text = str(value).strip()
    if text == '' or re.search(r'\s', text):
        return {'value': value, 'valid': False}
    has_scheme = re.match(r'^[a-z][a-z\d+.\-]*:', text, re.IGNORECASE) is not None
    if not has_scheme and require_scheme:
        return {'value': value, 'valid': False}
    candidate = text if has_scheme else f'{allowed[0]}://{text}'
    parts = urlsplit(candidate)
    if parts.scheme.lower() not in allowed or parts.hostname in (None, ''):
        return {'value': value, 'valid': False}
    if not normalize:
        return {'value': text, 'valid': True}
    normalized = urlunsplit((parts.scheme.lower(), parts.netloc.lower(), parts.path or '/', parts.query, parts.fragment))
    return {'value': normalized, 'valid': True}

values = ['https://datalaundry.lifebugs.dev/techniques', 'datalaundry.lifebugs.dev', 'ไม่ใช่ url', None]
print(json.dumps([validate_url(v) for v in values], ensure_ascii=False))

ตัวอย่างการใช้งาน

คอลัมน์ website ของฐานลูกค้ามีค่าที่ไม่มี https:// อยู่จำนวนมาก รันครั้งแรกด้วย requireScheme เปิดไว้เพื่อดูว่ามีกี่แถวที่ไม่ผ่าน ถ้าส่วนใหญ่เป็นเพียงการขาด scheme ให้ปิด requireScheme และเปิด normalize เพื่อเติมให้อัตโนมัติ แล้วตรวจ Preview ว่าค่าที่ได้ยังชี้ไปที่โดเมนเดิม

เทคนิคที่เกี่ยวข้อง

ใช้ find_replace เพื่อแก้รูปแบบที่ผิดซ้ำ ๆ ใช้ extract_pattern เพื่อดึงเฉพาะโดเมนออกมาเป็นคอลัมน์ใหม่ และใช้ validate_regex เมื่อต้องการกฎที่แคบกว่ามาตรฐาน URL

• Validate by Pattern
• Extract by Regex
• Find & Replace

ลองใช้กับ Dataset ของคุณ