Bạn có đang lãng phí 97.7% token mỗi khi dùng AI cào web?

“Cường ơi, anh chạy có 3 prompt hết m.ị.a quota rồi”

“Sao cái con AI này nó ngờ-u, nó íu quá zậy”

Trong rất nhiều lần cafe trà đá tâm sự (online/offline) riêng với các anh chị nhóm CxO AI Automation, mình toàn phải nhờ mọi người mở lịch sử chat lên xem để.. gãi cho đã ngứa.

Đây là một ví dụ mình vừa làm cho anh chị CxO xem.

Cùng một đường dẫn website (URL).

Khi lấy thuần HTML như thông thường, kết quả là:

- 317,736 ký tự

- 113,830 token

Nhưng nếu xuất thành Markdown sạch, chỉ còn nội dung thật sự thì chỉ còn:

- 8,445 ký tự

- 2,594 token

Tức là giảm gần 97.7% token.

Chuyện này không mới, nhưng rất nhiều người bỏ qua khi làm việc với AI Agent, web scraping (cào nội dung web) hay browser automation.

Vấn đề không chỉ nằm ở model mạnh hay yếu.

Vấn đề là anh chị đang đưa cho AI cái gì để nó đọc.

Nếu quăng nguyên HTML vào, AI sẽ phải “nuốt” luôn:

• _ code layout

• _ class CSS

• _ script

• _ các block lặp

• _ CTA, popup, thành phần trang dư thừa

• _ và.. hằm bà lằng thứ không tạo thêm giá trị cho câu trả lời

Trong khi thứ mình thực sự cần thường chỉ là:

1. Tiêu đề

2. Nội dung chính

3. Vài gạch đầu dòng quan trọng

4. CTA / giá / FAQ cốt lõi

Đây cũng là lý do nhiều hệ thống nhìn thì rất “xịn”:

• _ biết browse web

• _ biết đọc site

• _ biết cào

• _ biết nghiên cứu

• ...

Nhưng chạy một hồi lại:

- đốt quota rất nhanh

- chậm dần

- phình context

- tốn tiền vô ích

- và khó scale

Prompt hay chỉ giúp AI nghĩ tốt hơn.

Còn input sạch mới giúp AI làm việc rẻ hơn, nhanh hơn, bền hơn.

Nếu bạn đang build:

• AI Agent

• Workflow research tự động

• Hệ thống đọc website

• Tool phân tích landing page / content / đối thủ

Thì đây là câu hỏi nên tự hỏi đầu tiên:

Chỉ cần sửa đúng chỗ này, nhiều khi chưa cần đổi model mà chi phí đã giảm cực mạnh. AI cũng bớt ngáo, trả lời cchính xác hơn nhiều, thử xem.. ^^

À.. trong nhóm CxO thì agent Song Nhi đã được trang bị sẵn các món này rồi, nên các tác vụ web-fetch thì tiết kiệm token khỏi bàn. Mình lấy chính demo vừa làm việc với Song Nhi chụp ra cho mọi người xem tại chỗ luôn 😃

p.s:

Bài này mình không bàn và kỹ thuật hay công cụ, chủ yếu chia sẻ cho anh em cách mình vẫn thường suy nghĩ & rút kinh nghiệm sau mỗi lần làm việc với anh em Builder trong nhà.

Còn lại tool nhà trồng thì mặt định làm sạch HTML thành Markdown trước khi đẩy qua cho LLM ăn rồi nên không phải lo nữa.