روبات بازاریاب شهرکد

اگر در لاگ سرور خود بازدیدهایی با عامل کاربرِ AlokadoTorobBot می‌بینید، این روبات ما است که فهرست محصولات فروشگاه‌های ثبت‌شده را می‌خواند تا قیمت‌ها در بازاریاب شهرکد به‌روز بماند.

روبات چه می‌کند

اگر فروشنده آدرس فید محصولاتش را داده باشد، فقط همان یک فایل را می‌خواند.
وگرنه سراغ فید ساخت‌یافتهٔ فروشگاه می‌رود (ووکامرس یا شاپیفای) تا کمترین بار را بگذارد.
اگر فید نبود، sitemap.xml را می‌خواند و صفحه‌ای را که طبق lastmod تغییر نکرده دوباره نمی‌خواند.
اگر سایت‌مپ هم نبود، با فاصلهٔ زمانی و محدودیت تعداد، صفحات را می‌پیماید.
به robots.txt و Crawl-delay احترام می‌گذارد؛ اگر robots.txt خطای سرور بدهد، تا رفع خطا چیزی نمی‌خواند.
با پاسخ 429 یا 503 آهسته‌تر می‌شود و Retry-After را رعایت می‌کند؛ اگر سایت پشت‌سرهم خطا بدهد، خواندن را متوقف می‌کند.

چطور جلوی خزش را بگیریم

در فایل robots.txt سایتتان:

User-agent: AlokadoTorobBot Disallow: /

توجه: با بستن راه روبات، محصولات فروشگاه شما در بازاریاب شهرکد به‌روز نمی‌شود.

کاهش فشار روی سرور

اگر فقط می‌خواهید روبات آرام‌تر بخواند، در پنل فروشنده دورهٔ به‌روزرسانی را «هفتگی» بگذارید، یا در robots.txt فاصلهٔ درخواست‌ها را تعیین کنید:

User-agent: AlokadoTorobBot Crawl-delay: 2

بهترین راه اما فید محصولات است: یک فایل به‌جای هزاران صفحه.

سپر ضدبات (کلودفلر، ابرآروان)

اگر سایت شما پشت سپر ضدبات است، روبات به‌جای صفحه با چالش روبه‌رو می‌شود و محصولاتتان خوانده نمی‌شود. عامل کاربرِ AlokadoTorobBot را در فهرست مجاز سپر قرار دهید. روبات بازاریاب شهرکد سپر را دور نمی‌زند.

مشخصات فید محصولات

آدرس فید را در پنل فروشنده، بخش «روبات»، وارد کنید. دو قالب پذیرفته می‌شود:

XMLِ Google Merchant (RSS یا Atom با فیلدهای g:). افزونه‌های ووکامرس مثل «Product Feed» همین را می‌سازند. فیلدهای خوانده‌شده: g:link، g:title، g:price، g:sale_price، g:image_link، g:availability، g:brand، g:gtin، g:mpn، g:product_type.
JSON: یک آرایه یا {"products": [...]}. فقط سه فیلد اول الزامی است:

[ { "url": "https://shop.example.ir/product/kettle", "title": "کتری برقی فیلیپس HD9350", "price": 1890000, "old_price": 2100000, "currency": "IRT", "image": "https://shop.example.ir/img/kettle.jpg", "available": true, "stock": 12, "brand": "فیلیپس", "category": "لوازم آشپزخانه", "gtin": "8710103854566", "sku": "HD9350-90", "mpn": "HD9350/90" } ]

currency یکی از IRT (تومان) یا IRR (ریال) است؛ اگر نباشد تومان فرض می‌شود. gtin (بارکد) باعث می‌شود کالای شما کنار همان کالا در فروشگاه‌های دیگر نمایش داده شود.