標籤 robots

當內部系統放到網路上，不希望被不相關的人看到，首先就要讓正規爬蟲知道不要蒐集哪些資訊