Чтобы заблокировать надоедливых ботов, размещаем в корне сайта конфигурационный файл .htaccess, прописав в нем следующие директивы:

  1. ## .htaccess Code :: BEGIN
  2. ## Блокируем плохих ботов и роботов
  3. SetEnvIfNoCase user-Agent ^$ bad_bot
  4. SetEnvIfNoCase user-Agent "^AESOP_com_SpiderMan" bad_bot
  5. SetEnvIfNoCase user-Agent "^Alexibot" bad_bot
  6. SetEnvIfNoCase user-Agent "Anonymouse.org" bad_bot
  7. SetEnvIfNoCase user-Agent "^asterias" bad_bot
  8. SetEnvIfNoCase user-Agent "^attach" bad_bot
  9. SetEnvIfNoCase user-Agent "^BackDoorBot" bad_bot
  10. SetEnvIfNoCase user-Agent "^BackWeb" bad_bot
  11. SetEnvIfNoCase user-Agent "bandit" bad_bot
  12. SetEnvIfNoCase user-Agent "^Baiduspider" bad_bot
  13. SetEnvIfNoCase user-Agent "^BatchFTP" bad_bot
  14. SetEnvIfNoCase user-Agent "^Bigfoot" bad_bot
  15. SetEnvIfNoCase user-Agent "^Black.Hole" bad_bot
  16. SetEnvIfNoCase user-Agent "^BlackWidow" bad_bot
  17. SetEnvIfNoCase user-Agent "^BlowFish" bad_bot
  18. SetEnvIfNoCase user-Agent "^Bot\ mailto: Адрес электронной почты защищен от спам-ботов. Для просмотра адреса в вашем браузере должен быть включен Javascript." bad_bot
  19. SetEnvIfNoCase user-Agent "^BotALot" bad_bot
  20. SetEnvIfNoCase user-Agent "Buddy" bad_bot
  21. SetEnvIfNoCase user-Agent "^BuiltBotTough" bad_bot
  22. SetEnvIfNoCase user-Agent "^Bullseye" bad_bot
  23. SetEnvIfNoCase user-Agent "^BunnySlippers" bad_bot
  24. SetEnvIfNoCase user-Agent "^Cegbfeieh" bad_bot
  25. SetEnvIfNoCase user-Agent "^CheeseBot" bad_bot
  26. SetEnvIfNoCase user-Agent "^CherryPicker" bad_bot
  27. SetEnvIfNoCase user-Agent "^ChinaClaw" bad_bot
  28. SetEnvIfNoCase user-Agent "Collector" bad_bot
  29. SetEnvIfNoCase user-Agent "Copier" bad_bot
  30. SetEnvIfNoCase user-Agent "^CopyRightCheck" bad_bot
  31. SetEnvIfNoCase user-Agent "^cosmos" bad_bot
  32. SetEnvIfNoCase user-Agent "^Crescent" bad_bot
  33. SetEnvIfNoCase user-Agent "^Curl" bad_bot
  34. SetEnvIfNoCase user-Agent "^Custo" bad_bot
  35. SetEnvIfNoCase user-Agent "^DA" bad_bot
  36. SetEnvIfNoCase user-Agent "^DISCo" bad_bot
  37. SetEnvIfNoCase user-Agent "^DIIbot" bad_bot
  38. SetEnvIfNoCase user-Agent "^DittoSpyder" bad_bot
  39. SetEnvIfNoCase user-Agent "^Download" bad_bot
  40. SetEnvIfNoCase user-Agent "^Download\ Demon" bad_bot
  41. SetEnvIfNoCase user-Agent "^Download\ Devil" bad_bot
  42. SetEnvIfNoCase user-Agent "^Download\ Wonder" bad_bot
  43. SetEnvIfNoCase user-Agent "Downloader" bad_bot
  44. SetEnvIfNoCase user-Agent "^dragonfly" bad_bot
  45. SetEnvIfNoCase user-Agent "^Drip" bad_bot
  46. SetEnvIfNoCase user-Agent "^eCatch" bad_bot
  47. SetEnvIfNoCase user-Agent "^EasyDL" bad_bot
  48. SetEnvIfNoCase user-Agent "^ebingbong" bad_bot
  49. SetEnvIfNoCase user-Agent "^EirGrabber" bad_bot
  50. SetEnvIfNoCase user-Agent "^EmailCollector" bad_bot
  51. SetEnvIfNoCase user-Agent "^EmailSiphon" bad_bot
  52. SetEnvIfNoCase user-Agent "^EmailWolf" bad_bot
  53. SetEnvIfNoCase user-Agent "^EroCrawler" bad_bot
  54. SetEnvIfNoCase user-Agent "^Exabot" bad_bot
  55. SetEnvIfNoCase user-Agent "^Express\ WebPictures" bad_bot
  56. SetEnvIfNoCase user-Agent "Extractor" bad_bot
  57. SetEnvIfNoCase user-Agent "^EyeNetIE" bad_bot
  58. SetEnvIfNoCase user-Agent "^FileHound" bad_bot
  59. SetEnvIfNoCase user-Agent "^FlashGet" bad_bot
  60. SetEnvIfNoCase user-Agent "^Foobot" bad_bot
  61. SetEnvIfNoCase user-Agent "^flunky" bad_bot
  62. SetEnvIfNoCase user-Agent "^FrontPage" bad_bot
  63. SetEnvIfNoCase user-Agent "^GetRight" bad_bot
  64. SetEnvIfNoCase user-Agent "^GetSmart" bad_bot
  65. SetEnvIfNoCase user-Agent "^GetWeb!" bad_bot
  66. SetEnvIfNoCase user-Agent "^Go!Zilla" bad_bot
  67. SetEnvIfNoCase user-Agent "Google\ Wireless\ Transcoder" bad_bot
  68. SetEnvIfNoCase user-Agent "^Go-Ahead-Got-It" bad_bot
  69. SetEnvIfNoCase user-Agent "^gotit" bad_bot
  70. SetEnvIfNoCase user-Agent "Grabber" bad_bot
  71. SetEnvIfNoCase user-Agent "^GrabNet" bad_bot
  72. SetEnvIfNoCase user-Agent "^Grafula" bad_bot
  73. SetEnvIfNoCase user-Agent "^Harvest" bad_bot
  74. SetEnvIfNoCase user-Agent "^hloader" bad_bot
  75. SetEnvIfNoCase user-Agent "^HMView" bad_bot
  76. SetEnvIfNoCase user-Agent "^httplib" bad_bot
  77. SetEnvIfNoCase user-Agent "^HTTrack" bad_bot
  78. SetEnvIfNoCase user-Agent "^humanlinks" bad_bot
  79. SetEnvIfNoCase user-Agent "^ia_archiver" bad_bot
  80. SetEnvIfNoCase user-Agent "^IlseBot" bad_bot
  81. SetEnvIfNoCase user-Agent "^Image\ Stripper" bad_bot
  82. SetEnvIfNoCase user-Agent "^Image\ Sucker" bad_bot
  83. SetEnvIfNoCase user-Agent "Indy\ Library" bad_bot
  84. SetEnvIfNoCase user-Agent "^InfoNaviRobot" bad_bot
  85. SetEnvIfNoCase user-Agent "^InfoTekies" bad_bot
  86. SetEnvIfNoCase user-Agent "^Intelliseek" bad_bot
  87. SetEnvIfNoCase user-Agent "^InterGET" bad_bot
  88. SetEnvIfNoCase user-Agent "^Internet\ Ninja" bad_bot
  89. SetEnvIfNoCase user-Agent "^Iria" bad_bot
  90. SetEnvIfNoCase user-Agent "^Jakarta" bad_bot
  91. SetEnvIfNoCase user-Agent "^JennyBot" bad_bot
  92. SetEnvIfNoCase user-Agent "^JetCar" bad_bot
  93. SetEnvIfNoCase user-Agent "^JOC" bad_bot
  94. SetEnvIfNoCase user-Agent "^JustView" bad_bot
  95. SetEnvIfNoCase user-Agent "^Jyxobot" bad_bot
  96. SetEnvIfNoCase user-Agent "^Kenjin.Spider" bad_bot
  97. SetEnvIfNoCase user-Agent "^Keyword.Density" bad_bot
  98. SetEnvIfNoCase user-Agent "^larbin" bad_bot
  99. SetEnvIfNoCase user-Agent "^LeechFTP" bad_bot
  100. SetEnvIfNoCase user-Agent "^LexiBot" bad_bot
  101. SetEnvIfNoCase user-Agent "^lftp" bad_bot
  102. SetEnvIfNoCase user-Agent "^libWeb/clsHTTP" bad_bot
  103. SetEnvIfNoCase user-Agent "^likse" bad_bot
  104. SetEnvIfNoCase user-Agent "^LinkextractorPro" bad_bot
  105. SetEnvIfNoCase user-Agent "^LinkScan/8.1a.Unix" bad_bo
  106. SetEnvIfNoCase user-Agent "^LNSpiderguy" bad_bott
  107. SetEnvIfNoCase user-Agent "^LinkWalker" bad_bot
  108. SetEnvIfNoCase user-Agent "^lwp-trivial" bad_bot
  109. SetEnvIfNoCase user-Agent "^LWP::Simple" bad_bot
  110. SetEnvIfNoCase user-Agent "^Magnet" bad_bot
  111. SetEnvIfNoCase user-Agent "^Mag-Net" bad_bot
  112. SetEnvIfNoCase user-Agent "^MarkWatch" bad_bot
  113. SetEnvIfNoCase user-Agent "^Mass\ Downloader" bad_bot
  114. SetEnvIfNoCase user-Agent "^Mata.Hari" bad_bot
  115. SetEnvIfNoCase user-Agent "^Memo" bad_bot
  116. SetEnvIfNoCase user-Agent "^Microsoft.URL" bad_bot
  117. SetEnvIfNoCase user-Agent "^Microsoft\ URL\ Control" bad_bot
  118. SetEnvIfNoCase user-Agent "^MIDown\ tool" bad_bot
  119. SetEnvIfNoCase user-Agent "^MIIxpc" bad_bot
  120. SetEnvIfNoCase user-Agent "^Mirror" bad_bot
  121. SetEnvIfNoCase user-Agent "^Missigua\ Locator" bad_bot
  122. SetEnvIfNoCase user-Agent "^Mister\ PiX" bad_bot
  123. SetEnvIfNoCase user-Agent "^moget" bad_bot
  124. SetEnvIfNoCase user-Agent "^Mozilla/3.Mozilla/2.01" bad_bot
  125. SetEnvIfNoCase user-Agent "^Mozilla.*NEWT" bad_bot
  126. SetEnvIfNoCase user-Agent "^NAMEPROTECT" bad_bot
  127. SetEnvIfNoCase user-Agent "^Navroad" bad_bot
  128. SetEnvIfNoCase user-Agent "^NearSite" bad_bot
  129. SetEnvIfNoCase user-Agent "^NetAnts" bad_bot
  130. SetEnvIfNoCase user-Agent "^Netcraft" bad_bot
  131. SetEnvIfNoCase user-Agent "^NetMechanic" bad_bot
  132. SetEnvIfNoCase user-Agent "^NetSpider" bad_bot
  133. SetEnvIfNoCase user-Agent "^Net\ Vampire" bad_bot
  134. SetEnvIfNoCase user-Agent "^NetZIP" bad_bot
  135. SetEnvIfNoCase user-Agent "^NextGenSearchBot" bad_bot
  136. SetEnvIfNoCase user-Agent "^NG" bad_bot
  137. SetEnvIfNoCase user-Agent "^NICErsPRO" bad_bot
  138. SetEnvIfNoCase user-Agent "^NimbleCrawler" bad_bot
  139. SetEnvIfNoCase user-Agent "^Ninja" bad_bot
  140. SetEnvIfNoCase user-Agent "^NPbot" bad_bot
  141. SetEnvIfNoCase user-Agent "^Octopus" bad_bot
  142. SetEnvIfNoCase user-Agent "^Offline\ Explorer" bad_bot
  143. SetEnvIfNoCase user-Agent "^Offline\ Navigator" bad_bot
  144. SetEnvIfNoCase user-Agent "^Openfind" bad_bot
  145. SetEnvIfNoCase user-Agent "^OutfoxBot" bad_bot
  146. SetEnvIfNoCase user-Agent "^PageGrabber" bad_bot
  147. SetEnvIfNoCase user-Agent "^Papa\ Foto" bad_bot
  148. SetEnvIfNoCase user-Agent "^pavuk" bad_bot
  149. SetEnvIfNoCase user-Agent "^pcBrowser" bad_bot
  150. SetEnvIfNoCase user-Agent "^PHP\ version\ tracker" bad_bot
  151. SetEnvIfNoCase user-Agent "^Pockey" bad_bot
  152. SetEnvIfNoCase user-Agent "^ProPowerBot/2.14" bad_bot
  153. SetEnvIfNoCase user-Agent "^ProWebWalker" bad_bot
  154. SetEnvIfNoCase user-Agent "^psbot" bad_bot
  155. SetEnvIfNoCase user-Agent "^Pump" bad_bot
  156. SetEnvIfNoCase user-Agent "^QueryN.Metasearch" bad_bot
  157. SetEnvIfNoCase user-Agent "^RealDownload" bad_bot
  158. SetEnvIfNoCase user-Agent "Reaper" bad_bot
  159. SetEnvIfNoCase user-Agent "Recorder" bad_bot
  160. SetEnvIfNoCase user-Agent "^ReGet" bad_bot
  161. SetEnvIfNoCase user-Agent "^RepoMonkey" bad_bot
  162. SetEnvIfNoCase user-Agent "^RMA" bad_bot
  163. SetEnvIfNoCase user-Agent "Siphon" bad_bot
  164. SetEnvIfNoCase user-Agent "sitecheck.internetseer.com" bad_bot
  165. SetEnvIfNoCase user-Agent "^SiteSnagger" bad_bot
  166. SetEnvIfNoCase user-Agent "^SlySearch" bad_bot
  167. SetEnvIfNoCase user-Agent "^SmartDownload" bad_bot
  168. SetEnvIfNoCase user-Agent "^Snake" bad_bot
  169. SetEnvIfNoCase user-Agent "^Snapbot" bad_bot
  170. SetEnvIfNoCase user-Agent "^Snoopy" bad_bot
  171. SetEnvIfNoCase user-Agent "^sogou" bad_bot
  172. SetEnvIfNoCase user-Agent "^SpaceBison" bad_bot
  173. SetEnvIfNoCase user-Agent "^SpankBot" bad_bot
  174. SetEnvIfNoCase user-Agent "^spanner" bad_bot
  175. SetEnvIfNoCase user-Agent "^Sqworm" bad_bot
  176. SetEnvIfNoCase user-Agent "Stripper" bad_bot
  177. SetEnvIfNoCase user-Agent "Sucker" bad_bot
  178. SetEnvIfNoCase user-Agent "^SuperBot" bad_bot
  179. SetEnvIfNoCase user-Agent "^SuperHTTP" bad_bot
  180. SetEnvIfNoCase user-Agent "^Surfbot" bad_bot
  181. SetEnvIfNoCase user-Agent "^suzuran" bad_bot
  182. SetEnvIfNoCase user-Agent "^Szukacz/1.4" bad_bot
  183. SetEnvIfNoCase user-Agent "^tAkeOut" bad_bot
  184. SetEnvIfNoCase user-Agent "^Teleport" bad_bot
  185. SetEnvIfNoCase user-Agent "^Telesoft" bad_bot
  186. SetEnvIfNoCase user-Agent "^TurnitinBot/1.5" bad_bot
  187. SetEnvIfNoCase user-Agent "^The.Intraformant" bad_bot
  188. SetEnvIfNoCase user-Agent "^TheNomad" bad_bot
  189. SetEnvIfNoCase user-Agent "^TightTwatBot" bad_bot
  190. SetEnvIfNoCase user-Agent "^Titan" bad_bot
  191. SetEnvIfNoCase user-Agent "^toCrawl/UrlDispatcher" bad_bot
  192. SetEnvIfNoCase user-Agent "^True_Robot" bad_bot
  193. SetEnvIfNoCase user-Agent "^turingos" bad_bot
  194. SetEnvIfNoCase user-Agent "^TurnitinBot" bad_bot
  195. SetEnvIfNoCase user-Agent "^URLy.Warning" bad_bot
  196. SetEnvIfNoCase user-Agent "^Vacuum" bad_bot
  197. SetEnvIfNoCase user-Agent "^VCI" bad_bot
  198. SetEnvIfNoCase user-Agent "^VoidEYE" bad_bot
  199. SetEnvIfNoCase user-Agent "^Web\ Image\ Collector" bad_bot
  200. SetEnvIfNoCase user-Agent "^Web\ Sucker" bad_bot
  201. SetEnvIfNoCase user-Agent "^WebAuto" bad_bot
  202. SetEnvIfNoCase user-Agent "^Webbandit" bad_bot
  203. SetEnvIfNoCase user-Agent "^Webclipping.com" bad_bot
  204. SetEnvIfNoCase user-Agent "^WebCopier" bad_bot
  205. SetEnvIfNoCase user-Agent "^WebEMailExtrac.*" bad_bot
  206. SetEnvIfNoCase user-Agent "^WebEnhancer" bad_bot
  207. SetEnvIfNoCase user-Agent "^WebFetch" bad_bot
  208. SetEnvIfNoCase user-Agent "^WebGo\ IS" bad_bot
  209. SetEnvIfNoCase user-Agent "^Web.Image.Collector" bad_bot
  210. SetEnvIfNoCase user-Agent "^WebLeacher" bad_bot
  211. SetEnvIfNoCase user-Agent "^WebmasterWorldForumBot" bad_bot
  212. SetEnvIfNoCase user-Agent "^WebReaper" bad_bot
  213. SetEnvIfNoCase user-Agent "^WebSauger" bad_bot
  214. SetEnvIfNoCase user-Agent "^WebSite" bad_bot
  215. SetEnvIfNoCase user-Agent "^Website\ eXtractor" bad_bot
  216. SetEnvIfNoCase user-Agent "^Website\ Quester" bad_bot
  217. SetEnvIfNoCase user-Agent "^Webster" bad_bot
  218. SetEnvIfNoCase user-Agent "^WebStripper" bad_bot
  219. SetEnvIfNoCase user-Agent "^WebWhacker" bad_bot
  220. SetEnvIfNoCase user-Agent "^WebZIP" bad_bot
  221. SetEnvIfNoCase user-Agent "^Wget" bad_bot
  222. SetEnvIfNoCase user-Agent "Whacker" bad_bot
  223. SetEnvIfNoCase user-Agent "^Widow" bad_bot
  224. SetEnvIfNoCase user-Agent "^WISENutbot" bad_bot
  225. SetEnvIfNoCase user-Agent "^WWWOFFLE" bad_bot
  226. SetEnvIfNoCase user-Agent "^WWW-Collector-E" bad_bot
  227. SetEnvIfNoCase user-Agent "^Xaldon" bad_bot
  228. SetEnvIfNoCase user-Agent "^Xenu" bad_bot
  229. SetEnvIfNoCase user-Agent "^Zeus" bad_bot
  230. SetEnvIfNoCase user-Agent "^Zyborg" bad_bot
  231.  
  232. <limit get="" post="" head="">
  233. Order Allow,Deny
  234. Allow from all
  235. Deny from env=bad_bot
  236. </limit>