beitrag zur diskussion wie eine exakte definition eines malware bot aussehen könnte, welche rolle datensammler für medienmultiplikatoren spielen, warum so viele webmaster ihre robots.txt vorschrift gar nicht oder sehr offen gestalten, ob robots.txt überbewertet wird. wir müssen weg von dieser primitiv binären denkweise malware/goodware oder bad bot/good bot. einem künstler ist klar daß zwischen null und eins
oder gut und böse sehr viele nuancen passen und daß die moral eine frage der perspektive sein kann. ethik hängt auch mit dem betrachterstandpunkt zusammen. im folgenden eine auflistung von webcrawlern die ungefähr von 2001 bis 2008 in elektronischen schaltkreisen unterwegs waren.was bedeuten die hierdurch erzeugten äußerst komplexen informationswege für die prioritäten in strafverfolgung und nachrichten? welche folgen entstehen aus monopolistischen und dezentralen netzwerken für das kommunikationsdesign der zukunft ? schreibe ich in meta name/robots index,follow und all oder noindex,nofollow rein ? jetzt kann ich dann anfangen für die untenstehenden crawler jeweils eine eigene vorschrift zu basteln oder sämtlichen bots den zugriff auf unterverzeichnisse zu verbieten und dann schauen welche sich nicht dran halten. leider weiß ich über captchas und htaccess zuwenig, manche bots können formulare ausfüllen um an dahinterliegende daten zu kommen und die gängigen spidertraps funktionieren so daß man ihnen ein bestimmtes verzeichnis verbietet und dann schaut welche bots auf dieses verzeichnis zugreifen wollten. das wahnsinnige erlebnis daß nur ein slash mich von der zufriedenheit trennt: wenn ich die vorschrift in der robots.txt datei von user-agent:* von disallow: (garnix) auf disallow: / (also slash) umändere haben auf einmal sehr viele webcrawler hinter denen natürlich menschen sitzen die sich ihre infos vollautomatisch zuliefern lassen was ja auch nicht falsch sein muß keine zugriffsrechte mehr auf irgendwelche verzeichnisse nach der hauptseite. irre daß ein einziges satzzeichen nämlich der schrägstrich ganze existenzen ruinieren oder aufbauen kann. das kann nicht wahr sein. da stimmt irgendwas nicht. ich hab mir von ca. 50 seiten die robots.txt datei angeschaut und in den meisten fällen gab es die gar nicht oder bestand aus einem simplen aussperren der bekanntesten bots von verzeichnissen mit geheimnissen drin.
Acme.Spider
ADSAComponent
Ahoy! The Homepage Finder
Alkaline
Almaden
Amsterdam
amzn_assoc
ananzi
Ano-Kato
Anthill
Antibot
AnyBrowser Search engine
AOLserver
AOL-IWENG 3.0
Appie
Walhello appie
Arachnophilia
Arale
Araneo
ArchitextSpider
Aretha
ARIADNE
arirang_check
arks
Ask Jeeves
Ask Jeeves Teoma
ASpider
ASPseek
AvantGo
AvantBrowser
ATN Worldwide
Atomz.com Search Robot
AURESYS
BackRub
BaiDuSpider
Battlebot
Batik (1.0)
BDNcentral Crawler
Big Brother
Bjaaland
BlackWidow
Die Blinde Kuh
Blogbot
Bloodhound
Border Manager
Borg-Bot
Boitho-robot
BrailleBot
bright.net caching robot
BSpider
Bumblebee
CACTVS Chemistry Spider
Calif
Cassandra
Cd34
Checkbot
CHIP Explorer
ChristCrawler.com
churl
cIeNcIaFiCcIoN.nEt
Cityreview robot
cj.com spider
CMC0.01
Collective
Combine System
ComMOOnity Lambda
Conceptbot
CoolBot
CopyHunter
Cosmos
Crawl Application
CrocCrawler
Custo
Cusco
Cxhttp
CyberSpyder Link Test
DeepIndex
DeMozulator
Desert Realm Spider
DeWeb(c) KatalogIndex
DienstSpider
Digger
Digimarc MarcspiderCGI
Digital Integrity Robot
Direct Hit Grabber
DNAbot
DownLoad Express
Dolly (1.0)
DoCoMo
DragonBot
DTS Agent
Dual Proxy
DWCP (Dridus’ Web Cataloging Project)
EasyDL
e-collector
eseek-crawler-larbin (Larbin but the Exact Seek Crawler)
EbiNess
EgotoBot
EIT Link Verifier Robot
ELFINBOT
Emacs-w3 Search Engine
Esther
Exalead
Evliya Celebi
FAST-WebCrawler
FavOrg
Fbot
Feedster Crawler
Firefly
Flash Processor
FlickBot
Fluffy the spider
Fluid Dynamics Search Engine (FDSE) robot
Felix IDE
FetchRover
fido
Fish search
Firefly
Fouineur
FornKer Crawler
Freecrawl
FunnelWeb
FusionBot
GAIS Robot
GalaxyBot
gammaSpider, FocusedCrawler
Gatherer (0.9)
gazz
GCreep
gemima
Generic
GetterroboPlus Puu
GetBot
GetRight
GetURL
Gigabot
Girafabot
Golem
Googlebot (previous name Backrub)
Grapnel0.01 Experiment
Griffon
Gromit
Grub-client
Gulliver (Northern Light)
Gulper Bot
HamBot
Harvest
havIndex
Hget
HI (HTML Index) Search
Hitwise Spider
HKU WWW Octopus
Hometown Spider Pro
Hämähäkki
ht Dig and aka. Htdig
HTMLgobble
html_analyzer
HTTrack
HTTPcheck
Hyper-Decontextualizer
ia_archiver
iajaBot
IBSBand
IBM_Planetwide
ICS
Icabot Accept
IITrovatore-Setaccio
Illinois State Tech Labs
Ingrid
Image Collector
image.kapsi.net
Imagefetch
Imagelock
IncyWincy
Indy Library
Informant
InfoSeek Robot 1.0
Infoseek Sidewinder
InfoSpiders
Ingrid
Inktomi Slurp
Inspector Web
IntelliAgent
IntelliSeek
Internet Cruiser Robot
Internet Explorer Browser
InternetLinkAgent
Internet Shinchakubin
InternetSeer.com
IPiumBot
Iron33
Israeli-search
Jakarta Commons-HTTPclient
Java(A agent of any robot built with Java)
JavaBee
JBot Java Web Robot
JCrawler
Jobot
JoeBot
Jubii Indexing Robot,the
JumpStation
K2Spider
Katipo
KDD-Explorer
Keebler Elf
KeKe
Kilroy
KIT-Fireball
KO_Yappo_Robot
KMcrawler
Knoledge Engine
kuloko-bot
LabelGrabber
larbin
legs
Libwww-perl
LinkBot
Link Validator
Linkman
LinkScan
Links SQL
LinkWalker
Lite Bot
LNSspiderguy
Lockon
logo.gif Crawler
look.com
Lwp-request (aka. LWP Simple)
Lycos Spider
Mac WWWWorm
Mac Finder
mackster (Click4Choice UK Search engine)
Magpie
MarkWatch
Martini
marvininfoseek
Mattie
MeatEater
MediaFox
MediaPartners (Google…)
Megite
Mercator
MetaGer-LinkChecker
Metacarta
MerzScope
NEC-MeshExplorer
Microsoft URL Control
Microsoft-ATL-Native
MicrosofPrototypeCrawler
MindCrawler
Missouri College Browse
Mister Pix
mnoGoSearch search engine software
moget
MOMspider
Monster
Motor
Mozilla Browser
MSNBot
MS Data Access
MS FrontPage
MSIE Crawler
MSProxy
Muncher
Muscat Ferret
Mwd.Search
MysteryBot
NationalDirectory-WebSpider
NaverRobot
NetAnts
NetCarta WebMap Engine
Netcraft Web Server Survey
NetResearchServer
net.math.crawler.NetCrawler
NetMechanic
NetNose-Crawler
NetResearchServer
Netscape browser
NetScoop
NetSweeper
newscan-online
newskies.net
NG (1.0)
NHSE Web Forager
NITLE Blog Spider
Nomad
NPBot
nuSearch0
NutchCrawler
NutchOrg
NY Internet SREVCS
nzexplorer
The NorthStar Robot
Occam
Obot
Openbot
Openfind data gatherer
OrangeBot
Orb Search
Organica
OWR Crawler
P.Arthur
Pack Rat
PageBoy
Parabot
ParaSite
Patric
Pavuk
pegasus
Peregrinator,the
PerlCrawler 1.0
PersonaPilot
Phantom
PHP (Any bot built with PHP)
PhpDig
PiltdownMan
Pimptrain.com’s robot
Pita
Pioneer
PlantyNet_WebRobot
Portal Juice Spider
PGP Key Agent
PlumtreeWebAccessor
Pompos
Poppi
Popular Iconoclast
Portal Manager
PortalB Spider
Potbot
Pro WeGuide Link Checker
Program Shareware
psbot
Pverify
Python Robot,the (any robot built with Python)
QuepasaCreep
Raven Search
RBSE Spider
Resume Robot
Reifer
Rico (0.1)
RoadHouse Crawling System
Road Runner The ImageScape Robot
Robbie the Robot
ComputingSite Robi1.0
RoboCrawl Spider
RoboFox
RobotMidareru
Robot Francoroute
Robots.txt Validator (Search Engine World, and a few others)
Robozilla
Roverbot
RPT-HTTPClient
RuLeS
SafetyNet Robot
Scooter (AltaVista)
Scrubby
Search Agent
Searchalot
Search.Aus-AU.COM
SearchProcess
SearchSpider(.com)
Semanticdiscovery
Senrigan
SG-Scout
Sherlock
ShagSeeker
Shai’Hulud
Sift
Simmany Robot Ver1.0
Sitecheck
Site Valet
Site Searcher
SiteTech-Rover
Sitescooper
Skymob.com
SAlySearch
SLCrawler
Sleek
Sleipnir
Smart Spider
Snooper
Solbot
Sootlebot
Space Bison
Speedy Spider
spider_monkey
SpiderBot
Spiderline Crawler
SpiderKU
SpiderMan
SpiderView(tm)
Spry Wizard Robot
Sqworm
Start Downloader
Steeler
Suke
suntek search engine
Suchtop-bot
Steeler
SuperCleaner
Sven
SYCLICKControlLinkChecker
Szukacz
TACH Black Widow
Taco Bell
Tarantula
tarspider
TclSOAP
Tcl W3 Robot
TechBOT
Teleport Pro
Templeton
Teradex Mapper
Terrar-UK Search
Tide
TitIn
TITAN
TkWWW Robot,the
TLSpider
toCrawlURLDispatcher
tovero
TulipChain
TurnitinBot
Tutorial Cralwer
UbiCrawler
UCSD Crawl
UdmSearch
UIowaCrawler
UnderTheRainbow
URL Check
URL Spider Pro
UTSC (0.004)
Vagabondo
Valkyrie
Verticrawl
Victoria
vision-search
VoilaBot
Voyager
Vspider
VWbot
The NWI Robot
W3C-checklink
W3C Validator
W3M2
w3mir
w@pSpider by wap4.com
WallPaper (alias crawlpaper)
Wavepluz
webbot bot include
WebBandit Web Spider
WebCatcher
Webclipping
WebcraftBoot
WebCopy
Web Core Roots
WebGatherer
webfetcher
Webfilter Robot
Webfoot Robot,the
WebHiker
Webinator
weblayers
WebLinker
Werb Link Validator
Weblog Monitor
WebmasterWorldWebBot
WebMirror
Web Moose, the
WebQuest
WebRace
Webinator-indexer
WebReaper
webs
WebSearch
WebSearchBench
Websnarf
WebSpider
WebStolperer
WebVac
webwalk
WebWalker
WebWatch
Webwombat
WebZinger
Wget
whatUseek Winona
WhoWhere Robot
Wired Digital
Wild Ferret Web Hopper
Wilow
WinampMPEG
World Wide Web Wanderer, the
Web Wombat,the
World Wide Web Worm,the
WWWC Ver 0.2.5
XGET
Xenu Link SAleuth
XYLEME Robot
YahooSeeker
YellSpider
Zao (0.1)
Zealbot
Zeus
Zibie Spider
ZyBorg (Wisenut)
Googlebot2.1
msnbot-media1.0
Crawl-delay 20
Googlebot
Googlebot-Image
Mediapartners-Google*
googles adwords campain
Mediapartners-Google2.1
MSNBot
msnbot1.0
seekbot
Slurp
Technoratibot0.7
WordPress2.1.2
wordpress stats
Seekbot1.0 HTTPFetcher2.2
Yahoo! Slurp
ichiro2.0
TMCrawler
aconon Index
ActiveAgent
Alexibot
A-Online Search
Aqua_Products
Arachnoidea
Arachnophilia
ArchitextSpider
AskJeeves
asterias
ATN_Worldwide
autoemailspider
b2w 0.1
b2w
b2w0.1
BackDoorBot 1.0
BackDoorBot
BackDoorBot1.0
BackWeb
baiduspider
BecomeBot
Black Hole
BlackWidow
BlowFish 1.0
BlowFish
BlowFish1.0
boitho.com-dc
Bookmark search tool
BotALot
BotRightHere
BuiltBotTough
Bullseye
Bullseye1.0
BunnySlippers
Cegbfeieh
CheeseBot
CherryPicker 1.0
CherryPicker 1.0
CherryPicker
CherryPickerElite 1.0
CherryPickerElite1.0
CherryPickerSE 1.0
CherryPickerSE1.0
ChinaClaw
Collector
CoolBot
Copernic
Copier
CopyRightCheck
cosmos
Crawler V 0.2.1 admin@crawler.de
Crescent Internet ToolPak HTTPOLE Control v.1.0
Crescent
Deweb1.01
DISCo Pump 3.1
DISCo Pump
DISCo
DittoSpyder
dloader(naverrobot)1.0
DOC
Download Demon
Download Ninja
Download Wonder
Downloader
Drip
dumbot
eCatch
EirGrabber
EmailCollector 1.0
emailcollector
EmailCollector
EmailSiphon
EmailWolf 1.00
EmailWolf
Enterprise_Search
Enterprise_Search1.0
EroCrawler
es
Eule-Robot
Express WebPictures
ExtractorPro
EyeNetIE
FairAd Client
FAST Crawler (crawler at fast.no)
FAST
Fetch
fido1.0
FileHound
Firefly1.0
Flaming AttackBot
FlashGet
Foobot
FreeFind
Gaisbot
GetRight
GetRight4.2
GetSmart
GetWeb!
Gigabot
Go!Zilla
Go-Ahead-Got-It
gotit
Grabber
grabber
GrabNet
Grafula
grub
grub-client
Gulliver1.3
Harvest 1.5
Harvest
Harvest1.4.pl2
Harvest1.5
Hatena Antenna
HenryTheMiragoRobot
hloader
HLoader
HMView
cscrawler
httplib
HTTrack
humanlinks
ia_archiver
ia_archiver1.6
IBM_Planetwide
Image Stripper
Image Sucker
Indy Library
InfoNaviRobot
InfoSeek Sidewinder0.9
InterGET
Internet Ninja
Iria
IRLbot
Iron33
Iron331.0.2
Jeeves
JennyBot
Jetbot
Jetbot1.0
JetCar
JOC Web Spider
JOC
JustView
k2spider
Kenjin Spider
Keyword Density
Keyword Density0.9
KIT-Fireball2.0
larbin
larbin
LexiBot
lftp
libWeb
libWebclsHTTP
libwww
likse
LinkextractorPro
linko
LinkScan
LinkScan8.1a Unix
LinkWalker
LNSpiderguy
looksmart
lwp-trivial
lwp-trivial1.34
Lycos_Spider_(T-Rex)
Magnet
Mag-Net
Mass Downloader
Mata Hari
MegaSheep
Memo
Microsoft URL Control – 5.01.4511
Microsoft URL Control – 6.00.8169
Microsoft URL Control
Microsoft.URL.Control
MIDown tool
MIIxpc
MIIxpc4.2
Mirror
Mister PiX
moget
moget2.1
mozilla
Mozilla
mozilla3
mozilla4
Mozilla4.0
mozilla5
MSIECrawler
my-heritrix-crawler( mywebsite.com)
naver
Navroad
NearSite
Net Vampire
NetAnts
NetMechanic
NetSpider
NetZIP
NICErsPRO
Ninja
NPBot
Nutch
Octopus
Offline Explorer
Offline Navigator
OmniExplorer_Bot
Openbot
Openfind
Openfind data gathere
Openfind data gatherer
Oracle Ultra Search
PageGrabber
Papa Foto
pavuk
pcBrowser
PerMan
ProPowerBot
ProPowerBot2.14
ProWebWalker
psbot
Pump
Python-urllib
QueryN Metasearch
Radiation Retriever 1.1
Radiation Retriever
Radiation
RealDownload
Reaper
Recorder
ReGet
RepoMonkey Bait Tacklev1.01
RepoMonkey
RMA
Robozilla
Roverbot
scooter
Scooter
Scrubby
searchpreview
Siphon
sitecheck.internetseer.com
SiteSnagger
SmartDownload
Snake
sootle
SpaceBison
SpankBot
spanner
Stanford Comp Sci
Stanford
Sucker
SuperBot
SuperHTTP
Surfbot
suzuran
Szukacz
Szukacz1.4
tAkeOut
Tarantula
Teleport Pro
Teleport Pro1.29.1590
Teleport Pro1.29.1616
Teleport Pro1.29.1632
Teleport Pro1.29.1718
Teleport
TeleportPro
TeleportPro
Telesoft
Teoma
The Intraformant
TheNomad
thesubot
TightTwatBot
Titan
toCrawlUrlDispatcher
True_Robot
True_Robot1.0
turingos
UbiCrawler
Ultraseek
URL Control
URL_Spider_Pro
URLy Warning
Vacuum
VCI WebViewer VCI WebViewer Win32
VCI
VoidEYE
Web Image Collector
Web Sucker
WebAuto
WebBandit 2.1
WebBandit 3.50
webbandit 4.00.0
WebBandit
WebBandit3.50
WebCapture 2.0
WebCopier v.2.2
WebCopier v3.2a
WebCopier
WebCrawler_1.1 internet@bredband.net
WebEMailExtrac.
WebEMailExtractor 1.0B
WebEnhancer
WebFetch
WebGo IS
WebLeacher
WebmasterWorld Extractor
WebmasterWorld
WebmasterWorldForumBot
WebMoose
WebReaper
WebSauger
Website eXtractor
Website Quester
Website
Webster Pro
Webster
WebStripper
WebVac
WebWhacker
WebZip
WebZip
WebZip4.0
WebZIP4.21
WebZIP5.0
wget
Wget
Wget1.5.3
Wget1.6
Whacker
whatUseek_winona
WhoWhere
Widow
WWW-Collector
WWW-Collector-E
WWWOFFLE
WX_mail
Xaldon
XaldonWebSpider
Xenu
Xenu\’s Link Sleuth 1.1c
Xenu\’s
Xenu’s Link Sleuth 1.1c
Xenu’s
yahoo-blogsv3.9
yahoo-mmcrawler
Zao
Zealbot
Zeus 32297 Webster Pro V2.9 Win32
Zeus Link Scout
Zeus
ZyBORG
Fasterfox
ia_archiver
ia_archiver1.6
Cegbfeieh
WWW-Collector-E
Black Hole
Titan
grub-client
grub
looksmart
WebZip
larbin
b2w0.1
Python-urllib
NetMechanic
URL_Spider_Pro
CherryPicker
EmailCollector
EmailSiphon
WebBandit
EmailWolf
ExtractorPro
CopyRightCheck
Crescent
SiteSnagger
ProWebWalker
CheeseBot
LNSpiderguy
ia_archiver
ia_archiver1.6
TeleportPro
MIIxpc
Telesoft
Website Quester
moget2.1
WebZip4.0
WebStripper
WebSauger
WebCopier
NetAnts
Mister PiX
WebAuto
TheNomad
WWW-Collector-E
RMA
libWebclsHTTP
asterias
httplib
turingos
spanner
InfoNaviRobot
Harvest1.5
Bullseye1.0
Mozilla4.0 (compatible; BullsEye; Windows 95)
Crescent Internet ToolPak HTTP OLE Control v.1.0
CherryPickerSE1.0
CherryPickerElite1.0
WebBandit3.50
NICErsPRO
Microsoft URL Control – 5.01.4511
DittoSpyder
Foobot
WebmasterWorldForumBot
SpankBot
BotALot
lwp-trivial1.34
lwp-trivial
BunnySlippers
Microsoft URL Control – 6.00.8169
URLy Warning
Wget1.6
Wget1.5.3
Wget1.9.1
Wget
LinkWalker
cosmos
moget
hloader
humanlinks
LinkextractorPro Offline Explorer
Mata Hari
LexiBot
Web Image Collector
The Intraformant
True_Robot1.0
True_Robot
BlowFish1.0
JennyBot
MIIxpc4.2
BuiltBotTough
ProPowerBot2.14
BackDoorBot1.0
toCrawlUrlDispatcher
WebEnhancer
suzuran
VCI WebViewer VCI WebViewer Win32
VCI
Szukacz1.4
QueryN Metasearch
Openfind data gathere
Openfind
Zeus
RepoMonkey Bait & Tacklev1.01
RepoMonkey
Microsoft URL Control
Openbot
URL Control
Zeus Link Scout
Zeus 32297 Webster Pro V2.9 Win32
Webster Pro
EroCrawler
LinkScan8.1a Unix
Keyword Density0.9
Kenjin Spider
Iron331.0.2
Bookmark search tool
GetRight4.2
FairAd Client
Gaisbot
Aqua_Products
Radiation Retriever 1.1
Flaming AttackBot
Oracle Ultra Search
MSIECrawler
PerMan
searchpreview
RufusBot
RBSE
webcrawler
world wide web worm
cobweb
mercator
webfountain
polybot
webrace
ubicrawler
fastcrawler
teezircrawler
hotcrawler
heritrix
icdlcrawler
jspider
methabot
nutch
webvac
wir
yacy
ruya
ruya universal information crawler
agent kernel spider
news arachnode
links zum thema robotik, künstliche intelligenz, automatisierte suche per crawler, automation, den allgemeinen sinn der maschinen den menschen das leben zu erleichtern und die arbeit abzunehmen:
pandorabots
robotstxt
aidreams
lab30
bots bei xlqr
webmasterworld forumbeitrag
zu robots.txt
artikel in deinbaer.blogspot
fixmbr robots.txt
webcrawler artikel bei wikipedia
spidertrap
bot-trap
honeyblog
botvorschriften
semantische websuche
forum yacy zu robots.txt
aihub
film robots
elbot chatbot
lasergesteuerter roboter
webcrawler, automation und barrierefreiheit
robotik und orthopädie
hexapod robot
robot-spider arana mecanica
micromagicsystems
robot rights
kurzweil AI
virtual humans
iGod chatbot
alicebot chatbot
infone neuronale netze
maschinenpoesie, eliza dissertation
poetron zone
beobachter der bediener von maschinen
5voltcore roboterkunst
maschinismus kunst
f18 institut kunst
crossbot suchmaschine
jobrobot suchmaschine
fastbot suchmaschine
les robots bei panoplie
was in dem film bot_netze aus der sicht des BSI auffällt ist auch wenn er schön gemacht ist, gut animiert, sicherheit gibt, paranoiker, hysteriker und verunsicherte kleine kinder beruhigt und zum schmunzeln anregt: bots werden grob fahrlässig verallgemeinernd per se abwertend dargestellt. das ist sachlich falsch.
jetzt stellen Sie doch mal den zusammenhang mit folgenden aussagen über botnetze, bots, malbots, viralmarketing und bewußteinsviren her:
dshield
artikel über mind virus auf einem vxer portal
webcrawler selberbauen
srizbi botnet
kraken botnet
malbot definition
macher des obengenannten botnet-films
viralmythen blog
protagonisten des viralmarketing
na, was folgt dann daraus? noch ein einziger ideologischer gedanke von Ihnen (außer wenn sie die ideologien philosophisch angehen) und je nachdem, wie überfordert und vergiftet ich bin ,gehe ich an die decke /auf die palme/ geht mir der hut hoch wie dem
HB-männchen oder ich lasse mich in sinnlose hysterie mit reinziehen.
wenn sie dümmlich immer wieder dieselben klischees ( das wort klischee kommt von „druckvorlagen“), sündenböcke und feindbilder unreflektiert attackieren,
weil sie sich nicht die mühe gemacht haben sich fundiert zu informieren, müssen wir noch mehr für die medienpädagogik bzw. (sozial)pädagogik im sinne einer präventiven bildungspolitik allgemein tun.
