### 写在前面
blackspider是我为blackarch临时编写的爬虫工具，仅作为方便查找网页关键词的轻量级工具存在，使用时若出现bug可以直接向我反馈，爬虫作为容易扰乱互联网秩序的工具之一，希望大家在使用前先了解[网络安全方面的知识](https://content.hackertalk.net/pub/3Mpp64-6Ay252Z)。
### blackarch系统与工具简单介绍
blackarch与arch的关系大概可以参考经典渗透机kali与debian，arch与debian属于linux的发行版，blackarch是基于arch的渗透系统，所以arch可以通过调试pacman以安装blackarch的渗透工具（最近沉迷ctf，调试方式以后写），对比直装超过工具超过2k的blackarch，从arch安装渗透工具的方式更加符合arch邪教党对自定义的追求，当然，如果只想体验一波渗透快感的话也可以直接装blackarch，当然前提得注意好自己的内存。
![](https://content.hackertalk.net/pub/27aAMD-x3rz3PV)
### blackspider——来愉快地爬取工具吧！
选择过[blackarch工具](https://www.blackarch.org/tools.html)的人大概都知道海底捞针的痛苦，明明一堆工具摆在那里，就是找不到自己需要的东西。
![](https://content.hackertalk.net/pub/8MDJJW-zBd8WZl)
于是这不就巧了嘛，刚好我了解那么一点点python，于是简单写了一个工具方便针对性查找所需要的东西，以下是[blackspider](https://github.com/CryingN/blackspider)的链接，写这段文字时github已经更新到0.2版本，除了爬取blackarch工具以外也能满足一些基本需求，感兴趣的话可以稍微读一读readme.md文件。
![](https://content.hackertalk.net/pub/XKvpQ7-a9Dn555)
按照readme.md文件配置好以后开始进行搜索，这里使用的是win10的powershell，因为arch内存不是很足，cmd切换盘的时候需要多进行一步*C: \\User\\Admin>D:* 的操作，linux用户不过多介绍，终端play是linux的主场。
```bash
cd ../blacksprider #具体填blacksprider文件夹所在位置
py blacksprider --url 'https://www.blackarch.org/tools.html' --file_name 'blackarch_tools.html' --tag 'tr' --attrname 'text' --keyword [关键词]
#且勿重复调用该网页，完成过一次后应当改用文件调用方式
```
注意，*py* 为python安装包中用于代替不够便利的环境变量所使用的launcher工具，*py* 相比于*python* 更便于切换不同python版本，印象中linux用户无法使用py调用python，只需要改成*python blacksprider ……* 就好。
来试试寻找一下xss攻击的辅助工具，
```bash
py blacksprider --url 'https://www.blackarch.org/tools.html' --file_name 'blackarch_tools.html' --tag 'tr' --attrname 'text' --keyword 'xss','web','tool' 
```
按道理大概能得到如下结果：
```bash
[True] 获取源代码成功
[True] 已创建blackarch_tools.html文档
[True] 已打印至blackarch_tools.html文档
[True] 已从原文档中获取
[True] 查询到以下tag文本：
xsscon
45.ce91fd6
Simple XSS Scanner tool.
 blackarch-webapp

xsser
1.8
A penetration testing tool for detecting and exploiting XSS vulnerabilites.
 blackarch-webapp

xssscan
17.7f1ea90
Command line tool for detection of XSS attacks in URLs. Based on ModSecurity rules from OWASP CRS.
 blackarch-webapp

xsssniper
79.02b59af
An automatic XSS discovery tool
 blackarch-webapp
```
简单解释一组工具的意思：存在名为*xsscon* 的工具，版本号为*45.ce91fd6* ，*Simple XSS Scanner tool.* 为工具注释，*blackarch-webapp* 为基本组blackarch中的webapp软件包，详细可以在[blackarch官网](https://www.blackarch.org/guide.html)下载指南进行阅读，官方贴心地准备了中文文本，虽然还没补全，但是我看过英文版同样在敬请期待（笑）
调用过一次网页后会自动保存在blackspider文件夹中,以后搜索工具时不用再使用网站爬虫方式，我们用文本搜索方式试着查询一下自动化sql注入工具：
```bash
py blacksprider --file 'blackarch_tools.html' --tag 'tr' --attrname 'text' --keyword 'auto','web','tool'
```
可以得到如下结果：
```bash
[True] 文件打开成功
[True] 已从原文档中获取
[True] 查询到以下tag文本：
nosqlmap
238.ae0b461
Automated Mongo database and NoSQL web application exploitation tool
 blackarch-webapp

sqlmap
1.6.8
Automatic SQL injection and database takeover tool
 blackarch-webapp

themole
0.3
Automatic SQL injection exploitation tool.
 blackarch-webapp
 ```
看到老熟人了，*sqlmap* 是一款非常强大的工具，甚至在Termux中也可以安装来练手哦：
![](https://content.hackertalk.net/pub/XKv6dz-eK0zDQ2)
还有之前在xss靶场联系时我曾尝试过用*xsscon* 进行扫描：
![](https://content.hackertalk.net/pub/OKvra7-704Kk65)
感兴趣的话可以自己尝试来配置一波属于自己的渗透系统，一起加入万恶的ctf比赛吧。
![](https://content.hackertalk.net/pub/3Mpp64-6Ay252Z)

【arch linux】更高效地筛选渗透工具

在Python的应用领域中，爬虫算是比较热门的了。我在之前也爬过一些知名网站，写过一系列爬虫实战系列的博客。作为一名爬虫技术人，在这里想安利一波爬虫的相关库：

requests：可以模拟`HTTP`请求，简单易用，对于一些简单的网页爬取，用它绰绰有余。

selenium：可以模拟用户操作浏览器，也比较友好。

scrapy：一个爬虫应用框架，封装的比较好，用户编写少量的代码即可。

Appium：手机爬虫用。

Beatuiful Soup：用来解析爬取网页的。

fake_useragent：用来生产假的user agent的。

wordcloud：词云图，用来对文本数据进行可视化的。

crawler