- Python 3 爬虫、数据清洗与可视化实战(第2版)
- 零一
- 840字
- 2020-08-27 11:26:25
3.3 存储数据到MongoDB
MongoDB是一个基于分布式文件存储的数据库,由C++语言编写,旨在为Web应用提供可扩展的高性能数据存储解决方案。
MongoDB是一款介于关系数据库和非关系数据库之间的产品,它在非关系数据库中功能最丰富,最像关系数据库。
3.3.1 下载并安装MongoDB
1.下载MongoDB
到MongoDB的官网下载MongoDB即可。
2.配置本地MongoDB
MongoDB每次启动时都需要在CMD中进行配置,找到安装目录下的bin文件夹路径,如图3-11所示。
![img](https://epubservercos.yuewen.com/3DAE1E/17545851106441906/epubprivate/OEBPS/Images/txt003_20.jpg?sign=1734416445-At2Y6G1uQNYyZWxeg1IbCIIQ7TN7hads-0-5d14bbee05e269adfa5422df6795665d)
图3-11
由CMD进入以下路径:
![img](https://epubservercos.yuewen.com/3DAE1E/17545851106441906/epubprivate/OEBPS/Images/txt003_21.jpg?sign=1734416445-pUcqahjEEYb8u5oYgRzelMaBpU54f5jZ-0-0f6cc267e9045fdca6a2fe60329d7bcc)
配置数据库路径,配置前要先在C盘中新建文件夹,代码如下。
![img](https://epubservercos.yuewen.com/3DAE1E/17545851106441906/epubprivate/OEBPS/Images/txt003_22.jpg?sign=1734416445-HJ3HN5Nca7xabB6hqi9ztu41yozsN4dq-0-f4e0d53b502e51138c10f267e901fc2e)
代码运行结果如下所示。
![img](https://epubservercos.yuewen.com/3DAE1E/17545851106441906/epubprivate/OEBPS/Images/txt003_23.jpg?sign=1734416445-4pijEVVw7qgqktBrXBYXqcEItrZ5KQvj-0-669cd2af01d8eae027cd09dd98db65b4)
再打开一个CMD,进入MongoDB确认数据库已经启动,进入bin路径,如下所示。
![img](https://epubservercos.yuewen.com/3DAE1E/17545851106441906/epubprivate/OEBPS/Images/txt003_24.jpg?sign=1734416445-bsCZvVbuL08UkVcnqGmjbj61bxtjZyNF-0-c79b54f1aef300c6b4ea0ea38ef08721)
输入“mongo”连接数据库,显示“>”就代表MongoDB已经正常启动,如下所示。
![img](https://epubservercos.yuewen.com/3DAE1E/17545851106441906/epubprivate/OEBPS/Images/txt003_25.jpg?sign=1734416445-AEUqk6tMPhWnPmKjFHAb8G96A7wdpTZw-0-011ab353ec8961601fb8ea4304c6d71c)
3.3.2 在PyCharm中安装Mongo Plugin
在PyCharm中,依次执行“File”g“Settings”g“Plugins”→“Browse Repositories”命令,输入“mongo”,然后选择“Mongo Plugin”,如图3-12和图3-13所示。
安装好后重新启动PyCharm,就可以在右侧看到Mongo Explorer。
如果没有这个窗口,则可以将鼠标光标停留在左下角的图标上,然后在自动弹出的菜单中选择“Mongo Explorer”命令,如图3-14所示。
![img](https://epubservercos.yuewen.com/3DAE1E/17545851106441906/epubprivate/OEBPS/Images/txt003_26.jpg?sign=1734416445-XZpRyr2uhHrXJ2Wt4pyKwZeo0TlAhPMF-0-4eeb78691375febb20dc2ac0de3ccb77)
图3-12
![img](https://epubservercos.yuewen.com/3DAE1E/17545851106441906/epubprivate/OEBPS/Images/txt003_27.jpg?sign=1734416445-NgSYNmZQzyvZAVXEgOUSYqrULYLwbE0p-0-a36c196e9851d921308e1aa049f6f1c4)
图3-13
![img](https://epubservercos.yuewen.com/3DAE1E/17545851106441906/epubprivate/OEBPS/Images/txt003_28.jpg?sign=1734416445-U5NJDh2aljWZTQj7q2YrQWDI9l9Ko6T7-0-e93c2e1a324ea6b99b8ef85c6a52e5e2)
图3-14
接下来在Mongo Explorer窗口中单击设置按钮,创建连接(通过PyCharm File菜单中的Settings也可以设置),如图3-15所示。
![img](https://epubservercos.yuewen.com/3DAE1E/17545851106441906/epubprivate/OEBPS/Images/txt003_29.jpg?sign=1734416445-2gYGuazKcN6OXpEFCZ5KlIeCxft9XnUC-0-14950aa36b22a8a405e5b39d16bf2a0d)
图3-15
在Mongo Servers设置窗口中单击左侧的加号按钮(addServer),如图3-16所示。
![img](https://epubservercos.yuewen.com/3DAE1E/17545851106441906/epubprivate/OEBPS/Images/txt003_30.jpg?sign=1734416445-PDsHVPea7ZDgWeapH0dNoy7SOiQTJeJ8-0-ba279c9f555ffeba404c155c203882dd)
图3-16
输入连接名,单击“Test Connection”(测试连接)按钮,当提示信息为“Connection test successful”时表示连接正常,然后单击“OK”按钮保存设置即可,如图3-17所示。
![img](https://epubservercos.yuewen.com/3DAE1E/17545851106441906/epubprivate/OEBPS/Images/txt003_31.jpg?sign=1734416445-GVXPMcE50rqaDhyqh8rmu3Dqd94uM2Aj-0-39fd47c3d8fd9779fc7bedd951fb2581)
图3-17
3.3.3 将数据存入MongoDB中
下面尝试将获取的数据存入MongoDB中,首先输入以下代码。
![img](https://epubservercos.yuewen.com/3DAE1E/17545851106441906/epubprivate/OEBPS/Images/txt003_32.jpg?sign=1734416445-hvyP6zSAUNR7MuZyzEZt6bBjC8cdJnMn-0-90f7f38628a99880a0c245f354c3b219)
运行后双击连接,可以看到名为weather的数据库,如图3-18所示。
![img](https://epubservercos.yuewen.com/3DAE1E/17545851106441906/epubprivate/OEBPS/Images/txt003_33.jpg?sign=1734416445-NEYFXE0ahvTIKrPsbmmgdmRP4jCqTs3t-0-064d9941e7d1b8b51530f0ca8dd0c298)
图3-18
展开weather数据库,双击sheet_weather_3这张表(见图3-19(b)),会弹出预览窗口(见图3-19(a)),可以从该窗口中观察获取到的天气预报数据,数据以JSON格式存储在数据库中。
![img](https://epubservercos.yuewen.com/3DAE1E/17545851106441906/epubprivate/OEBPS/Images/txt003_34.jpg?sign=1734416445-p0vnv0TuWfbdbG9D9uk3vWW3Azemg9B3-0-2101d3e08817ea703d94a0550cea859f)
图3-19
可以直接在预览窗口中展开JSON的树形结构,如图3-20所示。
![img](https://epubservercos.yuewen.com/3DAE1E/17545851106441906/epubprivate/OEBPS/Images/txt003_35.jpg?sign=1734416445-2GbTHtxnMfHkWVCkKO1UCpRMJtsbhoNN-0-fb095d9c5f4101565f9b48c7bdb29bf5)
图3-20
需要提前安装PyMongo库,这是一个提供Python和MongoDB连接的库,使用方法如下。
1.建立连接
输入以下代码,其中localhost是主机名,27017是端口号(在默认情况下是这个参数)。
![img](https://epubservercos.yuewen.com/3DAE1E/17545851106441906/epubprivate/OEBPS/Images/txt003_36.jpg?sign=1734416445-ybNtrObG7BN2g076ahvcZX8EcIPH5EWh-0-e092bc5343c5783b6a98cd0d0856829d)
2.新建名为weather的数据库
输入以下代码:
![img](https://epubservercos.yuewen.com/3DAE1E/17545851106441906/epubprivate/OEBPS/Images/txt003_37.jpg?sign=1734416445-dDU0S3apq1zc61oPbk5piN48jGTruIV4-0-4c0a4d675ede19214edbfa1ec04c7ce3)
3.新建名为sheet_weather_3的表
输入以下代码:
![img](https://epubservercos.yuewen.com/3DAE1E/17545851106441906/epubprivate/OEBPS/Images/txt003_38.jpg?sign=1734416445-pbWSZdWWweO19ZZQ1qz82aKZb7Wvtli5-0-d03e125a98859b391bc12ff220a470af)
4.写入数据
输入以下代码:
![img](https://epubservercos.yuewen.com/3DAE1E/17545851106441906/epubprivate/OEBPS/Images/txt003_39.jpg?sign=1734416445-R0Urxc0GIeZNURH9VS6MGhwXhMCo6y1c-0-1eb6353ff8c91b1d8fe41dfd4854b4b0)