Cara Menggores Data Mata Uang Digital dan Menyimpannya di Database MySQL | Oleh Arabind Mehr | Juni 2022

Programming

[ad_1]
Welcome Gaes di suratpembaca.web.id. Kali ini kita akan mengupas tentang Linux yakni Cara Menggores Data Mata Uang Digital dan Menyimpannya di Database MySQL | Oleh Arabind Mehr | Juni 2022

.

Mudah-mudahan postingan mengenai Cara Menggores Data Mata Uang Digital dan Menyimpannya di Database MySQL | Oleh Arabind Mehr | Juni 2022

bisa memberikan manfaat untuk Sahabat semua. Mari baca postingan ini
hingga tuntas.

Ketahui kapan harga mata uang digital lebih rendah tanpa membuka situs web setiap saat

Mata uang digital

Dalam proyek ini, kami ingin mengikis crypto.com untuk mendapatkan 500 cryptocurrency teratas dan menyimpan semua data dalam database MySQL dengan cap waktu sebagai nama tabel.

Menggaruk web adalah keterampilan penting saat ini. Kami dapat menulis situs web untuk sebuah nama di tabel dengan data berharga dan mengotomatisasi tugas. Alih-alih berulang kali membuka situs web untuk memeriksa apakah harganya turun, kita cukup mengikis situs web dan membuat email jika harganya turun.

Kami akan menghapus crypto.com/price untuk mendapatkan 500 cryptocurrency teratas. Di bawah ini adalah tangkapan layar situs web.

https://crypto.com/price

Sebelum memulai proyek ini, kita perlu menyiapkan lingkungan virtual Python. Tolong lihat Pengenalan singkat lingkungan virtual Python Untuk mempelajari cara mengatur lingkungan virtual dengan Python.

Setelah membuat lingkungan virtual, instal modul Python menggunakan perintah berikut.

$ pip install requests bs4 pandas mysql-connector-python

Sekarang kita telah menginstal modul, kita dapat memulai proyek.

Aplikasi modul Python dan sup cantik digunakan untuk mengikis web. Modul permintaan digunakan untuk mendapatkan kode HTML untuk halaman web dan sup cantik membuatnya lebih mudah untuk menghapus elemen tertentu dari kode.

Di browser, buka situs web dan periksa untuk melihat semua elemen yang perlu kita ekstrak dari halaman. Untuk proyek ini, kita harus mengekstrak tabel pertama. Pada kode di bawah ini Anda dapat melihat bagaimana kami mengekstrak tabel pertama dari halaman web menggunakan permintaan dan sup yang indah.

# import <packages>
import requests
from bs4 import BeautifulSoup4
# getting HTML code from webpage and formatting
URL = 'https://crypto.com/price'
response = request.get(URL)
soup = BeautifulSoup4(response.text)
# scraping table element from HTML code
table = soup.find('table')

kode

Kode HTML selalu diisi dengan beberapa elemen bersarang, terkadang kita harus melakukan beberapa hal secara manual untuk mendapatkan data tekstual. Pada baris 28 hingga 29 kita perlu memfilter lebih banyak untuk mendapatkan jumlah teks.

Setelah mengeksekusi kode di atas, kami mendapatkan dua daftar. Yang pertama menyimpan judul tabel dan yang kedua menyimpan baris tabel dalam format Tupel. Data ini dapat diformat sebagai data dan disimpan sebagai file CSV.

Konversikan data mentah ke Bingkai Data dan simpan sebagai file CSV

from pandas import DataFramecrypto_df = DataFrame(crypto_data, columns=heading)
crypto_df.to_csv(<path>, index=False)
berkas CSV

Silakan merujuk ke kode berikut untuk menghubungkan database MySQL ke Python.

Buat perintah

CREATE TABLE `crypto_scraper`.`table_name` (
`Rank` INT NOT NULL,
`Name` VARCHAR(50) NOT NULL,
`Price` VARCHAR(20) NOT NULL,
`24H_Change` VARCHAR(20) NOT NULL,
`24H_Volume` VARCHAR(20) NOT NULL,
`Market_Cap` VARCHAR(20) NOT NULL,
PRIMARY KEY (`Name`)
);

Kami menganggap nama tabel sebagai variabel karena tabel baru dibuat untuk menyimpan data baru yang dihapus dari situs web.

Format nama file: crypto_%Y%m%d%H%M%S

Masukkan perintah

INSERT_COMMAND = \
'INSERT INTO table VALUES(%s, %s, %s, %s, %s, %s);'.format(
table=table_name)

Jalankan pernyataan SQL dengan Python

try:
cursor.execute(CREATE_COMMAND)
database.commit()
cursor.executemany(INSERT_COMMAND, crypto_data)
database.commit()
except Error as e:
print(e)

Kode di atas mentransfer semua data terenkripsi ke database.

Deskripsi tabel
data MySQL

Repo GitHub: https://github.com/arabind-meher/Crypto-Scraping.git

Itu tadi materi tentang Cara Menggores Data Mata Uang Digital dan Menyimpannya di Database MySQL | Oleh Arabind Mehr | Juni 2022

, terimakasih sudah berkunjung di website saya, mudah-mudahan informasinya ada manfaatnya ya.

[ad_2]

Source link

Tinggalkan Balasan

Alamat email Anda tidak akan dipublikasikan.