英文:
I am not getting the count of results I want, when i scrape a webpage with BeautifulSoup&Python
问题
I got {{memberVm.disclosures.length}}. I want to get counts of result. It's at the top of the list. For example '34 bildirim bulundu.' I want to get 34, not {{memberVm.disclosures.length}}.
Page:
<https://www.kap.org.tr/tr/bildirim-sorgu?srcbar=Y&cmp=Y&cat=4&s=srp2205201503&st=Yeni%20%C4%B0%C5%9F%20%C4%B0li%C5%9Fkisi&kw=yeni%20i%C5%9F%20ili%C5%9Fkisi&slf=ALL>
My Codes:
import requests
from bs4 import BeautifulSoup
URL = 'https://www.kap.org.tr/tr/bildirim-sorgu?srcbar=Y&cmp=Y&cat=4&s=srp2205201503&st=Yeni%20%C4%B0%C5%9F%20%C4%B0li%C5%9Fkisi&kw=yeni%20i%C5%9F%20ili%C5%9Fkisi&slf=ALL'
headers = {"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36"}
page = requests.get(URL, headers=headers)
content = BeautifulSoup(page.content, 'html.parser')
numberOfNotifications = content.find(style="font-weight : bold; ").get_text()
print(numberOfNotifications)
The result I got:
{{memberVm.disclosures.length}}
英文:
When i try to get count of results, i got {{memberVm.disclosures.length}}. I want to get counts of result. It's at the top of the list. For example '34 bildirim bulundu.' I want to get 34, not {{memberVm.disclosures.length}}.
Page:
<https://www.kap.org.tr/tr/bildirim-sorgu?srcbar=Y&cmp=Y&cat=4&s=srp2205201503&st=Yeni%20%C4%B0%C5%9F%20%C4%B0li%C5%9Fkisi&kw=yeni%20i%C5%9F%20ili%C5%9Fkisi&slf=ALL>
My Codes:
import requests
from bs4 import BeautifulSoup
URL = 'https://www.kap.org.tr/tr/bildirim-sorgu?srcbar=Y&cmp=Y&cat=4&s=srp2205201503&st=Yeni%20%C4%B0%C5%9F%20%C4%B0li%C5%9Fkisi&kw=yeni%20i%C5%9F%20ili%C5%9Fkisi&slf=ALL'
headers = {"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36"}
page = requests.get(URL, headers = headers)
content = BeautifulSoup(page.content, 'html.parser')
numberOfNotifications = content.find(style="font-weight : bold; ").get_text()
print(numberOfNotifications)
the result i got:
{{memberVm.disclosures.length}}
答案1
得分: 1
页面上显示的数据是通过JavaScript从外部URL加载的，所以beautifulsoup看不到它。 但你可以模拟这个请求：
```py
import requests
import pandas as pd
api_url = 'https://www.kap.org.tr/tr/api/memberDisclosureQuery'
payload = {
"bdkMemberOidList": [],
"bdkReview": "",
"discIndex": [],
"disclosureClass": "",
"fromDate": "",
"fromSrc": "Y",
"inactiveMkkMemberOidList": [],
"index": "",
"isLate": "",
"mainSector": "",
"market": "",
"memberType": None,
"mkkMemberOidList": [],
"prd": "",
"ruleType": "",
"sector": "",
"srcCategory": "4",
"subjectList": [
"srp2205201503" # <-- from the URL "s=" parameter: "https://www.kap.org.tr/tr/bildirim-sorgu?srcbar=Y&cmp=Y&cat=4&s=srp2205201503&st=Yeni%20%C4%B0%C5%9F%20%C4%B0li%C5%9Fkisi&kw=yeni%20i%C5%9F%20ili%C5%9Fkisi&slf=ALL"
],
"subSector": "",
"term": "",
"toDate": "",
"year": ""
}
data = requests.post(api_url, json=payload).json()
df = pd.DataFrame(data)
print(df)
publishDate kapTitle isOldKap disclosureClass disclosureType disclosureCategory summary subject ruleTypeTerm disclosureIndex isLate stockCodes hasMultiLanguageSupport attachmentCount
0 Dün 17:44 BİRLEŞİM MÜHENDİSLİK ISITMA SOĞUTMA HAVALANDIRMA SANAYİ VE TİCARET A.Ş. False ODA ODA ODA Yeni İş İlişkisi Hk. Yeni İş İlişkisi - 1172706 False BRLSM False 0
1 Dün 10:30 ASELSAN ELEKTRONİK SANAYİ VE TİCARET A.Ş. False ODA ODA ODA Sözleşme İmzalanması Yeni İş İlişkisi - 1172603 False ASELS True 0
2 Dün 09:16 BEYAZ FİLO OTO KİRALAMA A.Ş. False ODA ODA ODA DS marka otomobil yetkili satıcılık faaliyetine başlanması Yeni İş İlişkisi - 1172562 False BEYAZ False 0
3 14.07.23 18:14 GİRİŞİM ELEKTRİK SANAYİ TAAHHÜT VE TİCARET A.Ş. False ODA ODA ODA Yeni Siparişler Alınması Hk. Yeni İş İlişkisi - 1172315 False GESAN True 0
4 14.07.23 10:27 ASTOR ENERJİ A.Ş. False ODA ODA ODA Yeni İş İlişkisi Yeni İş İlişkisi - 1171962 False ASTOR False 0
5 13.07.23 18:51 ADEL KALEMCİLİK TİCARET VE SANAYİ A.Ş. False ODA ODA ODA Yeni İş İlişkisi Hakkında Bilgilendirme Yeni İş İlişkisi - 1171685 False ADEL False 0
6 13.07.23 18:43 CW ENERJİ MÜHENDİSLİK TİCARET VE SANAYİ A.Ş. False ODA ODA ODA Yeni İş İlişkisi Hk. Yeni İş İlişkisi - 1171680 False CWENE False 0
7 13.07.23 14:01 ASELSAN ELEKTRONİK SANAYİ VE TİCARET A.Ş. False ODA ODA ODA Sözleşme İmzalanması Yeni İş İlişkisi - 1171374 False ASELS True 0
8 12.07.23 18:00 CVK MADEN İŞLETMELERİ SANAYİ VE TİCARET A.Ş. False ODA ODA ODA Yeni İş İlişkisi Yeni İş İlişkisi - 1171038 False CVKMD False 0
9 12.07.23 13:39 GİRİŞİM ELEKTRİK SANAYİ TAAHHÜT VE TİCARET A.Ş. False ODA ODA ODA Yeni İş Anlaşması Yeni İş İlişkisi - 1170830 False GESAN False 0
10 11.07.23 17:20 HİDROPAR HAREKET KONTROL TEKNOLOJİLERİ MERKEZİ SANAYİ VE TİCARET A.Ş. False ODA ODA ODA Yeni İş İlişkisi Hk. Yeni İş İlişkisi - 1170457 False HKTM False 0
11 11.07.23 14:47 ASTOR ENERJİ A.Ş. False ODA ODA ODA Yeni İş İlişkisi Yeni İş İlişkisi - 1170397 False ASTOR False 0
12 11.07.23 14:46 ASTOR ENERJİ A.Ş. False ODA ODA ODA Yeni İş İlişkisi
<details>
<summary>英文:</summary>
The data you see on the page is loaded from external URL via javascript, so [tag:beautifulsoup] doesn't see it. You can however simulate this request:
```py
import requests
import pandas as pd
api_url = 'https://www.kap.org.tr/tr/api/memberDisclosureQuery'
payload = {
"bdkMemberOidList": [],
"bdkReview": "",
"discIndex": [],
"disclosureClass": "",
"fromDate": "",
"fromSrc": "Y",
"inactiveMkkMemberOidList": [],
"index": "",
"isLate": "",
"mainSector": "",
"market": "",
"memberType": None,
"mkkMemberOidList": [],
"prd": "",
"ruleType": "",
"sector": "",
"srcCategory": "4",
"subjectList": [
"srp2205201503" # <-- from the URL "s=" parameter: "https://www.kap.org.tr/tr/bildirim-sorgu?srcbar=Y&cmp=Y&cat=4&s=srp2205201503&st=Yeni%20%C4%B0%C5%9F%20%C4%B0li%C5%9Fkisi&kw=yeni%20i%C5%9F%20ili%C5%9Fkisi&slf=ALL"
],
"subSector": "",
"term": "",
"toDate": "",
"year": ""
}
data = requests.post(api_url, json=payload).json()
df = pd.DataFrame(data)
print(df)
Prints:
publishDate kapTitle isOldKap disclosureClass disclosureType disclosureCategory summary subject ruleTypeTerm disclosureIndex isLate stockCodes hasMultiLanguageSupport attachmentCount
0 Dün 17:44 BİRLEŞİM MÜHENDİSLİK ISITMA SOĞUTMA HAVALANDIRMA SANAYİ VE TİCARET A.Ş. False ODA ODA ODA Yeni İş İlişkisi Hk. Yeni İş İlişkisi - 1172706 False BRLSM False 0
1 Dün 10:30 ASELSAN ELEKTRONİK SANAYİ VE TİCARET A.Ş. False ODA ODA ODA Sözleşme İmzalanması Yeni İş İlişkisi - 1172603 False ASELS True 0
2 Dün 09:16 BEYAZ FİLO OTO KİRALAMA A.Ş. False ODA ODA ODA DS marka otomobil yetkili satıcılık faaliyetine başlanması Yeni İş İlişkisi - 1172562 False BEYAZ False 0
3 14.07.23 18:14 GİRİŞİM ELEKTRİK SANAYİ TAAHHÜT VE TİCARET A.Ş. False ODA ODA ODA Yeni Siparişler Alınması Hk. Yeni İş İlişkisi - 1172315 False GESAN True 0
4 14.07.23 10:27 ASTOR ENERJİ A.Ş. False ODA ODA ODA Yeni İş İlişkisi Yeni İş İlişkisi - 1171962 False ASTOR False 0
5 13.07.23 18:51 ADEL KALEMCİLİK TİCARET VE SANAYİ A.Ş. False ODA ODA ODA Yeni İş İlişkisi Hakkında Bilgilendirme Yeni İş İlişkisi - 1171685 False ADEL False 0
6 13.07.23 18:43 CW ENERJİ MÜHENDİSLİK TİCARET VE SANAYİ A.Ş. False ODA ODA ODA Yeni İş İlişkisi Hk. Yeni İş İlişkisi - 1171680 False CWENE False 0
7 13.07.23 14:01 ASELSAN ELEKTRONİK SANAYİ VE TİCARET A.Ş. False ODA ODA ODA Sözleşme İmzalanması Yeni İş İlişkisi - 1171374 False ASELS True 0
8 12.07.23 18:00 CVK MADEN İŞLETMELERİ SANAYİ VE TİCARET A.Ş. False ODA ODA ODA Yeni İş İlişkisi Yeni İş İlişkisi - 1171038 False CVKMD False 0
9 12.07.23 13:39 GİRİŞİM ELEKTRİK SANAYİ TAAHHÜT VE TİCARET A.Ş. False ODA ODA ODA Yeni İş Anlaşması Yeni İş İlişkisi - 1170830 False GESAN False 0
10 11.07.23 17:20 HİDROPAR HAREKET KONTROL TEKNOLOJİLERİ MERKEZİ SANAYİ VE TİCARET A.Ş. False ODA ODA ODA Yeni İş İlişkisi Hk. Yeni İş İlişkisi - 1170457 False HKTM False 0
11 11.07.23 14:47 ASTOR ENERJİ A.Ş. False ODA ODA ODA Yeni İş İlişkisi Yeni İş İlişkisi - 1170397 False ASTOR False 0
12 11.07.23 14:46 ASTOR ENERJİ A.Ş. False ODA ODA ODA Yeni İş İlişkisi Yeni İş İlişkisi - 1170396 False ASTOR False 0
13 10.07.23 18:11 ONCOSEM ONKOLOJİK SİSTEMLER SANAYİ VE TİCARET A.Ş. False ODA ODA ODA Denizli Pamukkale Üniversitesi ile imzalanan sözleşme hk. Yeni İş İlişkisi - 1169427 False ONCSM False 0
14 10.07.23 11:30 ASTOR ENERJİ A.Ş. False ODA ODA ODA Yeni İş İlişkisi Yeni İş İlişkisi - 1168462 False ASTOR False 0
15 10.07.23 11:07 GİRİŞİM ELEKTRİK SANAYİ TAAHHÜT VE TİCARET A.Ş. False ODA ODA ODA Yeni İş Sözleşmesi Yeni İş İlişkisi - 1168455 False GESAN False 0
16 07.07.23 17:41 QUA GRANITE HAYAL YAPI VE ÜRÜNLERİ SANAYİ TİCARET A.Ş. False ODA ODA ODA Yeni İş İlişkisi Yeni İş İlişkisi - 1167427 False QUAGR False 0
17 07.07.23 13:47 ASTOR ENERJİ A.Ş. False ODA ODA ODA Yeni İş İlişkisi Yeni İş İlişkisi - 1167195 False ASTOR False 0
18 07.07.23 13:47 ASTOR ENERJİ A.Ş. False ODA ODA ODA Yeni İş İlişkisi Yeni İş İlişkisi - 1167194 False ASTOR False 0
19 07.07.23 11:38 SAY YENİLENEBİLİR ENERJİ EKİPMANLARI SANAYİ VE TİCARET A.Ş. False ODA ODA ODA GE (General Electic) Şirketiyle Sözleşme İmzalanması Hk. Yeni İş İlişkisi - 1166961 False SAYAS False 0
20 06.07.23 16:44 ASTOR ENERJİ A.Ş. False ODA ODA ODA Yeni İş İlişkisi Yeni İş İlişkisi - 1166356 False ASTOR False 0
21 06.07.23 16:43 ASTOR ENERJİ A.Ş. False ODA ODA ODA Yeni İş İlişkisi Yeni İş İlişkisi - 1166355 False ASTOR False 0
22 06.07.23 09:08 GÜR-SEL TURİZM TAŞIMACILIK VE SERVİS TİCARET A.Ş. False ODA ODA ODA Yeni İş Sözleşmesi Yeni İş İlişkisi - 1166112 False GRSEL False 0
23 05.07.23 16:54 ASTOR ENERJİ A.Ş. False ODA ODA ODA Yeni İş İlişkisi Yeni İş İlişkisi - 1165923 False ASTOR False 0
24 04.07.23 17:26 ASTOR ENERJİ A.Ş. False ODA ODA ODA Yeni İş İlişkisi Yeni İş İlişkisi - 1165386 False ASTOR False 0
25 04.07.23 08:58 YEO TEKNOLOJİ ENERJİ VE ENDÜSTRİ A.Ş. False ODA ODA ODA Şirketin Yeni İş Alımı ve Sözleşme İmzalanması Hakkında. Yeni İş İlişkisi - 1164986 False YEOTK False 0
26 03.07.23 18:47 ORGE ENERJİ ELEKTRİK TAAHHÜT A.Ş. False ODA ODA ODA Kalibre Boru Çatı Güneş Enerji Santralleri Projesine ilişkin sözleşme imzalanması Yeni İş İlişkisi - 1164638 False ORGE False 0
27 03.07.23 09:23 AZTEK TEKNOLOJİ ÜRÜNLERİ TİCARET A.Ş. False ODA ODA ODA InfinityLab markasının Türkiye yetkili distribütörlüğünün kazanılması hakkında Yeni İş İlişkisi - 1163177 False AZTEK False 0
28 23.06.23 17:36 SMART GÜNEŞ ENERJİSİ TEKNOLOJİLERİ ARAŞTIRMA GELİŞTİRME ÜRETİM SANAYİ VE TİCARET A.Ş. False ODA ODA ODA Yeni iş ilişkisi Yeni İş İlişkisi - 1161927 False SMRTG True 0
29 22.06.23 18:31 ARD GRUP BİLİŞİM TEKNOLOJİLERİ A.Ş. False ODA ODA ODA Tesk A.Ş. İle Sözleşme İmzalanması Hk. Yeni İş İlişkisi - 1161391 False ARDYZ False 0
30 21.06.23 18:22 AZTEK TEKNOLOJİ ÜRÜNLERİ TİCARET A.Ş. False ODA ODA ODA Migros Ticaret A.Ş. ile imzalanan Tedarik Sözleşmesi Hakkında Yeni İş İlişkisi - 1161014 False AZTEK False 0
31 21.06.23 16:19 CVK MADEN İŞLETMELERİ SANAYİ VE TİCARET A.Ş. False ODA ODA ODA Yeni İş İlişkisi Yeni İş İlişkisi - 1160871 False CVKMD False 0
32 20.06.23 18:15 ALFA SOLAR ENERJİ SANAYİ VE TİCARET A.Ş. False ODA ODA ODA Yeni İş İlişkisi Yeni İş İlişkisi - 1160562 False ALFAS True 0
33 19.06.23 20:46 KOCAER ÇELİK SANAYİ VE TİCARET A.Ş. False ODA ODA ODA Yeni İş Bağlantısı Yeni İş İlişkisi - 1160172 False KCAER True 0
通过集体智慧和协作来改善编程学习和解决问题的方式。致力于成为全球开发者共同参与的知识库，让每个人都能够通过互相帮助和分享经验来进步。
评论