使用 mutate(df,lubridate::ymd_hms(ts))
更簡單的方法就使用別人造好的輪子
推薦用lodash
直接用 瀏覽器離線模式吧,沒有必要寫爬蟲
1.是你里面var.csv 前的斜杠反了
2.如果不行,嘗試在引號前加個r, 表示轉(zhuǎn)義。
$arr = $arr['data'];
$arr1 = array_filter($arr, function ($item){
return $item['symbol'] == 'BTC';
});
var_dump($arr1);
我不是很理解你這個有效封裝具體指的是什么?
你想問的是如何數(shù)組去重嗎?
這得看具體代碼實(shí)現(xiàn)了吧,深度優(yōu)先只規(guī)定了往沉挖,沒規(guī)定同級別的節(jié)點(diǎn)間怎么排序。
sf_remember
在cookie里面,而且不是httpOnly的,js可以讀到
換元 t = ts * z
后,會發(fā)現(xiàn)積分其實(shí)是個Beta函數(shù)。
$$ \array{ \text{原式} &=& \fracko3cj9ipvff{t_s}(1-\frac{x_s^2}{a^2})^{(\beta_x-1)} \int_{0}^{1} \! \left[1-\frac{(t_s z-t_s/2)^2}{(t_s/2)^2}\right]^{\beta_y-1} t_s\,\mathrmko3cj9ipvff z\\ &=& d\, (1-\frac{x_s^2}{a^2})^{(\beta_x-1)} \int_{0}^{1} \! [1-(2z-1)^2]^{\beta_y-1}\,\mathrmko3cj9ipvff z\\ &=& 4^{(\beta_y-1)}\, d\, (1-\frac{x_s^2}{a^2})^{(\beta_x-1)}\, \int_{0}^{1} \! z^{\beta_y-1} (1-z)^{\beta_y-1}\,\mathrmko3cj9ipvff z\\ &=& 4^{(\beta_y-1)}\, d\, \mathrm{Beta}(\beta_y, \beta_y)\, (1-\frac{x_s^2}{a^2})^{(\beta_x-1)} } $$
import pandas as pd
threedays = ['2018/3/9', '2018/3/10', '2018/3/11']
df = pd.read_csv('test.csv')
df = df[df['data_date'].isin(threedays)].groupby(['data_date', 'product_id']).sum().reset_index(drop=False) # 過濾最近三天并求和
def f(df):
if len(df) == 3:
# 三天都有數(shù)
r = [df['uv'][df['data_date'] == threedays[i]].values[0] for i in range(3)]
return (r[2] - r[1] < 100) and r[2] > r[1] and (r[1] - r[0] < 100) and r[1] > r[0] #增長大于0小于100
else:
return False
r = df.groupby('product_id').apply(f)
print(list(r[r==True].index))
條件2類比,把f改一下就ok了
import requests
r = requests.get(url1) # 你第一次的url
headers = {
'Accept':'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8',
'Accept-Encoding':'gzip, deflate, sdch',
'Accept-Language':'zh-CN,zh;q=0.8',
'Connection':'keep-alive',
'Cache-Control':'no-cache',
'Content-Length':'6',
'Content-Type':'application/x-www-form-urlencoded; charset=UTF-8',
'Host':'www.mm131.com',
'Pragma':'no-cache',
'Origin':'http://www.mm131.com/xinggan/',
'Upgrade-Insecure-Requests':'1',
'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Safari/537.36',
'X-Requested-With':'XMLHttpRequest'
} # headers的例子,看你的post的headers
headers['cookie'] = ';'.join([headers['cookie'], ['='.join(i) for i in r.cookies.items()]])
r = requests.post(url2, headers=headers, data=data) # 你第二次的url
搜索建議結(jié)果是用js動態(tài)生成的.
可以直接觀察它是向哪個 api 請求的.
比如搜索hello
, 可以直接請求https://finance.yahoo.com/_finance_doubledown/api/resource/searchassist;searchTerm=hello
那么代碼可以這樣寫:
import json
import requests
kw = 'hello'
url_base = 'https://finance.yahoo.com/_finance_doubledown/api/resource/searchassist;searchTerm='
url = url_base + kw
resp = requests.get(url)
print(json.dumps(json.loads(resp.text), indent=4, sort_keys=True))
得到類似的結(jié)果:
{
"hiConf": false,
"items": [
{
"exch": "FRA",
"exchDisp": "Frankfurt",
"name": "HelloFresh SE",
"symbol": "HFG.F",
"type": "S",
"typeDisp": "Equity"
},
...
我嘗試的貌似直接請求即可, 尚不知 yahoo 有沒有限制請求的措施.
這個你應(yīng)該找爬蟲來做,而不是js。爬蟲是專門做這種事情的,花個上萬月薪請一個python
工程師吧。股票網(wǎng)站是屬于非常難爬的類型網(wǎng)站。
response 是返回的頭
request 是請求頭
爬蟲設(shè)置的是請求頭
登錄接口里不需要參數(shù)signature。
密碼是md5加密的。
"""
g = 'veenike';
c.isValidate && (c.password = md5(c.password), c.password = md5(g + c.password + g)
"""
先對你輸入的密碼md5加密,得到的字符串首尾再增加個veenike,得到的新字符串再md5。
本機(jī):chrome 64 python2.7 selenium3.8
給你試了下headless模式下,登錄后,系統(tǒng)檢測瀏覽器版本太低或不兼容,所以定位不準(zhǔn) 。
如下圖
你可以嘗試在登錄后截圖看下
driver.get_screenshot_as_file(time.strftime("%Y%m%d%H%M%S") + ".png")
別用phantomjs了,現(xiàn)在chrome都支持headless了,p的作者自己都說不建議使用了。
puppeteer和selenium有很多選擇的。
ES7環(huán)境
b = a.reduce((origin, next) => origin.concat(next), []).reduce((origin, next) => {
let index = origin.findIndex(item => item.some(element => element.id === next.id));
index >= 0 ? origin[index].push(next) : origin.push([next]);
return origin;
}, []);
Lodash
let b = _.flatten(a).reduce((origin, next) => {
let index = _.findIndex(origin, item => item.some(element => element.id === next.id));
index >= 0 ? origin[index].push(next) : origin.push([next]);
return origin;
}, []);
北大青鳥APTECH成立于1999年。依托北京大學(xué)優(yōu)質(zhì)雄厚的教育資源和背景,秉承“教育改變生活”的發(fā)展理念,致力于培養(yǎng)中國IT技能型緊缺人才,是大數(shù)據(jù)專業(yè)的國家
北大青鳥中博軟件學(xué)院創(chuàng)立于2003年,作為華東區(qū)著名互聯(lián)網(wǎng)學(xué)院和江蘇省首批服務(wù)外包人才培訓(xùn)基地,中博成功培育了近30000名軟件工程師走向高薪崗位,合作企業(yè)超4
中公教育集團(tuán)創(chuàng)建于1999年,經(jīng)過二十年潛心發(fā)展,已由一家北大畢業(yè)生自主創(chuàng)業(yè)的信息技術(shù)與教育服務(wù)機(jī)構(gòu),發(fā)展為教育服務(wù)業(yè)的綜合性企業(yè)集團(tuán),成為集合面授教學(xué)培訓(xùn)、網(wǎng)
達(dá)內(nèi)教育集團(tuán)成立于2002年,是一家由留學(xué)海歸創(chuàng)辦的高端職業(yè)教育培訓(xùn)機(jī)構(gòu),是中國一站式人才培養(yǎng)平臺、一站式人才輸送平臺。2014年4月3日在美國成功上市,融資1
曾工作于聯(lián)想擔(dān)任系統(tǒng)開發(fā)工程師,曾在博彥科技股份有限公司擔(dān)任項(xiàng)目經(jīng)理從事移動互聯(lián)網(wǎng)管理及研發(fā)工作,曾創(chuàng)辦藍(lán)懿科技有限責(zé)任公司從事總經(jīng)理職務(wù)負(fù)責(zé)iOS教學(xué)及管理工作。
浪潮集團(tuán)項(xiàng)目經(jīng)理。精通Java與.NET 技術(shù), 熟練的跨平臺面向?qū)ο箝_發(fā)經(jīng)驗(yàn),技術(shù)功底深厚。 授課風(fēng)格 授課風(fēng)格清新自然、條理清晰、主次分明、重點(diǎn)難點(diǎn)突出、引人入勝。
精通HTML5和CSS3;Javascript及主流js庫,具有快速界面開發(fā)的能力,對瀏覽器兼容性、前端性能優(yōu)化等有深入理解。精通網(wǎng)頁制作和網(wǎng)頁游戲開發(fā)。
具有10 年的Java 企業(yè)應(yīng)用開發(fā)經(jīng)驗(yàn)。曾經(jīng)歷任德國Software AG 技術(shù)顧問,美國Dachieve 系統(tǒng)架構(gòu)師,美國AngelEngineers Inc. 系統(tǒng)架構(gòu)師。