欧美中文字幕第一页-欧美中文字幕一区-欧美中文字幕一区二区三区-欧美中文字幕在线-欧美中文字幕在线播放-欧美中文字幕在线视频

數據分析從業者必看,10 個加速 python 數據分析的簡單的小技巧

我是創始人李巖:很抱歉!給自己產品做個廣告,點擊進來看看。  

雷鋒網 AI 科技評論按,一些小的技巧在編程領域可能會非常有用,在數據科學領域同樣如此。數據科學愛好者 Parul Pandey 在近日發表了一篇博文,分享了在數據科學中非常實用的 10 個小技巧。雷鋒網 AI 科技評論將他的文章編譯整理如下。

有時候,一點小小的黑客行為可以節省時間,挽救生命。一個小小的快捷方式或附加組件有時會被證明是天賜之物,并且可以真正提高生產力。所以,下面是我最喜歡的一些技巧,我以本文的形式一起使用和編譯它們。其中,有些可能是相當有名的,有些可能是新的,但我相信下次您從事數據分析項目時,它們會非常有用。

1.Profiling the pandas dataframe

Profiling 是一個幫助我們理解數據的程序,而 Pandas Profiling 正是實現這一點的一個 python 包。這是對 pandas 數據幀進行探索性數據分析的一種簡單快速的方法。pandas df.describe()和 df.info()函數通常用作 EDA 過程的第一步。但是,它只提供了非常基本的數據概述,對于大型數據集沒有太大幫助。另一方面,pandas 分析函數使用 df.profile_report()擴展 pandas 數據幀,以便快速進行數據分析。它用一行代碼顯示了大量信息,在交互式 HTML 報告中也顯示了這些信息。

對于給定的數據集,pandas 分析包計算以下統計信息:

數據分析從業者必看,10 個加速 python 數據分析的簡單的小技巧

Pandas Profiling 包計算統計信息

安裝

pip install pandas-profiling

or

conda install -c anaconda pandas-profiling

使用

讓我們使用古老的 Titanic 數據集來演示通用的 Python 分析器的功能。

#importing the necessary packages
import pandas as pd
import pandas_profiling


# Depreciated: pre 2.0.0 version
df = pd.read_csv('titanic/train.csv')
pandas_profiling.ProfileReport(df)

注:在這篇文章發表一周后,Pandas-Profiling 發布了一個升級版本 2.0.0。其語法發生了一些變化,事實上,功能已經包含在 pandas 中,報告也變得更加全面。以下是最新的語法用法:

使用

要在 Jupyter notebook 中顯示報告,請運行:

#Pandas-Profiling 2.0.0
df.profile_report()

這一行代碼就是在 Jupyter notebook 中顯示數據分析報告所需的全部代碼。報告非常詳細,必要時包括圖表。

數據分析從業者必看,10 個加速 python 數據分析的簡單的小技巧

還可以將報告導出到具有以下代碼的交互式 HTML 文件中。

profile = df.profile_report(title='Pandas Profiling Report')
profile.to_file(outputfile="Titanic data profiling.html")

有關更多詳細信息和示例,請參閱 這個文檔 。

2.第二步,為 pandas plots 帶來交互性

pandas 有一個內置的.plot()函數作為數據幀類的一部分。然而,用這個函數呈現的可視化并不是交互式的,這使得它不那么吸引人。相反,也不能排除使用 pandas.dataframe.plot()函數繪制圖表的易用性。如果我們不需要對代碼進行重大修改,就可以像繪制 pandas plots 那樣繪出交互式圖表呢?你可以在 Cufflinks 庫的幫助下做到這一點。

Cufflinks 將 plotly 的力量與 pandas 的靈活性結合起來,便于繪制。現在讓我們來看看如何安裝這個庫并讓它在 pandas 中工作。

安裝

pip install plotly # Plotly is a pre-requisite before installing cufflinks
pip install cufflinks

使用

#importing Pandas
import pandas as pd
#importing plotly and cufflinks in offline mode
import cufflinks as cf


import plotly.offline
cf.go_offline()
cf.set_config_file(offline=False, world_readable=True)

是時候用 Titanic 數據集來展示它的魔法了。

df.iplot()

數據分析從業者必看,10 個加速 python 數據分析的簡單的小技巧

df.iplot() vs df.plot()

右視圖顯示的是靜態圖表,左圖表是交互式的,更詳細地說,所有這一切在語法上都沒有重大變化。

點擊 這里 獲取更多的示例。

3.一點點 Magic

Magic 命令是 Jupyter notebook 中的一組方便的函數,旨在解決標準數據分析中的一些常見問題。在%lsmagic 的幫助下,您可以看到所有可用的 magic。

數據分析從業者必看,10 個加速 python 數據分析的簡單的小技巧

所有可用的 magic 函數列表

magic 命令有兩種:行 magics(前綴為一個% 字符并在一行輸入上操作)和單元 magics(用%% 前綴關聯并在多行輸入上操作)。如果設置為 1,則可以調用 magic 函數,而無需鍵入初始百分比。

讓我們看看其中一些在常見數據分析任務中可能有用的功能:

% pastebin

%Pastebin 將代碼上載到 Pastebin 并返回 URL。Pastebin 是一種在線內容托管服務,我們可以在其中存儲純文本(如源代碼片段),然后可以與其他人共享 URL。事實上,Github gist 也類似于 Pastebin,盡管有版本控制。

考慮使用包含以下內容的 python script file.py:

#file.py
def foo(x):
?return x

使用 Jupyter notebook 中的%pastebin 生成 pastebin url

數據分析從業者必看,10 個加速 python 數據分析的簡單的小技巧

%matplotlib notebook

%matplotlib inline 函數用于呈現 Jupyter noteboo 中的靜態 matplotlib 繪圖。嘗試用 notebook 替換內嵌部件,以輕松獲得可縮放和可調整大小的繪圖。確保在導入 Matplotlib 庫之前調用了函數。

數據分析從業者必看,10 個加速 python 數據分析的簡單的小技巧

%matplotlib inline vs %matplotlib notebook

%run

%run 函數在 notebook 內運行 python 腳本。

%run file.py

%%writefile

%WriteFile 將單元格的內容寫入文件。在這里,代碼將被寫入一個名為 foo 的文件,并保存在當前目錄中。

數據分析從業者必看,10 個加速 python 數據分析的簡單的小技巧

%%latex

%%latex 函數將單元格內容呈現為 LaTeX。它可用于在單元中編寫數學公式和方程。

數據分析從業者必看,10 個加速 python 數據分析的簡單的小技巧

4.發現和消除錯誤

interactive debugger 也是一個神奇的函數,但我已經為它提供了自己的一個類別。如果在運行代碼單元時遇到異常,請在新行中鍵入%debug 并運行它。這將打開一個交互式調試環境,將您帶到發生異常的位置。您還可以檢查程序中分配的變量值,并在此處執行操作。要退出調試器,請單擊 q。

數據分析從業者必看,10 個加速 python 數據分析的簡單的小技巧

5.輸出也可以很漂亮

如果您想為數據結構生成美觀的表示,pprint 是你想要的模塊,它在打印字典或 JSON 數據時特別有用。讓我們來看一個使用 print 和 pprint 顯示輸出的示例。

數據分析從業者必看,10 個加速 python 數據分析的簡單的小技巧

數據分析從業者必看,10 個加速 python 數據分析的簡單的小技巧

6.突出報警框

我們可以在您的 Jupyter 筆記本中使用警告/注釋框來突出顯示重要的內容或任何需要突出顯示的內容。注釋的顏色取決于警報的類型。只需在需要突出顯示的單元格中添加以下代碼。

藍色警報框:信息提示

<div class="alert alert-block alert-info">
<b>Tip:</b> Use blue boxes (alert-info) for tips and notes.
If it』s a note, you don』t have to include the word「Note」.
</div>

黃色警報框:警告

<div class="alert alert-block alert-warning">
<b>Example:</b> Yellow Boxes are generally used to include additional examples or mathematical formulas.
</div>

綠色警報框:成功

<div class="alert alert-block alert-success">
Use green box only when necessary like to display links to related content.
</div>

紅色警報框:危險

<div class="alert alert-block alert-danger">
It is good to avoid red boxes but can be used to alert users to not delete some important part of code etc.
</div>

7.打印單元格的所有輸出

考慮一個包含以下代碼行的 Jupyter notebook 單元:

In [1]: 10+5
?11+6

Out [1]: 17

通常情況下,單元格中只有最后一個輸出會被打印出來,對于其他輸出,我們需要添加 print()函數。好吧,其實我們只需在 notebook 頂部添加以下代碼片段就可以打印所有輸出。

from IPython.core.interactiveshell import InteractiveShell InteractiveShell.ast_node_interactivity = "all"

現在所有的輸出都被一個接一個地打印出來

In [1]: 10+5
?11+6
?12+7

Out [1]: 15
Out [1]: 17
Out [1]: 19

要恢復到原始設置:

InteractiveShell.ast_node_interactivity = "last_expr"

8.使用「i」文件運行 python 腳本

從命令行運行 python 腳本的一種典型方法是:python hello.py。但是,如果您在運行同一腳本(如 python)時添加了一個額外的-i hello.py,那么它提供了更多的優勢。讓我們看看怎么做。

首先,只要程序不結束,python 就不會退出解釋器。因此,我們可以檢查變量的值以及程序中定義的函數的正確性。

數據分析從業者必看,10 個加速 python 數據分析的簡單的小技巧

其次,我們可以通過以下方式輕松調用 Python 調試器,因為我們仍在解釋器中:

import pdb
pdb.pm()

這將使我們進入異常發生的位置,然后我們可以處理代碼。

數據分析從業者必看,10 個加速 python 數據分析的簡單的小技巧

查看來源可以點擊 這里 。

9.自動注釋代碼

ctrl/cmd+/自動將單元格中選定的行注釋掉,再次點擊組合將取消對同一行代碼的注釋。

數據分析從業者必看,10 個加速 python 數據分析的簡單的小技巧

10.刪除容易恢復難

你有沒有不小心刪除了 Jupyter notebook 上的一個單元的經歷?如果有,那么這里有一個快捷方式可以撤消刪除操作。

如果刪除了單元格的內容,則可以通過按 ctrl/cmd+z 輕松恢復該內容。

如果需要恢復整個已刪除單元格,請按 Esc+Z 或 EDIT > Undo 撤銷刪除單元格。

數據分析從業者必看,10 個加速 python 數據分析的簡單的小技巧

結論

在本文中,我列出了在使用 Python 和 Jupyter notebook 時收集到的主要技巧。我相信它們會對你有用,你會從這篇文章中收回一些東西。好了,開始快樂的編碼之旅吧!.

via: https://www.kdnuggets.com/2019/07/10-simple-hacks-speed-data-analysis-python.html

雷鋒網 (公眾號:雷鋒網) 雷鋒網

雷鋒網版權文章,未經授權禁止轉載。詳情見。

數據分析從業者必看,10 個加速 python 數據分析的簡單的小技巧

隨意打賞

python數據分析師
提交建議
微信掃一掃,分享給好友吧。
主站蜘蛛池模板: 爽爽影院免费观看视频 | 亚洲成在人线久久综合 | 国产成人aa免费视频 | 牛牛影视午夜免费福利 | 青青热久久国产久精品 | 毛片一级毛片 | 韩国欧美一级毛片免费 | 青青青国产免费手机视频在线观看 | 国产a久久精品一区二区三区 | 亚洲精品国产第一综合99久久 | 国产综合影院 | 五月四房 | 日韩欧美一区二区三区不卡 | 在线观看免费黄色小视频 | 久久免费观看国产99精品 | 日本亚洲黄色 | 日本精品久久久中文字幕 | 97se亚洲| 久久www免费人成_看片高清 | 黄色免费看看 | 涩涩www在线观看免费高清 | 免费看欧美毛片大片免费看 | 欧美日韩久久中文字幕 | 国产91精品一区二区麻豆网站 | 最近免费中文字幕大全免费版视频 | 99j久久精品久久久久久 | 91久久亚洲精品国产一区二区 | 久久国产成人 | 四虎影院永久网站 | 国产区一区二区三区 | 欧美a级毛片 | 欧美日本高清 | 成人免费观看www视频 | 亚洲视频在线观看免费视频 | 一级看片免费视频 | 国产一区二区三区久久精品小说 | 亚洲成人网在线播放 | 亚洲久操 | 日本不卡视频免费 | 米奇久久 | 日本a∨在线播放高清 |