Cách sử dụng google colab
|
 Show Xem thêm: https://blogthủthuật.vn/category/chia-se Nguồn: https://blogthủthuật.vn
Google Colab là một dich vụ đám mây miễn phí, hiện nay có hỗ trợ GPU (Tesla K80) và TPU (TPUv2). Do được phát triển dựa trên Jupiter Notebook nên việc sử dụng Google Colab cũng tương tự như việc sử dụng Jupyter Notebook. Google Colab là một công cụ lý tưởng để chúng ta rèn luyện kĩ năng lập trình với ngôn ngữ Python thông qua các thư viện của deep learning. Google Colab cài đặt sẵn cho chúng ta những thư viện rất phổ biến trong nghiên cứu Deep Learning như PyTorch, TensorFlow, Keras và OpenCV. Google Colab là gì? Machine Learning/Deep Learning đang phát triển với tốc độ rất nhanh. Để viết một chương trình sử dụng framework về Deep Learning như TensorFlow, Kera hay Pytorch, chúng ta có thể sử dụng bất kì Python IDE nào như PyCharm, Jupyter Notebook hay Atom. Tuy nhiên, do những thuật toán Machine Learning/Deep Learning yêu cầu hệ thống phải có tốc độ và khả năng xử lý cao (thông thường dựa trên GPU), mà máy tính của chúng ta thông thường không được trang bị GPU. Rất nhiều người học và nhà nghiên cứu chọn giải pháp là thuê những dịch vụ tính toán trên AWS. Từ đó, Google cho ra đời một dịch vụ hoàn toàn miễn phí dành cho cộng đồng nghiên cứu AI, phát triển các ứng dụng Deep Learning bằng việc cung cấp GPU và TPU miễn phí – Đó là Google Colab. HIện nay các lập trình viên thường chọn Colab thay cho dịch vụ của AWS có phí khá cao. Colab hỗ trợ GPU (Tesla K80) và TPU (TPUv2). Cách sử dụng Colab cũng tương tự như trên Jupiter Notebook. Đây là một dịch vụ miễn phí tuyệt với của Google nếu bạn không có một máy tính cấu hình cao để lập trình, biên dịch Python với các thư viện của deep learning. Hiện Google Colab có sẵn các thư viện phổ biến hổ trợ cho việc nghiên cứu về trí tuệ nhân tạo như: PyTorch, TensorFlow, Keras và OpenCV. Google Colab thật sự tuyệt vời. Ngoài việc nâng cao kĩ năng code của bạn, hay thực hiện trên các thư viện Deep Learning PyTorch, Keras, TensorFlow, OpenCV, bạn còn có thể tạo một notebooks trên Colab, thực hiện các thao tác với notebooks đó như tải lên, lưu trữ, chia sẻ kể cả trên Google Drive. Bạn còn có thể sử dụng bất cứ thứ gì bạn lưu trữ trong notebooks như tải lên Jupyter cá nhân, GitHub, Kaggle…. Colab thực sự cung cấp những điều tuyệt vời cần thiết nhất có một người lập trình viên khi thực hiện Deep Learning. Thực hiện trên Google Colab khá dễ dàng. Nếu bạn đã dùng Jupyter Notebooks thì Google Colab cũng tương tự. Và tất nhiên, bạn sẽ cảm nhận được sự tuyệt vời với việc thực hiện Deep Learning trên phần mềm hỗ trợ GPU so với những câu lệnh thông thường tù túng.
Tuy nhiên, với PyTorch, trước khi import thư viện, bạn sẽ phải chạy câu lệnh này trước: # http://pytorch.org/ from os.path import exists from wheel.pep425tags import get_abbr_impl, get_impl_ver, get_abi_tag platform = ‘{}{}-{}’.format(get_abbr_impl(), get_impl_ver(), get_abi_tag()) cuda_output = !ldconfig -p|grep cudart.so|sed -e ‘s/.*\.\([0-9]*\)\.\([0-9]*\)$/cu\1\2/’ accelerator = cuda_output[0] if exists(‘/dev/nvidia0’) else ‘cpu’ !pip install -q http://download.pytorch.org/whl/{accelerator}/torch-0.4.1-{platform}-linux_x86_64.whl torchvision import torch Sau đó, bạn mới có thể thực hiện import . Nhưng nếu bạn cố gắng import torch mà chưa chạy câu lệnh trên, bạn sẽ nhận được thông báo về lỗi. Trong trường hợp này, tôi thực sự khuyên bạn nên nhấp vào link hiện lên. Sau khi nhấn, bạn sẽ nhận được một mã để bạn thực hiện cài đặt torch: “INSTALL TORCH” vào notebook của bạn. Mã sẽ xuất hiện ở bên trái màn hình của bạn, và sau đó nhấn “INSERT.” Hay cách khác, bạn có thể thực hiện cài đặt với câu lệnh “pip install”. Lưu ý, trên Colab, bạn cần có dấu chấm than trước hầu hết các câu lệnh. !pip install -q keras import keras Hay: !pip3 install torch torchvision Hoặc: !apt-get install cũng rất hữu ích. Với Pillow bạn có thể gặp lỗi và có thể sửa bằng cách: import PIL print(PIL.PILLOW_VERSION) Trong trường hợp bạn nhận được bất cứ điêu nào dưới 5.3, hãy chạy ” runtime” ở thanh công cụ. Khởi động lại runtime rồi tiếp tục chạy câu lệnh. Bạn có thể dễ dàng tạo một notebook mới bằng cách nhấn vào “File”, nhấn tới “New Python 3 Notebook.” Nếu bạn muốn mở một notebook cụ thể, nhấn “File”, rồi nhấn “Open notebook”. Bạn sẽ thấy màn hình xuất hiện như sau:
Với những ai đang học và làm về Deep Learning Deep Learning Đó là lý do hôm nay chúng ta sẽ tìm hiểu về Google Colab – nơi cung cấp GPU miễn phí. Tất nhiên, phần mềm này cũng có một số hạn chế. Nó chỉ hỗ trợ trên Python 2.7 và 3.6, nhưng chưa hỗ trợ trên R và Scala. Ngoài ra, nó còn hạn chế về sessions và kích thước. Nhưng bạn có thể khắc phục điều này nếu bạn có thể xây dựng mô hình sáng tạo và nhớ đừng thường xuyên tải tập tin của bạn lên. Google Colab thật sự tuyệt vời. Ngoài việc nâng cao kĩ năng code của bạn, hay thực hiện trên các thư viện Deep Learning Deep Learning Colab thực sự cung cấp những điều tuyệt vời cần thiết nhất có một người lập trình viên khi thực hiện Deep Learning. Thực hiện trên Google Colab khá dễ dàng. Nếu bạn đã dùng Jupyter Notebooks thì Google Colab cũng tương tự. Và tất nhiên, bạn sẽ cảm nhận được sự tuyệt vời với việc thực hiện Deep Learning trên phần mềm hỗ trợ GPU so với những câu lệnh thông thường tù túng. Chúng ta hãy bắt đầu nhé! Google Colab – thực hiện cài đặt trên DriveTạo một Folder cho Notebook của bạn(Về mặt kỹ thuật, bước này có thể không thực sự cần thiết trong trường hợp bạn chỉ cần làm việc trên Colab. Tuy nhiên, khi bạn sử dụng Google Colab trên Drive, nó sẽ không phải là một ý tưởng tồi cho việc xác định thư mục nơi bạn muốn làm việc. Bạn có thể thực hiện bằng cách truy cập vào Google Drive, nhấn “New” để tạo ra một Folder mới. Tôi chỉ đề cập tới vấn đề này khi Google Drive của tôi gặp vấn đề và trông như có hàng triệu Colab Notebook cùng xuất hiện). Ngoài ra, bạn có thể tạo một Colab notebook trên Google Drive của bạn. Chỉ cần nhấp vào “New”, kéo xuống phần “More” và chọn ” Colaboratory “. Nếu không, bạn có thể trực tiếp truy cập tại địa chỉ. Khởi độngBạn có thể đổi tên cho notebook của bạn bằng cách nhấp vào tên của notebook và thay đổi trực tiếp hay nhấn “File” trên thanh công cụ và tìm xuống phần “Rename”. Khi bạn muốn sử dụng GPU GPU Bây giờ, bạn đã có thể dễ dàng thực hiện code rồi đó. Cải tiến với Google ColabKhi bạn muốn liên kết Google Drive, bạn có thể làm như sau: from google.colab import drive drive.mount('/content/gdrive')Sau đó, bạn sẽ thấy một đường link. Hãy nhấp vào nó và cho phép truy cập. Copy mã xuất hiện và paste vào ô, rồi nhấn enter. Bạn đã hoàn thành rồi đó. Trong trường hợp bạn không thấy Drive của bạn ở ô bên trái, bạn chỉ cần nhấn “refresh” và nó sẽ hiển thị ra. Kết quả của bạn sẽ có cấu trúc như sau: Giờ bạn đã có thể nhìn thấy Drive của bạn ngay bên trái màn hình. Ngoài ra, bạn có thể truy cập Drive của mình bất cứ lúc nào với: !ls "/content/gdrive/My Drive/"Nếu bạn muốn tải xuống một tệp zip, bạn có thể sử dụng: !wget !unzipVí dụ: !wget -cq https://s3.amazonaws.com/content.udacity-data.com/courses/nd188/flower_data.zip !unzip -qq flower_data.zipVới câu lệnh này, bạn sẽ có dữ liệu của file Udacity’s flower gần như ngay tức thì. Nếu bạn tải lênmột file nhỏ, bạn có thể thực hiện lệnh tải lên ngay lập tức với các câu lệnh đơn giản. Hay một cách khác bạn có thể nhìn sang bên trái màn hình, nhấp vào “upload files”. Google Colab rất đơn giản trong việc sử dụng. Đặc biệt khi bạn đã quen với Notebook Jupyter. Tuy nhiên, bạn có thể mất thời chút thời gian nếu bạn có một khối lượng tệp lớn và lấy ra một vài thư mục cụ thể để làm việc. Import các thư viện trên Google ColabTrong hầu hết các trường hợp bạn có thể thực hiện Import các thư viện bằng lệnh import như bạn thực hiện trên các phần mềm khác. Tuy nhiên, với PyTorch, trước khi import thư viện, bạn sẽ phải chạy câu lệnh này trước: # http://pytorch.org/ from os.path import exists from wheel.pep425tags import get_abbr_impl, get_impl_ver, get_abi_tag platform = '{}{}-{}'.format(get_abbr_impl(), get_impl_ver(), get_abi_tag()) cuda_output = !ldconfig -p|grep cudart.so|sed -e 's/.*\.\([0-9]*\)\.\([0-9]*\)$/cu\1\2/' accelerator = cuda_output[0] if exists('/dev/nvidia0') else 'cpu' !pip install -q http://download.pytorch.org/whl/{accelerator}/torch-0.4.1-{platform}-linux_x86_64.whl torchvision import torchSau đó, bạn mới có thể thự hiện import . Nhưng nếu bạn cố gắng import torch mà chưa chạy câu lệnh trên, bạn sẽ nhận được thông báo về lỗi. Trong trường hợp này, tôi thực sự khuyên bạn nên nhấp vào link hiện lên. Sau khi nhấn, bạn sẽ nhận được một mã để bạn thực hiện cài đặt torch: “INSTALL TORCH” vào notebook của bạn. Mã sẽ xuất hiện ở bên trái màn hình của bạn, và sau đó nhấn “INSERT.” Hay cách khác, bạn có thể thực hiện cài đặt với câu lệnh “pip install”. Lưu ý, trên Colab, bạn cần có dấu chấm than trước hầu hết các câu lệnh. !pip install -q keras import kerasHay: !pip3 install torch torchvisionHoặc: !apt-get installcũng rất hữu ích. Với Pillow bạn có thể gặp lỗi và có thể sửa bằng cách: import PIL print(PIL.PILLOW_VERSION)Trong trường hợp bạn nhận được bất cứ điêu nào dưới 5.3, hãy chạy ” runtime” ở thanh công cụ. Khởi động lại runtime rồi tiếp tục chạy câu lệnh. Bạn có thể dễ dàng tạo một notebook mới bằng cách nhấn vào “File”, nhấn tới “New Python 3 Notebook.” Nếu bạn muốn mở một notebook cụ thể, nhấn “File”, rồi nhấn “Open notebook”. Bạn sẽ thấy màn hình xuất hiện như sau: Bạn có thể mở bất kì file nào trên Google Drive, GitHub, và bạn có thể tải notebook lên trên đây. Tùy chọn trong GitHub rất tuyệt vời. Bạn có thể dễ dàng tìm kiếm một tổ chức hoặc cá nhân để tìm File. Trong trường hợp bạn không tìm thấy những gì bạn muốn tìm, bạn có thể kiểm tra thanh menu. Lưu trữ là một việc đơn giản. Bạn có thể thực hiện “command-s” hay trong mục “File”, nhấn vào “Save”. Hoặc bạn có thể tạo một bản copy notebook của bạn bằng cách nhấn vào “File” -> “Save a Copy in Drive.” Bạn có thể tải xuống bằng cách “File” -> “download .ipyb” hay “download .py.” Trên đây là những điều cơ bản hướng dẫn bạn có thể thực hiện Google Colab và sử dụng GPU miễn phí. Nếu bạn mới chỉ bắt đầu học AI, bạn có thể tham khảo một số trang sau: Hãy theo dõi https://trituenhantao.io/ để có nhiều bài viết hay hơn nữa nhé. Và tôi rất mong nhận được góp ý từ các bạn. |
