關於軟件
藍天采集器(SkyCaiji),致力於網站數據自動化采集發布,系統采用PHP+Mysql開發,可部署在雲端服務器,使數據采集便捷化,智能化,雲端化,讓您隨時隨地移動辦公。
內容發布
無縫對接各類CMS建站程序,實現免登陸導入數據,支持自定義數據發布插件,也可直接導入數據庫、存儲為Excel文件、生成API接口等
數據采集
支持多級、多頁、分頁采集,自定義采集規則(支持正則、XPATH、JSON等)精准匹配任意信息流,幾乎能采集所有類型的網頁,絕大多數文章類型頁面內容可實現智能識別
自動化及雲平台
軟件實現定時定量全自動采集發布,無需人工干預,內置雲平台,用戶可分享及下載采集規則,發布供求信息及社區求助、交流等
安裝藍天采集系統
一、安裝Mysql
執行命令:
wget http://dev.mysql.com/get/mysql-community-release-el7-5.noarch.rpm
rpm -ivh mysql-community-release-el7-5.noarch.rpm
執行 yum -y install mysql mysql-server mysql-devel,安裝成功。再次使用該命令,然后得到以下信息
打開mysql服務 :CentOS 6 的命令: service mysqld start
CentOS 7 的命令: systemctl start mysqld.service
進入mysql客戶端 mysql -u root -p 回車 密碼為空 直接回車登錄
選擇數據庫:use mysql;(記得輸分號)
修改root用戶密碼:使用 update
user
set
password
=
password
(
'root'
)
where
user
=
'root'
;
但是5.7版本中不存在password字段,所有我們要用以下修改進行重置密碼:update
user
set
authentication_string=
password
(
'root'
)
where
user
=
'root'
;
執行:flush
privileges
;
退出:quit;
重新使用命令 mysql -u root -p 輸入你剛才修改的密碼(root)顯示登錄成功
至此mysql數據庫安裝完畢。
二、安裝apache服務
yum install httpd
安裝成功后可以執行啟動命令:
CentOS 6 的命令: service httpd start
CentOS 7 的命令: systemctl start httpd.service
異常處理:啟動服務后無法訪問
1)在防火牆中開放80端口 現在需要將 http 服務加入防火牆以允許外部訪問,
firewall-cmd --add-service=http --permanent
–permanent 參數表示這是一條永久防火牆規則,如果不加則重啟系統后就沒有這條規則了
而對於自定義的端口(如81),也需要添加防火牆規則, firewall-cmd --zone=public --add-port=81/tcp --permanent 重啟 Firewalld 使該規則生效, systemctl restart firewalld
2)關閉SELINUX
vi /etc/selinux/config
注釋掉如下兩句,添加最后一項
#SELINUX=enforcing #注釋掉
#SELINUXTYPE=targeted #注釋掉
SELINUX=disabled #增加
:wq! 保存退出
重啟apache服務:
CentOS 6 的命令: service httpd restart
CentOS 7 的命令: systemctl restart httpd.service
輸入ip便可直接訪問
三、安裝php
yum install php php-mysql php-gd libjpeg* php-ldap php-odbc php-pear php-xml php-xmlrpc php-mbstring php-bcmath php-mhash
安裝完成后重啟apache服務:
CentOS 6 的命令: service httpd restart
CentOS 7 的命令: systemctl restart httpd.service
測試PHP安裝結果
vi /var/www/html/index.php
輸入如下內容(點擊 i 進入編輯模式 文本最下方出現insert表示可以編輯 Esc可退出編輯)
<?php
phpinfo();
?>
輸入:wq! 保存退出
在瀏覽器中輸入服務器地址,查看是否可以看到:
四、安裝phpmyadmin
1、先安裝epel,不然安裝pgpmyadmin時會出現找不到包。
yum install epel-release
rpm -ivh http://rpms.famillecollet.com/enterprise/remi-release-7.rpm
使用yum安裝phpmyadmin : yum install phpmyadmin php-mcrypt
phpMyAdmin 的默認安裝目錄是 /usr/share/phpMyAdmin,同時會在 Apache 的配置文件目錄中自動創建虛擬主機配置文件 /etc/httpd/conf.d/phpMyAdmin.conf(區分大小寫)。默認情況下,CentOS 7上的phpMyAdmin只允許從回環地址(127.0.0.1)訪問。為了能遠程連接,你需要改動它的配置。
vi /etc/httpd/conf.d/phpMyAdmin.conf
修改配置文件,如下:
重啟apache服務使改動生效:service httpd restart
<Directory /usr/share/phpMyAdmin/>
AddDefaultCharset UTF-8
<IfModule mod_authz_core.c>
# Apache 2.4
<RequireAny>
# Require ip 127.0.0.1 #注釋掉
# Require ip ::1 #注釋掉
Require all granted #新添加
</RequireAny>
</IfModule>
<IfModule !mod_authz_core.c>
# Apache 2.2
Order Deny,Allow
Deny from All
Allow from 127.0.0.1
Allow from ::1
</IfModule>
</Directory>
<Directory /usr/share/phpMyAdmin/setup/>
<IfModule mod_authz_core.c>
# Apache 2.4
<RequireAny>
#Require ip 127.0.0.1 #注釋掉
#Require ip ::1 #注釋掉
Require all granted #新添加
</RequireAny>
</IfModule>
<IfModule !mod_authz_core.c>
# Apache 2.2
Order Deny,Allow
Deny from All
Allow from 127.0.0.1
Allow from ::1
</IfModule>
</Directory>
輸入ip/phpmyadmin即可進入phpMyAdmin管理頁面 管理數據庫
五、將藍天采集系統安裝包放到/var/www/htlm/下
藍天采集系統的包http://www.skycaiji.com/
拖拽文件的軟件WinSCP很好使(將windows下的大文件直接拖拽到linux下)
六、登錄藍天采集系統
ip/skycaiji
遇到的問題
在配置好環境(APACHE+MYSQL+PHP)后,將程序部署到環境中的時候,訪問頁面出現前端解析不出頁面,緩存寫入失敗問題。
這個問題我找了兩天,問各種人,社區交流,都沒有好的解決方案,網上說刪掉/runtime/temp/3a2af6ba85c92186c99fb6a7394935af.php文件。但是就是找不到這個文件,就連隱藏文件找了,還是沒有。最終解決方案是將skycaiji文件的權限改成777(chmod 777 /var/www/html/skycaiji/)。給了權限后,文件就解決了。